В статье описана технология по извлечению из интернет-сайта метеоданных для большого числа населенных пунктов. Метод основан на анализе строк файлов, представляющих отдельные страницы сайта. Технология использует как стандартную методику парсинга, так и принципиально иной подход для извлечения данных, рассмотрению которого и посвящена данная статья. Планируемым результатом внедрения этой технологии, находящейся в стадии апробации, будет повышение уровня полноты и обоснованности экологической информации о состоянии окружающей среды в населенных пунктах и, как следствие, расширение возможности заблаговременного прогнозирования экологически неблагоприятных, природных и техногенных чрезвычайных ситуаций, планирование комплекса мер по защите населения, природной среды и объектов экономики от угроз возникновения чрезвычайных ситуаций и их негативных последствий.
Идентификаторы и классификаторы
- SCI
- Строительство
Для прогнозирования рисков чрезвычайных ситуаций природного характера (на уровне субъекта Российской Федерации и выше) необходимо обладать большим объемом подробных метеорологических данных для отдельных населенных пунктов (или метеостанций). Это необходимо для мониторинга и прогнозирования природных пожаров, наводнений, вызванных дождевыми паводками, и опасных метеорологических явлений. В интернете предлагается множество готовых программ [1], дающих метеорологическую информацию в отношении ограниченного перечня населенных пунктов. Получить данные для всей территории России или ее крупных образований (федеральных округов, субъектов) при помощи этих программ невозможно. Сайт https://rp5. ru позволяет получить метеоданные для всей Российской Федерации, включая новые территории. Проблема состоит в извлечении большого массива информации и записи его непосредственно в базу данных или в файл (например, в Excel-файл) для последующей обработки и анализа
Список литературы
1. Метео и связанные с ним приложения. URL: https: //www.softpedia.com/downloadTag/meteo (дата обращения: 20.04.2023).
2. Патент РФ 2022613341. Программа для ЭВМ WebMeteo / Сергеев Е.Б.; Заявл. 02.03.2022. Опубл. 14.03.2022.
3. Гуменюк Е. 10 лучших инструментов для сбора данных в Интернете // Freelance.Today. URL: https: //freelance.today/poleznoe/10-luchshih-instrumentov-dlya-sbora-dannyh-v-internete.html?ysclid=lh638g5cbp362477738 (дата обращения: 02.05.2023).
4. Да Х. Алгоритмы извлечения информации из текстов, парсинг веб-страниц с использованием языка программирования Python // Актуальные исследования. 2022. № 30 (109). С. 21-24.
5. Трушкова М. Как парсить сайт: 20+ инструментов на все случаи жизни. URL: https: //www.cossa.ru/imarketing/261951/?ysclid=lh644z5fvb507478044 (дата обращения: 02.05.2023).
6. Кармалев Д.А., Коршев Е.П., Сулейманова Е.А., Трофимов И.В. Технология извлечения текстов, основанная на знаниях // Программные продукты и системы. 2009. № 2. С. 62-66. EDN: NQWQVB
7. Брюхов Д.О., Скворцов Н.А. Извлечение информации из больших коллекций русско-язычных текстовых документов в среде Hadoop // Электронные библиотеки: перспективные методы и технологии, электронные коллекции RCDL-2014: Труды 16-й Всероссийской научной конференции. С. 391-398. URL: http://rcdl.ru/doc/2014/paper/RCDL2014_391-398.pdf (дата обращения: 26.04.2024).
8. Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текста на естественном языке и анализ данных. М.: НИУ ВШЭ, 2017. 269 с. EDN: VSCJGB
9. Федюшкин Н.А., Федосин С.А. Понятие, проблемы и разновидности интеллектуального анализа текста // Проблемы и достижения в науке и технике: сборник научных трудов по итогам международной научно-практической конференции. 2016. Вып. III. С. 39-41. URL: https://izron.ru/articles/problemy-i-dostizheniya-v-nauke-i-tekhnike-sbornik-nauchnykh-trudov-po-itogam-mezhdunarodnoy-nauchno/sektsiya-2-informatika-vychislitelnaya-tekhnika-i-uprav lenie-spetsialnost-05-13-00/po nyatie-problemy-i-raznovidnosti-intellektualnogo-analiza-teksta/(дата обращения: 26.04.2024). EDN: VYRRZP
10. Gaikwad S.V., Chaugule A., Patil P. Text Mining Methods and Techniques // International Journal of Computer Applications. 2014. Vol. 85. № 17, рр. 42-45. DOI: 10.5120/14937-3507
11. Использование HtmlAgilityPack и CSS Selectors. URL: https: //itvdn.com/ru/blog /article/using-html-agility-and-css-selectors (дата обращения 25.04.2023).
12. Парсинг на C# с HtmlAgilityPack. URL: https://vc.ru/dev/148017-parsing-na-c-s-htmlagilitypack (дата обращения: 25.04.2020).
13. Парсинг сайтов, html-страниц и файлов. URL: https://vremya-ne-zhdet.ru/vba-excel/parsing-saytov/?ysclid=lh91dc86mv801207683#Parsing_html-stranic_msxml2xmlhttp (дата обращения: 02.05.2023).
14. Scraping a website HTML in VBA. URL: https://www.wiseowl.co.uk/blog/s393/scrape-website-html (дата обращения: 02.05.2023).
15. How to Import&Parse JSON Data with VBA. URL: https://myexcelgenius.com/getting-data-from-a-website-in-json-format-using-vba (дата обращения: 02.05.2023).
16. Парсинг текста с сайта. URL: https://www.cyberforum.ru/vb-net/thread 1063826. html?ysclid=lh923gqkp2314550261 (дата обращения: 02.05.2023).
17. Санчес Э. Скрапинг веб-сайтов с помощью Excel. URL: https: //baguzin.ru/wp/eduardo-sanches-skraping-veb-sajtov-s-pomoshhyu-excel (дата обращения: 02.05.2023).
18. Импорт данных с web-страниц в Excel средствами VBA. URL: https: //ytikhonov. wordpress.com/2015/10/06/импорт-данных-с-web-страниц-в-excel-средствам (дата обраще-ния: 02.05.2023).
19. Анализ текстовых файлов с помощью объекта TextFieldParser (Visual Basic) // Learn. URL: https://learn.microsoft.com/ru-ru/dotnet/visual-basic/developing-apps/programming /drives-directories-files/parsing-text-files-with-the-textfieldparser-object (дата обращения: 03.05.2023).
20. Гаврилов Е.В., Исаков В.М., Цховребов Э.С. Проблемы обеспечения экологической безопасности на территории муниципального образования // Экосинформ. 2005. № 1. С. 17-21.
21. Исаков В.М., Цховребов Э.С. Правовые основы охраны окружающей среды. М.: МОФ МосУ МВД России, 2004. 100 с. EDN: QVXLKX
Выпуск
Другие статьи выпуска
В статье приведены теоретические аспекты строения, формирования и деградации пен, а также основные характеристики пен, влияющие на их стабильность. Пены различного состава и строения привлекают внимание ученых и исследователей из различных областей в связи с большой площадью поверхности и динамическим характером ее изменения. Пена играет важную роль в самых разных отраслях промышленности: от производства повседневных продуктов, таких как крем для бритья и стиральный порошок, до сложных технологических процессов. Многие свойства пен являются прямым следствием их геометрической структуры.
Непрекращающееся истощение природных ресурсов как основного сырья для получения углеводородов привело к широкому изучению биовозобновляемого сырья, особенно биоспиртов. Использование альтернативного вида сырья на основе биомассы позволит существенно улучшить как экологическую ситуацию в мире, в связи со снижением выбросов от сжигания легких газов, так и экономическую. Стоит отметить, что переработка спиртов, полученных из растительного сырья, может являться наиболее перспективной, поскольку для получения биоспиртов используются различные зерновые культуры, отходы лесопереработки, биомасса и т. д. Приведены некоторые особенности получения синтетических углеводородов из этанола, бутанола и изопропанола в качестве биовозобновляемого сырья. Представлена методика проведения трансформации спиртов в углеводороды
Рассмотрено создание перспективной математической модели для САПР в области электроснабжения с учетом надежности элементов электропитания технологического процесса, а также самостоятельного планирования программой линий электропитания на основе параметров «экономичность – надежность» и «секторы ограничения»
Рассмотрено электростатическое поле, созданное системой двух одноименных или разноименных зарядов. Расчеты выполнены для зарядов, расположенных на сферических непроводящих поверхностях, при этом полученные результаты могут обобщаться на любые формы заряженных объектов. Цель исследования – повышение корректности электростатических расчетов, исключающей возможность получения недостоверных результатов в виде бесконечно большой энергии. Применены методы электростатики. Энергия поля определена двумя способами: через плотность энергии и интегрирование по объему, занимаемому полем, и путем вычисления работы при гипотетическом перемещении заряженных объектов. Даны три определения различных видов электростатической энергии. Получены формулы для соответствующих энергий при различных комбинациях зарядов
Разработана математическая модель физических процессов, протекающих в озонаторе, а также представлены результаты численных расчетов, выполненных при реализации указанной модели при помощи программного пакета Scilab. Для верификации результатов численных экспериментов проведены натурные экспериментальные исследования зависимости концентрации озона от времени.
В статье представлены результаты расчета влияния установки автоматики ограничения снижения напряжения (АОСН) на ведение электроэнергетического режима работы энергосистемы крупного города, имеющего дефицит мощности собственных электростанций. Обоснованы места расположения и необходимость установки АОСН. Приведены примеры расчета электроэнергетического режима работы энергосистемы города.
В статье рассмотрены способы армирования бетона на основе отходов промышленного производства композитных сеток и многоанкерной фибры различной длины с целью повышения эффективности работы дорожных бетонных изделий. Приведены результаты испытаний модельных образцов, армированных фиброй. Испытания показали возможность эффективного использования отходов в производстве дорожных бетонных плит повышенной прочности
Стремительное развитие современных городов и мегаполисов, повышение уровня урбанизации, рост населения, и, соответственно, увеличение количества автомобилей приводят к нехватке организованных парковочных мест. В статье раскрыты преимущества и недостатки различных способов проектирования и строительства автостоянок и предложен анализ экономической эффективности рамповых и механизированных автостоянок в условиях существующей застройки. По результатам анализа различных вариантов создания парковочных пространств в исторических центрах городов определен оптимальный способ с позиции капитальных и эксплуатационных затрат.
Работа направлена на повышение энергоэффективности технологий производства изделий из сборного железобетона путем рациональной организации процесса тепловлажностной обработки (ТВО) в установках периодического действия. Проведено исследование механизма теплопередачи на основе критериальных уравнений, описывающих закономерности нагрева оснований формовочных дорожек с использованием регистров на гладких трубах. Анализ основных закономерностей теплового баланса дорожек позволил выполнить расчет необходимого количества насыщенного пара для обеспечения требуемой производительности процесса ТВО изделий при заданных параметрах регистров обогрева и использовании стандартного пластинчатого теплообменника типа «пар-вода» для подготовки вторичного теплоносителя. Результаты работы подтвердили высокую энергоэффективность процесса ТВО железобетонных изделий на формовочных дорожках с регистрами обогрева на гладких трубах.
Изучение проблемы формирования прочности материалов как дисперсных структур на стыке таких фундаментальных наук, как физическая и коллоидная химия, механика сплошной среды и структурная теория разрушения, открывает возможность эффективного поиска оптимальных составов композитных материалов, построения модели структуры материала в объеме, применения физических законов, а также помогает прогнозировать изменение свойств материала в зависимости от внешних условий. Учет оптимального распределения структурных элементов в объеме строительного материала позволяет достаточно полно описать поведение материала и, в частности, существенно повысить прочность бетона и получить его новые перспективные виды
Издательство
- Издательство
- ТВГТУ
- Регион
- Россия, Тверь
- Почтовый адрес
- 170026, Тверская обл, г Тверь, наб Афанасия Никитина, д 22
- Юр. адрес
- 170026, Тверская обл, г Тверь, наб Афанасия Никитина, д 22
- ФИО
- Твардовский Андрей Викторович (ИСПОЛНЯЮЩИЙ ОБЯЗАННОСТИ РЕКТОРА)
- E-mail адрес
- tvardovskiy@tstu.tver.ru
- Контактный телефон
- +7 (482) 2526335