Надёжные данные о дожде: как алгоритмы выявляют засорённые осадкомеры

Надёжные данные о дожде: как алгоритмы выявляют засорённые осадкомеры

 

Надёжные метеорологические данные важны для повседневной жизни человека: планирование прогулки, посев сельскохозяйственных культур и подготовка к стихийным бедствиям зависят от знания того, какой погоды ожидать. Доступ к точным данным об осадках критически важен.

Однако иногда дождемеры засоряются, заполняются пылью или даже забиваются паутиной, из-за чего данные об осадках становятся ненадёжными.

«Мы часто сталкивались с этой проблемой», — сказала Ирене Темателево, специалист по данным в Microsoft и бывший член команды контроля качества Трансафриканской гидрометеорологической обсерватории (TAHMO) — сети недорогих метеостанций, установленных по всей Африке.

Метеорологические сети могут проверять данные дождемеров на наличие ошибок различными способами. В Oklahoma Mesonet — наземной метеорологической сети, разработанной и управляемой Университетом Оклахомы и Университетом штата Оклахома, — засорённые осадкомеры являются «очень распространённой проблемой», сказал Крис Фибрих, метеоролог из Университета Оклахомы.

«Это отличная тема для изучения, чтобы повысить качество данных об осадках, особенно в районах с редкой сетью наблюдений, таких как Африка».

В Oklahoma Mesonet учёные проводят контроль качества, сравнивая данные дождемеров с данными метеорологических радиолокаторов. Кроме того, дождемеры в сети устанавливаются парами, поэтому обычно совершенно ясно, что есть проблема, когда два дождемера показывают сильно различающиеся значения.

Однако такие метеорологические сети, как TAHMO, не полностью покрыты метеорологическими радиолокаторами и не располагают ресурсами для установки пар дождемеров в своих системах. В таких случаях учёные вынуждены использовать алгоритмы для выявления засорённых дождемеров.

Новое исследование под руководством Темателево, опубликованное в журнале Artificial Intelligence for the Earth Systems, проверило эффективность четырёх распространённых способов, которыми специалисты по данным выявляют неисправные дождемеры в своих сетях. Исследователи обнаружили, что некоторые из этих методов требуют плотного размещения станций, что делает их менее подходящими для мониторинга разреженных наземных метеорологических сетей.

«Это отличная тема для изучения, чтобы повысить качество данных об осадках, особенно в районах с редкой сетью наблюдений, таких как Африка», — сказал Фибрих.

Пересмотр дождемеров

Темателево и исследовательская группа сосредоточились на четырёх широко используемых алгоритмах, которые все использовали данные соседних дождемеров, чтобы определить, являются ли данные об осадках на конкретном дождемере ошибочными.

Первый алгоритм просто предсказывает, должен ли был дождемер зафиксировать осадки, на основе измерений его соседей. Второй — алгоритм, который в настоящее время использует TAHMO, — опирается на вероятность осадков и их ожидаемый объём. Третий добавляет в уравнение исторические данные о взаимосвязи между дождемерами, а четвёртый включает расстояние между дождемерами в качестве ещё одного фактора.

Чтобы проверить эффективность этих методов, Темателево и исследовательская группа применили каждый из них как в сети TAHMO, так и в Oklahoma Mesonet. Они создали поддельные ошибочные точки данных в обоих наборах данных, чтобы проверить, насколько хорошо и насколько быстро каждый из четырёх алгоритмов может обнаружить поддельные неисправные дождемеры.

«В TAHMO корреляция просто намного слабее, чем в Оклахоме, что делает обнаружение гораздо более сложным».

Исследователи обнаружили большие различия в том, насколько коррелированы дождемеры каждой сети с их соседями. В Oklahoma Mesonet измерение осадков одним дождемером было тесно связано с измерением осадков соседним дождемером, что делало все алгоритмы эффективными в выявлении неисправных дождемеров. Но в сети TAHMO соседние дождемеры были далеко не так коррелированы, даже в районах с более плотным размещением станций. Ни один из алгоритмов не обнаруживал неисправные дождемеры в сети TAHMO с приемлемой частотой.

«В TAHMO корреляция просто намного слабее, чем в Оклахоме, что делает обнаружение гораздо более сложным. Количество сигнала, доступного для диагностики неисправной станции, не так велико», — сказал Темателево.

Учёные предполагают, что это различие может быть хотя бы частично объяснено изменчивостью рельефа и климата по всей сети TAHMO, которая охватывает весь континент. В Африке, по словам Темателево, могут наблюдаться резкие различия в осадках на протяжении всего нескольких километров. Но в Оклахоме характер осадков более однороден, и нет огромных изменений в топографии, которые вызывают изменчивость осадков, сказал Фибрих.

Темателево хочет дополнительно исследовать причины низкой эффективности алгоритмов, используемых в сети TAHMO. «У нас нет окончательного ответа на вопрос, почему это так», — сказал он.

Модернизация сети

На основе результатов Темателево рекомендует TAHMO увеличить плотность своих дождемеров или установить резервные дождемеры, чтобы увеличить сигналы, доступные для обнаружения неисправных приборов. TAHMO ставит целью в конечном итоге развернуть 20 000 метеостанций; в настоящее время она управляет около 600.

Процессы контроля качества данных для TAHMO и подобных сетей также должны использовать несколько алгоритмов для повышения точности обнаружения, сказал Темателево. «Возможно, вы захотите использовать более одного алгоритма, чтобы задействовать сильные стороны каждого из них и сделать диагностику более надёжной».

В целом, необходимо провести больше исследований, чтобы узнать, как методы контроля качества данных, эффективно работающие в хорошо развитых сетях, таких как Oklahoma Mesonet, могут работать в развивающихся сетях, таких как TAHMO.

«Очень полезно оценивать это в таком месте, как Африка, потому что есть много других сетей, которые находятся в такой же ситуации или имеют только один дождемер [на станции]», — сказал Фибрих. «Предоставление такого анализа действительно полезно».

Дальнейшие шаги исследователей связаны с поиском дополнительных признаков неисправности осадкомеров, которые не зависят от плотности сети. Среди перспективных направлений — анализ временной динамики сигналов (например, внезапное «застывание» показаний на одном уровне при том, что соседние станции фиксируют дождь), использование спутниковых данных об осадках в качестве независимого источника сравнения, а также применение методов машинного обучения, способных учитывать локальные особенности рельефа и климата. Кроме того, Темателево предлагает дополнить алгоритмический контроль качества регулярными физическими проверками станций и обучением местных наблюдателей, поскольку в условиях ограниченных ресурсов сочетание автоматических и «ручных» методов может дать наибольший эффект. По его словам, даже скромное повышение надёжности данных об осадках в Африке способно заметно улучшить прогнозы наводнений и засух, планирование сельскохозяйственных работ и раннее предупреждение о стихийных бедствиях.


Источники: van Deelen, G. (2026), Detecting blocked rain gauges for reliable weather data, Eos, 107, https://doi.org/10.1029/2026EO260374; AGU, CC BY-NC-ND 3.0.