Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 156-170
Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах
А.В. Кашницкий
1 , И.В. Балашов
1 , Е.А. Лупян
1 , В.А. Толпин
1 , И.А. Уваров
1 1 Институт космических исследований РАН, Москва, Россия
В последние годы все актуальней становится задача разработки новых технологий работы с данными дистанционных наблюдений, которые должны позволить организовывать эффективную работу со сверхбольшими, постоянно пополняющимися архивами. “Традиционные” подходы предполагают сначала выбор необходимых наборов данных из архивов, создание их локальных копий у пользователя (исследователя), а потом проведение обработки и анализа. Использование такого подхода ограничивается целым рядом факторов, наиболее существенными из которых являются взрывной рост данных, поступающих от систем спутниковых наблюдений Земли, необходимость выборки, передачи и хранения больших объемов информации и наличие существенных вычислительных ресурсов для анализа данных, которые не всегда имеются у конкретных исследователей. В настоящей работе представлена разработанная в Институте космических исследований Российской академии наук (ИКИ РАН) технология организации распределенной обработки спутниковых данных. Технология ориентирована на то, чтобы обеспечить возможности не только выбора и просмотра различной спутниковой информации, но и проведение ее обработки и анализа полученных результатов с использованием вычислительных средств, расположенных в центрах архивации и представления данных. Технология позволяет исследователям использовать распределенные информационные и вычислительные ресурсы с той же легкостью, что и локальные, обеспечивает возможность эффективной работы со сверхбольшими распределенными архивами спутниковых данных и результатами их обработки. В работе описывается предлагаемая архитектура построения систем распределенной обработки данных, ее основные возможности. Приведены примеры реализации процедур обработки и их использование в различных системах дистанционного мониторинга для организации обработки и анализа спутниковых данных, в том числе гиперспектральных.
Ключевые слова: дистанционное зондирование, информационные системы, распределенная обработка данных, обработка спутниковых данных, web-интерфейсы, сверхбольшие архивы данных, спутниковые данные
Полный текстСписок литературы:
- Антонов А.В., Бурцев М.А., Ефремов В.Ю., Калашников А.В., Крамарева Л.С., Крашенинникова Ю.С., Лупян Е.А., Матвеев А.М., Прошин А.А., Флитман Е.В. Построение объединенного каталога распределенных архивов спутниковых данных различных центров // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т. 7. № 2. С. 84-89.
- Бабяк П. В., Недолужко И. В., Фомин Е. В. Подход к предоставлению услуг по обработке спутниковых данных в Центре коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН // Материалы конф. "Интернет и современное общество", 2014. С. 27-32.
- Балашов И.В., Бурцев М.А., Галеев А.А., Ефремов В.Ю., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Московский А.А., Прошин А.А., Сергеева К.О., Флитман Е.В. Разработка эффективных высокопроизводительных решений для создания систем динамической обработки спутниковых данных и результатов их анализа // Третья международная научная конференция "Суперкомпьютерные системы и их применения" (SSA' 2010). 25-27 мая 2010. Минск. Сборник докладов, ОИПИ НАН Белоруси, 2010. Т. 1. С. 30-34.
- Балашов И.В., Бурцев М.А., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение архивов результатов обработки спутниковых данных для систем динамического формирования производных информационных продуктов // Современные проблемы дистанционного зондирования Земли из космоса, 2008. Выпуск 5. Т. 1. С. 26-32.
- Балашов И. В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение систем, обеспечивающих динамическое формирование комплексных информационных продуктов на основе данных дистанционного зондирования // Современные проблемы дистанционного зондирования Земли из космоса, 2009. Выпуск 6. Т. 2. С. 513-520.
- Балашов И.В., Халикова О.А., Бурцев М.А., Лупян Е.А., Матвеев А.М. Организация автоматического получения наборов информационных продуктов из центров архивации и распространения спутниковых и метеоданных // Современные проблемы дистанционного зондирования Земли из космоса, 2013. Т. 10. № 3. С. 9-20.
- Барталев С.А., Егоров В.А., Ершов Д.В., Исаев А.С., Лупян Е.А., Плотников Д.Е., Уваров И.А. Спутниковое картографирование растительного покрова России по данным спектрорадиометра MODIS // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т. 8. № 4. С. 285-302.
- Барталев С.А., Ершов Д.В., Коровин Г.Н., Котельников Р.В., Лупян Е.А., Щетинский В.Е. Основные возможности и структура информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т. 7. № 2. С. 97–105.
- Бурцев М.А., Антонов В.Н., Ефремов В.Ю., КашницкийА.В., Крамарева Л.С., Лупян Е.А., Мазуров А.А., Матвеев А.М., Милехин О.Е., Прошин А.А., Соловьев В.И. Система работы с распределенными архивами результатов обработки спутниковых данных центров приема НИЦ "Планета" // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 5. С. 55-76.
- Бурцев М.А., Ефремов В.Ю., Балашов И.В., Мазуров А.А., Прошин А.А., Лупян Е.А., Милехин О.Е. Система доступа к данным Европейского, Сибирского и Дальневосточного центров приема Росгидромета. // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т. 8. № 3. С. 113-119.
- Ефремов В.Ю., Балашов И.В., Котельников Р.В., Лупян Е.А., Мазуров А.А., Прошин А.А., Толпин В.А., Уваров И.А., Флитман Е.В. Объединенный картографический интерфейс для работы с данными ИСДМ Рослесхоз // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т. 8. № 3. С. 129-139.
- Ефремов В.Ю., Гирина О.А., Крамарева Л.С., Лупян Е.А., Маневич А.Г., Мельников Д.В., Матвеев А.М., Прошин А.А., Сорокин А.А., Флитман Е.В. Создание информационного сервиса "Дистанционный мониторинг активности вулканов Камчатки и Курил" // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 5. С. 155-170.
- Куссуль Н. Н., Шелестов А. Ю. Grid-системы для задач исследования Земли // К.: Наукова думка, 2008. 452 c.
- Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В., Крашенинникова Ю.С. Технологии построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т. 8. № 1. С. 26-43.
- Лупян Е.А., Матвеев А.А., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Митягина М.И. Спутниковый сервис See the Sea – инструмент для изучения различных явлений на поверхности океана // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 2. С. 251-262.
- Лупян Е.А., Савин И.Ю., Барталев С.А., Толпин В.А., Балашов И.В., Плотников Д.Е. Спутниковый сервис мониторинга состояния растительности («ВЕГА») // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т. 8. № 1. С. 190-198.
- Лупян Е.А., Саворский В.П., Шокин Ю.И., Алексанин А.И., Назиров Р.Р., Недолужко И.В., Панова О.Ю. Современные подходы и технологии организации работы с данными дистанционного зондирования Земли для решения научных задач // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 5. С. 21-44.
- Миклашевич С.Э., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Мазуров А.А., Матвеев А.М., Прошин А.А., Радченко М.В., Флитман Е.В. Программно-аппаратный комплекс для сбора, обработки, архивации и распространения спутниковых данных и продуктов их тематической обработки // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 4. С. 47-56.
- Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса, 2011. Т. 8. № 3. С. 93-108.
- Шокин Ю.И., Антонов В.Н., Добрецов Н.Н., Кихтенко В.А., Лагутин А.А., Смирнов В.В., Чубаров Д.Л., Чубаров Л.Б. Распределенная система приема и обработки спутниковых данных Сибири и Дальнего Востока. Текущее состояние и перспективы развития // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. №. 5. С. 45-54.
- Acker J. G., Leptoukh G. Online analysis enhances use of NASA earth science data // Eos, Transactions American Geophysical Union, 2007. Vol. 88. No. 2. P. 14-17.
- Bouman C. A., Shapiro M. A multiscale random field model for Bayesian image segmentation // IEEE Trans. Image Process. 1994. Vol. 3. No. 2. P. 162-177.
- Moore R. T., Hansen M. C. Google Earth Engine: a new cloud-computing platform for global-scale earth observation data and analysis // AGU Fall Meeting Abstracts, 2011. Vol. 1. P. 2.
- Neteler M., Bowman M.H., Landa M., Metz M. GRASS GIS: A multi-purpose open source GIS // Environmental Modelling & Software, 2012. Vol. 31. P. 124-130.
- Warmerdam F. The geospatial data abstraction library // Open Source Approaches in Spatial Data Handling. Springer Berlin Heidelberg, 2008. P. 87-104.