Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 145-155
Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга
Д.А. Кобец
1 , А.М. Матвеев
1 , А.А. Мазуров
1 , А.А. Прошин
1 1 Институт космических исследований РАН, Москва, Россия
В настоящей работе рассматриваются возможности библиотеки управления процессами «commonbat.pm», реализованной на языке программирования PERL. Этот программный продукт предназначен для построения эффективных распределенных систем обработки информации и контроля над их функционированием. Рассматриваются основные объекты и понятия, с которыми работает библиотека: сессии, потоки и задания. Подробно описываются предпосылки возникновения библиотеки и её основные задачи, также представлена инфраструктура, в которой используется представленный функционал. Приводится структура базы данных для хранения статистической информации. Кратко рассматриваются основные возможности библиотеки, такие как возможность параллельного запуска приложений в разных областях дискового пространства, механизм задания таймаутов операций и их аварийного завершения, отслеживание кодов возврата запускаемых процедур и ведение подробных логов всех процессов с возможностью их последующего анализа. Также приведены примеры и ссылки на различные информационные системы, в которых применяются разработанные методы обработки спутниковых данных, такие как ИСДМ Рослесхоз, сервис ВЕГА и другие. Однако следует отметить, что реализованные методы и алгоритмы работы с данными могут применяться и в других системах обработки информации, в том числе с другими типами данных.
Ключевые слова: обработка данных, параллельные вычисления, автоматическая обработка данных, обработка данных дистанционного зондирования
Полный текстСписок литературы:
- Андреев М.В., Галеев А.А., Ефремов В.Ю., Ильин В.О., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В. Построение автоматизированных систем сбора, хранения, обработки и представления спутниковых данных для решения задач мониторинга окружающей среды. // Солнечно-земная физика. 2004, Вып. 5. С. 8-11.
- Балашов И.В., Бурцев М.А., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение архивов результатов обработки спутниковых данных для систем динамического формирования производных информационных продуктов // Современные проблемы дистанционного зондирования Земли из космоса. 2008. Т. 5. № 1. С. 26-31.
- Барталев С.А., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Котельников Р.В., Лупян Е.А., Мазуров А.А., Матвеев А.М., Щетинский В.Е. Организация работы со спутниковыми данными высокого пространственного разрешения в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства РФ (ИСДМ Рослесхоз) // «Пожаровзрывобезопасность». ООО “Издательство “Пожнаука”, 2009. № 8. С. 50-56.
- Барталев С.А., Ершов Д.В., Коровин Г.Н., Котельников Р.В., Лупян Е.А., Щетинский В.Е. Основные возможности и структура информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса, 2010. Т. 7. № 2. С. 97-105.
- Бурцев М.А., Антонов В.Н., Ефремов В.Ю., КашницкийА.В., Крамарева Л.С., Лупян Е.А., Мазуров А.А., Матвеев А.М., Милехин О.Е., Прошин А.А., Соловьев В.И. Система работы с распределенными архивами результатов обработки спутниковых данных центров приема НИЦ "Планета" // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 5. С. 55-76.
- Бурцев М.А., Ефремов В.Ю., Мазуров А.А., Матвеев А.М., Прошин А.А., Успенский С.А., Флитман Е.В. Распределенная система приема и обработки данных полярно-орбитальных спутников в центрах Росгидромета // Современные проблемы дистанционного зондирования Земли из космоса, 2008. Выпуск 5. Т. II. С. 443-446.
- Егоров В.А., Ильин В.О., Лупян E.A., Мазуров A.A., Прошин A.A., Флитман Е.В. Возможности построения автоматизированных систем обработки спутниковых данных на основе программного комплекса XV_SAT // Современные проблемы дистанционного зондирования Земли из космоса. 2004. № 1. С. 431-436.
- Ефремов В.Ю., Гирина О.А., Крамарева Л.С., Лупян Е.А., Маневич А.Г., Мельников Д.В., Матвеев А.М., Прошин А.А., Сорокин А.А., Флитман Е.В. Создание информационного сервиса "Дистанционный мониторинг активности вулканов Камчатки и Курил" // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 5. С. 155-170.
- Ефремов В.Ю., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Оптимизированная система хранения и представления географически привязанных спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса, 2007. Выпуск 4. Т. 1. С. 125-134.
- Ефремов В.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Управление и контроль работоспособности систем автоматизированной обработки спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Выпуск 1. С. 467-475.
- Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В. Технология построения автоматизированных информационных систем сбора, обработки, хранения и распространения спутниковых данных для решения научных и прикладных задач // Современные проблемы дистанционного зондирования Земли из космоса. 2004. С. 81-89.
- Лупян E.A., Мазуров A.A., Назиров Р.Р., Прошин А.А., Флитман Е.В., Крашенинникова Ю.С. Технологии построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 1. С. 26-43.
- Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В., Крашенинникова Ю.С. Технологии построения информационных систем дистанционного мониторинга // конференция "Использование средств и ресурсов Единой государственной системы информации об обстановке в Мировом океане для информационного обеспечения морской деятельности в Российской Федерации", ЕСИМО'2012. Обнинск. 25-27 сентября 2012. С. 197.
- Лупян Е.А., Савин И.Ю., Барталев С.А., Толпин В.А., Балашов И.В., Плотников Д.Е. Спутниковый сервис мониторинга состояния растительности ("Вега") // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 1. С. 190-198.
- Матвеев А.М., Мамаев А.С., Прошин А.А., Флитман Е.В. Организация контроля над функционированием распределенной системы ИСДМ Рослесхоз // Современные проблемы дистанционного зондирования Земли из космоса, 2009. Выпуск 6. Т. II. С. 535-541.
- Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 3. С. 93-108.
- Толпин В.А., Лупян Е.А., Барталев С.А., Плотников Д.Е., Матвеев А.М. Возможности анализа состояния сельскохозяйственной растительности с использованием спутникового сервиса «ВЕГА» // Оптика атмосферы и океана, 2014. Т. 27. № 7 (306). С. 581-586.