Современные проблемы дистанционного зондирования Земли из космоса. 2017. Т. 14. № 3. С. 92-103
Организация контроля и анализа работоспособности систем автоматизированной обработки спутниковых данных с использованием BI-технологий
Д.А. Кобец
1 , И.В. Балашов
1 , И.Г. Сычугов
1 , В.А. Толпин
1 1 Институт космических исследований РАН, Москва, Россия
Одобрена к печати: 05.06.2017
DOI: 10.21046/2070-7401-2017-14-3-92-103
В работе рассматривается опыт применения технологий Business intelligence (BI) для построения уровня контроля и анализа работоспособности систем автоматизированной обработки спутниковых данных. Приведён веб-интерфейс мониторинга хода выполнения автоматической обработки спутниковых данных. Разбирается назначение и функционал блоков системы автоматической обработки спутниковых данных на всех её уровнях (уровень подготовки данных, формирования заданий, обработки, контроля и управления). Приведены примеры интерактивных отчётных форм для анализа статистических данных, ориентированных на разные задачи и используемых для оперативного выявления неполадок в цепях обработки. Представлена структура распределённых кластеров вычислительных узлов, а также серверов и баз данных, участвующих в обработке спутниковых данных. Особое внимание уделено описанию функционирования блока контроля (в том числе OLAP-кубов (online analytical processing), являющихся его важной частью). Рассматриваются особенности собираемой с вычислительных узлов статистической информации об их состояниях. Приведён перечень проектов (сервисов анализа данных и информационных систем дистанционного мониторинга), в составе которых задействованы описываемые в статье блоки контроля и управления.
Ключевые слова: анализ спутниковых данных, системы дистанционного мониторинга, параллельные вычисления, автоматическая обработка данных, обработка данных дистанционного зондирования, BI-технологии, OLAP, интерактивная отчётность, отчётные формы
Полный текстСписок литературы:
- Балашов И.В., Ефремов В.Ю., Мазуров А.А., Мамаев А.С., Матвеев А.М., Прошин А.А. Особенности организации контроля и управления распределенных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 3. С. 161–166.
- Барталев С.А., Ершов Д.В., Лупян Е.А., Толпин В.А. Возможности использования спутникового сервиса Вега для решения различных задач мониторинга наземных экосистем // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 1. С. 49–56.
- Гордеев Е.И., Гирина О.А., Лупян Е.А., Сорокин А.А., Крамарева Л.С., Ефремов В.Ю., Мельников Д.В. Информационная система VolSatView для решения задач мониторинга вулканической активности Камчатки и Курил // Вулканология и сейсмология. 2016. № 6. С. 62–77.
- Ефремов В.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Управление и контроль работоспособности систем автоматизированной обработки спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Вып. 1. Т. 1. С. 467–475.
- Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 145–155.
- Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., Кобец Д.А., Крашенинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров И.А., Флитман Е.В. (2015а) Создание технологий построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 53–75.
- Лупян Е.А., Барталев С.А., Ершов Д.В., Котельников Р.В., Балашов И.В., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Жарко В.О., Ковганко К.А., Колбудаев П.А., Крашенинникова Ю.С., Прошин А.А., Мазуров А.А., Уваров И.А., Стыценко Ф.В., Сычугов И.Г., Флитман Е.В., Хвостиков С.А., Шуляк П.П. (2015б) Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 222–250.
- Лупян Е.А., Барталев С.А., Балашов И.В., Барталев С.С., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Жарко В.О., Кашницкий А.В., Колбудаев П.А., Крамарева Л.С., Мазуров А.А., Оксюкевич А.Ю., Плотников Д.Е., Прошин А.А., Сенько К.С., Уваров И.А., Хвостиков С.А., Ховратович Т.С. Информационная система комплексного дистанционного мониторинга лесов «Вега-Приморье» // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 5. С. 11–28.
- Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В., Крашенинникова Ю.С. (2011а) Технологии построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 1. С. 26–43.
- Лупян Е.А., Маmвеев А.М., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Миmягина М.И. (2012а) Спутниковый сервис See the Sea — инструмент для изучения процессов и явлений на поверхности океана // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С. 251—262.
- Лупян Е.А., Милехин О.Е., Антонов В.Н., Крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин В.А., Соловьев В.И. Система работы с объединёнными информационными ресурсами, получаемыми на основе спутниковых данных в центрах НИЦ «Планета» // Метеорология и гидрология. 2014. № 2. С. 89–97.
- Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. (2015в) Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263–284.
- Лупян Е.А., Савин И.Ю., Барталев С.А., Толпин В.А., Балашов И.В., Плотников Д.Е. (2011б) Спутниковый сервис мониторинга состояния растительности («Вега») // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 1. С. 190–198.
- Нестеренко А.А., Романов А.А., Андреев М.В., Лупян Е. А. Общесистемное обеспечение отраслевой системы мониторинга Госкомрыболовства // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Т. 1. С. 204–212.
- Паклин Н., Орешков В. Бизнес-аналитика. От данных к знаниям. СПб: Питер, 2013. 704 с.