Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 7. С. 79-93
Технология динамического блочного представления спутниковых данных системам распределённой обработки
А.А. Прошин
1 , E.А. Лупян
1 , И.В. Балашов
1 , А.В. Кашницкий
1 , А.М. Матвеев
1 , Б.П. Руткевич
1 1 Институт космических исследований РАН, Москва, Россия
Одобрена к печати: 10.12.2020
DOI: 10.21046/2070-7401-2020-17-7-79-93
Во многих задачах, связанных с обработкой и визуализацией пространственных данных, значительный выигрыш даёт использование блочного (тайлового) подхода, в рамках которого используются данные, представленные в виде блоков, на которые равномерно разбита вся зона интереса. Это позволяет эффективно организовать параллельную обработку данных на различных вычислительных узлах, использовать механизм кэширования и снизить нагрузку на централизованные ресурсы. При этом, как правило, используются уже подготовленные архивы данных с фиксированным пространственным разбиением. В то же время во многих случаях, в первую очередь когда необходимо совместно обрабатывать различные типы спутниковой информации, использование подготовленных архивов данных может быть нецелесообразным. Это связано с тем, что различные типы спутниковых данных существенно различаются как по пространственному разрешению, так и по схемам организации их хранения. В результате практически невозможно выбрать одно пространственное разбиение, которое было бы оптимальным для организации работы со всеми типами данных. Поэтому требуется разработка таких подходов к организации обработки спутниковых данных, которые могли бы максимально использовать преимущества блочного метода и оптимизации схемы хранения каждого конкретного типа данных. В статье представлен такой подход организации обработки спутниковых данных с использованием динамического блочного доступа к разнородным архивам спутниковых данных, в рамках которого необходимые для обработки данные формируются по запросу в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для проведения конкретного типа обработки. В работе приводится краткое описание разработанной технологии, а также рассматривается методика оценки оптимальных параметров разбиения для конкретной обработки и имеющейся инфраструктуры.
Ключевые слова: параллельная обработка спутниковых данных, архивы спутниковых данных, большие данные, ЦКП «ИКИ-Мониторинг»
Полный текстСписок литературы:
- Балашов И. В., Ефремов В. Ю., Мазуров-мл. А. А., Мамаев А. С., Матвеев А. М., Прошин А. А. Особенности организации контроля и управления распределенных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 3. С. 161–166.
- Егоров В. А., Ильин В. О., Лупян Е. А., Мазуров А. А., Прошин А. А., Флитман Е. В. Возможности построения автоматизированных систем обработки спутниковых данных на основе программного комплекса XV_SAT // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Вып. 1. С. 431–436.
- Кобец Д. А., Матвеев А. М., Мазуров А. А., Прошин А. А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 145–155.
- Кобец Д. А., Матвеев А. М., Прошин А. А., Мазуров А. А. Контроль работоспособности и управление распределенными комплексами автоматической потоковой обработки спутниковых данных // Вопросы электромеханики. Тр. ВНИИЭМ. Приложение за 2017 г.: Материалы 5-й международной научно-техн. конф. «Актуальные проблемы создания космических систем дистанционного зондирования Земли». 2017. С. 225–234. URL: http://www.vniiem.ru/ru/uploads/files/conferences/170525/materialy_2017.pdf.
- Лупян Е. А., Прошин А. А., Бурцев М. А., Балашов И. В., Барталев С. А., Ефремов В. Ю., Кашницкий А. В., Мазуров А. А., Матвеев А. М., Суднева О. А., Сычугов И. Г., Толпин В. А., Уваров И. А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263–284.
- Лупян Е. А., Прошин А. А., Бурцев М. А., Кашницкий А. В., Балашов И. В., Барталев С. А., Константинова А. М., Кобец Д. А., Мазуров А. А., Марченков В. В., Матвеев А. М., Радченко М. В., Сычугов И. Г., Толпин В. А., Уваров И. А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151–170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
- Прошин А. А., Лупян Е. А., Балашов И. В., Кашницкий А. В., Бурцев М. А. Создание унифицированной системы ведения архивов спутниковых данных, предназначенной для построения современных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 3. С. 9–27. DOI: 10.21046/2070-7401-2016-13-3-9-27.
- Gorelick N., Hancher M., Dixon M., Ilyushchenko S., Thau D., Moore R. Google Earth Engine: Planetaryscale geospatial analysis for everyone // Remote Sensing of Environment. 2017. V. 202. P. 18–27.
- Peterson M. P. Web Mapping Services // Intern. Encyclopedia of Geography: People, the Earth, Environment and Technology. 2016. P. 1–19.