Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 2. С. 49-61
Массово-параллельный подход к обработке радарных данных
С.Е. Попов
1 , Р.Ю. Замараев
1 , Л.С. Миков
1 1 Институт вычислительных технологий СО РАН, Новосибирск, Россия
Одобрена к печати: 18.03.2020
DOI: 10.21046/2070-7401-2020-17-2-49-61
В статье описывается современный подход к созданию высокопроизводительной вычислительной системы для обработки спутниковых радарных снимков на базе технологии Apache Spark. Рассматриваются предварительные этапы полных схем обработки данных для построения скоростей смещений земной поверхности методами малых базовых линий (SBaS) и постоянных отражателей (PS). Оба метода реализуются в несколько этапов, на каждом из которых расчётный алгоритм имеет собственные настроечные параметры. Их комбинация определяет результативность отдельного этапа и всего расчёта в целом. Соответственно, возникает задача организации на массивных данных многовариантного расчёта с пользовательским контролем промежуточных результатов и подбором параметров. Для её решения разработаны адаптированные схемы автоматического запуска расчётных заданий в параллельном режиме в кластерной среде под управлением Apache Spark с использованием объектов-исполнителей. Особенностью предлагаемых решений является использование настраиваемых контейнеров-исполнителей с внутренними механизмами взаимодействия между расчётными алгоритмами и возможность объединения контейнеров в единый сценарий запуска для получения конечного решения в виде смещений поверхности. В работе приводится общее описание организации параллельных вычислений и особенности реализации конкретных этапов предварительной обработки в рамках предложенного подхода. Приведены сравнительные результаты тестирования вычислительной системы на демонстрационном кластере. Показана возможность существенного сокращения времени выполнения расчётов в задачах обработки радарных данных с использованием только открытых стандартов и свободно распространяемых библиотек программного обеспечения, а также относительно дешёвого аппаратного обеспечения.
Ключевые слова: спутниковые радарные данные, дифференциальная интерферометрия, расчёт смещений земной поверхности, массово-параллельные вычисления, Apache Spark
Полный текстСписок литературы:
- Феоктистов А. А., Захаров А. И., Гусев М. А., Денисов П. В. Исследование возможностей метода малых базовых линий на примере модуля SBaS программного пакета SARScape и данных РСА ASAR/ENVISat и PALSAR/ALOS. Часть 1. Ключевые моменты метода // Журн. радиоэлектроники. 2015. № 9. С. 1–26.
- Costantini M., Farina A., Zirilli F. A fast phase unwrapping algorithm for SAR interferometry // IEEE Trans. Geoscience and Remote Sensing. 1999. V. 37. No. 1. P. 452–460.
- Crosetto M., Monserrat O., Cuevas-González M., Devanthéry N., Crippa B. Persistent Scatterer Interferometry: A review // ISPRS J. Photogrammetry and Remote Sensing. 2016. V. 115. P. 78–89.
- Ferretti A., Prati C., Rocca F., Wasowski J. Satellite interferometry for monitoring ground deformations in the urban environment // Proc. 10th Congress Intern. Association for Engineering Geology and the Environment (IAEG). 2006. P. 1–4.
- Gao Sh., Zeng Q., Jiao J., Liang C., Tong Q. Parallel processing of InSAR interferogram filtering with CUDA programming // Science of Surveying and Mapping. 2015. No. 1. P. 54–68.
- Goldstein R. M., Werner C. L. Radar Interferogram Phase Filtering for Geophysical Applications // Geophysical Research Letters. 1998. V. 25. P. 4035–4038.
- Guerriero A., Anelli V., Pagliara A., Nutricato R., Nitti D. Efficient implementation of InSAR time-consuming algorithm kernels on GPU environment // Proc. IEEE Intern. Geoscience and Remote Sensing Symp. (IGARSS-2015). 2015. P. 4264–4267.
- Karasev P., Campbell D., Richards M. Obtaining a 35x Speed up in 2D Phase Unwrapping Using Commodity Graphics Processors // Proc. IEEE Radar Conf. 2007. P. 574–578.
- Lanari R., Casu F., Manzo M., Zeni G., Berardino P., Manunta M., Pepe A. An Overview of the Small BAseline Subset Algorithm: A DInSAR Technique for Surface Deformation Analysis // Pure and Applied Geophysics. 2007. V. 164. P. 637–661.
- Marinkovic P. S., Hanssen R. F., Kampes B. M. Utilization of Parallelization Algorithms in InSAR/PS-InSAR Processing // Proc. Envisat ERS Symp. (ESA SP-572). 2004. P. 1–7.
- Sousaa J. J., Hooperc J. A., Hanssenc R. F., Bastosd L. C., Ruize A. M. Persistent Scatterer InSAR: A comparison of methodologies based on a model of temporal deformation vs. spatial correlation selection criteria // Remote Sensing of Environment. 2011. V. 115. No. 10. P. 2652–2663.
- Zhang F., Wang B., Xiang M. Accelerating InSAR raw data simulation on GPU using CUDA // Proc. IEEE Intern. Geoscience and Remote Sensing Symp. (IGARSS-2010). 2010. P. 2932–2935.