Современные проблемы дистанционного зондирования Земли из космоса. 2024. Т. 21. № 2. С. 36-50
Нейросетевая сегментация облачности и снежного покрова по мультиспектральным данным гидрометеорологического спутника «Электро-Л» № 2
Н.В. Беляков
1 , А.В. Васильев
2 , С.В. Колпинский
3 1 Московский государственный университет имени М.В. Ломоносова, Москва, Россия
2 Научно-исследовательский вычислительный центр МГУ имени М.В. Ломоносова, Москва, Россия
3 Национальный исследовательский университет "МЭИ", Москва, Россия
Одобрена к печати: 29.03.2024
DOI: 10.21046/2070-7401-2024-21-2-36-50
Работа посвящена методике детектирования облачности и снежного покрова по мультиспектральным данным с аппаратуры многозонального сканирующего устройства геостационарного (МСУ-ГС) космического аппарата (КА) «Электро-Л» № 2 с применением нейронной сети свёрточного типа. Для разработки нейросетевого алгоритма был создан собственный набор данных, содержащий мультиспектральные снимки с аппаратуры МСУ-ГС, установленной на космическом аппарате «Электро-Л» № 2, с разметкой снега и облачности. Для создания разметки облачного и снежного покрова были использованы репроецированные на точку стояния «Электро-Л» № 2 снимки с космических аппаратов GOES-16 (англ. Geostationary Operational Environmental Satellite) и Meteosat-10. В качестве дополнительных сведений приложена географическая информация: широта, долгота и высота для пикселей снимков. В качестве модели нейросети применяется MANet (англ. Multi-Scale Attention Network). Одной из существенных проблем при разработке алгоритма сегментации снега и облачности становится отсутствие коротковолновых инфракрасных каналов (1300–1600 нм), необходимых для работы классических алгоритмов сегментации на основе тестов по нормированному снежному индексу. При ограничениях на спектральные характеристики аппаратуры МСУ-ГС и низком разрешении снимков в качестве решения задачи выделения снега и облаков на мультиспектральных данных предлагается нейросетевой алгоритм, способный по неявным признакам и закономерностям дифференцировать снег и облака. Для репрезентативности снимки в выборке включают в себя все времена года и разные уровни освещённости (12:00–17:00 UTC (англ. Coordinated Universal Time, всемирное координированное время)). Обученная нейронная сеть для сегментации протестирована в различных сценариях, включая зимний и летний периоды года в дневное время суток при разном уровне освещённости снимков применительно к данным с прибора МСУ-ГС спутника «Электро-Л» № 2. По результатам тестирования получены следующие метрики качества сегментации: F1s = 0,7454, F1c = 0,8773 и IoUs = 0,7398, IoUc = 0,7976 (англ. Intersection over Union index) для классов снега (англ. snow, субскрипт s) и облачности (англ. clouds, субскрипт c) соответственно.
Ключевые слова: «Электро-Л» № 2, МСУ-ГС, свёрточная нейронная сеть, сегментация, облачный покров, снежный покров, географическая информация, карта высот
Полный текстСписок литературы:
- Астафуров В. Г., Евсюткин Т. В., Курьянович К. В., Скороходов А. В. Статистическая модель текстурных признаков перистой облачности по спутниковым снимкам MODIS // Оптика атмосферы и океана. 2014. Т. 27. № 7. С. 640–646.
- Ackerman S. A., Frey R. MODIS Atmosphere L2 Cloud Mask Product / NASA MODIS Adaptive Processing System. Goddard Space Flight Center. 2015. DOI: 10.5067/MODIS/MOD35_L2.061.
- Bloshchinskiy V. D., Kuchma M., Andreev A., Sorokin A. Snow and cloud detection using a convolutional neural network and low-resolution data from the Electro-L No. 2 Satellite // J. Applied Remote Sensing. 2020. V. 14. No. 3. Article 034506. DOI: 10.1117/1.JRS.14.034506.
- Cao H., Luo X., Peng Y. et al. MANet: A Network Architecture for Remote Sensing Spatiotemporal Fusion Based on Multiscale and Attention Mechanisms // Remote Sensing. 2022. V. 14. No. 18. P. 4600–4600. https://doi.org/10.3390/rs14184600.
- Fan T., Wang G., Li Y. et al. MA-Net: A Multi-Scale Attention Network for Liver and Tumor Segmentation // IEEE Access. 2020. V. 8. P. 179 656–179 665. DOI: 10.1109/ACCESS.2020.3025372.
- Heidinger A., Botambekov D., Walthe A. Algorithm theoretical basis document. A Naïve Bayesian Cloud Mask Delivered to NOAA Enterprise. 10 July. 2017. 50 p. https://www.ospo.noaa.gov/Products/Suites/files/atbd/Cloud_Mask_Enterprise_ATBD_v1.1_2016.pdf.
- Khlopenkov K., Trishchenko A. SPARC: New cloud, snow, and cloud shadow detection scheme for historical 1-km AVHHR data over Canada // J. Atmospheric and Oceanic Technology. 2007. V. 24. No. 3. P. 322–343. DOI: 10.1175/JTECH1987.1.
- Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // arXiv preprint. arXiv:1404.5997. 2012. http://arxiv.org/abs/1404.5997.
- Li R., Zheng S., Duan C. et al. Multiattention Network for Semantic Segmentation of Fine Resolution Remote Sensing Images // IEEE Trans. Geoscience and Remote Sensing. 2022. V. 60. Article 5607713. P. 1–13. DOI: 10.1109/TGRS.2021.3093977.
- Lin T., Goyal P., Girshick R., He K., Dollar P. Focal Loss for Dense Object Detection // arXiv preprint. arXiv:1708.02002. 2018. https://arxiv.org/pdf/arXiv.1708.02002.
- Loshchilov I., Hutter F. SGDR: Stochastic Gradient Descent with Warm Restarts // arXiv preprint. arXiv:1608.03983v5. 2017. https://doi.org/10.48550/arXiv.1608.03983.
- Loshchilov I., Hutter F. Decoupled weight decay regularization // arXiv preprint. arXiv:1711.05101. 2019. https://arxiv.org/pdf/1711.05101.
- Miller S., Lee T., Fennimore R. L. Satellite-based imagery techniques for daytime cloud/snow delineation from MODIS // J. Applied Meteorology. 2005. V. 44. No. 7. P. 987–997. DOI: 10.1175/JAM2252.1.
- Mohajerani S., Saeedi P. Cloud-Net: An End-To-End Cloud Detection Algorithm for Landsat 8 Imagery // 2019 IEEE Intern. Geoscience and Remote Sensing Symp. (IGARSS 2019). 2019. P. 1029–1032.
- Sun S., Cao Z., Zhu H., Zhao J. A Survey of Optimization Methods From a Machine Learning Perspective // arXiv preprint. arXiv:1906.06821. 2019. https://arxiv.org/pdf/arXiv.1906.06821.
- Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (Image Classification) // arXiv preprint. arXiv:1905.11946. 2019. https://doi.org/10.48550/arXiv.1905.11946.
- Wildt M. D. R. D., Seiz G., Gruen A. Operational snow mapping using multitemporal Meteosat SEVIRI imagery // Remote Sensing of Environment. Elsevier Inc., 2007. V. 109. P. 29–41. DOI: 10.1016/j.rse.2006.12.008.
- Wortsman M., Ilharco G., Gadre S. Y. et al. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time // Proc. 39th Intern. Conf. Machine Learning. PMLR. 2022. V. 162. P. 23965–23998. https://doi.org/10.48550/arXiv.2203.05482.
- Wright L., Demeure N. Ranger21: a synergistic deep learning optimizer // arXiv preprint. arXiv:2106.13731. 2021. https://doi.org/10.48550/arXiv.2106.13731.
- Wu X., Shi Z., Zou Z. A geographic information-driven method and a new large scale dataset for remote sensing cloud/snow detection // ISPRS J. Photogrammetry and Remote Sensing. 2021. V. 174. No. 11. P. 87–104. DOI: 10.1016/j.isprsjprs.2021.01.023.
- Wu Y., Liu L., Bae J. et al. Demystifying Learning Rate Policies for High Accuracy Training of Deep Neural Networks // IEEE Intern. Conf. Big Data. 2019. P. 1971–1980. DOI: 10.1109/BigData47090.2019.9006104.
- Yin M., Wang P., Ni C. et al. Cloud and snow detection of remote sensing images based on improved Unet3+ // Scientific Reports. 2022. V. 12. No. 1. DOI: 10.1038/s41598-022-18812-6.
- Zhang J., Li X., Li L. et al. Lightweight U-Net for cloud detection of visible and thermal infrared remote sensing images // Optical and Quantum Electronics. 2020. V. 52. No. 9. P. 397–397. DOI: 10.1007/s11082-020-02500-8.