Современные проблемы дистанционного зондирования Земли из космоса. 2021. Т. 18. № 6. С. 35-45
Экспериментальная оценка точности мультиклассовой сегментации объектов на спутниковых снимках на основе модифицированной свёрточной нейронной сети U-net
С.М. Багаев
1 , Е.В. Медведева
1 1 Вятский государственный университет, Киров, Россия
Одобрена к печати: 09.11.2021
DOI: 10.21046/2070-7401-2021-18-6-35-45
Представлена методология исследования точности сегментации целевых объектов на спутниковых снимках, принадлежащих разным классам, на основе модифицированной свёрточной нейронной сети U-net. Рассмотрены основные этапы сегментации: подготовки входных данных; модификации структуры свёрточной нейронной сети (СНС) с учётом параметров исследуемых изображений; обучения СНС на сформированной обучающей выборке; сегментации тестовых снимков. Для обучения и тестирования модифицированной СНС U-net использованы мультиспектральные снимки, полученные со спутника WorldView-3. Проведены экспериментальные исследования по повышению точности сегментации целевых объектов. Для реализации метода мультиклассовой сегментации предложены два алгоритма. Первый алгоритм реализуется на единой СНС. Второй — на основе отдельно обученных СНС для работы с каждым конкретным классом и с последующим объединением результатов их работы. Средняя точность сегментации первым алгоритмом по метрике Жаккара составила 76 %, по метрике F-мера — 0,66. Второй алгоритм повысил точность сегментации объектов похожих и редких классов на 23 % по метрике Жаккара и на 26 % по метрике F-мера при ограниченной тренировочной выборке изображений и вычислительных ресурсах.
Ключевые слова: мультиклассовая сегментация, спутниковые снимки, свёрточная нейронная сеть, оценка точности сегментации
Полный текстСписок литературы:
- Гонсалес Р. , Вудс Р. Цифровая обработка изображений: пер. с англ. 3-е изд., испр. и дополн. / пер. Л. И. Рубанова, П. А. Чочиа; ред. П. А. Чочиа. М.: Техносфера, 2012. 1104 с.
- Захваткина Н. Ю. Бычкова И. А. , Смирнов В. Г. Цифровая обработка данных Sentinel-1 для автоматизированного выделения кромки старых льдов // Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 5. С. 23–34. DOI: 10.21046/2070-7401-2020-17-5-23-34.
- Медведева Е. В. , Курбатова Е. Е. , Окулова А. А. Текстурная сегментация зашумленных изображений поверхности Земли // Современные проблемы дистанционного зондирования Земли из космоса. 2017. Т. 14. № 7. С. 20–28. DOI: 10.21046/2070-7401-2017-14-7-20-28.
- Родионова Н. В. Текстурная сегментация одноканальных изображений: примеры применения // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 3. С. 65–69.
- Шапиро Л. , Стокман Дж. Компьютерное зрение: пер. с англ. / пер. А. А. Богуславского; ред. С. М. Соколов. М.: Бином. Лаборатория знаний, 2006. 752 с.
- Шовенгердт Р. А. Дистанционное зондирование. Модели и методы обработки изображений: пер. с англ. / пер. А. В. Кирюшина, А. И. Демьяникова. М.: Техносфера, 2010. 594 с.
- Borne F. , Viennois G. Texture-based classification for characterizing regions on remote sensing images // J. Applied Remote Sensing. 2017. V. 11(3). DOI: 10.1117/1.JRS.11.036028.
- Fichtel L. , Fruhwald A. M. , Hosch L. , Schreibmann V. , Bachmeir C. , Bohlander F. Tree Localization and Monitoring on Autonomous Drones employing Deep Learning // Proc. 29th Conf. Open Innovations Association (FRUCT). 2021. P. 132–140. DOI: 10.23919/FRUCT52173.2021.9435549.
- Gudzius P. , Kurasova O. , Filatovas E. Optimal U-Net Architecture for Object Recognition Problems in Multispectral Satellite Imagery // Proc. 2019 IEEE/ACS 16th Intern. Conf. Computer Systems and Applications (AICCSA). 2019. Art. No. 19454678. 2 p. DOI: 10.1109/AICCSA47632.2019.9035305.
- Li M. , Zang S. , Zhang B. , Li S. , Wu C. A Review of Remote Sensing Image Classification Techniques: the Role of Spatio-contextual Information // European J. Remote Sensing. 2014. V. 47. P. 389–411. DOI: 10.5721/EuJRS20144723.
- Medvedeva E. , Evdokimova A. Detection of Texture Objects on Multichannel Images // Proc. 24th Conf. Open Innovations Association (FRUCT). 2019. P. 249–254. DOI: 10.23919/FRUCT.2019.8711986.
- Medvedeva E. V. , Kurbatova E. E. Image Segmentation Based on Two-Dimensional Markov Chains // Computer Vision in Control Systems-2. Innovations in Practice. Switzerland: Springer Intern. Publishing, 2015. P. 277–295. DOI: 10.1007/978-3-319-11430-9_11.
- Overton T. , Tucker A. DO-U-Net for Segmentation and Counting: Applications to Satellite and Medical Images // Advances in Intelligent Data Analysis XVIII. 2020. P. 391–403. DOI: 10.1007/978-3-030-44584-3_31.
- Persello C. , Tolpekin V. A. , Bergado J. R. , de By R. A. Delineation of agricultural fields in smallholder farms from satellite images using fully convolutional networks and combinatorial grouping // Remote Sensing of Environment. 2019. V. 231. Art. No. 111253. DOI: 10.1016/j.rse.2019.111253.
- Ronneberger O. , Fischer P. , Brox T. U-net: Convolutional networks for biomedical image segmentation // Proc. Intern. Conf. Medical Image Computing and Computer-Assisted Intervention. Springer Intern. Publishing, 2015. P. 234–241. DOI: 10.1007/978-3-319-24574-4_28.
- Yuan J. , Wang D. L. Remote sensing image segmentation by combining spectral and texture features // IEEE Trans. Geoscience and Remote Sensing. 2014. V. 52(1). P. 16–24. DOI: 10.1109/TGRS.2012.2234755.