Современные проблемы дистанционного зондирования Земли из космоса. 2022. Т. 19. № 1. С. 65-77
Модели U-Net для семантической сегментации повреждённых деревьев сосны сибирской кедровой на снимках с БПЛА
Н.Г. Марков
1 , К.А. Маслов
1 , И.А. Керчев
2 , О.С. Токарева
1 1 Томский политехнический университет, Томск, Россия
2 Институт мониторинга климатических и экологических систем СО РАН, Томск, Россия
Одобрена к печати: 13.01.2022
DOI: 10.21046/2070-7401-2022-19-1-65-77
В трёх регионах Западной Сибири: Томской, Кемеровской и Новосибирской областях — с 2019 г. наблюдается стремительное усыхание древостоев сосны сибирской кедровой Pinus sibirica Du Tour, вызванное новым чужеродным вредителем — союзным короедом Ips amitinus Eichh. Успешность мероприятий по борьбе с короедом напрямую зависит от своевременности выявления заселённых им деревьев. Выявить их можно по характерным признакам вершинного усыхания, которое малозаметно при наземном обследовании. Использование беспилотных летательных аппаратов (БПЛА) обеспечивает высокую оперативность наблюдений и получение снимков крон деревьев со сверхвысоким пространственным разрешением. Статья посвящена разработке моделей глубокого обучения U-Net и их исследованию при решении задачи семантической сегментации деревьев Pinus sibirica, повреждённых союзным короедом, на снимках с БПЛА. Для анализа состояния деревьев экспертами было выделено пять классов жизненного состояния Pinus sibirica: «условно здоровое», «свежезаселённое», «с усохшей вершиной», «свежий сухостой» и «старый сухостой». Деревья других видов и оставшиеся объекты на изображениях относились к классу «фон». В качестве исходных данных использовались снимки с квадрокоптера DJI Phantom 3 Standard, полученные в июле 2019 г. Для решения задачи сегментации изображений с БПЛА был предложен ряд моделей глубокого обучения: полносвёрточная сеть U-Net на основе известной модели U-Net и две её модификации — multihead-U-Net (MH-U-Net) и multihead-residual-U-Net (MH-Res-U-Net). MH-U-Net — ансамбль из трёх моделей U-Net различной глубины, причём модели делят между собой часть весов и пытаются одновременно анализировать изображение в различных масштабах. Модель MH-Res-U-Net обладает всеми свойствами MH-U-Net и дополнительно использует остаточные блоки. Результаты исследований показали, что все модели успешно классифицируют пиксели пяти классов из шести: модели U-Net и MH-Res-U-Net хорошо сегментируют все классы, кроме класса «свежезаселённое», а модель MH-U-Net — все классы, кроме класса «свежий сухостой». Основную сложность для сегментации представили классы промежуточного состояния деревьев. Однако MH-U-Net справляется с сегментацией промежуточного класса «свежезаселённое», U-Net — класса «с усохшей вершиной», а MH-Res-U-Net — класса «свежий сухостой».
Ключевые слова: беспилотный летательный аппарат, глубокое обучение, полносвёрточная сеть, U-Net, семантическая сегментация, сосна сибирская кедровая, Pinus sibirica Du Tour, союзный короед, Ips amitinus Eichh.
Полный текстСписок литературы:
- Керчев И. А., Кривец С. А., Бисирова Э. М., Смирнов Н. А. (2021а) Распространение союзного короеда Ips amitinus (Eichhoff, 1872) в Западной Сибири // Российский журн. биолог. инвазий. 2021. № 4. С. 77–84. DOI: 10.35885/1996-1499-2021-14-4.
- Керчев И. А., Маслов К. А., Марков Н. Г., Токарева О. С. (2021б) Семантическая сегментация поврежденных деревьев пихты на снимках с беспилотных летательных аппаратов // Современные проблемы дистанционного зондирования Земли из космоса. 2021. Т. 18. № 1. С. 116–126. DOI: 10.21046/2070-7401-2021-18-1-116-126.
- Bertels J., Eelbode T., Berman M., Vandermeulen D., Maes F., Bisschops R., Blaschko M. Optimizing the Dice Score and Jaccard Index for Medical Image Segmentation: Theory and Practice // arXiv preprint. arXiv:1911.01685. 2019. 9 p. URL: https://arxiv.org/abs/1911.01685 (accessed 18.11.2021).
- Bradshaw C. J. A., Leroy B., Bellard C., Roiz D., Albert C., Fournier A., Barbet-Massin M., Salles J.-M., Simard F., Courchamp F. Massive yet grossly underestimated global costs of invasive insects // Nature Communications. 2016. V. 7. Art. No. 12986. DOI: 10.1038/ncomms12986.
- Chenari A., Erfanifard Y., Dehghani M., Pourghasemi H. R. Woodland Mapping at Single-Tree Levels Using Object-Oriented Classification of UAV Images // The Intern. Archives of the Photogrammetry. Remote Sensing and Spatial Information Sciences. 2017. V. XLII-4/W4. P. 43–49. DOI: 10.5194/isprs-archives-XLII-4-W4-43-2017.
- Gini R., Sona G., Ronchetti G., Passoni D., Pinto L. Improving Tree Species Classification Using UAS Multispectral Images and Texture Measures // Intern. J. Geo-Informatics. 2018. V. 7. Iss. 8. Art. No. 325. DOI: 10.3390/ijgi7080315.
- He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // arXiv preprint. arXiv:1512.03385. 2015. 12 p. URL: https://arxiv.org/abs/1512.03385 (accessed 21.11.2021).
- Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift // arXiv preprint. arXiv:1502.03167. 2015. 11 p. URL: https://arxiv.org/abs/1502.03167 (accessed 07.11.2021).
- Kerchev I. A., Mandelshtam M. Yu., Krivets S. A., Ilinsky Yu. Yu. Small spruce bark beetle Ips amitinus (Eichhoff, 1872) (Coleoptera, Curculionidae: Scolytinae): a new alien species in West Siberia // Entomological Review. 2019. V. 99. No. 5. P. 639–644.
- Kingma D. P., Ba J. Adam: A Method for Stochastic Optimization // arXiv preprint. arXiv:1412.6980. 2014. 15 p. URL: https://arxiv.org/abs/1412.6980 (accessed 07.11.2021).
- Lee S., Park S., Baek G., Kim H., Lee C. Detection of Damaged Pine Tree by the Pine Wilt Disease Using UAV Image // Korean J. Remote Sensing. 2019. V. 35. No. 3. P. 359–373. DOI: 10.7780/kjrs.2019.35.3.2.
- Liu C., Diagne C., Angulo E., Banerjee A.-K., Chen Y., Cuthbert R. N., Haubrock P. J., Kirichenko N., Pattison Z., Watari Y., Xiong W., Courchamp F. Economic costs of biological invasions in Asia // The economic costs of biological invasions around the world / eds. Zenni R. D., McDermott S., García-Berthou E., Essl F. NeoBiota, 2021. V. 67. P. 53–78. URL: https://neobiota.pensoft.net/article/58147/.
- McInnes L., Healy J., Melville J. UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction // arXiv preprint. arXiv:1802.03426. 2018. 51 p. URL: https://arxiv.org/abs/1802.03426 (accessed 01.11.2021).
- Økland B., Flø D., Schroeder M., Zach P., Cocos D., Martikainen P., Siitonen J., Mandelshtam M. Y., Musolin D. L., Neuvonen S., Vakula J., Nikolov C., Lindelöw Å., Voolma K. Range expansion of the small spruce bark beetle Ips amitinus: a newcomer in northern Europe // Agricultural and Forest Entomology. 2019. V. 21. No. 3. P. 286–298.
- Onishi M., Ise T. Automatic Classification of Trees Using a UAV Onboard Camera and Deep Learning // arXiv preprint. arXiv:1804.10390. 2018. 9 p. URL: https://arxiv.org/abs/1804.10390 (accessed 01.11.2021).
- Paszke A., Chaurasia A., Kim S., Culurciello E. ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation // arXiv preprint. arXiv:1606.02147. 2016. 10 p. URL: https://arxiv.org/abs/1606.02147 (accessed 13.11.2021).
- Rahman M. A., Wang Y. Optimizing Intersection-Over-Union in Deep Neural Networks for Image Segmentation // Advances in Visual Computing: Intern. Symp. Visual Computing. Cham: Springer, 2016. V. 10072. P. 234–244. DOI: 10.1007/978-3-319-50835-1_22.
- Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // arXiv preprint. arXiv:1505.04597. 2015. 8 p. URL: https://arxiv.org/abs/1505.04597 (accessed 12.11.2021).
- Rousseeuw P. J. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis // J. Computational and Applied Mathematics. 1987. V. 30. P. 33–65. DOI: 10.1016/0377-0427(87)90125-7.
- Safonova A., Tabik S., Alcaraz-Segura D., Rubtsov A., Maglinets Y., Herrera F. Detection of Fir Trees (Abies sibirica) Damaged by the Bark Beetle in Unmanned Aerial Vehicle Images with Deep Learning // Remote Sensing. 2019. V. 11. No. 6. Art. No. 643. DOI: 10.3390/rs11060643.
- Simard P. Y., Steinkraus D., Platt J. C. Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis // Proc. Intern. Conf. Document Analysis and Recognition. 2003. pp. 958–963.
- Srivatsava N., Hinton J., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // J. Machine Learning Research. 2014. V. 15. P. 1929–1958.