Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 6. С. 67-79
Специализированный датасет мультиспектральных аэрофотоснимков для решения задач точного земледелия с применением методов искусственного интеллекта
О.А. Митрофанова
1 , Е.П. Митрофанов
1 , И.С. Блеканов
2 , А.Е. Молин
2 1 Агрофизический научно-исследовательский институт, Санкт-Петербург, Россия
2 Санкт-Петербургский государственный университет, Санкт-Петербург, Россия
Одобрена к печати: 06.10.2023
DOI: 10.21046/2070-7401-2023-20-6-67-79
Благодаря стремительному развитию информационных технологий всё более актуальной становится задача создания наборов больших качественных данных дистанционного зондирования. В Агрофизическом научно-исследовательском институте (АФИ) методы искусственного интеллекта, анализа изображений используются на протяжении около 20 лет. За этот период накоплен большой объём информации для решения задач точного земледелия. Объектом представленного исследования является опытный биополигон АФИ, расположенный в Ленинградской обл., который состоит из 29 полей. Для сбора применялся беспилотный летательный аппарат, разработанный в АФИ, а также беспилотная авиационная система «Геоскан-401». Съёмка осуществлялась в пяти спектрах: красном, зелёном, синем, инфракрасном и дальнем красном, средняя высота полётов составила 80 м, пространственное разрешение снимков — 1–10 см/пиксель. В работе подробно рассмотрены сформированные алгоритмы сбора данных, а также предварительной обработки информации. В исследовании в качестве демонстрации применимости созданного размеченного датасета был проведён эксперимент по анализу ортофотоплана одного из полей биополигона за период 2019–2021 гг., составленного из снимков мультиспектральной камеры Micasense RedEdge MX. В качестве методов анализа изображений использовались адаптированный под задачу метод классического алгоритма машинного обучения Random Forest и метод глубокого обучения на основе архитектуры U-Net. Результаты проведённого эксперимента продемонстрировали преимущество метода глубокого обучения при решении задачи определения азотного режима посевов для дифференцированного внесения удобрений.
Ключевые слова: датасет, анализ изображений, мультиспектральные аэрофотоснимки, точное земледелие, машинное обучение, глубокое обучение
Полный текстСписок литературы:
- Блеканов И. С., Молин А. Е., Разумилов Е. С., Ершов Е. А. Мониторинг азотного питания зерновых культур на основе нейросетевых технологий // Применение средств дистанционного зондирования Земли в сельском хозяйстве: материалы 3-й Всерос. науч. конф. с международ. участием. СПб.: ФГБНУ АФИ, 2021. С. 141–145.
- Блохин Ю. И., Белов А. В., Блохина С. Ю. Комплексная система контроля влажности почвы и локальных метеоусловий для интерпретации данных дистанционного зондирования // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 87–95. DOI: 10.21046/2070-7401-2019-16-3-87-95.
- Блохин Ю. И., Якушев В. В., Блохина С. Ю. и др. Современные решения для формирования опорной информации с целью повышения точности определения агрофизических свойств почвы по спутниковым данным // Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 4. С. 164–178. DOI: 10.21046/2070-7401-2020-17-4-164-178.
- Шпанев А. М. Влияние минеральных удобрений на пространственное размещение сорных растений в посевах ярового ячменя // Плодородие. 2022. № 2. С. 8–12. DOI: 10.25680/S19948603.2022.125.02.
- Якушев В. П., Буре В. М., Митрофанова О. А. и др. Оценка внутриполевой изменчивости посевов с помощью вариограммного анализа спутниковых данных для точного земледелия // Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 2. С. 114–122. DOI: 10.21046/2070-7401-2020-17-2-114-122.
- Belcore E., Angeli S., Colucci E. et al. Precision agriculture workflow, from data collection to data management using FOSS tools: An application in Northern Italy vineyard // Intern. J. Geo-Information. 2021. V. 10. No. 4. Article 236. DOI: 10.3390/ijgi10040236.
- Blekanov I., Molin A., Zhang D. et al. Monitoring of grain crops nitrogen status from UAV multispectral images coupled with deep learning approaches // Computers and Electronics in Agriculture. 2023. V. 212. Article 108047. DOI: 10.1016/j.compag.2023.108047.
- Bosilj P., Aptoula E., Duckett T., Cielniak G. Transfer learning between crop types for semantic segmentation of crops versus weeds in precision agriculture // J. Field Robotics. 2020. V. 37. P. 7–19. DOI: 10.1002/rob.21869.
- Breiman L. Random Forests // Machine Learning. 2001. V. 45. P. 5–32. DOI: 10.1023/A:1010933404324.
- Chebrolu N., Lottes P., Schaefer A. et al. Agricultural robot dataset for plant classification, localization and mapping on sugar beet fields // Intern. J. Robotics Research. 2017. V. 36. No. 10. P. 1045–1052. DOI: 10.1177/0278364917720510.
- Chiu M. T., Xu X., Wei Y., Huang Z., Schwing A., Brunner R., Khachatrian H., Karapetyan H., Dozier I., Rose G., Wilson D., Tudor A., Hovakimyan N., Huang T. S., Shi H. Agriculture-vision: A large aerial image database for agricultural pattern analysis // arXiv:2001.01306 [cs.CV]. 2020.
- Haug S., Ostermann J. A Crop/Weed Field Image dataset for the evaluation of computer vision based precision agriculture tasks // ECCV 2014: Computer Vision — ECCV 2014 Workshops. Lecture Notes in Computer Science. 2014. V. 8928. P. 105–116. DOI: 10.1007/978-3-319-16220-1_8.
- Jiang Y., Li C., Paterson A. H., Robertson J. S. DeepSeedling: deep convolutional network and Kalman filter for plant seedling detection and counting in the field // Plant Methods. 2019. V. 15. Article 141. DOI: 10.1186/s13007-019-0528-3.
- Jung J., Maeda M., Chang A. et al. The potential of remote sensing and artificial intelligence as tools to improve the resilience of agriculture production systems // Current Opinion in Biotechnology. 2021. V. 70. P. 15–22. DOI: 10.1016/j.copbio.2020.09.003.
- Kallimani C., Dehkordi R. H., van Evert F. K. et al. UAV-based Multispectral and Thermal dataset for exploring the diurnal variability, radiometric and geometric accuracy for precision agriculture // Open Data J. Agricultural Research. 2020. V. 6. 7 p. DOI: 10.18174/odjar.v6i0.16317.
- Kumar A., Taparia M., Rajalakshmi P. et al. UAV based remote sensing for tassel detection and growth stage estimation of maize crop using multispectral images // IGARSS 2020 — 2020 IEEE Intern. Geoscience and Remote Sensing Symp. 2020. P. 1588–1591. DOI: 10.1109/IGARSS39084.2020.9323266.
- Lu J., Tan L., Jiang H. Review on convolutional neural network (CNN) applied to plant leaf disease classification // Agriculture. 2021. V. 11. Article 707. DOI: 10.3390/agriculture11080707.
- Madsen S. L., Mathiassen S. K., Dyrmann M. et al. Open plant phenotype database of common weeds in Denmark // Remote Sensing. 2020. V. 12. No. 8. DOI: 10.3390/RS12081246.
- Matvejenko D., Komarov A., Lekomtsev P., Nugis E. Optimization of options for differential application of nitrogen fertilizers in the precision farming system // Agraarteadus: J. Agricultural Science. 2020. V. 31. No. 1. P. 41–46. DOI: 10.15159/jas.20.06.
- Mortensen A. K., Skovsen S., Karstoft H., Gislum R. The Oil Radish Growth dataset for semantic segmentation and yield estimation // 2019 IEEE/CVF Conf. Computer Vision and Pattern Recognition Workshop. Long Beach, California, US, 2019. 8 p. DOI: 10.1109/CVPRW.2019.00328.
- Olsen A., Konovalov D. A., Philippa B. et al. DeepWeeds: A multiclass weed species image dataset for deep learning // Scientific Reports. 2019. V. 9. No. 1. Article 2058. DOI: 10.1038/s41598-018-38343-3.
- Pereira P. C. J., Monteiro A., von Wangenheim A. Weed Mapping on Aerial Images — A Systematic Literature Review: Technical Report INCoD/LAPIX.01.2019.E / Federal University of Santa Catarina. 2019. DOI: 10.13140/RG.2.2.34979.71204.
- Ronneberger O., Fischer P., Brox T. U-Net: convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention — MICCAI 2015. Lecture Notes in Computer Science. 2015. V. 9351. DOI: 10.1007/978-3-319-24574-4_28.
- Sa I., Chen Z., Popovic M. et al. weedNet: Dense semantic weed classification using multispectral images and MAV for smart farming // IEEE Robotics and Automation Letters. 2017. V. 3. No. 1. P. 588–595. DOI: 10.1109/LRA.2017.2774979.
- Sa I., Popovic M., Khanna R. et al. WeedMap: A large-scale semantic weed mapping framework using aerial multispectral imaging and deep neural network for precision farming // Remote Sensing. 2018. V. 10. No. 9. Article 1423. DOI: 10.3390/rs10091423.
- Sinde-Gonzalez I., Gil-Docampo M., Arza-Garcia M. et al. Biomass estimation of pasture plots with multitemporal UAV-based photogrammetric surveys // Intern. J. Applied Earth Observations and Geoinformation. 2021. V. 101. Article 102355. DOI: 10.1016/j.jag.2021.102355.
- Song Z., Zhang Z., Yang S. et al. Identifying sunflower lodging based on image fusion and deep semantic segmentation with UAV remote sensing imaging // Computers and Electronics in Agriculture. 2020. V. 179. Article 105812. DOI: 10.1016/j.compag.2020.105812.
- The future of food and agriculture — Trends and challenges / Food and Agriculture Organization of the United Nations. Rome: FAO, 2017. 163 p.
- Tsouros D. C., Bibi S., Sarigiannidis P. G. A review on UAV-based applications for precision agriculture // Information. 2019. V. 10. No. 11. Article 349. DOI: 10.3390/info10110349.
- Weiss M., Jacob F., Duveiller G. Remote sensing for agricultural applications: A meta-review // Remote Sensing of Environment. 2020. V. 236. Article 111402. DOI: 10.1016/j.rse.2019.111402.
- Wheeler T., Von Braun J. Climate change impacts on global food security // Science. 2013. V. 341. No. 6145. P. 508–513. DOI: 10.1126/science.1239402.
- Wiesner-Hanks T., Stewart E. L., Kaczmar N. et al. Image set for deep learning: field images of maize annotated with disease symptoms // BMC Research Notes. 2018. V. 11. Article 440. DOI: 10.1186/s13104-018-3548-6.
- Yang M. D., Tseng H. H., Hsu Y. C. et al. A UAV open dataset of rice paddies for deep learning practice // Remote Sensing. 2021. V. 13. Article 1358. DOI: 10.3390/rs13071358.
- Ye H., Huang W., Huang S. et al. Recognition of banana fusarium wilt based on UAV remote sensing // Remote Sensing. 2020. V. 12. No. 6. Article 938. DOI: 10.3390/rs12060938.
- Zhang C., Kovacs J. M. The application of small unmanned aerial systems for precision agriculture: a review // Precision Agriculture. 2012. V. 13. P. 693–712. DOI: 10.1007/s11119-012-9274-5.
- Zheng H., Zhou X., He J. et al. Early season detection of rice plants using RGB, NIR-G-B and multispectral images from unmanned aerial vehicle (UAV) // Computers and Electronics in Agriculture. 2020. V. 169. Article 105223. DOI: 10.1016/j.compag.2020.105223.
- Zhong Y., Hu X., Luo C. et al. WHU-Hi: UAV-borne hyperspectral with high spatial resolution (H2) benchmark datasets and classifier for precise crop identification based on deep convolutional neural network with CRF // Remote Sensing of Environment. 2020. V. 250. Article 112012. DOI: 10.1016/j.rse.2020.112012.