近日，河南農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)科技創(chuàng)新團隊在《Artificial Intelligence in Agriculture》期刊上發(fā)表題為“Maize phenological stage recognition via coordinated UAV and UGV multi-view sensing and deep learning”的研究成果。河南農(nóng)業(yè)大學(xué)青年教師岳繼博教授為該文第一作者，國家農(nóng)業(yè)信息化工程技術(shù)研究中心馮海寬副研究員、趙春江研究員和楊貴軍研究員為共同通訊作者。

該研究提出了一種無人機（UAV）與地面無人車（UGV）協(xié)同的多視角感知策略，并結(jié)合自主設(shè)計的深度學(xué)習(xí)模型MSRNet，實現(xiàn)了對玉米12個關(guān)鍵物候期的精準(zhǔn)識別，為作物育種中的高通量表型監(jiān)測難題提供了創(chuàng)新解決方案。

針對現(xiàn)有光學(xué)遙感技術(shù)在中高冠層覆蓋條件下易受植被指數(shù)飽和影響，導(dǎo)致監(jiān)測效果下降的問題，該研究利用配備全景相機的UGV采集玉米冠層內(nèi)部（IOC）圖像，分析雌穗特征；同時，借助配備高清數(shù)碼相機和光譜相機的UAV采集冠層頂部（TOC）圖像，提取葉片和雄穗特征，從而自動化識別12個生長時期的冠層高度、葉片及雌穗特征。在此基礎(chǔ)上，團隊開發(fā)了多模態(tài)深度學(xué)習(xí)框架MSRNet，融合冠層高度、植被指數(shù)、頂部葉片及內(nèi)部雌穗等多源特征，實現(xiàn)玉米12個物候期的精確識別。與傳統(tǒng)機器學(xué)習(xí)及單模態(tài)深度學(xué)習(xí)模型對比，該模型在V2-R6階段的識別準(zhǔn)確率達84.5%，較基準(zhǔn)方法提升3.8%-13.6%。Grad-CAM可視化結(jié)果進一步證實，MSRNet能根據(jù)生長階段動態(tài)調(diào)整注意力機制：在營養(yǎng)生長期聚焦葉片特征，在生殖生長期轉(zhuǎn)向果穗特征。