采摘機器人全果園視覺感知及自主作業綜述（《智慧農業（中英文）2024年第5期》）

來源：市場資訊

（來源：智慧農業期刊）

引用格式：

陳明猷, 羅陸鋒, 劉威, 韋慧玲, 王金海, 盧清華, 駱少明. 采摘機器人全果園視覺感知及自主作業綜述[J]. 智慧農業(中英文), 2024, 6(5): 20-39.

Citation:CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39.

采摘機器人全果園視覺感知及自主作業綜述

陳明猷， 羅陸鋒*， 劉威， 韋慧玲， 王金海， 盧清華， 駱少明

（佛山大學機電工程與自動化學院，廣東佛山 528231，中國）

摘要：

［目的/意義］采摘機器人是智慧農業的重要組成部分，其感知、規劃、控制相關基礎方法理論目前已有系統化研究。然而，構建具備全果園“感知-移動-采摘”一體化作業能力的實用型采摘系統仍面臨諸多挑戰。針對該問題，本文調研并報道了本領域近期案例，將全果園自主作業的關鍵技術劃分為局部目標感知、全局地圖構建和自主作業行為規劃三個子問題并進行綜述。

［進展］首先回顧了近距離、局部范圍內水果目標的精細視覺感知方法，包括基于低級特征融合、高級特征學習、RGB-D信息融合，以及多視角信息融合的4種方法；介紹與分析了全局尺度下的果園地圖構建與大規模場景視覺感知案例；在感知的基礎上，調研分析采摘機器人自主作業行為規劃方法，包括底盤移動路徑規劃、機械臂視點規劃與避障路徑規劃等方面的最新研究；最后對采摘機器人自主作業系統構建案例進行報道與分析。

［結論/展望］感知、移動、采摘模塊的高效協同是實現采摘機器人從基礎功能樣機進一步邁向實用型機器的關鍵，已有的視覺感知、規劃與控制算法的魯棒性與穩定性均需增強，協同程度需進一步提高。此外，提及了采摘機器人應用的幾個開放性研究問題，并描述了其未來發展趨勢。

關鍵詞： 采摘機器人；自主作業；局部感知；全局建圖；行為規劃

圖1　采摘機器人自主作業系統及其關鍵技術內容組織框架圖

Fig. 1 Organizational framework of autonomous operation systems and key technologies for fruit picking robot

圖2　基于低級特征融合方法的局部目標視覺感知效果示意圖

Fig. 2 Schematic diagram of the effects of local target visual perception based on low-level feature fusion method

圖3　基于高級特征學習方法的局部目標視覺感知效果示意圖

Fig. 3 Schematic diagram of the effects of local target visual perception based on high-level feature learning method

圖4　基于RGB-D信息融合方法的局部目標視覺感知效果示意圖

Fig. 4 Schematic diagram of the effects of local target visual perception based on RGB-D information fusion method

圖5　基于多視角信息融合方法的局部目標視覺感知效果示意圖

Fig. 5 Schematic diagram of the effects of local target visual perception based on multi-view information fusion method

圖6　基于視覺方法的果園建圖效果示意圖

Fig. 6 Schematic diagram of the effects of orchard mapping based on vision method

圖7　基于多傳感融合方法的果園建圖效果示意圖

Fig. 7 Schematic diagram of the effects of multi-sensor-based orchard mapping method

圖8　全果園自主移動行為規劃效果示意圖

Fig. 8 Schematic diagram of the effects of autonomous movement behavior planning in an entire orchard

圖9　局部場景下自主采摘行為規劃效果示意圖

Fig. 9 Schematic diagram of the effects of autonomous picking behavior planning in local scenes

圖10　代表性采摘機器人系統示意圖

Fig. 10 Schematic diagram of representative picking robot systems

作者簡介

羅陸鋒 博士

通訊作者：羅陸鋒，工學博士，佛山大學教授，博士生導師，佛山市教育系統優秀教師，《智能化農業裝備學報》青年編委、中國農業機械學會基礎技術分會委員、全國高等學校制造自動化研究會理事。主要從事農業機器人智能感知與控制、智能工廠關鍵技術研究，主持國家自然科學基金項目2項(面上項目、青年基金)，主持廣東省基礎與應用基礎研究基金-區域聯合重點項目1項，主持佛山市重點領域科技攻關項目子課題、廣東省教育廳項目等7項，參與國家重點研發計劃項目、廣東省重點研發計劃項目等國家級和省部級重大項目10余項。獲廣東省科技進步二等獎、廣東省教育教學成果一等獎、廣東省機械工程學會科技進步一等獎、中國儀器儀表學會科學技術三等獎等；在《IEEE Robotics and Automation Letters》《Computers in Industry》《Computers and Electronics in Agriculture》《Biosystems Engineering》等權威期刊發表SCI或EI論文70余篇，獲授權國家發明專利25件，軟件著作權7件。

陳明猷 博士

第一作者：陳明猷，工學博士，碩士生導師，主要從事機器人智能感知與控制研究，主持國家自然科學基金項目1項（青年基金）、廣東省自然科學基金項目1項（面上項目），參與國家重點研發計劃、國家自然科學基金項目、廣東省科技計劃項目等5項。發表SCI/EI高水平論文十余篇，以第一作者發表ESI高被引論文2篇，中科院一區Top期刊年度優秀論文2篇。獲授權國家發明專利十余件。獲廣東省科技進步二等獎。擔任《Computers and Electronics in Agriculture》《系統仿真學報》等期刊審稿專家。

來源：《智慧農業（中英文）》2024年第5期