機(jī)器視覺作為智能農(nóng)業(yè)機(jī)器人的外部傳感器，是機(jī)器人作業(yè)裝備的眼睛，是最大的信息源，具有感知信息豐富、采集信息完整等優(yōu)勢。目前以機(jī)器視覺為主的作業(yè)信息感知技術(shù)已成為農(nóng)業(yè)機(jī)器人智能化的關(guān)鍵技術(shù)和研究熱點(diǎn)。
近日，我國智能科學(xué)技術(shù)重要獎(jiǎng)項(xiàng)“吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)”頒發(fā)。其中“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目獲得2020年度吳文俊人工智能技術(shù)發(fā)明獎(jiǎng)。
什么是機(jī)器視覺？什么是非結(jié)構(gòu)環(huán)境？目前我國農(nóng)業(yè)機(jī)器人視覺技術(shù)達(dá)到了怎樣的水平？應(yīng)用領(lǐng)域有哪些？5月14日“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目主要完成人，中國農(nóng)業(yè)大學(xué)副教授張春龍、袁挺在接受科技日報(bào)記者采訪時(shí)對以上問題進(jìn)行了解答。
農(nóng)業(yè)機(jī)器人對視覺系統(tǒng)要求很高
什么是機(jī)器視覺？袁挺解釋，機(jī)器視覺是人工智能正在快速發(fā)展的一個(gè)重要分支，簡單來說，機(jī)器視覺就是用傳感器代替人眼來做檢測和判斷。
“作為智能農(nóng)業(yè)機(jī)器人的外部傳感器，機(jī)器視覺是機(jī)器人作業(yè)裝備的眼睛，是最大的信息源，具有感知信息豐富、采集信息完整等優(yōu)勢。”張春龍說。
袁挺介紹，機(jī)器視覺是通過視覺產(chǎn)品（即圖像采集裝置）將被拍攝的目標(biāo)轉(zhuǎn)換成圖像信號(hào)，并傳送給專用的圖像處理系統(tǒng)，系統(tǒng)得到目標(biāo)的形態(tài)信息，再將像素分布和亮度、顏色等信息轉(zhuǎn)變成數(shù)字信號(hào)。隨后圖像處理系統(tǒng)對這些信號(hào)進(jìn)行各種運(yùn)算來提取目標(biāo)特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場裝備的動(dòng)作。
“機(jī)器視覺最基本的特點(diǎn)就是可以提高生產(chǎn)的靈活性和智能化程度。在一些不適于人工作業(yè)的危險(xiǎn)工作環(huán)境或者人工視覺難以滿足要求的場合，常用機(jī)器視覺來替代人工視覺。同時(shí)，在大批量重復(fù)性工業(yè)生產(chǎn)過程中，機(jī)器視覺技術(shù)可以大大提高生產(chǎn)的效率和自動(dòng)化程度。”袁挺說。
“對于農(nóng)業(yè)機(jī)器人來說，非結(jié)構(gòu)環(huán)境主要指農(nóng)田自然環(huán)境。非結(jié)構(gòu)環(huán)境對于農(nóng)業(yè)機(jī)器人作業(yè)來說存在諸多不確定因素，如自然光照多變、待作業(yè)空間復(fù)雜多變、作業(yè)對象千姿百態(tài)、枝葉果實(shí)相互遮擋等，這都成為機(jī)器人作業(yè)中信息視覺感知的技術(shù)難題。”張春龍說。
由于農(nóng)業(yè)機(jī)器人的作業(yè)目標(biāo)是離散個(gè)體，其個(gè)體特征具有隨機(jī)性和多樣性，這種非標(biāo)準(zhǔn)化的目標(biāo)信息增大了農(nóng)業(yè)機(jī)器人機(jī)器視覺系統(tǒng)感知與判斷的難度。張春龍表示，機(jī)器視覺系統(tǒng)只有具備對作業(yè)對象的準(zhǔn)確識(shí)別和對目標(biāo)位置的精確感知，才能降低對作業(yè)對象的損傷，提高作業(yè)成功率和效率。
“目前，以機(jī)器視覺為主的作業(yè)信息感知技術(shù)已成為農(nóng)業(yè)機(jī)器人智能化的關(guān)鍵技術(shù)和研究熱點(diǎn)。”張春龍說。
多項(xiàng)技術(shù)打破國外壟斷、填補(bǔ)空白
田間的非結(jié)構(gòu)環(huán)境為農(nóng)業(yè)機(jī)器人研發(fā)帶來了挑戰(zhàn)，制約著農(nóng)業(yè)機(jī)器人技術(shù)的推廣與應(yīng)用。張春龍介紹：“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目通過對農(nóng)業(yè)機(jī)器人機(jī)器視覺技術(shù)的深入研究，在非結(jié)構(gòu)環(huán)境下信息獲取、復(fù)雜光機(jī)電協(xié)同控制、“激光+視覺”多元信息感知等方面取得了技術(shù)突破，多項(xiàng)技術(shù)打破國外技術(shù)壟斷，填補(bǔ)國內(nèi)空白。項(xiàng)目擴(kuò)展了人工智能技術(shù)在農(nóng)業(yè)場景的落地應(yīng)用，實(shí)現(xiàn)了農(nóng)業(yè)機(jī)器人從實(shí)驗(yàn)室走向田間生產(chǎn)的創(chuàng)新實(shí)踐，引領(lǐng)了傳統(tǒng)農(nóng)機(jī)的智能化轉(zhuǎn)型。
農(nóng)田環(huán)境中的自然光照、陰影、風(fēng)速等因素復(fù)雜多變，使得機(jī)器視覺作物信息動(dòng)態(tài)穩(wěn)定獲取成為難點(diǎn)。“項(xiàng)目從自然光照補(bǔ)償和抑制機(jī)理、機(jī)器學(xué)習(xí)與立體視覺算法匹配等方面進(jìn)行了技術(shù)創(chuàng)新，提出了農(nóng)業(yè)非結(jié)構(gòu)環(huán)境下自然光照補(bǔ)償和抑制機(jī)理的機(jī)器視覺處理技術(shù)，通過分析視覺信息對自然光照變化的敏感程度，構(gòu)建光照波動(dòng)控制模型，突破自然光照變化對作物信息動(dòng)態(tài)穩(wěn)定獲取的技術(shù)局限，打破了傳統(tǒng)機(jī)器視覺缺乏對自然光照適應(yīng)性的技術(shù)瓶頸。”袁挺說。
此外，農(nóng)田環(huán)境作物信息疊加多義、作業(yè)空間復(fù)雜多變，枝葉交錯(cuò)、果實(shí)重疊、苗草簇生，使得機(jī)器視覺難以準(zhǔn)確識(shí)別作物信息。“項(xiàng)目從作物光譜特性、物理性狀與視覺圖像智能算法匹配等方面進(jìn)行了技術(shù)創(chuàng)新，研究了近紅外、可見光視覺技術(shù)和深度學(xué)習(xí)方法交叉融合的農(nóng)業(yè)非結(jié)構(gòu)環(huán)境下作物信息智能獲取技術(shù)，突破了自然環(huán)境下農(nóng)作物信息精準(zhǔn)獲取難點(diǎn)問題。”張春龍介紹。
針對農(nóng)業(yè)機(jī)器人工作在田間非結(jié)構(gòu)環(huán)境中，地形起伏、溝渠縱橫，其視覺系統(tǒng)與執(zhí)行機(jī)構(gòu)協(xié)同控制的問題，“項(xiàng)目從機(jī)器人手眼協(xié)同控制等方面進(jìn)行了技術(shù)創(chuàng)新，研究了非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人末端執(zhí)行機(jī)構(gòu)視覺伺服控制技術(shù)，破解了農(nóng)業(yè)機(jī)器人精度與速度、效率與損傷間辯證關(guān)系的協(xié)同控制難點(diǎn)問題。”袁挺指出。
新技術(shù)可用于多項(xiàng)農(nóng)業(yè)領(lǐng)域
“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目成果集成了非結(jié)構(gòu)環(huán)境下自然光照補(bǔ)償?shù)碾p目視覺處理器、機(jī)器人柔性作業(yè)末端視覺伺服控制等技術(shù)，實(shí)現(xiàn)了農(nóng)業(yè)植株狹窄作業(yè)空間中的機(jī)器人精準(zhǔn)采收，目前已在多種農(nóng)業(yè)機(jī)器人中實(shí)現(xiàn)應(yīng)用。
比如，黃瓜采摘機(jī)器人有一雙“大眼睛”和一支靈活的機(jī)械手臂，它不僅能自主完成黃瓜的采摘作業(yè)，還能自己辨別黃瓜的成熟度，只采摘那些個(gè)頭大飽滿的黃瓜；智能施藥機(jī)器人，能利用自己的“眼睛”獲取田間病蟲草害信息，及時(shí)對重點(diǎn)部位或區(qū)域噴灑農(nóng)藥，實(shí)現(xiàn)精準(zhǔn)噴灑，降低化學(xué)農(nóng)藥使用量，更加符合農(nóng)業(yè)綠色生產(chǎn)的要求；農(nóng)田鋤草機(jī)器人，基于非結(jié)構(gòu)環(huán)境下機(jī)器人作業(yè)目標(biāo)視覺感知與機(jī)器人末端執(zhí)行機(jī)構(gòu)自適應(yīng)伺服控制技術(shù)，實(shí)現(xiàn)了鋤草機(jī)器人自動(dòng)對行和作物株間鋤草作業(yè)。
這些智能機(jī)器人現(xiàn)在已經(jīng)在北京、新疆、江蘇等農(nóng)業(yè)示范區(qū)得到了推廣應(yīng)用。
“我們經(jīng)過調(diào)研發(fā)現(xiàn)，在規(guī)模農(nóng)業(yè)較發(fā)達(dá)地區(qū)，智能農(nóng)機(jī)有著可觀的潛在需求，不但可以降低高昂的人工費(fèi)用，還可以進(jìn)行精準(zhǔn)作業(yè)，減少農(nóng)藥、化肥等施用量，為農(nóng)業(yè)可持續(xù)發(fā)展提供技術(shù)支撐。隨著我國農(nóng)業(yè)機(jī)械化規(guī)?；l(fā)展，中國農(nóng)業(yè)向智能化升級(jí)已經(jīng)成為可能。”張春龍說。
同時(shí)，農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)也可應(yīng)用于農(nóng)業(yè)植保無人機(jī)，它集成了作業(yè)目標(biāo)雙目視覺信息智能感知方法、自主仿地飛行自適應(yīng)控制方法、實(shí)時(shí)地塊邊界識(shí)別與避障飛行控制方法等技術(shù)，實(shí)現(xiàn)了植保無人機(jī)仿地飛行、高速避障、精準(zhǔn)噴灑作業(yè)。
“未來，項(xiàng)目團(tuán)隊(duì)將繼續(xù)推進(jìn)人工智能+機(jī)器視覺技術(shù)研究，借助人工智能技術(shù)促進(jìn)農(nóng)業(yè)機(jī)器人產(chǎn)業(yè)化發(fā)展，為現(xiàn)代農(nóng)業(yè)無人化生產(chǎn)提質(zhì)、增效、賦能。”張春龍說。
近日，我國智能科學(xué)技術(shù)重要獎(jiǎng)項(xiàng)“吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)”頒發(fā)。其中“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目獲得2020年度吳文俊人工智能技術(shù)發(fā)明獎(jiǎng)。
什么是機(jī)器視覺？什么是非結(jié)構(gòu)環(huán)境？目前我國農(nóng)業(yè)機(jī)器人視覺技術(shù)達(dá)到了怎樣的水平？應(yīng)用領(lǐng)域有哪些？5月14日“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目主要完成人，中國農(nóng)業(yè)大學(xué)副教授張春龍、袁挺在接受科技日報(bào)記者采訪時(shí)對以上問題進(jìn)行了解答。
農(nóng)業(yè)機(jī)器人對視覺系統(tǒng)要求很高
什么是機(jī)器視覺？袁挺解釋，機(jī)器視覺是人工智能正在快速發(fā)展的一個(gè)重要分支，簡單來說，機(jī)器視覺就是用傳感器代替人眼來做檢測和判斷。
“作為智能農(nóng)業(yè)機(jī)器人的外部傳感器，機(jī)器視覺是機(jī)器人作業(yè)裝備的眼睛，是最大的信息源，具有感知信息豐富、采集信息完整等優(yōu)勢。”張春龍說。
袁挺介紹，機(jī)器視覺是通過視覺產(chǎn)品（即圖像采集裝置）將被拍攝的目標(biāo)轉(zhuǎn)換成圖像信號(hào)，并傳送給專用的圖像處理系統(tǒng)，系統(tǒng)得到目標(biāo)的形態(tài)信息，再將像素分布和亮度、顏色等信息轉(zhuǎn)變成數(shù)字信號(hào)。隨后圖像處理系統(tǒng)對這些信號(hào)進(jìn)行各種運(yùn)算來提取目標(biāo)特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場裝備的動(dòng)作。
“機(jī)器視覺最基本的特點(diǎn)就是可以提高生產(chǎn)的靈活性和智能化程度。在一些不適于人工作業(yè)的危險(xiǎn)工作環(huán)境或者人工視覺難以滿足要求的場合，常用機(jī)器視覺來替代人工視覺。同時(shí)，在大批量重復(fù)性工業(yè)生產(chǎn)過程中，機(jī)器視覺技術(shù)可以大大提高生產(chǎn)的效率和自動(dòng)化程度。”袁挺說。
“對于農(nóng)業(yè)機(jī)器人來說，非結(jié)構(gòu)環(huán)境主要指農(nóng)田自然環(huán)境。非結(jié)構(gòu)環(huán)境對于農(nóng)業(yè)機(jī)器人作業(yè)來說存在諸多不確定因素，如自然光照多變、待作業(yè)空間復(fù)雜多變、作業(yè)對象千姿百態(tài)、枝葉果實(shí)相互遮擋等，這都成為機(jī)器人作業(yè)中信息視覺感知的技術(shù)難題。”張春龍說。
由于農(nóng)業(yè)機(jī)器人的作業(yè)目標(biāo)是離散個(gè)體，其個(gè)體特征具有隨機(jī)性和多樣性，這種非標(biāo)準(zhǔn)化的目標(biāo)信息增大了農(nóng)業(yè)機(jī)器人機(jī)器視覺系統(tǒng)感知與判斷的難度。張春龍表示，機(jī)器視覺系統(tǒng)只有具備對作業(yè)對象的準(zhǔn)確識(shí)別和對目標(biāo)位置的精確感知，才能降低對作業(yè)對象的損傷，提高作業(yè)成功率和效率。
“目前，以機(jī)器視覺為主的作業(yè)信息感知技術(shù)已成為農(nóng)業(yè)機(jī)器人智能化的關(guān)鍵技術(shù)和研究熱點(diǎn)。”張春龍說。
多項(xiàng)技術(shù)打破國外壟斷、填補(bǔ)空白
田間的非結(jié)構(gòu)環(huán)境為農(nóng)業(yè)機(jī)器人研發(fā)帶來了挑戰(zhàn)，制約著農(nóng)業(yè)機(jī)器人技術(shù)的推廣與應(yīng)用。張春龍介紹：“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目通過對農(nóng)業(yè)機(jī)器人機(jī)器視覺技術(shù)的深入研究，在非結(jié)構(gòu)環(huán)境下信息獲取、復(fù)雜光機(jī)電協(xié)同控制、“激光+視覺”多元信息感知等方面取得了技術(shù)突破，多項(xiàng)技術(shù)打破國外技術(shù)壟斷，填補(bǔ)國內(nèi)空白。項(xiàng)目擴(kuò)展了人工智能技術(shù)在農(nóng)業(yè)場景的落地應(yīng)用，實(shí)現(xiàn)了農(nóng)業(yè)機(jī)器人從實(shí)驗(yàn)室走向田間生產(chǎn)的創(chuàng)新實(shí)踐，引領(lǐng)了傳統(tǒng)農(nóng)機(jī)的智能化轉(zhuǎn)型。
農(nóng)田環(huán)境中的自然光照、陰影、風(fēng)速等因素復(fù)雜多變，使得機(jī)器視覺作物信息動(dòng)態(tài)穩(wěn)定獲取成為難點(diǎn)。“項(xiàng)目從自然光照補(bǔ)償和抑制機(jī)理、機(jī)器學(xué)習(xí)與立體視覺算法匹配等方面進(jìn)行了技術(shù)創(chuàng)新，提出了農(nóng)業(yè)非結(jié)構(gòu)環(huán)境下自然光照補(bǔ)償和抑制機(jī)理的機(jī)器視覺處理技術(shù)，通過分析視覺信息對自然光照變化的敏感程度，構(gòu)建光照波動(dòng)控制模型，突破自然光照變化對作物信息動(dòng)態(tài)穩(wěn)定獲取的技術(shù)局限，打破了傳統(tǒng)機(jī)器視覺缺乏對自然光照適應(yīng)性的技術(shù)瓶頸。”袁挺說。
此外，農(nóng)田環(huán)境作物信息疊加多義、作業(yè)空間復(fù)雜多變，枝葉交錯(cuò)、果實(shí)重疊、苗草簇生，使得機(jī)器視覺難以準(zhǔn)確識(shí)別作物信息。“項(xiàng)目從作物光譜特性、物理性狀與視覺圖像智能算法匹配等方面進(jìn)行了技術(shù)創(chuàng)新，研究了近紅外、可見光視覺技術(shù)和深度學(xué)習(xí)方法交叉融合的農(nóng)業(yè)非結(jié)構(gòu)環(huán)境下作物信息智能獲取技術(shù)，突破了自然環(huán)境下農(nóng)作物信息精準(zhǔn)獲取難點(diǎn)問題。”張春龍介紹。
針對農(nóng)業(yè)機(jī)器人工作在田間非結(jié)構(gòu)環(huán)境中，地形起伏、溝渠縱橫，其視覺系統(tǒng)與執(zhí)行機(jī)構(gòu)協(xié)同控制的問題，“項(xiàng)目從機(jī)器人手眼協(xié)同控制等方面進(jìn)行了技術(shù)創(chuàng)新，研究了非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人末端執(zhí)行機(jī)構(gòu)視覺伺服控制技術(shù)，破解了農(nóng)業(yè)機(jī)器人精度與速度、效率與損傷間辯證關(guān)系的協(xié)同控制難點(diǎn)問題。”袁挺指出。
新技術(shù)可用于多項(xiàng)農(nóng)業(yè)領(lǐng)域
“非結(jié)構(gòu)環(huán)境下農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)與應(yīng)用”項(xiàng)目成果集成了非結(jié)構(gòu)環(huán)境下自然光照補(bǔ)償?shù)碾p目視覺處理器、機(jī)器人柔性作業(yè)末端視覺伺服控制等技術(shù)，實(shí)現(xiàn)了農(nóng)業(yè)植株狹窄作業(yè)空間中的機(jī)器人精準(zhǔn)采收，目前已在多種農(nóng)業(yè)機(jī)器人中實(shí)現(xiàn)應(yīng)用。
比如，黃瓜采摘機(jī)器人有一雙“大眼睛”和一支靈活的機(jī)械手臂，它不僅能自主完成黃瓜的采摘作業(yè)，還能自己辨別黃瓜的成熟度，只采摘那些個(gè)頭大飽滿的黃瓜；智能施藥機(jī)器人，能利用自己的“眼睛”獲取田間病蟲草害信息，及時(shí)對重點(diǎn)部位或區(qū)域噴灑農(nóng)藥，實(shí)現(xiàn)精準(zhǔn)噴灑，降低化學(xué)農(nóng)藥使用量，更加符合農(nóng)業(yè)綠色生產(chǎn)的要求；農(nóng)田鋤草機(jī)器人，基于非結(jié)構(gòu)環(huán)境下機(jī)器人作業(yè)目標(biāo)視覺感知與機(jī)器人末端執(zhí)行機(jī)構(gòu)自適應(yīng)伺服控制技術(shù)，實(shí)現(xiàn)了鋤草機(jī)器人自動(dòng)對行和作物株間鋤草作業(yè)。
這些智能機(jī)器人現(xiàn)在已經(jīng)在北京、新疆、江蘇等農(nóng)業(yè)示范區(qū)得到了推廣應(yīng)用。
“我們經(jīng)過調(diào)研發(fā)現(xiàn)，在規(guī)模農(nóng)業(yè)較發(fā)達(dá)地區(qū)，智能農(nóng)機(jī)有著可觀的潛在需求，不但可以降低高昂的人工費(fèi)用，還可以進(jìn)行精準(zhǔn)作業(yè)，減少農(nóng)藥、化肥等施用量，為農(nóng)業(yè)可持續(xù)發(fā)展提供技術(shù)支撐。隨著我國農(nóng)業(yè)機(jī)械化規(guī)?；l(fā)展，中國農(nóng)業(yè)向智能化升級(jí)已經(jīng)成為可能。”張春龍說。
同時(shí)，農(nóng)業(yè)機(jī)器人機(jī)器視覺關(guān)鍵技術(shù)也可應(yīng)用于農(nóng)業(yè)植保無人機(jī)，它集成了作業(yè)目標(biāo)雙目視覺信息智能感知方法、自主仿地飛行自適應(yīng)控制方法、實(shí)時(shí)地塊邊界識(shí)別與避障飛行控制方法等技術(shù)，實(shí)現(xiàn)了植保無人機(jī)仿地飛行、高速避障、精準(zhǔn)噴灑作業(yè)。
“未來，項(xiàng)目團(tuán)隊(duì)將繼續(xù)推進(jìn)人工智能+機(jī)器視覺技術(shù)研究，借助人工智能技術(shù)促進(jìn)農(nóng)業(yè)機(jī)器人產(chǎn)業(yè)化發(fā)展，為現(xiàn)代農(nóng)業(yè)無人化生產(chǎn)提質(zhì)、增效、賦能。”張春龍說。
農(nóng)先鋒網(wǎng)聲明：凡資訊來源注明為其他媒體來源的信息，均為轉(zhuǎn)載自其他媒體，并不代表本網(wǎng)站贊同其觀點(diǎn)，也不代表本網(wǎng)站對其真實(shí)性負(fù)責(zé)。您若對該文章內(nèi)容有任何疑問或質(zhì)疑，請立即與網(wǎng)站(www.cnumw.cn)聯(lián)系，本網(wǎng)站將迅速給您回應(yīng)并做處理。
聯(lián)系郵箱:3267146135@qq.com
聯(lián)系郵箱:3267146135@qq.com
