本發(fā)明涉及農(nóng)業(yè)機械領(lǐng)域，特別涉及一種番石榴采摘機器人及其實現(xiàn)方法。

背景技術(shù)：

番石榴是一種甘甜多汁、果肉厚、富含蛋白質(zhì)、維生素a、維生素c等營養(yǎng)物質(zhì)的水果，在我國華南地區(qū)種植較多。在廣東省，番石榴收獲期較長，每年有8個月的收獲期。現(xiàn)階段，在收獲期間，需大量果農(nóng)手動從事重復(fù)性的采摘作業(yè)，采摘成本高。另外，從事采摘的果農(nóng)普遍是女性中老年人，長時間勞作會影響其身體健康。因此，研發(fā)自動化的番石榴采摘機器人非常有必要。

番石榴采摘機器人需具備3d感知能力，能夠在自然環(huán)境下識別定位番石榴。由于番石榴大小和成熟度不一，且在野外容易受非線性光照、樹葉遮擋影響，這些因素使得有效的識別定位異常困難。還有，為了分離番石榴和果枝，需設(shè)計末端執(zhí)行器。番石榴果枝短小，常用的剪切式末端執(zhí)行器容易剪傷番石榴。一種有效的方法是模仿果農(nóng)的拉、擰動作，設(shè)計一種拉擰式末端執(zhí)行器。此外，為了提高作業(yè)效率，需縮短機器人運動軌跡，可設(shè)計具有導(dǎo)向軟管的收集槽，利用導(dǎo)線軟管引導(dǎo)被采摘的番石榴滑落到收集槽中。另外，采摘機器人需具備自主行走能力，以對整片果園進(jìn)行采摘，因此需具備無人田間小車。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的缺點，提供一種番石榴采摘機器人，能夠在自然環(huán)境下識別定位番石榴，并且可以準(zhǔn)確地分離番石榴和果枝，提高作業(yè)效率。

本發(fā)明的另一目的在于提供上述番石榴采摘機器人的實現(xiàn)方法。

本發(fā)明的目的通過下述技術(shù)方案實現(xiàn)：

一種番石榴采摘機器人，包括拉擰式末端執(zhí)行器8、3d視覺模塊、六自由度機器人、收集機構(gòu)、無人田間移動小車、220v蓄電池組。

所述拉擰式末端執(zhí)行器8，包括連接機構(gòu)、旋轉(zhuǎn)機構(gòu)和夾持機構(gòu)；連接機構(gòu)由法蘭盤11、鋁型材12和梯形固定座13組成，法蘭盤11用于連接鋁型材12和六自由度機器人7，鋁型材12的前端固定有梯形固定座13；旋轉(zhuǎn)機構(gòu)由減速電機14和l形板15組成，l形板15固定于梯形固定座13上，l形板15固定有減速電機14，其作用是旋轉(zhuǎn)夾持機構(gòu)以擰動番石榴，促使番石榴與果枝分離；夾持機構(gòu)由聯(lián)軸器16、舵機17和擬人爪18組成，舵機17通過聯(lián)軸器16與旋轉(zhuǎn)機構(gòu)的減速電機14剛性連接，擬人爪18呈圓弧狀，底端具有不完全齒輪，2個擬人爪的不完全齒輪呈嚙合狀，舵機17用于驅(qū)動不完全齒輪運動，從而使擬人爪由張開狀態(tài)運動至閉合狀態(tài)，實現(xiàn)夾持目的。

所述3d視覺模塊包括kinect2(第二代kinect傳感器)傳感器1、相機固定架和筆記本電腦10；相機固定架由傳感器安裝座2、鋁型材3和錐形座4組成；錐形座4固定于無人田間移動小車5上，錐形座4的上方固定有鋁型材3；傳感器安裝座2固定于鋁型材3上，傳感器安裝座2的上方固定有kinect2；筆記本電腦10放置在無人田間移動小車5上，用于運行識別定位程序，通過串口與六自由度機器人7進(jìn)行通信；kinect2和筆記本電腦由220v蓄電池組6供電。

所述六自由度機器人7采用廣東若鉑智能機器人有限公司的mc-d015型號的六自由度機器人，通過螺釘、螺母固定于無人田間移動小車5的中部，由220v蓄電池組6供電。六自由度機器人7的作用是在3d視覺模塊引導(dǎo)下，控制拉擰式末端執(zhí)行器運動至番石榴處，使拉擰式末端執(zhí)行器分離番石榴和果枝，再控制拉擰式末端執(zhí)行器將番石榴送至收集機構(gòu)的收集槽中，最后六自由度機器人7復(fù)位。

所述收集機構(gòu)9，包括錐形座19、鋁型材20、軟管固定座21、軟管22和收集槽23；錐形座19通過螺釘、螺母固定在無人田間移動小車5上，錐形座19的上方固定有鋁型材20；軟管固定座21通過梯形螺母、螺釘固定于鋁型材20上；軟管22一端連接軟管固定座21，另一端連接收集槽23；收集槽23固定于無人田間小車5上，用于收納果實。

所述無人田間移動小車5包括4個車輪24、4臺驅(qū)動電機28、上支撐板25、下支撐板27和支撐柱26；車輪24與驅(qū)動電機28剛性連接；驅(qū)動電機28固定在下支撐板27上，可實現(xiàn)無人田間移動小車5的行走和轉(zhuǎn)向；支撐柱26安裝在上支撐板25和下支撐板27的中間，形成一定空間，用于放置220v蓄電池組6；上支撐板25用于固定六自由度機器人7、kinect2傳感器錐形座4、軟管錐形座19、收集槽23和筆記本電腦10。

一種番石榴采摘機器人的實現(xiàn)方法，包括下述步驟：

(1)采用kinect2傳感器采集圖像，應(yīng)用3d視覺系統(tǒng)識別番石榴，計算番石榴的中心坐標(biāo)和半徑值；再用3d視覺系統(tǒng)的坐標(biāo)轉(zhuǎn)換功能，將kinect2相機坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換為機器人用戶坐標(biāo)系下的空間坐標(biāo)值，得到番石榴的空間坐標(biāo)值，并通過串口將數(shù)據(jù)傳輸給六自由度機器人；

(2)根據(jù)所獲得的番石榴的空間坐標(biāo)值，六自由度機器人控制拉擰式末端執(zhí)行器運動至番石榴處；

(3)根據(jù)所獲得的番石榴的半徑值，六自由度機器人控制拉擰式末端執(zhí)行器的擬人爪由張開狀態(tài)緩慢閉合直至番石榴被包裹住；然后，拉擰式末端執(zhí)行器的減速電機控制擬人爪旋轉(zhuǎn)，同時六自由度機器人使拉擰式末端執(zhí)行器后退一定距離，產(chǎn)生拉、擰效果，實現(xiàn)番石榴與果枝的分離；

(4)六自由度機器人控制拉擰式末端執(zhí)行器運動至軟管開口上方，拉擰式末端執(zhí)行器的擬人爪張開，番石榴通過軟管滑落到收集槽中；動作結(jié)束后，六自由度機器人復(fù)位，開始下一下采摘動作。

上述番石榴采摘機器人的3d視覺系統(tǒng)，采用下述識別定位步驟：

(1)應(yīng)用kinect2采集rgb和深度圖像：由于rgb圖像分辨率為1920*1080，深度圖像為512*424，需利用kinect2的rgb和深度相機的內(nèi)參數(shù)矩陣和外參數(shù)矩陣對rgb和深度圖像進(jìn)行對齊，使rgb圖像分辨率調(diào)整為512*424；

(2)應(yīng)用fasterrcnn深度卷積神經(jīng)網(wǎng)絡(luò)從rgb圖像中檢測番石榴；

(3)利用深度圖像和kinect2深度相機內(nèi)參數(shù)，通過透視投影變換方法計算番石榴的三維點云；因番石榴呈球形，應(yīng)用隨機抽樣一致性算法從三維點云中檢測球體，以球體的中心坐標(biāo)為番石榴的三維位置，以球體的半徑值為番石榴半徑值。

上述kinect2相機坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換為機器人用戶坐標(biāo)系下的空間坐標(biāo)值，轉(zhuǎn)換過程采用下述步驟：

(1)通過示教盒將機器人用戶坐標(biāo)系設(shè)定在平面棋盤格標(biāo)定板上；

(2)使用kinect2的深度相機采集棋盤格標(biāo)定板圖像，提取角點，通過解pnp問題，得到kinect2相機坐標(biāo)系與六自由度機器人用戶坐標(biāo)系的旋轉(zhuǎn)、平移矩陣；

(3)對三維坐標(biāo)進(jìn)行平移和旋轉(zhuǎn)變換，可實現(xiàn)坐標(biāo)轉(zhuǎn)換。

本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點和效果：

(1)本發(fā)明結(jié)構(gòu)簡單，便于制造。

(2)本發(fā)明采用無人田間小車行走，自動化程度高，減輕人力采摘勞動強度。

(3)本發(fā)明應(yīng)用fasterrcnn深度神經(jīng)網(wǎng)絡(luò)檢測番石榴，魯棒性和分割精度高；應(yīng)用隨機抽樣一致性算法從番石榴點云中檢測球體，以球體中心位置和半徑為番石榴空間位置和半徑值，具有定位精度高的特點。

(4)本發(fā)明通過模仿果農(nóng)采摘番石榴的方法，設(shè)計拉擰式末端執(zhí)行器，具有采摘成功率高的特點，簡單實用。

附圖說明

圖1為番石榴采摘機器人的立體結(jié)構(gòu)示意圖。

圖2為番石榴采摘機器人的立體結(jié)構(gòu)示意圖。

圖3為番石榴采摘機器人的俯視圖。

圖4為拉擰式末端執(zhí)行器的結(jié)構(gòu)示意圖。

圖5為拉擰式末端執(zhí)行器的梯形固定座的結(jié)構(gòu)示意圖。

圖6為拉擰式末端執(zhí)行器的夾持機構(gòu)的結(jié)構(gòu)示意圖。

圖7為收集機構(gòu)的結(jié)構(gòu)示意圖。

圖8為收集機構(gòu)的軟管固定座的結(jié)構(gòu)示意圖。

圖9為無人田間小車的結(jié)構(gòu)示意圖。

圖10為本發(fā)明的采摘流程圖。

其中，1、kinect2傳感器；2、傳感器安裝座；3、鋁型材；4、錐形座；5、無人田間移動小車；6、220v蓄電池組；7、六自由度機器人；8、拉擰式末端執(zhí)行器；9、收集機構(gòu)；10、筆記本電腦；11、法蘭盤；12、鋁型材；13、梯形固定座；14、減速電機；15、l形板；16、聯(lián)軸器；17、舵機；18、擬人爪；19、錐形座；20、鋁型材；21軟管固定座；22、軟管；23、收集槽；24、車輪；25、上支撐板；26、支撐柱；27、下支撐板；28、驅(qū)動電機。

具體實施方式

下面結(jié)合實施例對本發(fā)明做進(jìn)一步詳細(xì)的描述，但本發(fā)明的實施方式不限于此。

實施例1

如圖1、圖2、圖3所示，番石榴采摘機器人，包括3d視覺模塊、六自由度機器人7、拉擰式末端執(zhí)行器8、收集機構(gòu)9、無人田間移動小車5、220v蓄電池組6。3d視覺模塊包括kinect2傳感器1、傳感器安裝座2、鋁型材3、錐形座4和筆記本電腦10，其中，筆記本電腦10通過kinect傳感器1采集的rgb和深度圖像進(jìn)行番石榴檢測與定位，并把定位數(shù)據(jù)通過串口傳輸給六自由度機器人7。六自由度機器人7采用廣東若鉑智能機器人有限公司的mc-d015型號的六自由度機器人，其作用是在3d視覺模塊引導(dǎo)下，控制拉擰式末端執(zhí)行器運動到番石榴處以分離番石榴和果枝，并且將番石榴輸送到收集機構(gòu)9中。如圖4、圖5、圖6所示，拉擰式末端執(zhí)行器8包括法蘭盤11、鋁型材12、梯形固定座13、減速電機14、l形板15、聯(lián)軸器16、舵機17、擬人爪18，其中，法蘭盤11用于將拉擰式末端執(zhí)行器8固定在六自由度機器人7；擬人爪18是拉擰式末端執(zhí)行器8的重要部件，其作用是夾持果實；減速電機14用于旋轉(zhuǎn)擬人爪18，以擰動番石榴，促使番石榴與果枝分離。如圖7、圖8所示，收集機構(gòu)9包括錐形座19、鋁型材20、軟管固定座21、軟管22、收集槽23，其作用是通過軟管22引導(dǎo)番石榴滑落到收集槽23中，減少六自由度機器人7運動行程以達(dá)到減少采摘時間的目的。如圖9所示，無人田間移動小車5包括車輪24、上支撐板25、支撐柱26、下支撐板27、驅(qū)動電機28，其作用是運載六自由度機器人7在田間運動，實現(xiàn)整塊果園采摘；另外，上支撐板25和下支撐板27在支撐柱26作用下，形成一定空間，可用于放置220蓄電池組6和六自由度機器人7的電氣箱。

一種番石榴采摘機器人的實現(xiàn)方法，如圖10所示，包括下述步驟：

(1)kinect2深度相機坐標(biāo)系與機器人用戶坐標(biāo)系關(guān)聯(lián)。通過示教盒設(shè)定機器人用戶坐標(biāo)系位于平面棋盤格標(biāo)定板上，應(yīng)用kinect2深度相機采集棋盤格標(biāo)定板的紅外圖像，檢測標(biāo)定板角點，得到角點圖像坐標(biāo)；接著，手動提取用戶坐標(biāo)系上棋盤格角點的三維坐標(biāo)；然后，通過求解角點三維坐標(biāo)與其圖像坐標(biāo)間的映射關(guān)系，即求解pnp問題，可得深度相機與機器人用戶坐標(biāo)系之間的平移、旋轉(zhuǎn)矩陣；應(yīng)用該平移、旋轉(zhuǎn)矩陣，可實現(xiàn)坐標(biāo)轉(zhuǎn)換。

(2)圖像采集。首先，用kinect2傳感器采集rgb和深度圖像；其次，根據(jù)rgb相機和深度相機的內(nèi)參數(shù)矩陣和外參數(shù)矩陣，將rgb圖像投影到深度圖像平面上，使rgb和深度圖像對齊，即使rgb圖像和深度圖像的分辨率一致。

(3)3d視覺系統(tǒng)應(yīng)用fasterrcnn深度神經(jīng)網(wǎng)絡(luò)檢測番石榴目標(biāo)，并將該目標(biāo)轉(zhuǎn)換為點云；接著，應(yīng)用隨機抽樣一致性算法從點云中檢測球體，以球體中心值為番石榴空間坐標(biāo)值p1(x,y,z)，以球體半徑值為番石榴半徑值d；然后，再將kinect2相機坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換至機器人用戶坐標(biāo)系下，并通過串口將數(shù)據(jù)傳輸給機器人；

(4)根據(jù)所獲得的番石榴的空間坐標(biāo)值p1(x,y,z)，機器人控制末端執(zhí)行器運動至番石榴處。

(5)根據(jù)所獲得的番石榴的半徑值d，控制末端執(zhí)行器的擬人爪由張開狀態(tài)緩慢閉合直至番石榴被包裹住。然后，控制末端執(zhí)行器旋轉(zhuǎn)，并且沿機器人基坐標(biāo)系負(fù)x方向后退50mm至位置p2，產(chǎn)生拉、擰效果，實現(xiàn)番石榴與果枝的分離。

(5)機器人控制末端執(zhí)行器運動至軟管開口上方，末端執(zhí)行器的擬人爪張開，番石榴通過軟管滑落到收集槽位置p3中。最后，機器人復(fù)位到原始位置p4。

相關(guān)知識

一種番石榴葉綠茶及其制備方法與流程
一種番石榴保鮮劑及其制備方法與流程
一種番石榴葉保健茶及其制備方法與流程
一種番石榴葉果膏的制作方法與流程
番石榴怎么采摘
一種番石榴茶及其制備方法與流程
一種番石榴葉內(nèi)生菌的分離方法與流程
一種番石榴葉茶的加工方法與流程
番石榴葉的采摘與晾干指南
一種青錢柳番石榴葉降糖茶及其制備方法和用途與流程

網(wǎng)址: 一種番石榴采摘機器人及其實現(xiàn)方法與流程 http://www.u1s5d6.cn/newsview1835135.html