機器人3D視覺相機怎么選?對移動機器人、人形機器人、四足機器人和機械臂而言,3D視覺相機的選型不能只看測距距離、分辨率或價格,而需要結(jié)合機器人任務(wù)、工作距離、目標材質(zhì)、使用環(huán)境以及系統(tǒng)集成方式綜合判斷。
目前機器人常用的3D視覺技術(shù)主要包括雙目視覺、結(jié)構(gòu)光、iToF和dToF。不同技術(shù)路線在測距范圍、深度分辨率、環(huán)境適應(yīng)性、實時性、體積功耗和成本方面各有特點,并不存在適用于所有機器人場景的“最優(yōu)3D相機”。
如果需要選擇機器人3D視覺相機,可以先回答五個問題:
· 機器人需要完成什么任務(wù)?
· 機器人需要看多遠、看多寬?
· 機器人需要識別什么樣的目標?
· 機器人將在什么環(huán)境中工作?
· 3D視覺相機如何集成到機器人系統(tǒng)?
通過這“五問”,可以從技術(shù)路線逐步收斂到具體的3D視覺相機型號。
機器人3D視覺相機主要采用雙目視覺、結(jié)構(gòu)光、iToF和dToF等技術(shù)路線。選擇3D相機時,首先需要理解不同技術(shù)的基本原理和適用范圍。
|
3D視覺技術(shù) |
基本原理 |
主要優(yōu)勢 |
主要局限 |
常見機器人應(yīng)用 |
|
雙目視覺 |
通過左右相機視差計算深度 |
圖像信息豐富、算法生態(tài)成熟 |
依賴目標紋理和光照條件 |
環(huán)境感知、定位、導(dǎo)航 |
|
結(jié)構(gòu)光 |
投射特定光學(xué)圖案計算三維結(jié)構(gòu) |
近距離分辨率高、精度較高 |
強光、遠距離和快速運動場景適應(yīng)性有限 |
抓取、檢測、近距離操作 |
|
iToF |
通過光的相位差計算深度 |
實時性好、結(jié)構(gòu)緊湊、對紋理依賴較低 |
強環(huán)境光、多路徑反射需要重點評估 |
近距離感知、抓取、精細操作 |
|
dToF |
直接測量光的飛行時間 |
適合中遠距離、復(fù)雜光照環(huán)境 |
分辨率、視場角、體積和成本需綜合考慮 |
避障、導(dǎo)航、遠距離感知 |
技術(shù)路線只是機器人3D視覺選型的第一步。一套完整的機器人視覺方案,更像是在“搭積木”:確定測距技術(shù)之后,還需要進一步考慮工作距離、視場角、目標材質(zhì)、運動速度、防護等級、機械強度、通信接口、算法能力以及機器人控制系統(tǒng)兼容性。
因此,不能簡單地認為“某一種3D視覺技術(shù)一定更好”,真正重要的是技術(shù)方案是否與機器人實際工況匹配。
這是機器人3D視覺相機選型的第一步。不同機器人任務(wù),對3D數(shù)據(jù)的要求并不相同。
· 環(huán)境感知:需要較大的視場角、感知距離和良好的環(huán)境適應(yīng)能力,可根據(jù)具體環(huán)境考慮雙目、激光雷達、dToF或多傳感器融合方案。
· 機器人避障:重點關(guān)注最大探測距離、最近探測距離、近距離盲區(qū)、數(shù)據(jù)刷新速度、動態(tài)目標檢測能力和多設(shè)備抗干擾能力。
· 抓取與精細操作:重點關(guān)注近距離測量能力、深度精度、點云分辨率、小尺寸目標識別能力和不同材質(zhì)適應(yīng)性。
· 自主導(dǎo)航與定位:重點關(guān)注水平和垂直視場角、遠距離感知能力、運動穩(wěn)定性、戶外環(huán)境適應(yīng)能力、IMU和SLAM支持能力。
很多人在選擇3D相機時首先比較“最遠可以測多少米”。但對于機器人來說,更值得關(guān)注的是最近工作距離、主要工作距離和視場范圍。
· 服務(wù)機器人需要重點關(guān)注近距離低矮障礙物;
· 清潔機器人需要降低地面附近的視覺盲區(qū);
· 機械臂需要關(guān)注固定工作距離內(nèi)的點云質(zhì)量;
· 移動機器人需要關(guān)注前方障礙物的提前感知距離;
· 大型室外機器人則可能更加關(guān)注中遠距離探測能力。
目標的材質(zhì)、顏色、尺寸、表面紋理和幾何結(jié)構(gòu)都會影響3D成像效果。
· 鏡面金屬:需要重點驗證抗反射能力和異常點處理能力。
· 低紋理物體:雙目視覺依賴圖像紋理,需要評估是否需要主動光源或其他深度技術(shù)。
· 透明物體:透明材料可能導(dǎo)致3D相機無法穩(wěn)定獲取深度數(shù)據(jù),應(yīng)進行真實樣品測試。
· 軟包和織物:具有較強形變特征,不能完全依賴固定幾何特征。
· 小型零部件:能夠識別大型障礙物,并不意味著相機可以穩(wěn)定還原小孔洞、窄邊緣或小型零件。
真實機器人工作環(huán)境可能存在明暗快速變化、室外強光、陰雨天氣、粉塵、振動、溫度變化以及多機器人、多相機同時運行等情況。
· 室內(nèi)弱光或低紋理:可評估主動式雙目方案。
· 戶外強光:重點評估環(huán)境光對深度測量的影響,可結(jié)合應(yīng)用評估dToF等方案。
· 粉塵、雨水:根據(jù)實際工況確認IP54、IP65等防護等級要求。
· 持續(xù)振動:可優(yōu)先評估無機械運動部件的全固態(tài)3D視覺方案。
· 多機器人同時運行:重點評估多設(shè)備相互干擾、時間同步、數(shù)據(jù)同步和多相機融合能力。
3D相機能夠穩(wěn)定輸出深度數(shù)據(jù),只是機器人視覺系統(tǒng)的開始。工程落地還需要解決尺寸、重量、功耗、通信接口、同步、算法和量產(chǎn)問題。
· 尺寸與重量:關(guān)注安裝空間、線纜布局和機械強度。
· 功耗:關(guān)注整機續(xù)航、散熱和電源架構(gòu)。
· 通信接口:確認Ethernet、USB、ROS、SDK、API等是否與現(xiàn)有平臺兼容。
· 多相機同步:評估時間同步、觸發(fā)機制、數(shù)據(jù)融合和多設(shè)備干擾。
· 批量交付:評估產(chǎn)品一致性、溫漂、振動穩(wěn)定性、軟件維護、產(chǎn)品生命周期和長期供貨能力。
以人形機器人和四足機器人為例,可以利用“五問法”從應(yīng)用需求逐步選擇3D視覺方案。
· 任務(wù):近距離識別與精細操作,視覺數(shù)據(jù)服務(wù)于抓取等VLA算法,要求近距離、高分辨率、高精度。
· 距離:0.05~1米。結(jié)構(gòu)光和iToF均可覆蓋,考慮機械臂運動,iToF方案更具優(yōu)勢。
· 目標:尺寸較小、結(jié)構(gòu)精細的零件,需要較高近距離深度精度。
· 環(huán)境:室內(nèi)常規(guī)光照,無明顯強光干擾。
· 集成:腕部安裝空間有限,需要小尺寸、輕量化和近距離高精度。
在上述條件下,可收斂至邁爾微視M4-G。M4-G機身尺寸約為60×30×29mm,重量不足200g,在0.05~1米范圍內(nèi)可實現(xiàn)4mm精度。
· 任務(wù):實時避障,并提前發(fā)現(xiàn)運動中的障礙物。
· 距離:中等距離??稍u估雙目、iToF和dToF;若更加關(guān)注不同距離下的測距穩(wěn)定性和運動目標提前感知能力,可進一步評估dToF。
· 目標:低矮障礙物、臺階、懸空物及常規(guī)材質(zhì)障礙物。
· 環(huán)境:存在明暗變化、陰雨天氣等情況,需要重點評估環(huán)境光適應(yīng)能力和防護等級。
· 集成:要求小體積、以太網(wǎng)傳輸、ROS支持和視覺避障算法。
在上述條件下,可評估邁爾微視S10、S11。原文設(shè)定中,兩款產(chǎn)品支持以太網(wǎng)與ROS,并集成3D視覺避障算法;四足機器人還可通過多顆相機拼接形成BEV視野,實現(xiàn)更大范圍環(huán)境感知。
· 任務(wù):環(huán)境感知、自主定位、建圖和導(dǎo)航,需要大視場并融合慣性數(shù)據(jù)。
· 距離:遠距離探測,dToF方案具有明確優(yōu)勢。
· 目標:復(fù)雜場景和多種目標,希望降低對目標紋理的依賴。
· 環(huán)境:從室內(nèi)延伸到戶外強光,需要重點關(guān)注強光抑制能力。
· 集成:希望頂部安裝的一顆相機同時承擔感知、建圖和定位導(dǎo)航,需要大視場、IMU、SLAM和語義感知能力。
在上述條件下,可收斂到邁爾微視S20。原文設(shè)定中,S20具備50米級探測距離、170°×90°大視野、10萬Lux抗強光能力,并內(nèi)置IMU,支持SLAM算法與語義感知。
實驗室Demo只能說明產(chǎn)品在特定條件下可以工作,并不能代表機器人在實際現(xiàn)場能夠長期穩(wěn)定運行。正式選型前建議使用真實工件、真實光照、真實工作距離、真實機器人運動狀態(tài)和真實安裝方式進行測試。
機器人項目從樣機驗證到量產(chǎn)交付后,真正的問題往往才開始出現(xiàn)。需要重點關(guān)注溫漂、振動、產(chǎn)品一致性、軟件穩(wěn)定性、長期供貨和產(chǎn)品生命周期?!澳苡靡慌_”與“能夠穩(wěn)定交付100臺、1000臺”是兩個不同的問題。
3D視覺相機是機器人視覺系統(tǒng)的數(shù)據(jù)入口。除了硬件性能,還需要考慮算法是否需要自行開發(fā)、是否已經(jīng)集成視覺算法、是否提供SDK、是否支持ROS、是否支持主流機器人計算平臺,以及多相機同步能力。
|
選型維度 |
核心問題 |
|
任務(wù) |
相機主要用于避障、導(dǎo)航、抓取還是環(huán)境感知? |
|
距離 |
最近工作距離、主要工作距離和最大探測距離分別是多少? |
|
視場 |
機器人需要看多寬、多高?是否存在視覺盲區(qū)? |
|
目標 |
是否存在金屬、低紋理、透明、軟包、小型零件? |
|
環(huán)境 |
是否存在強光、弱光、雨水、粉塵、振動? |
|
動態(tài) |
機器人和目標的運動速度是多少? |
|
防護 |
是否需要IP54、IP65等工業(yè)防護等級? |
|
安裝 |
相機安裝空間、重量和機械強度是否滿足要求? |
|
接口 |
是否支持Ethernet、USB、ROS、SDK等? |
|
算法 |
是否需要內(nèi)置避障、SLAM、語義感知等算法? |
|
多機 |
是否需要多相機同步、拼接和抗干擾? |
|
量產(chǎn) |
產(chǎn)品一致性、生命周期和供貨能力是否滿足要求? |
建議從任務(wù)、距離、目標、環(huán)境和集成五個維度開始。先確定機器人需要完成什么任務(wù),再確定工作距離和視場范圍,然后分析目標材質(zhì)與環(huán)境條件,最后確認尺寸、功耗、通信接口、算法和量產(chǎn)要求。
不是。更重要的是在實際工作距離內(nèi)持續(xù)輸出穩(wěn)定、完整、可用于算法處理的深度數(shù)據(jù)。機械臂可能更關(guān)注近距離精度,移動機器人可能更關(guān)注提前感知距離,導(dǎo)航機器人則需要同時考慮視場、距離和運動穩(wěn)定性。
沒有絕對的“最好”。雙目視覺適合關(guān)注圖像信息、環(huán)境感知和中近距離應(yīng)用;結(jié)構(gòu)光適合近距離、高分辨率、高精度場景;iToF適合近距離實時感知和精細操作;dToF更適合中遠距離、復(fù)雜環(huán)境光條件下的機器人感知。
戶外機器人需要重點考慮強環(huán)境光、雨水、粉塵、振動、遠距離感知和動態(tài)目標。不能只依據(jù)室內(nèi)Demo選擇相機,應(yīng)使用真實戶外環(huán)境進行測試,并重點評估環(huán)境光適應(yīng)能力、防護等級、探測距離和運動穩(wěn)定性。
如果機器人軟件系統(tǒng)基于ROS或ROS 2開發(fā),建議確認相機是否提供對應(yīng)的ROS支持、SDK和接口文檔。ROS支持可以降低系統(tǒng)集成成本,但具體仍需要結(jié)合機器人控制器、計算平臺和軟件架構(gòu)驗證。
因為不同3D視覺技術(shù)對光照、材質(zhì)、距離、運動狀態(tài)和安裝方式的敏感程度不同。實驗室參數(shù)和真實機器人現(xiàn)場表現(xiàn)可能存在差異,因此最終選型建議以真實工件、真實環(huán)境和真實機器人運動狀態(tài)下的測試結(jié)果作為重要依據(jù)。
機器人3D視覺相機沒有一個適用于所有場景的標準答案。真正有效的選型方法,是先把五個問題想清楚:機器人要做什么?需要看多遠?需要看什么?將在什么環(huán)境工作?如何接入機器人系統(tǒng)?
從這五個問題出發(fā),再選擇雙目視覺、結(jié)構(gòu)光、iToF、dToF或多傳感器融合方案,才能避免單純比較參數(shù)帶來的選型誤區(qū)。
對于移動機器人、人形機器人、四足機器人以及機械臂等不同平臺,3D視覺相機最終承擔的角色也不同:可以是避障傳感器、導(dǎo)航傳感器、環(huán)境感知傳感器,也可以成為機器人精細操作和智能決策的數(shù)據(jù)入口。
邁爾微視專注于機器人3D視覺領(lǐng)域,S/M/V系列產(chǎn)品覆蓋機器人避障、導(dǎo)航、環(huán)境感知、識別和對接等應(yīng)用場景,可根據(jù)實際工作距離、目標材質(zhì)、環(huán)境條件和機器人系統(tǒng)需求進行具體選型,并結(jié)合樣機測試進一步驗證方案。