AI+機器人集成應用培訓 雙目結構光視覺系統介紹

接下來一個半小時,我們一起把雙目結構光視覺系統從頭到尾走一遍。 這門課不推公式,不做推導,目標只有一個上完課。 你能獨立把一臺3D相機接到機器人上,讓他穩穩當當地把弓箭抓起來。 我們的路線是成像,標定,抓取3,斷。 要讓機器人抓到弓箭,必須走完三個環節。 第一環,雙目結構光相機通過結構光三維成像,拿到目標的RGB圖像和點雲數據。 對應的是VVI軟件加3D相機,產物是點雲圖。 第二環,用手眼標定軟件結合機器視覺算法和機器人座標坐手眼標定, 把視覺的立體座標系轉換成六軸機器人的空間座標系。 對應HiCalibrator軟件加3D相機,標定版和機器人,產物是一份手眼標定文件。 第三環,RP全功能視覺軟件用視覺算法對弓箭點雲做模板匹配, 把匹配出的三維空間座標轉成機器人座標引導機器人去抓取。 對應RobotPilot軟件加手眼標定文件加機器人,產物就是定位引導。 請大家注意一個特點,每一環的產物都是下一環的輸入。 點雲圖不好,標定的輸入就差,標定文件錯了,抓取一定篇。 先看硬件。 這臺DLS-250U是雙目結構光立體相機。 它用雙目結構光成像技術再結合一顆彩色攝像頭, 直接輸出RGBD圖像,測量精度,可以做到亞毫米級。 相機內部是定製化的光機系統,也就是我們說的結構光組件, 配合內置的高精度3D圖像處理算法, 主要面向弓箭抓取,引導裝配這類場景。 看這張硬件圖,上面是左黑白相機,右黑白相機, 中間是結構光組件,旁邊是彩色相機。 這裏要記住一個對應關係, 深度圖是IR傳感器加結構光發射器算出來的, RGB圖是RGB傳感器直接派的, 兩條通路分開,後面條參數也分開調,這一點很重要。 先看RGB這一路,比較簡單。 激光鎮靜模組不投射結構光的時候, 2D彩色相機取拍一張目標物的二維圖像, 輸出的就是RGB圖,拿到的是物體表面的顏色和紋理信息。 它不提供任何高度信息, 作用主要是給點雲上色,以及後續做紋理相關的識別。 深度圖是核心,一共三步。 第一步,結構光組件把條紋結構光投到目標物表面, 因爲物件本身有高低起伏,投上去的條紋就被掰彎了。 第二步,左右兩個黑白相機同時去看這些被掰彎的條紋。 相機內部處理之後,算出物體表面的深度數據, 先輸出IR圖。 第三步,深度數據再經過內部算法處理,生成深度圖和點雲。 所以,請大家建立一個概念,條紋變形的程度就編碼了物體的高度信息。 弓箭越複雜,條紋彎得越厲害,信息量越大, 但反過來,如果弓箭表面反光太強,條紋就糊了。 深度數據也就跟着丟,這就是爲什麼我們後面要花一整頁講曝光。 這頁是把前面兩步合起來的一張總圖。 從原始的IR圖,經過匹配和三角計算,得到深度圖, 深度圖配上相機內參,就展開成了三維點雲, 再和RGB圖對齊,就有了帶顏色的紋理點雲。 大家現場只需要記住這條鏈路的順序, IR圖生成,深度圖生成點,雲生成紋理點雲。 排查問題的時候,也是順着這條鏈往回倒點雲, 先看IR圖,IR圖不對,那就是曝光或反光的問題。 這一頁我們看實際成像效果,然後放一段視頻。 先看圖,左邊是左IR圖和右IR圖,中間是深度圖和RGB圖。 右邊是把兩者合起來的RGB地圖。 這臺相機有三項特性,我要展開說一下。 第一是高精度,它投射的激光線能量更集中, 再加上線激光、亞像素處理這類技術, 可以進一步提升激光線的提取精度。 所以,激光鎮靜系列的C軸重複精度最高能做到10微米級別。 第二是寬動態,相機採用了高寬動態的光學設計。 第三是抗干擾,配合自動曝光、多幀融合等多種算法處理。 進一步提升了抗金屬表面高反光和抗環境光干擾的能力。 非常適合金屬弓箭的3D信息獲取。 後面兩點其實是綁定的金屬件最怕的就是高反光和環境光, 而這臺相機就是爲這個場景設計的。 講完原理,我們落到安裝。 硬件接線只有兩根線要接,第一根是電源線, 把電源線的橫插頭插到相機的PWR電源接口上。 第二根是網線,橫插頭這端插相機的LAN網口RJ45, 這頭插公控機的網口,相機端接口的定義看第二張圖。 這裏有個實操要點要強調, 接線通常只接相機的白線和棕線,白正棕負, 也就是白線接正極,棕線接負極。 供電上,用24V開關電源單獨給相機供電, 不要跟機器人、電磁閥這些感性負載共用一個電源,避免干擾。 開關電源的三角插頭接220V試電。 第一環的軟件工具是Previewer。 它是海康機器人爲RGBD系列相機開發的客戶端, DB、DT、DLS、DPS、EB這些系列都能用。 功能上比較全,圖像實時預覽、屬性配置、存圖、 設備維護、虛擬相機、內參檢查、圖像預覽和轉換、 相機位姿校驗、自動曝光,都在裏面。 視圖方面,支持標準視圖和對其視圖兩大類。 標準視圖裏有原始圖、彩色圖、深度圖、 點勻、相位圖、正幅圖、亮度圖、矯正圖。 深度圖對其彩色圖的視圖裏有原始彩色圖、 對其後深度圖、紋理點勻、深度彩色疊加圖。 彩色圖對其深度圖的視圖裏有原始深度圖、 對其後彩色圖、深度彩色疊加圖、紋理點勻。 取圖方式有三種,連續取圖實時渲染、 單次觸發取圖、連續觸發取圖。 最後提醒一句,第一次連相機的時候, 需要先設置相機、IP。 這是新手最常見的連,不上原音。 界面分六個區,一是最上面的菜單欄, 二是下面的工具欄,三是左邊的參數配置區, 四是圖像類型選擇,五是中間最大的圖像預覽區。 六是最下面的狀態欄。 我們後面調參數,基本全在左邊第三區參數配置裏完成, 圖像類型在第四區切換。 這兩塊是主戰場。 現在講調圖,先說RGB。 常用參數就兩個,再採圖,曝光模式選單。 曝光的前提下,調採圖、曝光時間和、 彩色增益把亮度調合適。 那什麼叫合適? 標準很直觀,不過亮、不過暗, 能看清目標物體表面的特徵。 就這麼簡單,不需要看直方圖,也不需要對比度豎直。 肉眼能分辨紋理和邊緣,就算合格。 深度圖的調試是重點,我們分三種情況講。 過低曝光,圖像太暗,會導致深度圖缺失或者重建精度低。 更麻煩的是,對比度低的時候, 噪聲對投影光能量的影響會變得很顯著。 直接壓低重建質量,表現就是點雲波動大、抖得厲害。 合適曝光,提供優質的點雲質量。 這裏給一個可量化的判據有光和無光時, IR圖中的灰度值差異在60個灰度及以上,就是理想的。 這個60請大家記下來,現場不用拍腦袋, 去量一下就知道夠不夠。 過高曝光,一方面把環境光的佔比拉高了, 另一方面有可能把投影光能量在灰度數據中的佔比壓下去。 所以,曝光不是越亮越好,是投影。 光相對環境光耀佔得住。 參數調好之後,一定要保存,否則相機一斷電重啓, 全部回到默認值前面白調。 操作上,建議保存用戶集參數,並且把這套參數設爲設備的默認啓動用戶集。 相機內部一共可以存4套用戶集, 一套默認參數加3套用戶可配置參數。 要注意權限區別默認參數即只能加載,不能修改保存。 另外3套纔開放給用戶配置和保存。 保存入口在屬性樹裏,截圖上標出來的就是。 進入第二環,手眼標定。 這裏要加三樣東西,機器人,標定板,還有HiCalibrator手眼標定軟件。 它的任務用一句話說清楚獲取機器人座標系與相機座標系之間的轉換關係, 把視覺系統下的物體位姿轉換成機器人座標系下的位姿。 爲什麼必須做這一步? 因爲相機算出來的座標是相機, 眼中的座標機器人聽不懂,機器人只認自己的機座座標系。 標定的本質就是找一把翻譯尺, 把相機說的話翻譯成機器人能執行的數。 這把尺準不準,直接決定最後抓的準不準。 標定第一步,先確定相機怎麼裝。 兩種安裝方式。 第一種叫眼在手外,eye-to-hand,相機裝在機器人本體之外的固定支架上。 標定得到的是相機到機器人機座座標系的轉換關係。 第二種叫眼在手上,eye-in-hand,相機裝在機器人法藍末端,跟着機器人一起動。 標定得到的是相機到機器人法藍座標系的轉換關係。 這裏有個硬性要求,眼在手上時相機必須裝在法藍末端, 不能裝在中間某一個關節上。 因爲中間關節的運動關係更復雜,標定模型不支持。 裝錯了,標定結果一定是錯的。 選哪種? 簡單判斷是也要覆蓋大範圍,弓箭位置分散的,懸眼在手外。 需要相機跟着走,近距離精定位的,懸眼在手上。 如果懸眼在手外,有兩個剛性要求。 第一,相機必須固定安裝,支架不能晃。 哪怕輕微的位移都會讓之前標定的結果失效。 第二,標定板要鎖緊在機器人第六軸上,用手推不會晃動。 這一點,現場非常容易偷懶用膠帶粘一下,或者螺絲沒擰緊。 標定數據採集的時候,標定板有微動,算出來的誤差就會超標,而且很難定位原因。 裝完之後,請務必用手推一推確認。 打開HiCalibrator,第二步是連接相機。 軟件支持三類,RGBD立體相機,激光輪廓儀相機,還有2D相機。 我們今天用的是RGBD立體相機這一類。 第三步是連接機器人。 相機的連線和通信參數確認好之後, 在這一步建立軟件與機器人控制器之間的通信。 連上之後,軟件才能讀到機器人當前的位姿,這是後面標定計算的基礎數據來源。 第四步,選機器人品牌。 軟件已經集成了市面上的主流品牌。 選對了品牌,就可以實現全自動標定,位姿數據自動讀取,不用人工超數。 如果你的機器人不在列表裏,也沒關係,可以用手動控制、手動輸入的方式。 任意機械臂都能用,只是每個點位需要自己把座標填進去,效率低一些,但精度不受影響。 接着選機器人類型。 支持四軸和六軸的關節機器人,也支持橫架式的二軸、三軸、四軸或者其他類型。 按現場實際機構選,選錯了後面位姿的自由度對不上,標定會直接失敗。 再選座標系類型,左手系還是右手系。 這一項要跟機器人廠家確認,不能猜。 選反了的話,標定計算可能照樣能出結果。 但機器人運動會往反方向偏,非常有迷惑性能算出數,不代表算對了。 這個坑要提前避開。 然後是標定類型和標定板規格兩項配置,下面兩頁我們分別展開。 標定類型,我們用N圖像標定。 方法是在機器人末端固定標定板或者相機,然後在N組不同姿態下運動並拍照,N至少是15組。 而且這些姿態既要包含旋轉,也要包含平移。 爲什麼要這樣設計? 因爲手眼關係的求解,本質上是解一個方程組。 姿態越豐富,約數越多,解出來越穩。 如果15組姿態都長得差不多,數學上就叫病態,解出來的數看着漂亮。 時機一抓就偏。 最後,軟件根據相機、標定板、機械臂末端、機器人機座標系這四者之間的未知關係。 計算得到手眼關係。 標定板按視野大小來選,小視野配小標定板,大視野配大標定板。 原則是讓標定板在圖像裏佔一個合適的比例太小了,特徵提取不準。 太大了容易出畫。 選錯規格,後面那參檢查那一步會直接判不合格。 配置都確認完,點標定開始,正式進入標定流程。 後面幾步是順序執行的,不要跳步。 第一步是成像質量檢查,這跟我們在HeyViewer裏做的是同一件事。 只不過在標定流程裏再確認一次。 1號位置調深度圖的曝光時間和增益。 2號位置調RGB圖的曝光時間和增益。 3號位置切換配置。 反覆調直到左右視圖都清晰爲止,然後4號位置進入下一步。 這裏提醒一句,標定時的成像質量必須和你將來生產時的成像質量一致。 如果標定時光線調得很理想,生產時光線變差了,精度就會往下掉。 第二步是相機內參檢查。 點開始檢查,軟件會給出一個誤差比例。 判定標準是一個數,大於3%爲不合格,小於3%爲合格。 如果超過3%,按順序排查三件事。 第一,標定版規格選對了沒有? 第二,RGB圖和深度圖有沒有調到高質量? 第三,前面兩項都確認沒問題,還是不合格,那就聯繫技術人員。 可能是相機本身需要重新標定內參,這一步必須合格才能往下走。 帶着不合格的內參繼續做下去,後面所有的書都沒有意義。 第三步是添加圖像和位姿,這是整個標定裏工作量最大也最容易做錯的一步。 我講慢一點,數量上至少採集15個點位。 姿態怎麼分配有講究。 前三個點位要在同一層高度上,只做X,Y平移,構成一個平面,C,A,B,C都不要動,後面12個點以上。 要在不同高度採用不同姿態。 在安全並且保證圖像清晰無深度丟失的前提下,RZ儘量涵蓋正負180度,RX和RY儘量不要重複姿態。 操作上,歐拉角類型選Unknown,點添加位姿,然後手動輸入機器人當前座標。 這裏有個關鍵紀律,要等數據變綠之後,才能把機器人走到下一個點,依此類推採滿15組。 界面的顏色就是狀態燈灰色代表圖片尚未採集,綠色代表圖片校驗通過,紅色代表圖片校驗不通過,黃色代表左右圖校驗不通過。 看到紅色或黃色,當組重彩,不要硬着頭皮往下走。 最後一個省力技巧,機器人位姿可以直接從機械臂軟件裏複製過來,在視覺軟件裏粘貼,不需要手動超速,既快又不會超錯。 最後,看標定結果,5步。 第一,歐拉角類型,還是選Unknown。 第二,點開始計算,讓軟件算標定結果。 第三,檢查評譯誤差,0.5毫米以內纔算及格,這是今天要記的第三個數。 如果超了,回到上一步補姿態,重彩,不要湊合。 第四,合格後保存標定文件,命名用當前,時間加型號的。 方式,比如20241205480,文件會存到C盤用戶文件夾下的Documents RP Calibration目錄裏。 第五,保存方案,把方案存到你自己指定的路徑下,方便以後復現。 標定文件和方案是兩樣東西,都要存,只存一個下次就配不回來。 我們看一遍完整的標定演示視頻,把剛纔十幾個步驟串起來。 看的時候,請大家重點關注兩個地方,一是前三個點位的操作方式, 二是每一組採完之後等顏色變綠的節奏。 進入第三環,引導抓取。 工具是Robot Pilot,一站式機器人視覺引導平臺。 它有五大核心能力,視覺處理,手眼標定,智能軌跡規劃,機器人交互,3D渲染仿真。 兼容性上,支持超過300款多品牌工業機器人。 它內置了自動化的Eye-to-Hand和Eye-in-Hand手眼標定工具, 還能把標定誤差用點雲的方式可視化出來標定做的好不好,一眼就能看出來。 功能上,它可以完成工件的3D識別,空間位置定位,碰撞規避路徑規劃。 另外,還提供離線仿真,抓取策略配置,以及PLC和機器人的全託管交互接口。 簡單說,前面兩環的準備,都是爲了在這一環裏讓機器人真正動起來。 在Robot Pilot裏幹活,第一步是搭場景。 基礎場景,需要在模型庫里加四樣東西,機器人、端石器、相機、弓箭。 機器人,添加列表裏的第一個就行。 注意,如果是四軸機器人,要另外去選軸數爲四的其他款,別拿默認的六軸去頂。 端石器,選第一種End Effector模型。 相機,在真實相機裏,選你現場用的型號。 這裏有個實用技巧,如果你是要拿現場拍回來的圖片, 做本地排查,就選本地圖,這樣可以脫離硬件復現問題。 弓箭,選第一個添加即可。 現場有幾種弓箭,就按實際數量添加幾個,不要共用一個模型。 場景搭完,先別急着建模,先做成像檢查。 五步,連接相機,選擇正確的標定文件,點擊單次採集。 在成像效果界面檢查RGB圖和深度圖的成像效果。 不滿足要求,就回去調深度圖或RGB圖的圖像參數。 第二位的選擇,正確的標定文件。 就是我開場埋的那個伏筆,很多現場抓不準的問題,根子都在這裏選錯了文件。 請養成習慣,每次開局,先確認標定文件名對不對。 成像確認沒問題,開始建模。 先創建一個空白模型,在模型列表裏,選擇弓箭。 右鍵可以自定義改弓箭名稱,建議用現場的實際叫法命名。 後面弓箭多了好區分。 點加號新建模型,進去就是編輯已錄好的模型。 界面上標的位置是模型的導入導出按鈕,模型做好之後可以導出來備份。 也可以換一臺設備直接導入,不用重建。 建模方式有三類,用相機彩圖來做弓箭點雲建模,用KAID模型來建模。 以及模型編輯處理。 這裏有一條硬性規定要記住無需抓取的弓箭, 以及需要限位的圓形、球形、圓柱形弓箭,必須使用KAID生成建模。 其餘項目可以用拍照重建的方式建模。 爲什麼要這樣規定? 因爲這三類弓箭自身幾何對稱性太強,拍照重建出來的點雲特徵不具有唯一性。 匹配的時候會出現多個,姿態都說得通的。 情況,機器人就會抓歪。 用KAID模型能把這些對稱約束提前寫進去。 這一步是選相機和標定文件。 當電腦裏存了多個標定文件的時候, 務必確認選的是當前這一臺相機、當前這一套裝夾對應的那個文件。 我再說一遍開場那句話,標定文件張冠李戴是現場定位不準的第一大原因。 而且現象非常隱蔽,一切看起來都正常,就是抓不準。 選完點下一步。 開始採圖建模。 第一步,把在抓取的弓箭放到相機視野下方。 第二步,點採集、圖像拍照、採深度圖和RGB圖。 採完要檢查兩件事,弓箭深度圖沒有殘缺, 並且弓箭的特徵點區域能夠有深度圖成像這兩條不滿足, 後面建出來的模型就是殘的。 第三步,點繪製ROI。 第四步,繪製ROI區域,只保留待檢測物, 把檯面、傢俱、背景全部框掉。 第五步,點完成。 ROI這一步別嫌麻煩,框乾淨了, 後面的匹配速度和穩定性都會明顯變好。 進到點雲編輯界面,做初步裁減, 把多餘的弓箭點雲裁掉, 只保留弓箭表面的點雲部分。 這一頁的六個工具,請熟悉一下,是下拉框。 配置框選區域類型,支持舉行框選, 多邊形框選和套索框選是框選按鈕。 框出你需要的點雲是反選框按鈕, 反向框選是刪除按鈕。 刪掉選中的點雲是撤銷和重做按鈕, 可以返回上一步。 或者取消當前界面所有的點雲編輯操作 是弓箭視角切換。 操作上有個小技巧,鼠標滾輪按住, 可以拖動點雲移動。 配合的視角切換用起來會順很多。 裁剪的目標很純粹,模型裏只留下弓箭自己, 多一點背景都是干擾。 裁好點雲,選建模算法。 三種,表面建模,適用於點雲多位曲面, 邊緣不明顯的弓箭,靠曲面特徵去做匹配。 輪廓建模,適用於邊緣點雲比較清晰, 而且存在大量平面點雲,不利於表面建模的弓箭。 簡單說就是曲面,特徵不好用,那就用輪廓, 弓箭邊緣點雲清晰地也選它。 融合建模,適用於精度要求高的複雜弓箭, 挑成像穩定的表面特徵加輪廓特徵一起建模。 這裏要分清融合建模和輪廓建模的區別。 融合建模的表面特徵和輪廓特徵必須在同一位置, 而融合建模的特徵可以在不同位置。 這個自由度是融合建模能做到更高精度的原因, 你可以各取最穩定的那一段特徵。 最後是模型參數。 以表面建模爲例,五步。 初定位模型,選擇完整表面點雲。 精定位模型,也選擇完整表面點雲。 特徵類型選擇表面特徵,點擊生成模型。 點擊完成。 輪廓測的流程類似。 精定位模型,選擇完整表面點雲。 特徵類型選擇輪廓特徵,生成模型,完成。 參數方面,其他項常規情況下按默認即可, 不要自作主張去掉。 這裏有一條明確禁忌,請大家記牢, 不要出現出。 定位模板選輪廓, 特徵類型卻選表面特徵這種。 搭配,這兩者必須匹配, 選反了模型會生成失敗, 或者生成出來匹配率極低。 這是新手建模失敗最常見的原因之一。 模型建好,進入視覺識別環節。 這一步要搭的是一條識別流程。 把彩圖,預處理識別串,起來。 識別流程要在模型庫里加三類模塊, 圖像源,點雲預處理,識別DL模塊。 這裏有個通用規則要注意, 調試任何一個模塊之前, 都要先輸入同步獲取圖像, 否則模塊沒有數據可算, 界面上看着是空的。 圖像源,把真實相機和本地圖像都加上。 真實相機用於實際測試效果。 本地圖的作用非常大當 現場出現識別錯誤或者定位不準時。 你可以把當時的圖存下來, 回來用本地圖復現和溯源。 所以實際測試的時候, 建議把存圖功能打開, 出問題時有據可查。 點雲預處理,用來過濾點雲, 主要設兩樣3D ROI和深度過濾。 3D ROI的調整手法是, 鼠標懸停在黃色鍵頭上, 按住左鍵拖拉拽, 讓區域儘量貼合識別區域。 深度過濾則是按高度屏蔽, 把不必要的點雲濾掉。 預處理做得乾淨, 識別速度和穩定性都會有明顯提升。 識別模塊按弓箭實際情況選, 表面匹配、輪廓匹配或者RGBDL。 其中表面匹配DL是核心模塊, 展開說一下。 它是把深度學習結合進來, 專門解決區面特徵比較豐富的 弓箭的視覺定位問題。 典型場景就是數量多, 雜亂堆疊的區面弓箭抓取, 這也是傳統算法最難啃的場景。 使用它有兩個前置條件, 一是要用我們前面建好的弓箭模型, 二是要用已經訓練好的深度學習模型。 兩個都要齊,缺一個跑不起來。 抓取邏輯搭好之後, 要和機器人對話。 RP軟件已經完美嵌入了2DVM軟件, 市面上主流的通信協議都能用。 根據你現場機器人的情況, 選擇對應的通信方式即可。 這一步的關鍵是和機器人測把地址、 寄存器、數據格式這些約定對齊。 雙方對得上,信號才通。 以Modbus爲例說明觸發邏輯。 機器人的觸發信號進來之後, 軟件按信號去選擇不同的流程, 抓取對應的弓箭。 也就是說, 信號和流程是一一對應的映射關係現場, 有幾種弓箭、幾種抓取方式。 就把流程分成幾條, 用不同的信號去調。 這樣機器人測的邏輯會非常清晰, 只管發信號。 抓哪個、怎麼抓都由視覺這邊決定。 最後看一段完整的生產演示視頻, 這是最終的生產界面。 請大家重點看三個地方, 相機彩圖倒出結果的節奏, 機器人運動的軌跡是否平滑, 以及抓取成功率的穩定性。 這三點是判斷一套3D視覺系統 是否真正可用的標準。 到此爲止, 我們把成像、標定、抓取這、 調鏈錄完整走了一遍。 請大家帶走三句話, 第一,點雲質量是地基, 曝光寧可調準,也別調量。 第二,標定文件選對, 比什麼都重要。 第三,模型裏只留弓箭, 多一點背景都是干擾。 課後,大家在現場遇到問題, 歡迎隨時來問。 謝謝各位。