工業協作機器人及數字孿生技術創新平台 4. 3D視覺培訓-1
2026年11月17日
AI 生成·可能包含錯誤
視頻概述
AI 生成本视频主要讲解视觉引导软件的操作与配置,重点涵盖了软件的场景搭建、相机连接与网络配置、以及视觉流程的图像处理逻辑。演示者详细说明了如何通过设置 IP 網段使相机上线,并介绍了利用点云模型进行工件(如螺帽、垫片)定位和匹配的基本流程。
今天下午主要講一下視覺引導軟件
主要是用來定位這種工件
定位之後再把定位之後的抓取位置發送給機械幣那邊
這個軟件主要是分爲場景還有視覺流程
視覺流程主要是用來做圖像處理的
用來把圖像裏面的工件定位到之後
把工件的定位位置計算出來
計算出來之後然後再通過任務流程這裏面
我這個版本是沒有通訊交互的
把通訊交互內容給刪了
主要先講一下場景部分
場景的話主要是分爲機械幣
機械幣然後還有端視器
端視器的話就是我們對的甲爪
然後第三個的話就是相機
正式相機
還有那個弓箭
弓箭模型
這是墊片的
這個是羅帽的
還有鐐框的
這個是點雲模型
然後場景裏面的話就是如果你們拿到那個工程之後
場景裏面的話
就機器人其實
就你們可以看到這裏
在右下角這邊有一個離線狀態
現在機械幣離線狀態可以是可以不用管
因爲我們只有用到RB軟件去控制
機械幣的時候才需要把機械幣連上
如果只是單純通過通訊協議去交互的話
是不需要連上機械幣的
所以說這裏離線的話是沒關係的
然後相機的話是需要正常連接上的
就是這邊相機好像真的沒連上
只是說現在本地圖連上了
先把本地圖給刪了吧
現在相機是離線狀態
然後端子器的話
其實如果沒有就是端子器
如果你沒有上那個
痛狀檢測的話
也可以不用管
就直接加一個添加一個默認的就可以了
我看一下
然後最主要的話就是相機這邊
相機的話就是先得把那個真實相機給連上
因爲你拿到那個工程的時候
它相機的IP地址可能是不對的
所以說相機這邊是離線狀態
現在把那個相機連接上
你這邊的話你直接連接的話
你這邊可以看到就是它IP地址
這個是以太網3的
IP地址網段和相機的默認IP地址
它是沒有在同一網段
所以說通訊不上
然後這裏的話
我們得先用那個
先用這個先用這個軟件
先用這個軟件
這個
要不要你電腦再連上它
然後再把通訊連上
不用這裏已經這樣就可以了
這樣已經可以連上了
已經連上了
這我只是網段現在沒通
我配置一下
就把這個那個iView軟件打開來
然後它現在是那個設備不可打碼
所以說需要把那個IP
讓它自動去匹配一下
連這個
然後它自動會幫你把那個相機的IP
然後修改成和那個電腦網口同一網段的
你這裏直接改這個就改這個就可以了
改這個
隨便只要和它不重複就行了
改完之後然後點確認
這個需要說一下這個
它這個網口的話
因爲是相機視頻
直接是連在設備上的
它裏面參數我們都已經先調好了
啊已經錄了
已經錄了
它網口的話也是需要有參數
參數來設置的
你可以打開看一下那個
這個他他就是他這個
這個現在有一個功能就是直接
可以直接去那個
你現在相當於是已經那個
已經適配上了
所以說我們連上了
對因爲現在相機是直接連到設備上
我們是
提前已經調好了
但是對於你們後面
比如說相機要連到自己電腦上去測試的時候
我們是要把我們的連相機的網口參數
它有一些配置
有個什麼可以打開
配置的話就是比如那些就是
因爲剛剛不是提示了一個
就是說當前網絡沒有沒有沒有沒有
沒有達到1GB
所以說需要
給他配置一下那個網卡屬性
因爲他默認的話是
就這個這個盤窗
同學們應該要對比
要準備要不換一個網
應該不用
你這個是擺着的還是千兆的
如果是千兆的話就是沒問題
就是這個配置的話
你可以參考這個有一個
這裏有一個配置
就是這裏有個幫助文檔
這個有用戶手冊這裏
然後需要配置的話可以看這裏
像你的電腦
呃他已經自動連上了
我的設備上都已經他已經自動連上了
就是要不要跟這個
192.1.0
可以呀可以呀可以呀
然後放下
呃就是說如果那個想
要配置那個
相機的那個對應的那個網卡的屬性嗎
可以這裏這裏有個快速入門
然後有一個
使用前準備
這邊有個環境配置就是
一個是要保證那個相機的 ip 是
呃手動獲取嗎
然後然後還有一個
就是這裏有個矩陣包設計設置
需要把那個呃
去矩陣包那個數據包改成那個
就相當於一gb的嗎
改成9014的
嗯
這可能是網線或者
反正我你要保證那個
呃這裏也可以設置
也可以設置你要保證那個網線
就是要保證網卡是一句的
然後網線是
千兆的網千兆網線
嗯
啊這也可以配置就是我現在演示一下
我現在用的是這個嗎
這個本地連接
等一下以太網3
這個
我這個用的是 usb 的
那我就用本地連接去那個
去設置一下吧
因爲他這個連是 usb 的
就是如果要設置的話就是直接設置這裏
呃這裏有一個那個
協議屬性
那個高級
這裏有一個
啊有個高級設置的
哎
移動比較比較差一點
我看一下
這個
沒了
這個
有個
矩陣包設置
沒有
哎爲啥
爲啥都沒了我看看網卡
正常正常來說是有的我先
先先先問這個講吧
先不管反正設置的話就是呃
呃網卡屬性嘛然後在高級這裏
把那個矩陣包
矩陣數據包改成9014
還是知道他會有個那個電源顯像
那個要把那個要不要切過來試一下
呃不用吧這個不用了
這個我們這個這個
比較基礎設置
這個其實你用百兆的話也能採毒
就只是說可能會就是沒那麼
可能會丟包
用百兆的話
沒事就是演示的話應該沒關係了
然後連上的話就可以直接
取流嘛就可以看得到那個
深度圖彩色圖和點閱圖
就這樣的
這一部分
這一步調製成成像的話我等會再講吧
就是上午其實已經講過了嘛
時差已經講過了
我主要是講一下剛剛那個就是把那個
呃 ip 網段給他設置成一樣的嘛
就是方便
方便這個
我們打開那個工程的時候
就是能連上那個相機
你現在的話去連的話就可以
你看現在其實現在的
現在這裏的話他就是剛剛那個
剛剛那個感的話就是沒了嘛
你現在去你連的話就可以連上了
呃
這個是因爲你這個相機沒有做那個
手錶標定
所以說
你連上之後他會報一個
就是獲取那個手錶標定失敗
呃那個因爲因爲沒做嘛
手錶標定沒做嘛
所以說會談談談這個
呃就是說呃如果我
呃我我我這邊演示的話
我就直接用那個本圖去演示了
因爲相機的話他
沒有標定的話是
或者我直接改改這個也可以
我把這個嗯
這個
標定結果的那個序列號改一下也行
演示做演示的話可以這樣操作
就是他這個相機有個序列號嘛
這邊
這裏有個序列號
就是00然後db149582這個
你可以把這邊的那個
相機序列號改一下
改了之後他就能
就相當於是有一個虛擬的那個
標定標定結果了
db
呃因爲他這個
呃你連相機的時候他會去這個路徑
下面去
每局
對應相機序列號的
那個標定結果
就是說如果你這個序列號沒有的話
就這麼說
你沒有標定過的話
他就會報
剛剛這個彈窗
就是如果你
啊
你現在再加連的話
啊
什麼意思
越過這些是吧
不用講嗎
別的文件不用講了
呃就是我講一下我講一下試操的嘛
你到到時候你們
都都能用馬上就是操作的時候是不是
肯定這個問題肯定會
後面肯定會遇到嘛
我們應該是前期是熟悉軟件
然後現在呢我們有時間就試操
去建一下模板
嗯我先講一下吧先講一下
因爲他們
因爲他們都沒沒有搞過嘛
我就要講一下吧
因爲這些
就大概瞭解一下嘛
現在的話就可以相當於是連上了嘛
就相機真實相機可以連上
然後采頭也可以
採到就是真實相機
對應的圖片了
然後等會講的話我就直接講
我就用之前那個
嗯相機採好的圖片去講
然後這個是
場景裏面的場景裏面的相機
然後把真實相機連上
然後空間的話這裏這裏有那個就是
他末有默認的那個
空間點語模型
就這個的話都是需要後期
呃你們去就是編輯去操作的
就是新建空間點語模型這些
我先大概講一下吧
講完之後然後再講一下
就是說如果呃你們去現場
就是
上機臺調試的時候需要
就是
做那做那些操作
這點語模型是也是需要後面新建的
然後再講一下這個
其實主要還是
呃視覺流程這裏面
這裏面
這邊有對應三個流程
還有對應三個流程
分別用來
計算那個螺帽電片
還有那個螺桿的抓取維持的
其實這裏面具體的實現細節的話可以
呃後面有興趣可以看一下
我先大概講一下那個
這些基本的邏輯
然後因爲我們現在呃
真實相機裏面是沒有那個空間的嘛
所以說我們先用那個
添加本地圖
就這個後面如果你們
呃在自己電腦上面操作的時候
也可以這樣操作
就是說添加本地圖
然後再
鏈接對應的那個
圖片
這個時候單次採集的話就可以看得到
就對應的那個本地圖裏面的
對應的圖片了
這個是
RGB圖和深度圖
然後這個切換這個可以看到到那個
對應的點運圖
然後就是
本地圖新增之後
就這裏面視覺這裏面
如果你想用本地圖調試的話
你在這裏面
呃關聯相機這裏
就是也是關聯本地圖相機啊
本地圖啊
然後直接這邊單次運行
之後他整個是視覺流程就會
呃執行一遍執行一次
我看一下
呃
識別的效果
結果卡死了
在哪呢卡死了
啊這裏有
呃
結果的話這裏可以看得到就是呃一個
如果你想看看結果的可以可以就是直接
呃切換到對應的這個工具嗎
中間表面匹配
然後一個定位點
可以切換到這裏
或者你想看那個RGB
呃第一的匹配效果匹配效果
可以看這裏
這個是他的一個點運的匹配效果
就是其實呃
最終的那個匹配效果的話
最好是直接看點運圖會好一點
因爲如果你直接看2D2D圖的話
可能呃
他只是一個2D的那個匹配效果吧
其實你看不出來
看不太能看出來具體的那個匹配的細節
最好還是拿到
就是點擊對應的這個工具
然後去
對應的這個視圖裏面去
去查看那個效果
對這個這個的話就是
這個白色的點運的話就是我們的那個
這裏
用的那個模型點
這裏我看這裏我們匹配的是羅帽羅帽嗎
羅帽
這個是這個是那個模型
模型點運
模板點運
然後這個
這個裏面的話這個有顏色的話
是屬於場景點運
啊這個有點偏嗎
啊這墊片嗎
這是羅帽
羅帽對
因爲他這個羅帽的話我們只取得他
這是羅帽
我們只取得他
表面的點運
所以說你看着像墊片
墊片的話其實是這樣的
它是一個圓的嗎
羅帽的話是
呃這種
這模板怎麼做呢
這個模板模模板的話
2d裏面做模板
嗯模板的話我先來講一下
我就是呃
模板主要是這個模塊裏面嗎
這個模塊
封建表面匹配這個模塊
他這裏沒會用會用到那個
呃會用到那個封建的點雲
模板
這裏有個定位參數嗎
還有個封建模型
配置就是說你
對應的是啓用了這個
羅帽嗎
a羅帽
啓用的是這裏的
封建模型這裏
就是說如果你想
呃興建那個
封建點雲模板的話
直接這裏有一個
呃從模型庫添加
然後這邊有個封建
直接添加一個默認的
步驟的話就是
呃抓放註冊
然後點雲模板這邊有一個
新增
新增的話就進入那個模型編輯頁面
模型編輯頁面進入之後可以
就常規的話一般都是
直接拍照重建嗎
就是說你把那個
呃封建放到那個相機視野下
然後通過拍照去給他
建模
呃你可以可以直接拿一個
我直接用真實相機給你那個
演示一下
嗯
這個那個光源的那個亮度調調低一點
這個相機的光源亮度
不用這麼亮

