(Eps.133)特斯拉超級計算機世界排名第五,自動駕駛希望的曙光?Andrej Karpathy Tesla首席AI總監視覺識別大會濃縮解讀

擁有着全世界算力前5強的超級計算機
自動駕駛真的離成功越來越近了嗎
曙光好像出現
Andrew Karpathy
我們這裏簡稱AK
他是特斯拉的首席人工智能總監
世界領先的機器學習專家
還有神經網絡專家
昨天在CVPR
是Conference on Computer Vision
and Pattern Recognition
就是一個純人工智能網絡
還有視覺神經學習的這麼一個會議上
他做了一個純視覺自動駕駛的展示
整個會議有8個多個小時
然後雲集了很多預演內的人士
AK的presentation差不多有40分鐘
今天我就給大家來濃縮解讀一下
40分鐘的視頻我看了差不多有三遍
記得提前點贊表示支持
關於AK
我們之前是做過關於他的視頻
關於他的濃縮解讀的視頻
很具體的講了一些自動駕駛
包括神經網絡學習
各個方面的一系列的細節
強烈建議回去看過那些視頻之後
再來看這個
我也會把鏈接放在簡介區
AK開始講
說現在我們是屬於人肉的電腦
在車裏來開車
然後隨着時間的轉換
將來會變成硅電腦
就是silicon電腦
就是說希望不用靠人的大腦來開車
差別在哪
首先你需要緊密的控制一個
時速超過80英里
超過一噸重的物體
那就是車
再一個就是反應時間
之前用人腦的反應
大約有250毫秒
換成電腦之後
反應時間會縮小到100毫秒的延遲
包括從人的頭的轉動
因爲人的視覺只能看到前面
到360度全視野的察覺
包括人們之前不就是我們開車
都玩玩手機
回回短信
刷刷ins
抖音什麼的
到由電腦全神貫注的來開車
全球每天大約有3700人死於交通事故
如果使用機器的話
可能會大幅的下降
再一個就是非常強的成本方面的下降
下面他引述了一張圖
就是電影iRobot
機器人那個電影
旁邊的人問他你在幹嘛
威爾史密斯
左邊這個人就說
他準備用手開車
他感到非常驚訝
說爲什麼需要人來開車
Andrew認爲景象不會太遠
電影裏的時間是2035年
他認爲這個時間可能會近得很多
他接着說
特斯拉對自動駕駛的處理
是非常獨特的
它屬於一步一步的向這個問題前進
接下來他就展示了一下
現在的自動駕駛有着哪些的價值
首先第一個左上角的就是AEB
就是自動緊急剎車
就是automatic emergency brake
大家可以看到
就是在過馬路的瞬間
這個行人並沒有看到
但是機器察覺到了
幫助他完成了自動剎車
下一個就是交通燈警告
traffic control warning
這個人可能是在看手機
沒有注意到燈在變黃
但是這個車在察覺到周圍的情況
並且看到有車經過面前的時候
幫他提示了警告
而且選擇了剎車
下一個就是PMM
就是pedal misapplication mitigation
就是說這個人在停車的時候
錯把剎車當油門了來用
錯把油門來當剎車來用
差點就撞上去
然後系統檢測出來
幫助他踩了剎車
防止了一場意外的出現
第4個動圖
也是類似的情況
也是在這個人在準備剎車的時候
不小心又踩上了油門
差點就是開到了湖裏去
這也是現在自動駕駛
可以提供的一些價值
好了
那麼接下來講
全自動駕駛的行程進展是如何的
貝塔版本
大家聽我已經講過很多遍了
現在大約有2000人左右在測試
現在這個視頻是Homer
這一個哥們的
他在舊金山的繁華的街頭
做Foodsoft專門貝塔的測試
整個路段
咱們起碼看到圖裏這些路段
他都是沒有中斷的
沒有需要人爲中斷來終止的
所以全自動駕駛的進程
到底是如何呢
這裏有一個視頻
看起來就是一個
Waymo的自動駕駛車
在做一個左轉路
這麼一個簡單的動作
我們其實現在看
這個東西其實一點都不新奇
各種視頻都見過這種片段
無人駕駛車
可以做各種各樣的動作
但是Andrew說
就是AK說
雖然這個行爲表面上看起來是一樣的
但是在車裏面內部的事情
發生的事情卻完全的不同
業內大部分競爭者
用得到的是LiDAR
就是激光雷達
加上HDMAP高精地圖
首先是把地圖測繪畫好
再按照上面的地圖來開
特斯拉完全不同
它主要靠的是視覺
視覺就是Vision
就是用8個攝像頭
所拍攝的視頻片段來處理
優點就是它每一次開的
都是第一次接觸
在當下的時間點
進行判斷來做決策
其實視覺相比來說
是一個更容易擴大規模
和推廣的解決方案
特斯拉已經有上百萬輛車和用戶
在不同的地點
如果使用激光雷達
加上高精地圖的話
推廣和維護的費用
將會非常的昂貴
相對來說視覺就便宜很多
但是難度同樣就大了很多
接下來有一張卡通的對比圖
從這個圖裏大家可以看到
高精地圖
還有激光雷達
是本身就不裝有的
再加上由於視覺方案的解決性很強
一些傳感器都開始積灰了
大約三週前
馬斯克也是發了推特
告訴大家停止了雷達的使用
爲什麼
他的推特里說得很清楚
他說當雷達和視覺
有了不同的意見的時候
系統應該相信哪一個
視覺更加的準確
所以我們要在那上面更加的加註
接下來展示了一下
8個攝像頭
都在處理什麼樣的數據
大約有每秒8兆的
就是8MB的數據
需要用神經網絡的學習系統來處理
它可以像人類一樣
只靠眼睛就能分辨出
該做出什麼樣的決定
過去幾個月
他們團隊的進步
還有結論是
眼睛是完全可以
解決這部分的問題的
純靠視覺就可以解決
但是要訓練神經系統
可以僅憑圖片
來解決物體的速度
加速度以及位置
是非常有難度的
尤其是深度
這就是爲什麼之前是需要雷達來做的
因爲雷達是可以來測量深度的
然而雷達是有短板的
比如說它經常會有雜音
會給你假的信號
我們應該車主都經歷過
幻影剎車
就是這麼來的
要解決不用雷達
就可以處理這些
他AK的團隊
需要對這個數據
有很高的要求
哪幾點
第一點
就是有足夠龐大的數據量
有大量的數據
纔可以不斷的進行訓練
第二點
要有足夠乾淨的數據
這裏乾淨指的就是
每一個數據對應了它的標籤
這樣系統在訓練的時候
才知道
他做的事情是對的
並且給他一筆反饋
第三點就是要有特別的數據
所有的corner cases
所有的這種不同的數據
edge cases
和普通的正常的開啓的
路段的數據是不同的
特別的數據越多
越可以幫助
系統的訓練的完善更快
有了足夠大的神經網絡
來訓練這些數據
AK說
成功是guaranteed的
成功是不可避免的
有一種感覺說
這種方式不成功
我就可以把電腦喫掉
這種感覺
好了
如何搞到這些成熟的數據
之前都做的是人工標記
就是human labeling
現在用的是一部分自動標記
一部分還是需要人工來幫助的
而且線下訓練有一些好處
比如說不用像在街上
需要很短的時間內做出判斷
可以穿越時空來看看結果如何
比如說可以看到事發的前幾秒
和事發的後幾秒
來回頭重新來訓練
這部分發生的事情
和該有的邏輯
還有該處理的結果
而且線下訓練
可以藉助雷達
來完善你的訓練
包括也可以人工的進行干預
處理和確認數據
這裏面有幾個特別極端的例子
第一個就是前面有很大的灰塵
看不見路
但是自動標識
還是可以在綠點的地方
檢測出車的位置的存在
並且導致
在即使看不清路的情況下
還不需要減速
因爲他跟蹤到的物體
還是在前進的
包括下一個場景
是在下大雪的時間段
大雪的時候
大家也經歷過
可能眼前是一片模糊的
但是你可以看到
黃色的箱子
還有周圍的箱子
它可以通過之間的距離的判斷
來證明路段
是可以不需要剎車的
但是要通過什麼
來觸發這些分解的數據
還有這些標籤的處理
AK和他團隊
一共總結了有221個trigger
就是叫觸發器
來分解這些數據
比如說這裏面有拐彎
有剎車
包括隧道
還有房頂上的一些物品
各種各樣的觸發器
他把這些觸發器
都記錄下來之後
安到他的收集網絡上
就一旦出現這些觸發器
就會記錄下來這些片段
從而拿這些片段
拿回來進行分解
標識和訓練
接下來講了一下
他的整個的data engine
是什麼樣子的
一開始從右上角
是有一些數據拿去訓練
他管這些叫種子數據
訓練好之後
就把這些東西
送到車上去使用
來測驗
當出現了上述的這些觸發器
出現了trigger之後
就把這些信息拿回來
訓練 分解 標記
然後再把這些標記好的
視頻片段或者照片片段
把這些出了問題的東西
內容再返回出去
再去訓練
週而復始
直到訓練
不斷的完善和完成
其實第一版的測試
已經經過7輪的進步
叫shadow mode
然後有100多萬種
不同場景的視頻片段
一共標記了
大約有60億個
object物品
就是不同的
只要是看到的東西不同
他都可以標記下來
然後大約有1.5個petabytes的存儲
就是一個非常龐大的數據量
當然這些還是遠遠不夠的
這個是整個框架
看起來的樣子
其實就是一個神經網絡
大家可以把它想象成一個豎狀圖
不斷的分支
不斷的發散
不斷的處理不同的信息點
來處理不同的信息
具體的可以參考
我之前那期視頻講得比較詳細
在這裏就不深究了
好了
這麼多數據和流程
怎麼處理的過來
這就到了下一個話題
特斯拉的超級電腦
super computer
這個大約是世界上
排名第5的超級計算機
沒錯
一個簡簡單單賣車的公司
有着一個算力
超過世界上很多國家的
這麼一個算力的計算機
到底是爲了什麼
大家仔細想一想
好了
這也是我在網上看到
有一些中文博主
總結的一些
超級電腦的一些信息
這個超級電腦
大約是有720個節點的
英偉達的A180GB乘以8來組成的
這樣一套系統的價格
大約是20萬美金
所以720臺
就是差不多1.44個億
這個還是5月份的報價
現在大約的整套系統
大約在2.2到2.5億美金左右
這個還是僅僅的硬件成本
還不包括場地空調監控等附加設備
作爲一個造車的公司
對吧
僅僅造車的公司
有着這麼驚人算力的超級電腦
大家不覺得非常的驚奇嗎
而且花了
兩個多億美金
就爲了造這麼一臺機器
大家還覺得自動駕駛
還是一個騙局嗎
大家可以注意
最底下寫着next up dojo
就是說現在你看到超級計算機
還不是我們之前視頻提到過的
dojo超級計算機
也就是說dojo到面試的時候
只會比這個更強
而且強的更多
接下來他就展示了幾個成果
比如說這個片段是讓工程師
使勁踩剎車
結果是黃色的
大家可以看到
黃色的是雷達的線
雷達有一上一下
給出了很多爆錯
它看起來的車
是不斷的消失和出現
不斷的消失和出現
然後藍色的是視覺
視覺給出的信號
是非常的穩定
爲什麼不去修復雷達的問題
他給的解釋說
雷達出現這個問題
是可以修復的
但是卻是要花費很多的工程資源
已經在錯誤的信息上
爲什麼還要再浪費時間和資源
就不是一條正確的道路
第二個
在橋底下
大家應該多少都經歷過
在開車的時候
突然前面比如說有橋的出現
橋的底下一般都會有陰影
然後大家也看到這個圖
黃色的是雷達
藍色的是視覺
雷達在那裏會顯示
有一個車或者是橋墩子
它不會很快的辨識出來
那個地方到底是不是有東西
在他看來
只是有一個靜止的物體
擋在那裏
然後藍色的視覺就會好很多
可以很清楚的看出深度和速度
還有加速度
雷達會給出你額外的訊息
讓你做決定的時候
還需要回來跟視覺來重新確認一下
才能做出決定
這就是爲什麼之前的剎車
經常會出現幻影剎車
尤其是在這種橋的情況下
非常的明顯
我經歷過很多次
他說當視覺
自己就可以足夠解決
這個問題的時候
爲什麼要兩個干擾到信息
最後一個展示
是前面有一個大貨車
大家可以看到
在遠處白色那個地方
雷達大約是在110米前
纔開始減速
因爲對於雷達來說
他看什麼突出的東西
都是認爲是靜態的
所以他在判斷的時候
就需要依賴視覺
來給他做判斷的依據
所以說
雷達在110米前纔開始減速
但是視覺就會好很多
從180米就已經開始減速
到145米的時候
就已經完全開始
就是正八角形減速
之前只是勻速下降
因爲視覺在這裏
沒有其他信號的干擾
它可以判斷和執行策略
更加的快捷
最後總結一下整個流程
最後大約是
有1500萬英里的數據
然後有170萬英里是
autopilot
然後是零事故
他說之前的事故率
大約是500萬英里
有一起
他說隨着數據的變大
這個事故是肯定會出現的
但是還是會比
不管是人駕駛
還是之前的自動駕駛的技術
都會有非常大幅度的提升
最後總結一下
純視覺可以解決
這種真實世界的AI問題
很難
但是這個方向是正確的
尤其特斯拉有自己的車子
去收集這些數據
有足夠多的數據去訓練
去變得更好
有足夠強的超級電腦
來給他們進行訓練
這個問題是可以解決的
特斯拉手裏
有着每一塊的拼圖
現在就需要時間
來把它完整的拼好
雖然FSD的時間線
一直在延後
大家都是一樣
等得非常的着急
甚至有些不耐煩
但是現在我是覺得
其他的車企
根本就沒有機會
如果特斯拉這個問題沒法解決
沒法通過這個方法解決
其他的車企的解決方案
更是遙遙無期
所以說現在我相信
AK和他的團隊
包括老馬
他們既然選擇這條道路
他們認爲是非常正確的道路
通過這個presentation
大家也可以看到
從數據的收集
特斯拉已經有這麼多車
在路上跑
到數據的處理
到數據的訓練
這每一個環節
都是特斯拉手裏面獨特的利器
其他的任何的廠家
要麼是在數據的源頭
沒有那麼多的數據
要麼就是訓練的東西
沒有那麼前完善
要麼就是算力沒有那麼強
或者是說沒有這麼強的團隊
所以我認爲特斯拉的自動駕駛
就像AK說的
success is guaranteed
成功是板上釘釘的
好了
這期視頻就到這裏了
如果對你有幫助
記得點贊轉發
我們下期再見