揭秘春晚小品机器人：与松延动力聊对戏、空翻、仿生背后的技术进化

聽說上面有很多AI元素 反正我是熬夜看了 就當是加班了 結果呢 果然是AI春晚 爲什麼中國AI公司 都要在春節之前那麼卷呢 豆包 豆包 這是個什麼東東 這是孫子 真孫子 人家是個笑話 我也是個笑話 你確實是個笑話 去年我們還在看 《機器人》跳舞女秧歌 那今年呢 《機器人》就已經走上 小品舞臺了 語數的功夫《機器人》 真的是很絲滑 難以想象這是一年時間 《機器人》能夠進步的速度 背後的技術團隊 一定在工程化上 而是下了大功夫 同時呢 在春晚開場的小品中 我們發現《機器人》 已經可以跟演員搭戲 跟觀衆互動 你會發現 經過2025年一年 《機器人》的發展 舉身智能大腦 這次好像真的升級了 十二生肖裏 哪個動物最招人煩 是雞 因爲 雞 氣 人 跟大家交個底 其實我在春節之前 在北京 正好有機會探訪了 讓《機器人》登上 春晚小品舞臺的 這家公司 松巖動力 那簽了保密協議之後 我們看到了 春晚《機器人》的彩排 跟《機器人》們 也有了互動 同時呢 也跟創始人 姜哲源坐下來 一起聊了聊 春晚背後的故事 和他對 舉身智能行業發展的思考 硅谷101的觀衆們大家好 我是松巖動力的 創始人姜哲源 我平時也經常聽 硅谷101的播客 真正把機器人融入 給原類節目 可能我們這是第一次 哪怕是萬分之一的 失敗戰略都不行 對我們的硬件的 可靠性要求 非常非常非常高 甚至我自己都親自上手 改了很多代碼 確保這個動作是一個 百分百穩定的一個狀態 就我們的仿生 是完全1比1 這個定製的 蔡老師的一個形象 還是保留了我們原有的 32個自由度的面子 但同時又做得 非常非常的像真人 你覺得現在到了 GBT-3的時刻嗎 我覺得遠沒到 這差太遠了 Huge amount of computation Huge amount of parameters 是能具備的 但Huge amount of data 這個是鐵定不具備的 巨神智能 我回答10年以後 什麼樣很容易 我回答現在 什麼樣很容易 但是回答 1到10年之間 會發生什麼事情 回答路徑非常難 正在松巖大廈前 很難想象這家公司的 創始人是98年的 今年還不滿28歲 但是走進辦公區 你就能感受到 這一定是年紀人 做的一家公司 寵物友好 樓層之間還用滑梯連接着 我每次去15樓 全都走這 江哲元就告訴我們 他自己希望 公司給大家的氛圍是輕鬆的 是像家一樣的地方 但是收到春晚的邀約之後 整個松巖團隊 可以說是進入了一種 備戰狀態 你最開始知道 你們要上春晚的時候 你當時激動更多 還是你緊張更多 當時是一個什麼樣的心態 我肯定緊張更多 我知道春晚它是一個 它本身是一個放大器 你發揮失敗了 那就是放大你的 所有的這些劣勢 如果你發揮成功了 那你就一炮而紅了 所以其實我那會更多的是緊張 因爲有點像高考之前的感覺 那在節目的選擇上面 就是你們選擇 比較是偏語言類的 這樣的一個節目來呈現 當時的考量是什麼 爲什麼要選擇偏語言類 其實我們是覺得 之前其實春晚見過歌舞類的 見過各種動作類的 但是其實語言類的 在機器人元素 結合到語言類腳品裏邊 其實是不常見的 春晚可能30年時間之內 真正把機器人融入語言類節目 可能我們這是第一次 我們希望能夠 在節目形式上有一個創新 讓給觀衆帶來一些新的體驗 其實我們知道春晚是不能出錯的 這樣的一個場合 覺得你們最大的難點在哪裏 我覺得首先就是 春晚它其實是一個巨大的放大器 然後它可能哪怕是 萬分之一的失敗概率都不行 所以那真的是對我們的硬件的 可靠性要求非常高 這個確實是硬件的難 我覺得難的不難 在能不能做機械動作 這都能做 但是難在可靠性上 這是第一點 第二點在節目中 其實我們確實也會呈現一些 極限動作 像空翻側手翻這些動作 幾乎就是像機器人能實現的 一些最高動態的動作了 要確保這些東西 在直播的過程中不出錯 這個是難上加難 第三點難 難在調度上 因爲小品類節目 它其實並不完全是一個 固定的節奏的節目 如果我們是音樂類的 可能表演類的節目 它是有一個固定的音樂的節拍 能夠一拍一拍卡死的 那麼你所有的動作 所有的在哪你都是定好的 小品類節目 其實需要我們根據舞臺的臺口 然後去做出對應的集群調度 就在舞臺上怎麼調度 從A點走到B點 然後包括怎麼在合適的時間點 做出合適的動作 這其實對我們也是 調度上有一定挑戰的 所以當時其實我們在公司 也一比一復刻了一個 春晚我們這個小品的 主舞臺的場景 地面上連一號廳的地板 那個地磚我們都貼出來了 讓我們的調度能夠在 基本上是一個分毫不差 這樣一個程度 你們從什麼時候開始籌備 這個春晚的節目的 我們具體籌備應該從 10月底正式開始 籌備的過程你們都做了什麼 其實我們針對機器人本身 我們做了很多的優化改造 像我們每款機器人 其實都不是標準化產品上去的 像我們的後面這款 這是我們的E系列 就是我們的中尺寸的 一個人形機器人E系列 我們其實不是拿E系列直接上的 而是我們做了一個改造 我們讓它的頭是一個能升降的 因爲裏邊有一個臺口 是《奇人奇妙夜》那個天放 跟E系列的機器人要比身高 E1這個機器人 它能夠脖子升得很高 然後就比天放還要高一截 做這麼一個改造 然後包括我們對機器人的步態 其實有了一些新的要求 我們要在技寶這麼穩的情況下 走出一個很擬人的一個步態 不然的話看着就是不太象徵的 所以我們其實當時 對步態做了很多調整 然後包括春晚期 它需要有一些定製化的一些動作 我們的需求就是 我們要能穩定地空翻 側手翻 甚至我自己的親自上手 改了很多代碼 確保這個動作是一個 百分百穩定的一個狀態 確實我們在彩排中 彩排了很多次 確實也沒有出現過 這個機器出問題摔跤這樣的情況 這也是讓我們自己覺得 還比較欣慰的 包括我們的仿生 其實我們的仿生是完全1比1 這個定製的蔡老師的一個形象 我們其實之前 確實從來沒有真的就是說 實現過1比1復刻一個人的 百分百完全仿真的一個形象 仿生在這次春晚中 其實算是一個正式的第一次 把這件事情給完成了 在春晚的小品裏 蔡明老師的角色是真人奶奶 仿生機器人扮演機器人奶奶 另外4臺機器人扮演她的電子孫子 臺上是一個有去有愛的家庭故事 而臺下則是松眼動力的4條產品線 在小品當中 這個最小的孫子 聲音萌 反應快 和奶奶對話最多 現實中他叫小不米 不米 這是松眼動力最新推出來的 萬元以內消費幾人型機器人 最小這個不米 我們的產品定義 然後我們的價格帶 其實最終都是服務於我們的應用場景的 不米這款其實我們希望 它能夠進入到一些新的場景中去 比如像C端家庭 我們希望有娃家庭 能夠很多願意買這個機器人 其實我覺得不米 它作爲進入家庭的一員 從產品定義上來講 其實有一定學習機的屬性的 它裏邊內置了像西班牙少兒 去給人講故事 去給小朋友講故事 然後內置了像編程貓的 這樣的一個圖形化編程的一個 可以教小朋友編程 它裏邊還有Python編程的接口 然後可能我們未來會集成很多 這種生態應用到裏面去 然後能夠實現一個 就是在小孩寓教於樂 這樣的一個特點 這是我們希望能夠下轉到C端的 但我之前還常說一句話 就是不米它是一腳踩在C端 一腳踩在B端的 其實對於一些 無論是公立還是私立的一些教育機構 像K12階段這些中小學 包括幼兒園 我們覺得這個產品 也是有一定吸引力的 今天AI進校園 AI進課堂 其實是一個大的趨勢 這整個國家的所有的這些教育機構 可能都在推進這件事情 然後我們這個產品 其實是跟K12階段教育 這個是有非常好的一個匹配度的 能夠走進就是這些中小學的課堂 我們覺得也是它的商業化的方向之一 那我們這次其實也在現場 跟小不米進行了對話 讓她給我們硅谷101的觀衆 送上了馬年祝福 不米不米 我在 馬年要到了 能不能給硅谷101的觀衆們 送上新春祝福 親愛的硅谷101的觀衆朋友們 你在這裏給到永遠值錢 此外 現場工作人員 還用現在業界非常火的 機器人洗車的問題 對她進行了測試 她也成功的通過了考驗 我要去洗車 距離洗車店800米 我應該開車去還是走路去 當然要開車去 我要把車洗乾淨 不過對於小不米 這樣定位於C端場景的 消費機器人來說 它們不只是要回答問題 還需要聽懂口音 區別噪音 接受打斷 甚至感受用戶的情緒變化 這背後從語音識別 語音合成 到大模型理解 實時音視頻流處理 再到VLM 其實是一個完整的系統工程 那麼對於機器人企業來說 與AI語音廠商合作 是目前業界的一個標配 松焰動力和字節旗下的火山引擎 在人機交互和算法研發層面合作 小不米的語音能力 兼入的就是豆豹大模型 和豆豹APP同款的底座能力 順便說一句 火山引擎真的是 這次馬年春晚的幕後AI軍師了 上春晚的機器人品牌 都是與火山引擎合作的 同時今年春晚多個節目的 視覺製作和技術支持 背後也都是火山引擎 你們跟火山的合作模式 是什麼樣子的 我們現在主要是以交互 這樣的一個大模型交互的 這樣一個形式在合作的 然後像火山提供了 從ASR然後到後面LM 再到後面接了Web Search 到最後TTS 繼續爲語音播報出來 這個是一整套的 目前我們在用的一套服務 除了語音交互之外 不米機器人還藉助 火山AgentKit企業級智能體平臺 搭建智能體能力 通過工具調用 記憶庫Skills等 爲不米提供動作級的聯網互動 動作控制等功能 如果只是春晚的語音的節目的話 其實小不米 然後它只需要做一些語音交互就好 它可能本身的動作上 不需要和語音去做一些 更深程度的一些融合 對 但是我們和松巖的一些算法同學 包括產品同學在做溝通的時候 會發現未來的不米的產品化的過程中 其實需要一個很重要的能力 就是希望通過語音去控制一些 調用一些比如說終端的一些APP 或者說需要通過語音去控制不米 去做一些特定的動作 所以我們也在除了AI音視頻互動的 AI4硬件的一個解決方案之外 其實我們也疊加了一些 AgentKit相關的一些能力 然後幫助我們未來松巖的不米的產品 能在更多的場景上有更大的可擴展性 除了小不米之外 你們肯定還記得 小品裏面還有一個孫子 是運動健將 現實中他是被網友稱爲 哦不對 是兩個孫子 就是一言不合就翻跟頭的這兩個 同時去年在一張機器人馬拉松比賽中 N2就拿到了亞軍 是當時全場唯一無需人工牽引 完全自主奔跑的機器人 然後我們來聊聊第二款產品 你想先說這個 這是N2嗎 對 我從小往大說吧 先說N2吧 對 N2是我們之前跑馬拉松 跑的那個亞軍 我們N2這款產品其實定義之初 我們就希望它能夠更多的進入一些 運動控制類的研究領域 對 我們這款產品 其實我們的性能特別特別棒 我們所有的最極限動作 全都是N2完成的 像空翻 側手翻 這出馬上其實大家看到的 這個動作表現力最強的也是N2 就是它能夠完成 特別特別高動態的一個動作 您可以理解爲這是一個小體育生 純粹是爲了這個動力性能 而去設計的一款機器人 跑馬拉松這件事情 對於機器人爲什麼難 現在看已經不難了 在去年二五年大概年初那會兒 爲什麼難是在於 當時機器人本體公司 很少有能拿出一款足夠穩定 足夠可靠的硬件 能夠支撐它跑完馬拉松 其實比如說可能我的機器 跑個10公里 可能它就會掛掉 比如像電機裏邊卡死 或者可能某些線束就脫出 各種各樣的問題都有可能發生 因爲機器人跑起來 它是一個 要像你不斷拿錘子砸一個東西 它跟地面每次邁步都是一次碰撞 我相信這個事也是困擾 當時很多團隊的一個 很核心的一個要點 這是硬件本體可靠性 另外一個就是算法本身的穩定性 因爲要跑20多公里 20多公里其實中間是會有大坑的 我們當時跑的時候 確實中間地面上是有一些坑挖的 就你很難避免 在這種中間遇到這些情況 那這種情況下 你的機器人還不能摔 還要繼續保持全速奔跑 這是有難度的 我覺得當時那個 二五年年初那個時間點 真的讓一家機器人公司 能拿出一個能完整跑下來 全程的機器人 我覺得都很難 在小品中 還有一個身高更高 脖子能伸縮的孫子 在現實中是松點的E系列 它的能力重點不是極限動作 而是上下肢協同的任務執行 中間是我們的E系列 E系列比N系列高一些 我們基本上是以一個 能夠夠着桌面上東西的 一個最小的尺寸 來做的E系列機器人 我們希望它能夠覆蓋一些 可能上下肢協同的 這樣的一些工作 簡單來講就能上桌 N2上不了桌的 N2其實無論從自由度來講 還是從身高構形來講 這個桌子可以 但是再高的半座就不行 對 其實E系列它是能夠上桌的 然後我們希望它能夠在桌上 去完成一些 偏簡單操作類的任務 對 這是我們對E系列的一個構想 但它的包括自由度 它能完成的任務 其實跟N2差不多 是嗎 自由度會更多一些 像我們的手臂 其實不僅有五自由度版本 還有七自由度的版本 然後我們還能夠配零條手 腰部還有兩個自由度 它的work space會好很多 N2它沒有腰 它其實就只能靠腿去轉身 來去增加自己work space 然後E1它有腰 然後N2 E1它倆自由度 work space大很多 自由度高很多 那除了這些可愛的孫子們之外 這次小品中最有意思的 也可以說是最大驚喜的彩蛋 應該就是這個1比1 復刻了蔡明老師的仿生機器人了 那現在做仿生類機器人 其實面臨着不小的挑戰 要想仿得像真人 同時保持很高的自由度 以及看上去還要不恐怖 這在技術上需要去攻克很多的難題 其實仿生機器人賽道里面有一個特點 就有一個delima 它是說一個機器人 如果要做特別仿真的話 那麼它就很難做到很高自由度 就裏邊自由度很難塞很多 但如果要做到很高自由度的話 很難很仿生 就很難很像某一個真人 這兩個其實是一個delima 我們其實在這一次真正做出一個突破 我們還是保留了我們原有的 32個自由度的面部 這是一個超高自由度的面部 但同時又做得非常像真人 所以其實在春晚上 我們最終是能夠看到 它以一個比較好的狀態去呈現的 這中間有技術的什麼突破嗎 讓你們能夠打破這個delima 其實它本身是一個結構設計的一個事情 結構這個事情 我覺得是很靠積累的 這其實也並不是說 我們在這一短短的多少時間之內做突破 而是我們的積累到今天 其實我們的這些經驗 我們的knowhow 我們的知識庫 已經到了這樣的一個程度 我們就能夠做這麼一個東西來 就是說春晚只是一個你們deadline 然後更加給你們壓力 說必須要在之前面完成這件事情 你剛纔說仿生人 其實現在市面上確實是不多 你覺得它的難點在哪裏 就比如說它的口型 表情 擬人度上 比如說你剛纔提到delima 同時我們也經常說有個恐怖股效應 機器人如果它不太像人 但是好像又有點奇怪的東西 其實如果真人看到 他會覺得有一點可怕 對 就是你們怎麼去平衡技術 跟像人這件事情的 那我就分三塊說 第一個是硬件 第二個是軟件算法 第三塊是恐怖股 我分三塊說 第一塊硬件方面的話 人的頭是很小的 我是一個異類 我頭比較大 但是確實像蔡老師頭是很小的 然後包括大部分人的頭 其實是我們可以理解爲 非常小的一個空間 所以我們在早期的我們的機器人裏面 爲了放下足夠多的電機 其實我們是有意的把頭放大了 我們把頭給放大到 可能比真人大一些的一個 可能就把一個正常人頭 放大到我這麼大 或者比我還大一點的一個程度 所以才能塞得下這麼多的電機 以及傳動結構 但是這次爲了春晚 其實我們真正做出的突破是 我們真的就把頭做小了 因爲蔡老師要跟仿生機器人同框的 我們不能說仿生機器人頭 比蔡老師大一圈 那就非常 就不像了 很粗細了 對 所以說我們必須要做到 1比1的這樣的一個尺寸 以及仿真程度 這個事情是超級難的 對 怎麼把這麼多電機和傳動結構 合理的能夠自然的塞到這樣 就是自然的意思就是說 當然動起來不能看着 一看就很詭異 那就真的恐怖鬼了 對 就怎麼樣自然的 然後還能夠完美的 把它塞到這樣一個結構裏面 這是我們其實這次做出的 一個很大的一個突破 對 另外其實在軟件算法上面 這裏邊口型是很難的 就是我們看一個人說話 怎麼看都不會覺得特別假 但只有一點會覺得假 就是你看他的口型和語音的對應 這容易看得特別假 非常 我們這次其實也是在整個語音口型 對應上做出一些突破 其實數字人裏邊語音和口型對應 做的我個人覺得還是不錯的 但怎麼把數字人轉化到一個真人的 一個口型上面 這個其實是有一定難度的 語音和口型在仿生人上同步 這個其實有兩個基礎 一個基礎是你的硬件自由度足夠多 因爲你嘴上如果可能比如 只有一張一盒的自由度 你怎麼着口型都對不上 另外一個就是說你的算法足夠的好 我們自演了一套 從數字人映射到真的仿生人的 這樣的一個算法 把口型這個事情 在這次春晚上給解決掉了 然後第三塊就是恐怖骨效應 首先我們要理解恐怖骨 它是一個骨 就是似像非像的時候是最恐怖的 特別不像特別像都不恐怖 所以我們在仿生人這個上面 一定要抓的就是特別像那一端 所以其實我們無論從麪皮的化妝 從整個臉型的構建 包括整個動態來講 其實我們做了很多的突破 甚至包括一些肢體語言 我們的仿生人是帶胳膊的 胳膊上也是能動的 然後它包括肢體語言 其實都是根據真人 實際上錄下來的一些動作 然後再去我們用了一些 跟人形機器人運控相關的一些算法 我們做了motion retargeting retarget到我們的仿生機器人上 才能夠讓到時候當時的動作 顯得很像真人 就脫離恐怖骨這樣的一個效應 這一次我們也專門去跟 松葉動力的仿生機器人小諾 進行了面對面的互動 測試了一下 它的語音交互和麪部自由度 仿生人是人嗎 這是個很有爭議的問題 在我看來仿生人是一種新型的生命體 仿生機器人聽上去好像很遙遠很科幻 但是實際上它目前已經開始了應用落地 比如說在機場 博物館等一些娛樂導覽 和展廳接待的場景裏 很多仿生機器人就已經開始 扮演起了導遊解說的角色 但顯然要讓仿生人真的像人 並且徹底擺脫恐怖骨效應 技術還是有很多值得進一步優化的空間的 從語言交互到高動態運動 從家庭陪伴到任務執行 松葉動力的4條產品線 似乎已經勾勒出一個比較清晰的 學生智能的輪廓了 但我們都知道春晚舞臺 是一個被精心設計的場景 雖然是不能出錯的直播 但是有準備和彩排的時間 而真正複雜的是現實生活 如果機器人真的要走進家庭 面對的將不再是排練好的劇本 而是嘈雜的環境 模糊的指令 不可預測的變化 那麼問題就是面對真實的世界 機器人真的準備好了嗎 你們就一下佈局了4個產品 也是4條不同的大家的需求的線 當時爲什麼想要4款都做 因爲我知道很多機器人 比如說他們是比如說工業爲導向的 或者是比如說Figure 1X 他們就是比較直接就是家庭爲導向的 對 你們當時是爲什麼想要一下 佈局4個不同的機器人 去達不同的需求場景 其實我們講說預期非常好 因爲預期它是可能多年以後 能夠真正進家庭實現 每家每戶都有一款人形機器人 然後甚至這些機器人還有很多想象空間 這個是好的點 那不好的點是現狀 就我們看未來都覺得很美好 看現在我們都覺得就是說 OK 這個可能還是有一些問題的 可能還是就是有一些需要琢磨的事情 我們今天看現狀 就是人形機器人的場景 呈現小而散這樣的一個狀態 無論我們說工業還是家庭 今天都是無法完成短期的商業化落地的 無法時間短期商業化閉環的 工業現在大家都是POC POC階段有沒有後續幾乎很難有 基本上都是沒有後續的 就沒有進入到批量化階段的一個這樣的案例 幾乎沒有這樣的居身智能機器人的案例存在 Boston Dynamics好像是在Honda的 那個反正但是它每個都很貴 就是了 對每個都很貴 另外其實我並不覺得就是 這個問題只有Boston Dynamics能解決 或者我並不覺得這個場景是 用Boston Dynamics的機器人 是一個ROI非常好的一個場景 我們經常需要問一個問題 像Honda用Boston Dynamics的機器人 那到底是Boston Dynamics在幫Honda 還是Honda在幫Boston Dynamics 這是一個很直擊靈魂的一個問題 我覺得Honda完全可以選擇 就是一些工業機械幣 可以選擇自動化設備來去完成 一模一樣的工作 還以更低的成本 你覺得現在居身智能發展到哪一個階段了 如果我們拿LLM的一個階段來對比的話 你覺得現在到了GBT-3的時刻嗎 我覺得遠沒到 這差太遠了 對可能這個差的遠 就可能我覺得甚至連Bert那個時刻都沒有到 對 就可能這個還是在一個非常早期的一個階段 AI帶來最大的變化在於就是 我們今天可以看到數據能夠驅動科學 不一定是知識 就是它裏邊知識非常簡單 說實話就是今天這些deep learning這些東西里邊 涉及到的這些知識 那真的就是可能 我們在學校的時候經常聽人說AI簡單 簡單在於裏邊知識簡單 難點在於數據 後來其實大家就發現有一個公式 good performance等於 huge amount of parameters 然後huge amount of computation 加huge amount of data 就是三個huge就能得到一個好的performance 這是可能這個時代的一個公式 對在今天我們來看這個事情的話 我們看居身智能裏面 就是huge amount of computation肯定是具備的 有像火山這樣的企業 提供最牛的算力基礎 我們覺得是具備的 那今天我們的huge amount of parameters這個事情 這個是能具備的 但到底具備的對不對 它缺乏驗證 但huge amount of data這個事實是鐵定不具備的 特別是機器人行業 對機器人行業是非常不具備的 就是居身智能裏邊太缺數據了 就是我們缺的數據可能我們 我們爲什麼說就是 現在連可能連Burton時代都沒有到 可能我們現在處在一個就是上古時期 就是屬於 但是我當時聽到一個故事 講說當年Google和IBM都在做叫MT Machine Translation 這個在今天看已經不是什麼問題了 當年這是一個很難的一個挑戰 就Machine Translation 他們把英文和法文互譯 當時IBM做的事情是 他請了一堆牛津詞典的編輯 然後編輯了一堆特別精美的語調 完美一比一的翻譯 可能你很難找到如此信達雅的翻譯 然後做了一個很精巧的一個小數據集 來做這個Machine Translation的model 對然後當時Google的做法 反習道爾形態 我不知道是不是用Mechanical Turk 這樣的方案 就當然反正當時他們就找了 做了很多相對粗糙的翻譯 但每個都是基本上 你基本上可以理解是對的 對但做了一個巨大的一個 但很粗糙的數據集 然後最後我們發現 Google Translation 確實做的效果會更好 今天我覺得我們現在處在IBM那個時代 就可能數據集的規模可能還是太小了 今天數據大部分都是人手工採的 就是爲了採而採的 就我們的數據都是爲了採而產生 專門去採出來的 但我們看其他這些領域 像LM這些領域 它們的這些data都來自於互聯網 就直接來自於之前已經存在這些東西 然後我想到之前 比如說他們說那個 Chagibitty一出來的時候 有這樣的一個wow moment 是因爲它訓練的數據 是從Reddit上面來的 然後那個地方是說人們說髒話 然後人們curse 然後人們吵架 那個是人應該說的話 而不是很書面的 書啊電影啊裏面那種 說的非常書面的話 所以可能是不是機器人數據 我們需要有一個新的模式 對我其實認爲是這樣的 首先如果我們玩過搖操作機器人的話 發現還不是特別好用 機器人搖操作 其實今天很難做特別好用 很難實現像人一樣 就比較絲滑的一個採集體驗 採集本身就是難的 當然今天我們就是 這是可能是 爲數不多驗證可用的一些數據了 但我覺得一定需要新的模式 所以其實我覺得對這個行業未來預判 我覺得居身智能產業 可能並不會說是一個線性的發展 然後它可能是個節約式的發展 就當某一個時間點到來的時候 它可能就是發現一種新的模式 無論是新的數據的模式 還是新的一個採集的模式 如果一旦發現 它能夠快速的大量的批量化的 低成本的 然後去完成多樣化數據的採集 一旦有人找到這樣一個數據採集的模式 以及與之配套的一套算法的話 那我覺得可能 這個產業的發展 可能就是一瞬間可能就發生變化了 這個模式是世界模型嗎 我覺得大概率不是吧 這個事我要講清楚 可能它是有一點偏 我自己對它理解是 有一點偏哲學的一個理念的 就是我認爲其實 一個模型的performance 它來自於數據能帶來的信息的增量 我們學reinforcement learning 其實講有model-based和model-free RL 對 model-based RL就是你先學一個model 然後在這個model裏面去反覆train你的agent 再去agent採更多數據 然後再train一種model 這種方式一般來講 就是是爲了加速縮減的效率 但它不是 我覺得不是一個解決本質問題 一個方式 當然這個只是我自己的觀點 這不一定對 或者可能大概率不如一些專家說的準 當然這是我的觀點 就是說world model它的好壞 取決於你world model 喂進去的數據它的好壞 然後你最終performance 其實取決於一個world model的數據 我其實沒有太想通 world model怎麼能夠解決這樣的問題 很多人他們現在用一些仿真來去做數據 但這事我覺得不是特別make sense的 但英偉達他們是這樣做的 就是他們有train 然後做很多的simulation 但是我們也看到 很多seem to real的一個gap在 對 其實這裏邊我覺得 因爲一個仿真一個simulation 它其實統稱爲simulation 但是其實兩件事 一個它分爲兩部分 一半叫dynamics 就是一半是physics engine 就是物理引擎 物理引擎講的是一半物理是怎麼回事 然後另外一個renderer渲染器 渲染器講的就是怎麼呈現 就是你的物理結果怎麼呈現 就是無論是點雲 還是包括圖像的形式呈現 這是兩件事情 渲染器今天做的已經 我個人覺得還是不錯的 就我個人覺得今天的渲染器 包括一些結合AI的方式 能做的超級真 無論從RGB image 還是包括點雲 可能做的超級真 所以渲染器可能這不是本質問題 而真正本質問題在於physics engine 就是物理引擎 物理引擎 如果我們不講一些AI based的方法 就是我們講傳統方法 像什麼round cuda那些算法 它仿真 尤其對於接觸力的仿真 其實是非常不準的 就超級不準確 運控的模型是能通過物理引擎馴 是因爲它的接觸很簡單 但如果說像contact rich的一些場景 像我們要拿杯子這些 其實用物理引擎馴的話能馴 但其實它是不準的 它一定是非常不精準的 這問題其實是個很難的問題 就是接觸的建模 像汽車的碰撞分析 是通過有線源分析做的 那個就又非常慢 接觸建模本身它是不準的 這是一個科學難題 就research level的problem 就超級難 然後再加上就是 有對軟體流體的一些建模 就更難了 就甚至還有什麼非牛頓流體 就如果講建模實際上所有東西 超級超級難 甚至我可以舉一個例子 就比如說像 我要用這個仿真器 仿一個西紅柿炒雞蛋的一個過程 首先它需要就去仿的 就是雞蛋黃怎麼去跟雞蛋液 就從一個透明加黃色 變成一個就是混合的一個 黃色一個蛋液的一個過程 然後我還需要仿 就是說我的雞蛋怎麼在高溫下去 從液態變成固態 然後包括還要仿 就西紅柿怎麼在高溫下去出水 然後哪些變成水蒸氣 哪些變成就是西紅柿湯 留在那鍋裏面 包括油進去 怎麼跟它們發生反應 這最後可能會到一個 分子級別的模擬的一個程度 如果真的要做world model 所以我覺得這個事情 它是真的有點難 可能人並不需要懂 雞蛋它是怎麼凝固 怎麼從液態變成固態 蛋白質怎麼變形 怎麼摺疊 人不需要懂這個事情 就能夠做好炒魚蛋 但是如果要做世界模型 要讓它仿的準的話 那可能真的還需要做這些工作 所以可能我覺得 反而把問題變難了 那麼就像江哲元提到的 仿真數據不夠真實 真機採集成本高昂 數據閉環難以建立 數據就是現在巨神智能 真正被卡脖子的地方 所以如果沒有新的數據採集 與訓練方式 巨神智能可能就真的很難 進入到家庭 而這也是目前整個行業 正在共同加快攻克的地方 確實整個巨神行業 現在普遍的共識是缺數據 那現在數據的來源 可能有非常多樣的 要麼就是可能末端採集 要麼就是真機腰操 要麼就是一些互聯網的數據 或者第一人稱視角的數據 火山引擎有一個 叫做高質量數據集 這樣的一個產品 其實期望的是能把一些 需要數據的需求方 和有數據的供給方 然後能在這個平臺裏面 去做一些撮合 對 就比如說 如果有一家巨神智能公司 它有真實的採集到的一些數據 除了它自己用之外 它可能也希望去售賣 或者是可以對外去提供給 其他的一些巨神公司 或者是一些模型的公司 那麼這個時候其實可以 基於我們高質量數據集的產品 然後去做一些交易 而在數據的標註處理方面 現在的VLM模型 開始發揮出了越來越大的作用 其實我們會發現很多 不論是採集工廠 還是說各種形式採集到的一些數據 現階段可能更多大家採用的 都是人工去標註的一個方式 因爲我們之前也和一些廠商溝通過 可能一個標註的同學 可能每天大概8個小時的 核心工作時間只能標註 4到5個小時的 這個真機採集的數據 其實我們發現 這裏面絕大多數的標註動作 都是可以被VLM模型去替代的 比如說一些簡單的視頻的caption 一些軌跡的一些觀察 以及一些任務的總結 其實這個都是大元模型非常擅長的 所以我們在和很多的 這個技術公司在合作的過程中 其實已經把SEED 2.0的 這個版本的模型 已經把很多的VLM的能力去使用上了 我們也做了一些統計 就是如果使用VLM的能力 去給人工標註去提升效率的話 大概可以提升70%到80% 雖然數據瓶頸依然存在 現實場景依然複雜 但是局省智能似乎已經走到了 一個新的階段 從實驗室演示 到登上車碗的小屏舞臺 行業正在從技術驗證期 開始進入到實際落地的應用探索期 那麼未來3到5年 整個局省智能行業 會呈現什麼樣的狀態呢 你覺得接下來3到5年的一個時間 這個產業會發生什麼樣的變化 所有的一切的現有的人形機器人場景 本質上都是因爲大家相信這樣的預期 大家相信總有解決局省智能大問題的 這樣一個預期在 爲什麼歡戴他想要幫Bosnian Dynamics 去在場景裏面做一些落地 本質上都是因爲相信這樣一個 就是未來可能機器人 能夠解決生產力的問題 然後才願意讓這些企業 去在自己的場景裏面做嘗試 對於我來講 其實我有兩個選擇 一個選擇就是小而美 就是基於現有的場景 可落地的場景 在某一個特定場景中 然後成爲場景中的 80%實戰率以上的一個龍頭企業 這樣我們會過得很舒服 然後我們會是一家小而美的公司 但是還有一個選擇就是說 我們去真的去挑戰最難的事情 我們可能挑戰整個局省智能大問題 去讓機器人進家幹活 這就是一個很大的一件事情 我覺得既然選擇在這樣一個 時代的洪流下去創業 那Jarvin創業者的選擇 肯定還是第二種 我期待可能未來 我們的企業能夠成爲一個 我們產品能夠被所有人用起來 對 就我們產品走進所有人的家裏面 就是很多人用我們喜歡我們 這我覺得是我所期待看到的一件事情 這事可能是一個 節奏上來講會是一個 不是那麼快的一個節奏 所以你還是非常長期主義的 這樣的一個人 也不能這麼說 其實本質上我的長期主義 來源於就是短期和長期 我聽過一個很有意思的說法 就是局省智能 我回答十年以後什麼樣很容易 我回答現在是什麼樣很容易 但是回答一到十年之間 會發生什麼事情 回答路徑非常難 就我的長期主義短期主義 可能都是因爲中間的路徑 其實今天沒有人回答的好 所以從當前來看 局省智能什麼時候 會迎來真正的應用爆發 三年五年還是更久 或許沒有人能夠真正給出一個 非常確定的答案 但是在這樣的不確定性之中 也有一些方向開始變得越來越清晰 比如說在技術層面 當數據成爲核心瓶頸 當模型需要持續的更新 那麼機器人就不再只是終端設備 源於局省智能的深度融合 正在成爲加速產業發展的重要趨勢 你覺得機器人一定需要雲嗎 還是可能在未來 當端模型足夠強的時候 其實就不需要雲了 我覺得這是個很好的問題 首先結論是我覺得 局省的本體的機器人 是一定需要雲的 對 因爲如果所有的能力 所有的模型都部署在端測的話 其實這會帶來一個很嚴重的問題 就是端測的成本會非常高 這個其實不太利於產品化的推廣 它的芯片的要求也會非常高 對 芯片的要求會很高 我們都知道現在比如說 有一些國產的算力 也可以提供端測的芯片 或者說英偉達的Horin 或者是SOL他們的芯片 其實也都在批量的 在一些局省的本體上 包括一些汽車上 然後有一些實際的一些落地 但是局省的領域 我覺得不太一樣的是 我們只需要把比如說 最終端的運控模型 或者說VLA模型裏面 真正的action這一部分模型 去部署在端測 然後這部分其實消耗的算力 是比較少的 對 另外的話我們 無論是VLA還是世界模型 其實它們都有一個分層的概念 就是它會有一個 有一個快腦有一個慢腦 然後慢腦的話 其實它的執行的頻率是很低的 比如說它會低於一赫茲 或者一個一赫茲 每秒一次的這種頻率去執行 那這種情況下 其實是很適合在和雲端去做交互的 這樣的話其實能達到一個 我們只把最小的一個系統 然後部署在局省的本體裏面 而把一些更消耗算力的 一些功能模塊 然後部署在雲端 這樣其實這樣就可以 以一個綜合的程度來說 這樣是更優的 對 另外的話就是除了全身控制 比如說VLA或者是運控模型之外 其實機器人的人機交互 我覺得是一定要依賴於雲端的 因爲本身如果我們是一個面向2C的 然後它需要一個很好的一個語言交互的一個能力 它要有共情能力 它要有很高的智商 這個其實就需要依賴於 這個模型能力是很強 但是模型能力現在其實 如果要很強的話 不可避免它是需要一個比較大的一個參數量級的 然後這個其實就是雲端的API 能很好地解決的一個點 今天的居生智能公司 很難再單打獨鬥 硬件 運控 數據 模型 仿真 算力 每個環節都足夠複雜 也正因爲如此 我們也正看到一種新的合作模式 居生智能公司專注機器人本體 運控能力和場景落地 模型與語音平臺公司專注大模型訓練 算力調度和數據體系建設 這種模式也許正是消費級機器人 真正走向規模化的一條路徑 不是一家企業完成所有的環節 而是在雲與端之間形成更加緊密的協同 今年的春晚舞臺 它象徵着機器人開始進入公共局勢 開始被放進家庭想象 未來的居生智能或許不會在一夜之間就爆發 但是從去年春晚到今年春晚的節目中 機器人所展現出來的技術進步 無論是小腦還是大腦上的進展都讓人驚喜 當硬件與模型牽手 當雲端與終端協同 行業的生態與基礎設施也正在悄悄成型 而真正的變化往往就是從這種基礎設施的完善開始發生 在採訪最後 頌言動力的創始人江哲源 也給我們硅谷101的觀衆送上了一段新春祝福 豆包豆包 我現在在參加硅谷101 看這邊有一堆人在拍我 然後我現在需要給觀衆送上一句新春祝福 能不能幫我想一句簡短的 然後又有一些巧思的新春祝福 那就說祝大家新的一年裏代碼0bug 算力全拉滿 錢包像訓練模型的數據集一樣越來越大 既貼合硅谷科技圈的日常 又把祝福藏在了大家熟悉的概念裏 好的 那我就聽豆包的 祝大家馬年debug快 錢包漲得快 謝謝大家 那這是我們馬年的第一支視頻 在這裏我們硅谷101也祝大家新年快樂 馬年如意 和喜歡的人一起做喜歡的事情 健康開心 也希望大家繼續支持我們硅谷101 悄悄告訴大家這也是我的本命名 希望是幸運的一年 我們也會努力的產出更多的好內容 那以上就是這期視頻的全部內容了 你們的留言點贊和轉發是支持我們硅谷101 做好深度科技和商業內容的最佳動力 我是陳倩 我們就下期再見啦 拜拜