人工智能，繁榮還是毀滅？圖靈獎得主Yoshua Bengio獨家專訪

人工智能隨着它被部署在越來越多的 應用程序中，很可能會 極大地改變就業市場， 世界將迅速變化， 如果人們非常專注於一件事，那麼他們將不得不自己掌握技能， 這對他們來說將變得更加困難 我們很難 接受我們所做的事情 最終會毀滅人類，從 心理上來說很難真正 接受你的工作可能是危險的， 但一旦你明白它是如何 出錯的，你就有責任大聲說出來， 也許就像開放一樣 himer EXA 就像 他說我成爲 世界毀滅者的時候一樣，這對所有建設者來說確實是一個大問題 [音樂] [音樂] 我的名字是e，我擁有 機器學習的碩士學位，所以我 肯定讀過 這本偉大的書 深入學習我真的很感激這次 談話的機會，你對 我來說就像一個行走的傳奇第一個 問題我想從你 在北京的旅程開始所以你在 這裏做什麼呃以及你希望在 這裏實現什麼目標我們 召開一次會議，呃， 支持 西方科學家和中國科學家之間的對話， 這是我們在 10 月份舉行的第二次會議，嗯， 所以這 非常重要，我們需要 世界上人工智能的主要力量來討論 潛力 人工智能的風險，所以這是一場 關注人工智能安全的對話，我們如何 確保未來人工智能不會 傷害人類，不會對社會產生呃負面 影響。去年五月，你 簽署了 一份關於人工智能安全問題的聲明，並且你已經 在 目前，美國參議院就 同一問題進行了討論， 可能只是一些不可靠的聊天 機器人犯了愚蠢的錯誤，所以爲什麼 我們要在 這麼早的階段如此擔心 asft，我們不應該 擔心當前的人工智能， 問題出在哪裏 我們可能會在 幾年後，也許是10年，也許是20年，我們不 知道進展速度有很多不確定性， 但 進步正在加速，所以如果 我們 在達到 比人類更聰明的人工智能時就預測自己 這很可能沒有 理由不會 發生，這將是一場 遊戲，雪兒，對人類來說既具有潛在的巨大 好處，也具有巨大的危險， 這就是爲什麼我參與 這些討論並談論這些 問題和 也在研究人工智能 安全，爲什麼呃 人工智能如此呃令人生畏，如果 你想訓練一個 比你訓練灰熊 MH更強大的實體，我們需要確保它不會 攻擊 人類和問題 現在我們不知道如何設計一個人工智能 系統，嗯，它肯定 不會反對人類，所以 對於灰熊來說， 我們可能會考慮放一個籠子，以 確保它留在原來的地方， 它 不會傷害人，但我們不知道 如何建造一個安全的籠子，所以當它變得 足夠聰明、足夠強大時， 它可以逃離籠子，除非我們知道 籠子是 完美的，所以這是 我們需要解決的重大科學挑戰 在 我們討論灰熊之前弄清楚 喬弗裏·辛頓 對他過去的工作表示了遺憾，所以從你的 角度來看，呃， 他的原因是什麼，實際上你有沒有 分享過類似的想法，傑夫和 我沒有預見到它會發生 人工智能的快速發展，我們沒想到聊天 GPT，我們沒想到 人工智能系統會如此快地掌握語言，我們 認爲這將是您知道的 未來幾十年，並且我們可以 享受人工智能的很多好處，您知道 在 我們到達那裏之前很久，MH，我認爲 我們也很難接受我們所做的事情 最終可能會毀滅人類，從 心理上來說很難真正 接受你的工作可能是危險的， 但一旦你明白它是如何 出錯的，我想 你有責任 說出來，也許就像打開他的 EXA，就像他說我成爲世界 毀滅者的時候一樣，是的， 這確實是所有建設者的一個大 問題， 我想人工智能安全 在這之後可能會更加緊迫 技術融入到我們的 日常生活中，比如 公交車自動駕駛、 醫院送氧等技術， 我們是否需要進一步修改我們的 政策和法規，在這種 場景下首先 人工智能有很多應用 這並不 危險，因爲我們可以開發具有 非常狹窄的 功能的人工智能，例如，它可能專門用於 醫療任務，你不 知道變得非常危險，因爲它 不理解人類，它不 理解社會，它不是自主的， 所以有 我們可以 利用人工智能在 社會中做很多有用的事情，但要 記住的一件事是，如果我們 社會上有很多小型人工智能，而 如果該人工智能能夠破解所有的人工智能系統，我們就失去了對強大人工智能系統的控制。 其他 小型人工智能無處不在，那麼它對 我們所有的基礎設施都有很大的控制權， 這可能是 危險的，所以我們仍然必須 小心，一些專門的人工智能系統也 可能是 危險的， 因爲它們可能會幫助 呃，例如設計 危險的武器，比如生物武器 武器是的，或者專門用於嗯網絡 安全，所以他們可能不知道 一切，但如果他們在某個領域瞭解得足夠多，那麼他們 可以 成爲嗯武器化嗯攻擊嗯 人類要麼在呃你知道 來自具有惡意目標的人類的查詢，要麼如果 我們 失去對人工智能系統的控制 我 記得你說過人工智能的危險 在於人類本身而不是 技術也許是的，我們正在建造 可能危險的機器，我們對 這些機器的瞭解 不夠，但我們與 其他公司競爭 相互競爭 國家相互競爭 我們 有你知道的貪婪 我們有野心， 有時我們有點愚蠢， 不明智，只要缺乏智慧 不讓你知道 正常生活中巨大的災難性後果， 那就沒關係 但是當我們開始與 可能比我們更聰明的實體一起玩時，它們 可能 真的嗯，你知道 對人類的存在影響，我們需要改變 我們思考問題的方式，你 實際上幫助建立了網絡的概念， 訓練機制和 指導網絡 對於 從感知到當今熱門話題 大型語言模型的內容生成， 這個領域發生如此快、如此突然的根本性變化是什麼？ 可能已經發生了很多技術進步， 我們設計和訓練這些神經 網絡的方式得到了改進。 事實上，很多這些 改進都是受到人類 大腦和人類 認知的啓發，但當然， 產生巨大影響的因素可能是 計算資源和 我們現在擁有的數據量，而我們 5 年前、10 年前還沒有 20 年前，我們現在 使用的計算資源的計算量 在過去幾十年中呈指數級增長，非常非常快，而且這種情況 將持續一段 時間，我們看到了很多討論 關於尺度定律的計算能力， 就像在文章中一樣， Richard suon 的痛苦教訓他甚至聲稱 推動這項技術向前發展的唯一方法 是通過增加計算 能力，您 認爲可能需要其他因素來推動這項 技術向前發展嗎？ 我們是否只需要 更多的計算能力 我認爲 現在沒有人真正知道我們可以觀察到 最先進的人工智能 和人類能力之間的一些差距， 例如在 GPT 4 mhm 等系統中的推理 並不那麼好 作爲人類，甚至還不 如 10 歲的孩子，所以可能會缺少一些 基本部分， 但我們 不應該假設情況就是這樣，我 不認爲 像我們現在使用 BGE 語言模型那樣掌握語言 可以做到 通過擴大規模，但是，是的， 這就是我們所處的位置，並且在推理方面 有所改進， 例如 在過去兩個版本中，呃 GPT 3.5 和 GPT 4 之間， 嗯，如果我必須打賭，我 認爲我們錯過了 一些方面 算法的呃，這就是 我正在做的研究，但我不會把 人類的未來押在它上面，也許 那些認爲這只是擴展的人 是對的，我不知道嗯，無論 關鍵因素如何安全 首先確切地說人工智能與 機器人技術尤其是類人機器人密切相關， 最近隨着大語言模型的革命呃行業專家 聲稱2023年將是 機器人覺醒年， 但實際上我們實際看到的 只是那些跳舞的機器人 也許是在 商業視頻中，所以呃，你 認爲呃，人形機器人距離我們 真正進入我們的日常生活還有多遠， 很難說，但我們可以 肯定地說， 機器人技術的進步與實際的物理 控制呃你知道呃 運動控制 MH 的進步速度 不如語言等高級認知， 還有 視覺，這可能有多種原因，其中 一個可能的原因就是 規模，我們沒有足夠的數據來 訓練這些機器人，而且它必須是 交互式的 哪個更 複雜，但 嗯，我們會弄清楚的，嗯，也許 以後很難說， 但我們看到了一些進展，嗯，所以我們還需要爲一個 不僅白人失去工作，而且 呃藍色人也失業的世界做好準備 顏色是的， 這很有趣，進步 首先發生在創意方面，而 不是像基本功能那樣的電機方面， 但我認爲 這有很多原因，正如我 所說，我們可以在互聯網上訪問如此多的數據， 是一種 文本形式，我們沒有 機器人技術的對應物 MH 另一個是語言 已經是一種非常緊湊和豐富 的 信息表示，而在 機器人技術的情況下，您必須處理低級信號 控制機器人的每個肢體 ， 隨着呃人工智能技術的發展，可能需要的算法也會有所不同。 你認爲什麼樣的技能最 值得爲下一代培養？ 這是一個有趣的 問題人工智能 隨着它部署在越來越 多的應用程序中，很可能會 改變就業市場，非常 顯着，人們做出預測， 你會 在這裏或那裏瞭解更多的自動化，但實際上我們不 知道，所以也許最重要的 技能是常識 以及 快速學習新事物的適應性和能力 MH 因爲世界將 迅速變化 MH 並且人們將 不得不重新訓練自己的技能， 如果他們非常專注於一 件事，那麼這對他們來說會更加 困難，我也會 補充一點， 我們可能 不想用機器取代某些工作，所有需要 人爲因素的工作，人與人之間的互動，人與人之間的 情感互動很重要， 如果你生病了去醫院， 你希望有人握住你的 手 是的，如果你去看心理學家， 你希望有一個人與 MH 交談， 嗯，你希望你的寶寶 由真正的人而不是機器人來照顧，如果我去 醫院，我確實需要一隻溫暖的手， 如果 我去找心理學家，我想要同情和 同理心，你能分享一下你對 中國正在進行的人工智能研究的想法嗎？嗯， 這個國家的優勢是什麼， 這裏可能存在什麼問題，我 不太瞭解，但我知道什麼？ 我所 看到的是， 在過去的十年裏，中國人工智能研究人員的科學實力取得了驚人的進步， 你知道在我的 大學，例如，中國研究生的數量 長期以來一直在攀升，中國 研究人員正在 發表了大部分 呃機器學習 論文，所以呃，作爲人工智能力量的崛起，這是相當驚人的， 我不知道你知道 缺少什麼，也許你知道 研究社區的成熟 並思考 長期 -術語 問題，我認爲還有更多的問題，例如，我們要重點關注 呃直接應用程序， 而不是關注更大的問題，例如 呃缺少什麼你知道安全 嗯嗯甚至呃 理解 與人類智能相關的哲學問題等等。 呃，但我相信這自然會 伴隨你更多的時間，那麼 你對這個國家 對中國爲呃 解決呃asft問題做出貢獻的期望是什麼？我認爲 中國在全球人工智能安全方面首先是中國可以發揮非常重要的作用 你 知道嗎，世界上主要的人工智能力量之一， 超級智能人工智能 AGI帶來的生存風險不僅僅是 一個國家的問題，如果有一個 鬆散的AGI，我們失去了控制，它對 人類來說變得危險 無論它發生在哪個國家， 它都會影響 地球上的每個人，所以我們首先都在同一條 船上，其次是爲了最大限度地 減少未來由於此類 失控的人工智能系統帶來的風險 所有國家都需要 共同努力，特別是那些 擁有專業知識來構建最 強大、最先進的人工智能 系統的國家，我們 在本次研討會上討論的事情之一是 科學家和最終 不同國家的政府如何在 人工智能 安全方面進行合作 我認爲，如果我們想最大程度地 減少未來因通用 人工智能而產生的風險，我們需要一個 多邊組織來開展通用 人工智能工作，以便我們確保 在世界各地減少風險，我們 遵循適當的協議，我們分享關於 如何進行研究的研究。 爲了確保人工智能的安全， 我們建立了 治理 系統， 以便人工智能的好處 以及確保你 知道沒有發生任何不好的事情的控制將 在許多國家之間共享， 這不是任何 一個國家，甚至美國都 可以做到的 呃，單獨做一些事情， 我們都需要彼此 正確地使用如此強大的工具，這 始終是一個問題 全球問題是 人類的問題，而不是 單個 國家的問題 確切地說， 問題的一部分是人類不是 你知道，一個 人會做出理性的 決定，人類，你知道，很多 人，很多公司，很多 國家相互競爭， 這會產生一種 危險的動態，我們可能會在安全方面削減開支， 這就是爲什麼 我們在全球範圍內進行協調如此重要 在 國際層面控制這些 風險並將其最小化，我認爲 在經濟層面也很重要，以 確保我所能帶來的所有好處 將被 這個星球上的每個人分享，你認爲 商業公司是嗎？ 對 通用人工智能的競爭 負責任地還 不夠，但在某種程度上，爲了生存， 他們必須與其他人競爭是很自然的， 這就是爲什麼政府的作用 如此重要，因爲如果一家 公司在人工智能上投入更多的錢 安全來保護 公衆，這意味着他們花更少的 錢在能力上，讓 你知道的人工智能完成它的 工作，這樣會給那些偷工減料的公司帶來優勢， 因爲安全就像一種共享 資源，它是 就像我們呼吸的污染空氣一樣， 擺脫這種公地悲劇的唯一方法是 讓政府制定公平 競爭環境的規則，確保每個 公司都必須報告他們 對這些非常大的系統所做的事情，這樣 政府可以跟蹤系統 是什麼，而且 公司向政府證明 他們的系統是安全的， 這將激勵 公司在安全方面進行更多工作， 因爲目前 至少在大多數國家沒有任何規則， 只是開始 不同的 國家開始制定 立法，公司沒有足夠的 壓力來關注安全， 特別是當我們在 未來幾年或十年內接近通用人工智能時，這變得 非常重要，因此公司他們自然會 爭奪最好的， 這就是 也許 治理應該介入，呃，正如 你所說，呃，安全是我們的共同 資源，就像空氣一樣，就像 全球環境，我們在同一條 船上，所以東方和西方有非常 不同的哲學，比如混亂， ISM，呃，佛教，他們提出了塔裏安主義。 很多注意力都集中在追求 人性之間的和諧上， 我們如何利用這種 文化多樣性來解決 人工智能安全發展的問題，這 是一個很好的問題，但 我會更廣泛地回答， 當我們採取非常 相應的 決定，例如如何管理 呃 AGI 的風險， 我們不能 犯錯誤，如果我們 有來自不同 文化、不同國家的嗯專家坐在 一起，我們就不太可能 知道我們忽略了 對某件事的重要觀點 這對人類來說可能是件壞事， 擁有多樣性的 觀點將有助於減少 風險，這就是 我認爲我們希望走向多邊 治理的原因之一，換句話說， 儘可能多的國家，但 也許通過聯合國，我不認爲 不 知道我們 應該如何利用人工智能的力量，以及 我們應該如何管理它來保護 人民，這些都是非常 重要的問題，我們不應該 把它留給一位首席執行官或一個政府來 決定，是的，也許 也許那時 我們可以嘗試更多的觀點，共同 思考解決這個全球性 問題，是的，這就是我所有的問題， 你確實是一個工作傳奇，我 真的很感激這一次，這是一個偉大的 時刻，人工智能安全很重要，我 真的 感謝您正在 努力幫助確保其安全，謝謝 您 [音樂] foree