【官方雙語】人類沒法創造這種錯覺圖像（但AI可以）

不久前，我製作了一段影片，在其中提出了這個挑戰。 能否想出一張適用於此表面的圖像？ 這些扭轉方塊的兩種方向中？ 有很多人嘗試過，特別是在我的 Discord 伺服器上。 有人名叫韓林，甚至還建立了一個網頁介面，以協助設計流程。 但誠實地說，它看起來幾乎不可能想出任何一種 有意義的圖像。 但後來我收到了丹尼爾·岡的電郵，同時也收到了瑞安·伯格特透過 Discord 寄來的私訊。 他們兩人都找到了利用生成式人工智慧有效的圖像。 你知道的，你輸入一段文字提示，就會得到一張圖像，就像這樣 Mid-Journey 或 Stable Diffusion。 除非，你知道的，事情並不像僅僅提供一個寫著「」的文字提示那樣簡單。 我想要一張鴨子的圖片。 除了當你旋轉第一、第三、第五、第七和第九個方格時 將此圖像順時針旋轉90度，而所有其他方格逆時針旋轉。 我希望它看起來像一隻兔子。 順便一提，我試過那方法，結果只會得到垃圾。 結果發現，丹尼爾和瑞安，連同他們各自的研究團隊， 一直在研究如何利用生成式人工智慧創造視覺錯覺的問題 透過拆解模型並對內部零件進行一番擺弄。 而他們想出來的方案，正好適合我那個曲折方塊的問題。 這是丹尼爾寄給我的其中一種扭轉方塊解法。 這是瑞安寄給我的其中一份。 在影片的過程中，我會再展示幾個給你。 不過，我真的很想弄清楚他們是如何實現這些圖像的。 但我意識到，我其實並不真正理解原始文字轉語音圖像生成的工作原理。 丹尼爾和瑞安在那件事上都幫了很大的忙。 但請注意劇透，即使你了解其中某個生成模型是什麼， 你可能永遠無法理解它是如何運作的，也無法理解它為什麼會如此有效。 因此，它們都使用了擴散模型，這類技術目前在這方面可謂是前沿水平。 瑞安使用穩定擴散技術，你可能聽過這個名稱。 而且這運作得實在太神奇了。 訓練擴散模型神經網絡的方法是，你先取得一些影像。 那是訓練資料。 然後你隨機調整所有像素的 RGB 值。 這稱為加入雜訊。 然後請模型告訴你，它是如何認為你調整了那些像素的。 我的意思是，我觉得這個像素綠色太重了，重了這麼多。 這個像素略嫌不夠紅，以此類推。 它會以值的陣列形式提供給你。 換句話說，你是在問它，你加到影像中的雜訊是什麼。 記住，這仍然處於訓練階段。 所以此時，你會說，不，你想到的這個點子太糟糕了。 這就是我實際添加的聲音。 現在，離開並修復你模型中的所有參數，以便下次表現得更好。 但實際上，你正在同時處理數百萬張圖片。 你的意思是，看啊，這張圖像中，你所有的像素都錯了這麼多。 而你在這張圖像以及其他所有圖像中，這些像素全都錯了這麼多。 你把所有像素都弄錯了，就像上百萬張圖片一樣。 所以試著離開並調整你神經網絡內部的所有參數 讓所有這些圖片同時獲得更好的效果。 我跟你说過那裡很瘋狂的。 順便一提，這只是對所有這些內容運作方式的簡要概述。 我肯定會跳過一些細節並在過程中做一些簡化。 对我来说，最重要的是你對這些東西的工作原理有著令人滿意的理解。 不管怎樣，你會用越來越嘈雜的影像來訓練它。 換句話說，就是那些你逐漸對所有像素的值進行了越來越多調整的影像。 直到最後，你甚至可以給它一張純雜訊的圖像，完全隨機的像素。 因此，當它給出對圖像中所添加雜訊的預測時 當你移除那個預測時 它會產生一張看起來像訓練圖像中某個可辨識事物的影像。 此時，你完全無法控制任何東西的出現。 你得到的東西只會是隨機的。 要能夠根據文字提示生成圖像， 該模型必須能夠理解文本的含義。 也許我們需要一個能夠理解文字的獨立模型。 我這裡稍微離題一下，因為這樣後面解釋起來會比較清楚。 但文字模型或語言模型的工作方式其實非常巧妙。 基本上，它會經過多次迭代，其中 它對文字的語義理解變得越來越細膩。 就像第一輪迭代時，它可能意識到「blue」這個字在「boat」這個字之前。 那表示船是藍色的。 然後幾次迭代之後， 它可能會意識到，文本提示開頭提到的那个人其實就在那艘船上。 而後面提到的海浪則是波濤洶湧的。 這正導致船隻搖晃。 到了第20次迭代時， 它知道這段文字是以哥德式恐怖小說的形式寫成，且敘事者不可信。 但無論如何，從另一端出來的結果，就我們的目的而言 基本上只是一串長長的值，用來代表所有這些不同的含義。 這串數值通常被稱為向量，因為你可以將其視為一個點。 在這個語義意義的超高維空間中。 我之前說過，理解這些模型的工作原理可能是不可能的。 而且我想這大概就是我所說那種情況的一個好例子。 在某種程度上，你可以對這些代表提示意義的向量進行提問。 你會發現某個特定的值可能代表語言學上的性別概念。 因此，如果該數值增加，提示在語義上就會變得更具女性特徵，例如。 但總體而言，很難看出這些不同價值觀或方向之間的差異， 如果你喜歡的話，在這個超高維度的空間中，實際上可以語義地表示。 但不知怎的，它還是管用。 因此你給語言模型一個提示，它會將其轉換為某個高維向量 這代表了提示的含義。 或者，這是一些代表提示不同部分的向量。 我們到底要怎麼把這套方法應用到那個只是在努力搞懂狀況的影像生成模型上呢？ 如何去除影像中的雜訊？ 嗯，這個模型能夠判斷出影像中需要去除的雜訊是什麼。 因為它已經學會理解圖像的特徵。 在某些方面，它與語言模型理解文字意義的方式非常相似。 也就是說，它會經歷多次迭代，其理解不斷深化 影像特徵變得越來越細膩。 因此，在第一輪迭代中，它可能僅僅是在捕捉圖像中邊緣的位置。 然後在後續的迭代中，也許它正在掌握一些概念，例如 毛茸茸的感覺，或者可能是光線在光亮表面上反射的閃爍。 然後稍後，也許會以莫內的風格呈現。 但關鍵的是，它不會有任何詞語來描述這些特徵。 即使我們可能將它們識別為毛茸茸、光亮、車子或貓的特徵。 相反，它只會是一長串代表這些事物的數值。 而且，如果你真的深入探討這些價值觀， 我們可能很難真正挑出一些我們能理解的具體事物。 但反正它還是有效。 這一系列的數值，同樣也是一個向量。 但當然，這個模型是獨立於我們可能擁有的任何語言模型而訓練的。 因此，這兩個不同模型中的向量彼此之間沒有任何關係。 這正是 Clip 模型發揮作用之處。 Clip 是在來自互聯網的數百萬張圖像及其字幕上進行訓練的。 因此，在訓練過程中，它學習了文字的含義以及圖像的特徵。 以及它為這兩者所產生的向量。 它將內容置於語義意義與影像特徵的共享向量空間中的相同位置。 因此，代表「黑貓」這個詞語意義的向量會出現在相同的位址。 在共用空間中，以一個向量表示一隻黑貓的視覺特徵。 所以當你在詢問噪音預測模型時 它認為你需要消除什麼噪音才能恢復原始影像？ 順便一提，我知道這片雜訊底下的圖像 因為 CLIP 告訴我，它的特徵向量是指向這個方向的。 克里普聽說這件事，是來自一個文字提示。 因此，該模型將現在猜測需要去除的雜訊是什麼 以一種將影像推向具有此向量編碼特徵的方式。 此階段稱為交叉注意力，因為來自 Clip 的特徵向量 處理降噪模型中的特徵向量。 這裡還有一個細節我想分享一下，因為它曾讓我抓狂。 直到我明白了為止。 剪輯與噪音模型是分別訓練的， 意思是它們的特徵向量都指向不同的方向。 那麼，這到底是怎麼運作的呢？ 這兩個模型如何互相溝通？ 而且，這部分就是交叉注意力機制 這正是在這兩個不同高維特徵空間之間進行轉換的過程。 當然，模型中的交叉注意力部分具有執行此翻譯的能力。 因為它使用了大量的數據進行訓練。 因此，這就是擴散模型如何以許多簡化方式將文字提示轉換為圖像。 但要解釋這些錯覺是如何產生的， 我需要告訴你一些我略過的過程細節。 因此，當您向 Stable Diffusion 提供文字提示時，例如「一隻紅色兔子戴著藍色禮帽」， 它一開始是一幅純粹雜訊的圖像， 然後試圖判斷應該消除什麼噪音。 換句話說，為了得到一張影像，應該調整哪些像素。 具有CLIP模型所提供的向量中的所有特徵。 但它不是一步完成的。 另一種說法是，它的首次嘗試有點模糊、灰暗且缺乏立體感。 這很合理。 就像你眯起眼睛看一張隨機雜訊的圖像時， 你或許能夠偶然發現一些大規模的變化。 但你將無法辨識任何細節。 雜訊會破壞細節。 或者在擴散模型幾乎沒有可用特徵的情況下， 它會產生一張圖像，這張圖像類似於所有符合您提示的圖像的平均值。 換句話說，一個模糊的斑塊。 然後你拿這張影像，再加上例如 90% 的雜訊 並要求模型預測那次你添加了多少噪音。 在你移除那個猜測後，影像會稍微清晰一點。 這是因為影像本身已經具備了一些大尺度結構。 以及這層疊加其上的降噪效果 可以開始在這裡那裡稍微推動一下，讓內容更詳細一些。 然後你再用80%的雜訊重複一次，接著再用70%的雜訊重複一次。 如此類推，一直到零噪音為止。 而且你會得到一張清晰、乾淨、銳利的圖像。 實際的增幅不會是10%。 你可能會選擇另一個特定的時間表，但基本概念就是這樣。 所以，一個文字提示是如何變成圖像的。 但知道它正是透過這些朝清晰影像邁進的微小步伐而發生的 這意味著你可以稍微玩得開心一點。 例如，我曾遇見一個極為出色的裝置作品，名叫《影子戲》。 將某人投射的影子擷取並注入 Stable Diffusion 在50%雜訊階段。 所以它已經被影子預先激活了。 當然，瑞安和丹尼爾兩人都充分利用了這一點。 圖像在多個步驟中逐漸形成。 他們向擴散模型請求一張企鵝的圖像，比如說。 但他們在第一次猜測後就暫停了。 然後他們會要求一張長頸鹿的圖片，比如說。 並在第一次猜測後暫停。 所以他們有一張漸近於企鵝的模糊圖像。 一張模糊的影像，正逐漸靠近一隻長頸鹿。 然後他們將長頸鹿的影像翻轉並合併起來 透過計算所有像素的平均值。 此合併影像成為下一步的輸入。 包括企鵝生成任務和長頸鹿生成任務在內。 於是，慢慢地，慢慢地，影像逐漸變成某種東西 那在一個方向看像企鵝，另一個方向看則像長頸鹿。 那不是很酷嗎？ 而且不一定要這樣，一張圖像這樣呈現 還有另一張圖像，這樣子翻轉過來。 也可能是這 arrangement 中的一隻鴨子 以及一隻兔子在這個配置中。 或者你可以完全打乱這些部分的順序， 這一點，事實上對某件事非常有用 馬特·帕克正在嘗試拼圖。 所以我把他介紹給瑞安。 你可以在馬特的頻道上看到那樣的結果 有我 guest appearance 的精彩演出。 連結請見描述。 瑞安的技術執行了更複雜的操作 不僅僅是取兩個噪音猜測值的平均數 並減去那部分。 它涉及一種稱為得分蒸餾損失的東西， 這我就不細說了， 因為丹尼爾確實取了兩個噪音猜測值的平均數。 而且，他對此有一個非常貼切的類比。 你有一塊大理石，還有兩位雕刻家。 這是一個很好的類比，因為雕塑家創作的方式正是如此 他們會進行非常粗略的敲打剝落。 是的，你會看到一個模糊的輪廓。 是的，這正是這些情況正在發生的狀況。 更多細節。 沒錯，一點一點地，一點一點地，一點一點地。 所以你有一塊大理石，然後你對其中一位雕刻師說， 我希望這是一隻長頸鹿。 你會得到另一位雕刻家。 你把它倒過來，然後說：把這變成一隻企鵝。 這就是你獲得企鵝長頸鹿錯覺的方法。 真正棒的是，這其實是一個很好的例證。 如何將這個概念更廣泛地應用。 你試圖創造的底層事物 在這種情況下，是一張圖片 有了這兩種不同的觀點，對吧？ 但它不一定要是一張圖像。 例如，它可能是一個三維模型。 而且你可能有五種不同的觀點。 所以從這個角度、這個角度、這個角度，還有這個角度來看看這個模型。 而且它們看起來都得像機器人狗那樣。 好的，你有五位雕塑家都在製作一隻機器狗， 但從不同的角度來看。 你最終得到的是一個真實的3D檔案，而不是影像檔案。 一個看起來像機器人狗的3D檔案。 而且它有效。 而且簡直難以置信，它是怎麼運作的。 它不知道什麼是3D。 它不知道。 而且該模型並未使用3D數據進行訓練。 它已使用圖像數據進行訓練。 我想這也說得通，因為唯一看起來像機器狗的東西就是它。 來自許多方向的是一款3D機器狗。 是的。 我的意思是，這很合理。 那就是它所發現的，但依然令人驚嘆。 是的。 賴恩的方法在透明度方面表現得非常出色。 這些東西怎麼這麼酷啊？ 有些工作可從多個方向進行。 你甚至可以提供一張目標圖片 它將產生透明度，這些透明度疊加起來正好形成那幅圖像。 例如我的頻道標誌。 你可以在他們的網站上玩這些不同的錯覺遊戲。 連結請見說明文字。 丹尼爾也嘗試了不同的視角。 其中一種觀點的顏色全部顛倒 或是在一個切割口旋轉的情況下。 這是一個在不同縮放等級下都能正常運作的項目。 請在描述中附上他們所有作品的連結。 非常感謝他們兩位對這支影片提供的協助。 沒有他們，我根本做不到。 我覺得生成式人工智慧最有趣的一點是 正是如此，它展示了人工智慧的各種應用方式 與人類智能相似 以及它在許多方面所表現出的差異。 就像人工智能萃取不同層次的意義那樣 一段文字看起來非常像人類所寫。 但事實是，它不知道草莓裡有多少個 R。 看起來非常不像人類。 也許我們不應該訓練人工智慧去模擬人類的智慧 因為那樣的話，我們將不得不加以壓制 所有這些人類的缺陷，例如偏見和幻覺。 人工智慧被訓練來下圍棋 透過觀看以往的人類對局。 當它最終擊敗人類時 它基本上只是在下人類的棋步。 但最具決定性的一著，有趣的是， 是人類前所未見的。 當人工智慧在未觀看任何人類對局的情況下重新訓練時， 只是在與自己對戰。 它學會了更快地擊敗人類 並以前所未見的招式，更加全面地展現。 這既令人著迷，又令人恐懼。 本影片由 Jane Street 贊助。 Jane Street？ 他們正在資助我的影片。 是啊，我正要說…… 你嗎？ 什麼？ 他們在資助你的影片？ 是的。 天哪，這機會也太小了吧？ 是實習。 Jane Street 是一家量化交易公司。 尋找下一波充滿好奇心與熱情的人們 參加他們2025年的實習計劃。 Jane Street 使用機器學習等技術， 分散式系統，可程式設計硬體 以及用於在全球市場進行交易的統計數據。 他們就是從辦公室裡這麼做的。 在世界上一些最令人興奮的城市中。 實習申請现已開放 在量化交易、軟體工程中 研究、策略與產品 機構銷售與交易，以及其他相關領域。 而且這些項目在他們的紐約辦公室。 倫敦和香港辦事處。 整個夏天，你將深入投入這項工作 這項工作正在公司各處推行。 你將被這些優秀的人包圍 來自多樣背景。 我遇過無數來自 Jane Street 的人。 有一件事尤其引人注目 他們對自己所知道的事感到興奮。 他們很興奮地想要分享這份知識极高 與其他人一起，這正是將會發生的情況 在他們的實習計畫中。 當你不在工作時，可以參加社交活動， 嘉賓講者們，您可以探索您所在的城市， 他們會好好照顧你的。 當然，你會獲得薪資。 但他們也會提供航班 從您的實習計畫出發與返回 以及全程的住宿安排。 來自世界各地、各種背景的人們 歡迎申請。 而且你不需要有金融背景。 順帶一提，如果是香港的計劃 你正在申請，並且獲得了錄取。 你會遇到馬特·帕克。 我要去香港。 我會做個演講，我們一起閒晃。 這將是一段充滿情感的經歷。 我為 Jane Street 做過一場演出。 你其實知道我們一起做過一次，對吧？ 你在那裡？ 倫敦辦公室 是的。 他們是好人。 好人們。 如果這聽起來有趣的話， 連結也在說明中。 今天去看看 Jane Street 吧。 希望您喜歡這段影片。 如果你這麼做了，別忘了按讚訂閱。 而且這個演算法認為你接下來會喜歡這支影片。 如果你在片尾畫面遮住了我的臉， 你有大麻煩了。 但你的影片縮圖就在那裡。 其實問題不在演算法上。 這段演算法認為你會喜歡這支影片。