音樂和繪畫生成（2017年TensorFlow）開發者大會

我的名字是Doug 我是Google Brain的團隊成員 今天我要和大家討論的是一項叫做Magenta的項目 專注於一個非常困難的挑戰 那就是用深入學習來創造音樂和藝術 那為什麼我們會來這裡呢? 我們來這裡是想問一個問題 我們可以利用深入學習和強化學習 來創造吸引人的媒體嗎? 我們通常會討論音樂和圖片 影片和文字 例如笑話 這是一個困難的問題 我遺漏了今天早上的開會 但觀眾們可能還在 用機械人畫畫 那個人還在嗎? 所以你們知道這是困難的 這不是一件容易的事 只是為了創造 更何況我們想創造一些有趣和驚人的東西 我們也想測量成功 所以我們想了解 這些媒體到底在做什麼 我覺得這是一個很刺激的時刻 能夠嘗試這樣的一個項目 我們有我們之前沒有用過的工具 這就是我們要做的 我們正在嘗試 在開放的環境下 建立一個社群 一個創作策劃者的社群 以及藝術家和音樂家的社群 一起合作 我們在Magenta上做的一切 都被放到GitHub和TensorFlow的 TensorFlow的Magenta庫 我們也很努力地 找到一些工具 例如Jupyter筆記 讓人們可以很快地做一些事 讓我們可以把它們加進去 我們一起努力做 這是一個有關風格轉換的例子 但我覺得更重要的是 我希望大家留下的挑戰 如果你會考慮這個問題 我認為這是一個值得思考的問題 一個挑戰 就是要了解 這些模型 在世界上的重要性 並得到關鍵的反饋 作為一個思考實驗 你可以想像 我們訓練一些模型 能夠產生 數百萬首 或是數百萬首 像蜻蜓一樣的歌曲 或是其他 其實不太有趣 只想著按下那個按鈕 你一直在產生 越來越多的材料 變得越來越沉重 我覺得更有趣的是 思考如何製造一個回饋循環 Magenta被音樂人使用 被藝術家使用 在一些互動的方式 並且產生的材料 也被人們評價 另一種看法是 我們作為工程師 我們作為藝術家和音樂人 藝術和技術 一直相互發展 影像攝錄機 最初被視為 一個不具藝術性的裝置 用來拍攝現實 另一個 不太有趣的東西 相比於繪畫家 人們開始 將它變成藝術器 你會注意到 當人們將東西 變成藝術器的時候 他們會嘗試破壞它 或使用它 以不意義的方式 現在你看到的畫面 左邊的是Les Paul 他是電子結他的創始人 Rickenbacker是另一位 他們嘗試用電子結他 讓它變得更大聲 讓它可以競爭 與其他樂器 在音樂場合 他們並沒有嘗試 將它變成破壞器 他們並沒有嘗試 破壞器是一個失敗的例子 你會看到像Jimmy Hendrix 或St. Vincent 在下面 他們會走過來 拿著這個技術 他們會做一些 令人意想不到的事情 我認為這是 這個食譜的重要部分 我認為Magenta 對此有趣的地方 就是 如果我們可以 製造一個像電子結他 或像鋼琴 或像攝影機 但它本身 擁有一些 機械學習智慧 所以它會稍微反彈 你可能擁有 你作為藝術家 或作為音樂人 可以反彈 它會聽到你 它會回應你 問題在於 我們 Magenta的人 可能比較像Les Paul 或Rickenbacker 而不是像Jimmy Hendrix 我彈結他 我左手 所以我有一點 Jimmy Hendrix在我身上 基本的概念是 我們作為工程師 可以建立一些技術 然後製造一個 與藝術家合作的循環 好 我們現在進入 一些研究 我們談談 一個很好的問題 圖片製作 有多少人 對這個基本概念 好 有不少人 很有趣的是 你把圖片切成一塊 然後你嘗試補充 這是一種生產性問題 除非 一方面 生產圖片 比較容易 因為你沒有 周圍的現象 另一方面 因為你必須 遵循周圍現象 這張圖片 其實是Pathnak的研究 不是Magenta或Google Brain 但我認為 這張圖片很棒 你可以看到 人類藝術家 在右上角 補充了這個缺點 非常好 可能有些人 看過GAN的 會知道 生產性對抗網絡 會發現 一個正常的L2損失 會導致 一種複雜 無聊和安全的狀態 你需要 一個對抗網絡 或強化學習 來強迫模型 從中間生產 做出更有趣的事 我們有個主意 由Anna Huang 一個Google Brain的實習生 和我一起 在Magenta的團隊 問我們可不可以 用類似的方式 這不是一種 一對一的重複製作 主意是 你會用多聲音樂 這次是Bach 然後你會 去除掉聲音 聲音就是 一條旋律 音樂裡有四種聲音 我們用Bach 因為有數據 也因為某種原因 人們對Bach 對AI音樂生產 很熟悉 所以我們做了同樣的事 你可以除掉 一部分的數據 或更有趣的是 你可以除掉 一個聲音一段時間 你除掉一個聲音 其餘三個聲音 是為了提供概念 然後用Gibbs Sampling 你檢驗失誤的部分 然後你除掉 另一個聲音 從原始數據 檢驗失誤的部分 然後繼續 所以你可以做到 這個很有趣的 原始數據 或者 你可以 簡單地 從空的東西開始 再從聲音一段時間開始 這樣檢驗 有很大的幫助 所以 我首先想要做的 就是播放這個 不要注意 聲音的質量 只是MIDI 注意音樂的音調 然後看看 你覺得 它有什麼 和它所產生的東西 這就是播放的時間 好 這不是完美 但是很有趣 而有趣的是 我給你們的圖表 是從我們的文章 我們對三種 不同的檢驗習慣 對真正的Bach 我們發現 當聽眾 被要求評價音樂時 他們其實比較喜歡 Gibbs的檢驗 對Bach 證明瞭 我們比Bach更好 遊戲結束 現在 我認為 這些模型 捕捉了一些有趣的東西 我認為 我們聽他們的 當然不是Bach最好 但它捕捉了 Bach的一些圖像性 它幾乎 比Bach更像Bach 因為它比Bach簡單 但它捕捉了一些 Bach的部分 我也認為 如果我們去找音樂專家 而不是 旁邊的標準 我們可能會找到 不一樣的東西 但是我們很高興 看到我們有這種結構 讓人們不覺得 天啊,這太糟糕了 所以對 Bach比Bach更好 有很大的標題 包括 Either More 或Bach 你們選擇吧 好 現在剩下一點時間 我們來看看 一些圖像性的工作 還有一些 用腦子研究的工作 一位實習生 Vincent Dumoulin 我們可以很快地 我們參與了 這個項目的Magenta 並在我們的GitHub上 發布了一些 我覺得很棒的 軟件 來進行圖像性轉換 這是昨天 在Google的Josh 推薦的Magenta 圖像性轉換軟件 用他們的Docker圖像 所以我把這個 放進去 讓大家可以試試看 我認為 這些圖像也很漂亮 這是一個很棒的 使用 Multi Style Transform 或Pastiche 這是必須的視頻 我認為 我們可以在 實時使用的情況下 我還要強調 因為這裡有一個 很好的空間 你們可以 在不同的風格之間 混合和配合 這是一個Magenta 隊伍的狗 打個招呼給皮卡布 然而 我認為主要的原因 我們都看到了 很多風格轉換 我想強調 至少從Magenta的角度 風格轉換的工作 是非常前提性的 首先 這是非常有趣的 我覺得很酷 我們可以這樣做 我們可以把風格 從一個網絡 然後通過混合 轉換到另一個網絡 但給你們一個例子 這個挑戰的位置 我們有一個 標準風格轉換 在上面 下面的 是Picasso的四張圖像 而我會爭辯 一般藝術家 看到的圖像 就是 藝術家 使用的圖像 他們使用 這就是我們研究的 所以這是為什麼TensorFlow Magenta是TensorFlow的Github 我們是 github.com.tensorflow.com.magenta 我們非常專注 在TensorFlow 藝術社區 與音樂社區之間的 這給了我們很多美好 第一個 由於它是Python 我們可以和所有東西合作 很多和音樂 和藝術 就是把數據輸入進去 做一些簡單的事情 很難在藍色那邊看到 但是我拿了一些HTTP檔案 Dependency、PrettyMIDI和MIDO 兩個很大的MIDI I.O.包裝 我們可以馬上使用 在Magenta、TensorFlow 我們有很快速的 影像、音響和視訊 I.O. 這是很重要的 很多我們的機械學習 甚至音樂都會變成I.O. 如果我們從16kHz音響學習 就是很多數據要輸入進去 我們有TensorBoard 如果你沒有使用TensorBoard 但想要使用TensorBoard 這裡有幾張視訊圖 我們正在研發的音訊輸入 很高興能夠在模特訓練 從它們檢測 看它們的視訊 聽它們、玩它們 不需要停止模特訓練 模特正在運作 最後還有開發者社群 有你們所有人 能夠建立一個 模特、藝術家和音樂家 一起合作 下一步 首先 你可以關注我們的網站 magenta.tensorflow.org 我們用這個網站 來溝通我們研究的內容 並且 提供一些我們寫的文章 還有如果你是一位策劃者 我猜大家都在這個房間 這是一個開發者會 可以嘗試一下 Magenta 我們正在 github.tensorflow.magenta 我們有Docker的安裝 我們也有Pip的安裝 用起來很輕鬆 最後我會留下一個文章 我不會有時間讀完 但是 最後有一個很美妙的東西 激情的黑色和白色 激情的目擊 我認為Magenta的精彩之處 就是利用機器學習 以及其生產能力 並與人們連接 讓人們體驗和工作 我認為 能夠在這個環境下 創造出一個像鋼琴一樣的事件 但同時也帶來一些智慧 我覺得這很吸引人 謝謝你們的時間 我還想提醒一下 我們將會在飲料中進行一個示範 是一個可以在一張鋼琴鍵盤上 和一張Magenta的鋼琴模型 這會很有趣 請到這邊 我會拿著啤酒 我們可以一起看看 然後我會介紹下一個嘉賓 Lily 她會談論TensorFlow 以及分析脈絡圖 以解決視覺障礙的原因 謝謝你們的關注 乾杯