3秒克隆你的聲音！阿里CosyVoice：AI語音合成新突破！

各位朋友大家好 歡迎來到 AI 技術分享頻道 今天我們要爲大家介紹和分享的開源項目 是一個文本轉語音 並且能夠實現音色克隆的 AI 項目 它是由阿里發佈的 名稱叫做 CosyVoice 其實在之前的節目當中 我們也爲大家介紹過一個類似的項目 Fish Speech 相對於 Fish Speech 來說 CosyVoice 效果更加穩定 同時它還具備了情緒控制和引導的能力 所以接下來的話 我們就一起來安裝和體驗 CosyVoice 看看它的能力和效果 在我們的演示環境當中 我們現在打開的頁面 就是 CosyVoice 這個項目的主頁 那麼在它的主頁當中 它就爲我們提供了兩個不同的鏈接 我們選擇打開這兩個不同鏈接之後 其實就能夠了解到 它爲我們提供了在線體驗的應用 那麼這兩個不同的應用 一個是在 Huggingface 的網站當中 而另外的一個就是在魔搭社區 而魔搭社區也是阿里運營的 然後的話我們就可以在這裏選擇輸入文本 同時的話選擇 樣本音頻 那麼接下來的話它也會自動的幫助我們 解析出樣本音頻當中的內容 然後我們就可以選擇生成音頻 這時候的話我們就能夠查看到 這個過程其實就已經開始 並且很快它就會幫助我們去完成 這個文本 轉換成音頻的過程 然後在它轉換的過程當中 就會使用我們上傳的這個樣本音頻當中的音色 然後幫助我們去完成 新的音頻生成的過程 我們剛纔的這個音頻生成的時候有一點點的問題 沒有關係其實我們又可以選擇對它進行運行 生成新的音頻 那麼生成完成之後我們就能夠查看到 這個結果並不是我們想要的一個結果 其實它是一個噪聲 那麼有可能是因爲 我們當前的這個頁面當中的應用程序 它有問題 或者的話也有可能是我們沒有登錄 另外的話我們選擇 Huggingface 的頁面 其實也是同樣的情況 我們在這裏的話也可以選擇上傳新的樣本文件 它也會幫助我們解析出樣本文件當中的內容 然後我們在這裏的話 再一次選擇對它進行上傳 上傳完成之後的話 它也會幫助我們去完成解析的過程 那麼對於 Huggingface 這個網站來說的話 我們選擇生成音頻的時候 它就會有另外的一個提示 當前的這一個應用其實非常受歡迎 所以的話會有很多人正在使用 現在我們要排隊 現在我們就能夠查看到它的時間就非常久 有可能的話 最終也沒有辦法生成我們想要的這個音頻 那麼其實也沒有關係 我們在這裏的話可以重新回到 CosyVoice 這個項目的主頁當中 我們可以在這個項目主頁當中按照它的指南 然後的話去完成 它的安裝過程 在我們當前的這一臺計算機當中 來體驗 CosyVoice 它的功能 其實在這個主頁當中我們也能夠了解到 CosyVoice 它有兩個不同的版本 那麼現在最新的版本就是我們查看到的2.0的版本 它也會告訴我們2.0的版本當中有哪些功能的增強 以及功能的優化 然後的話它也提供了安裝的指南 所以的話首先我們在這裏就可以去複製這個命令 然後接下來的話我們就可以去打開命令提示符 在命令提示符當中 首先的話去 運行這條命令 那麼通過這條命令的話 它就會幫助我們去完成 項目克隆的過程 完成了項目的克隆之後 然後我們又可以重新回到它的頁面當中 它也會告訴我們需要去切換到這個目錄當中 所以的話我們又可以去複製相應的命令 然後切換到這個目錄 再去檢查它的更新 這樣的話我們就去完成了克隆的過程 然後的話我們還需要去安裝另外的一個組件 這個組件就是 conda 組件 通過 conda 組件 我們就可以去完成它的運行環境的準備 所以在這裏的話 我們也能夠查看到這兩條不同的命令 如果我們的計算機當中沒有安裝 conda 組件 在這裏的話其實它也爲我們提供了一個頁面 我們打開這個頁面之後 也是能夠找到它的下載鏈接 並且的話我們也可以去完成它的安裝過程 在我們的這一臺計算機當中 其實已經完成了 conda 組件的安裝 所以我們運行相應的命令之後 它就會幫助我們去創建它的運行環境 然後的話我們也可以選擇激活它的運行環境 激活完成之後的話 首先它就需要去安裝這個組件 那麼這個組件 必須通過 conda 然後去完成它的安裝過程 所以的話我們運行這個命令 除了這一個組件之外的話 其實它還會有其它的一些不同的組件 所以它也爲我們提供了另外的一條命令 那麼這一個命令的話就是 Python 當中 爲我們提供的這一個組件 所以的話我們選擇對它進行安裝就可以 在安裝的過程當中 我們又可以重新回到它的主頁當中 其實接下來所需要做的事情就是去下載模型文件 然後它也爲我們提供了相應的命令 幫助我們去完成它的下載 其實我們就能夠了解到 總共的話包括了六個不同的模型 其實 就是五個不同的模型以及一個 另外的組件 那麼這個組件下面它也會有說明 我們解壓這一個組件之後的話 就可以去安裝這兩個不同組件 從而去增強它的功能 那麼對於這五個不同的模型來說 其實這個模型是2.0版本當中 爲我們提供的一個新的模型 那麼其它的這些不同模型的話 都是1.0的版本當中爲我們提供的 我們可以選擇下載所有的這些不同模型 下載完成之後的話總共的大小 大概是 60GB 左右 也就是說它的大小是非常大的 下載的話需要去花很久的時間才能夠完成 那麼在我們的這個環境當中 其實我們準備好了兩個必備的模型 也就是這兩個不同模型 所以的話我們 可以去複製 所有的這些不同文件 並且重新回到它的目錄當中 然後選擇粘貼 這樣的話我們就去完成了模型文件準備的過程 重新回到命令提示符當中 現在就能夠查看到 所有的這些不同組件 安裝的過程還在繼續 現在我們就能夠查看到 所有的這些組件就已經完成了安裝的過程 然後我們又可以重新回到它的頁面當中 接下來的話我們就可以去運行這些程序 運行的時候 它也爲我們提供了兩種不同的方式 一種就是編程的方式 而另外的一種就是 WebUI 的工具 所以在這裏的話它也爲我們 提供了 WebUI 的工具以及相應的命令 那麼這一條命令 其實它使用的模型就是這個模型 而現在我們準備好的模型 就是2.0版本當中 才爲我們添加的這個模型 也就是我們在這裏查看到的這一個模型 所以對於它的命令其實我們需要對它進行替換 在我們當前的運行環境當中 我們也已經準備好了相應的命令 所以我們去複製這一條命令 使用這個模型 然後的話我們重新回來 選擇回車之後 那麼就能夠查看到 WebUI 的工具 它就已經開始了啓動的過程 但是在啓動的時候 它也會提示我們 我們還需要去安裝這個組件 所以的話我們就依據它的要求 去完成這個組件安裝的過程 完成了它的安裝之後 然後的話我們又可以 再一次去啓動 WebUI 的工具 就能夠了解到 這一次的話它就沒有提示任何錯誤的信息 現在的話它的啓動 就是沒有任何問題的 然後接下來的話我們就可以 在瀏覽器當中打開它的頁面 所以的話我們就可以 在瀏覽器當中 然後的話輸入相應的地址 輸入完成之後的話我們就能夠查看到 它的打開就沒有任何的問題 現在的話也是能夠正常打開的 打開之後的話我們就能夠了解到這些不同的選項 其實默認情況之下 它爲我們提供了幾個不同的音色 現在的話沒有辦法對它進行選擇 沒有關係其實如果我們是使用這些不同模型的話 那麼我們是可以去選擇音色的 現在我們就直接選擇第二個選項 然後選擇聲音克隆 所以我們選擇上傳一個新的音頻 那麼本地的這些計算機當中部署的 CosyVoice 來說的話 它就不會自動的幫助我們識別它的文本 在線體驗的時候我們能夠查看到 它會自動的幫助我們去識別這些文本 所以的話我們可以選擇複製這個文本 也是沒有問題的 其實在這裏我們可以選擇來聽一下 現在它們像往常一樣圍坐在一起吃早飯了 其實文本的話是對得上的 另外的話我們可以在這裏輸入合成的文本 然後接下來的話我們就可以選擇生成音頻 就能夠查看到這個過程的話其實也已經開始 並且很快的話它也會幫助我們生成 我們所需要的這個音頻 那麼在命令提示符當中我們也能夠查看到相應的 我是通義實驗室語音團隊全新推出的生成式 語音大模型 提供舒適自然的語音合成能力 那麼通過 聽這一段聲音的話其實我們就能夠了解到 它的這個音色克隆的能力 以及效果的話 應該說是非常非常好的 所以的話我們可以按照自己的需求然後 輸入相應的樣本音頻 輸入文本之後就可以去完成 聲音克隆的過程 下面它還會有一個選項叫做跨語種的復刻 然後的話其實我們可以去輸入 不同的文本 比如我們在這裏的話也準備好了另外的一個文本 我們可以去輸入這個文本 同樣選擇生成音頻之後 那麼它也會幫助我們使用 我們準備 if you jump the queue other people will not be pleased 我們可以再聽一遍 If you jump the queue other people will not be pleased 其實它的音色也是非常好的 並且它是跨了語種 那麼除了英文之外的話 包括日語 韓文 其實都是沒有問題的 而最後的這一個選項就是自然語言的控制 也就是我們可以在這裏 然後去輸入一些提示詞 然後這些提示詞去描述 文本當中的一個狀態 比如是高興的 或者是不高興的 或者是其它的一些 語氣 狀態 然後去指導 生成相應的音頻 然後我們選擇生成的時候 其實在這裏它會提示我們 我們要使用這個模式的話其實 需要去選擇另外的一個模型纔可以 所以這裏它會提示相應的錯誤信息 那麼沒有關係我們可以 去結束當前的這一個程序 結束完成之後的話 我們可以選擇使用另外的一個模型對它進行啓動 所以我們可以去複製這個命令 複製完成之後再一次選擇啓動 啓動的時候 我們這一次選擇的就是另外的一個模型 然後接下來的話我們又可以重新回來 回來之後的話我們 就可以直接選擇生成 新的音頻 首先的話它沒有提示任何的錯誤 另外的話 它會告訴我們有錯誤信息 因爲這個頁面當中 它嘗試加載的還是原來的模型 所以我們可以選擇刷新這個頁面 然後選擇自然語言的控制 那麼其它的這些選項是沒有用的 既使我們去選擇了參考的音頻 然後的話也去輸入了相應的文本 那麼這些信息都會被忽略掉 然後的話我們可以在這裏去 輸入一些相應的提示 選擇生成 生成的時候它會告訴我們 我們輸入的這個音頻 我是通義實驗室語音團隊 那麼它都是會被忽略的 剛纔我們也能夠查看到 現在它就已經開始自動播放了 那麼對於 這個選項來說也就是自然語言控制來說的話 我能想到的一個應用場景就是有聲書的生成 因爲在一本書當中可能一些小說當中 針對於不同的情節的時候 那麼它的場景當中情境當中 每一個人的心情都是不一樣的 所以它講出來的話 然後我們需要 對它進行一些描述 是高興的開心的緊張的 那麼這樣的話 它也是可以幫助我們去生成更好的一些效果 總體而言的話 CosyVoice 對於音色的克隆 其實是非常非常成功的 那麼它的音色 僅僅只是用了三秒左右的這個音頻 就能夠得出非常好的一個結果 那麼好我們的這一期節目的分享 到這裏就已經結束 如果你喜歡我們的這一個節目 也希望大家能夠點贊 並且去分享我們的這一期節目 然後關注我們的這個頻道 我們下一期節目再見 謝謝大家