LatentSync ！字節跳動開源音頻驅動視頻，數字人制作神器!

各位朋友大家好 歡迎來到 AI 技術分享頻道 今天我們要爲大家介紹和分享的開源項目 是一個音頻驅動視頻的 AI 項目 那麼它是由字節跳動開發和開源的 名稱叫做 LatentSync 主要可以幫助我們完成數字人的製作 那麼首先的話我們就可以來查看一下它的演示效果 現在我們就能夠查看到 它的效果還是非常不錯的 我們剛纔展示的視頻當中 並沒有中文的內容 其實對於這個項目來說的話 當前它的狀態 並沒有針對於中文的數據做特別的訓練 然後接下來的話我們就可以在本地的計算機當中 去完成它的部署過程 並且去測試一下中文的效果 在我們的演示環境當中 我們現在打開的頁面 就是 LatentSync 這個項目 在 Github 當中的主頁 那麼首先的話我們可以選擇複製它的地址 同時在我們的運行環境當中 也已經準備好了一臺 Ubuntu 的計算機 所以在這裏的話我們就可以運行相應的命令 去完成 項目所有文件克隆的過程 那麼在它克隆的過程當中 我們又可以重新回到它的主頁當中 在它的主頁當中 我們也能夠查看到它已經幫助我們生成的示例 除此之外的話 它也會告訴我們如何去完成它的安裝過程 其實主要的話就是運行這一條命令 使用這個工具幫助我們完成它的安裝 那麼在它安裝的過程當中 其實它也會幫助我們去下載所有的這些不同模型 那麼這些模型的文件其實還是比較大的 所以的話我們已經提前的完成了它的下載過程 在這裏我們就能夠查看到它的大小 然後的話我們可以選擇複製 重新回到它的目錄當中 然後在這裏選擇刷新之後 我們也能夠查看到已經克隆完成的這一個文件夾 然後我們選擇粘貼就可以 同時的話我們也能夠查看到這個安裝的文件 所以的話我們可以雙擊打開這一個安裝文件 其實它就是一個批處理的文件 然後我們就能夠查看到 它會幫助我們去完成 這一個項目運行環境的準備 同時的話去激活它的運行環境 然後再幫助我們去完成 所需要的所有的這些不同組件的安裝過程 而最後的話就是去下載相應的模型 而現在的話其實我們已經完成了模型文件的準備 所以的話在這裏我們就可以 刪除剛纔的這兩條不同的命令 然後接下來我們又可以重新回到它的主頁當中 完成了它的安裝之後 然後它還爲我們提供了一個 WebUI 的工具 所以的話我們可以啓動這個 WebUI 的工具 那麼我們也可以在這個目錄當中 同樣的查看到 WebUI 的程序 那麼對於這個程序來說的話 我們也可以對它進行修改 所以的話我們也可以 打開這個程序 打開之後的話我們就可以在這裏去輸入 一個新的參數 那麼這一個參數的話就是去指定 它的偵聽的端口 所以我們去指定相應的值 這樣的話才能夠確保完成了它的安裝之後 我們在啓動這個程序的時候 然後我們就可以使用 當前的這一臺 Windows 10 的計算機 打開瀏覽器之後 訪問到 WebUI 的工具 修改完成 這些不同的選項之後 然後我們又可以重新回來 切換到它的目錄當中 然後在它的目錄當中也能夠查看到 所有的這些不同文件 首先的話我們就可以運行這個命令 去完成所有程序安裝的過程 在它安裝的過程當中 其實的話它就會幫助我們 下載很多不同的組件 並且去完成這些組件安裝的過程 所以接下來我們所需要做的事情 就是等待所有的這些組件安裝的完成 現在我們就能夠查看到 程序的安裝過程 就已經結束 然後接下來的話 我們就可以去啓動 WebUI 的工具 所以的話我們就可以運行這個命令 去啓動 WebUI 的工具 那麼接下來的話 我們就可以在瀏覽器當中 打開相應的頁面 所以在當前的這一臺計算機中 我們就可以輸入相應的地址之後 然後接下來選擇刷新 就可以打開它的頁面 在這裏的話我們也能夠查看到 它已經爲我們提供了示例的視頻 以及音頻文件 當然現在我們所需要做的事情 就是使用我們已經準備好的中文的視頻 所以我們在這裏選擇一個視頻 同時的話選擇音頻 選擇完成之後的話 然後我們就可以選擇生成的選項 接下來的話它就會幫助我們 完成生成的過程 也就是使用這一個音頻 然後去驅動這個視頻 同時我們可以再一次對它進行查看的時候 也能夠了解到 第一次運行的時候 它也會幫助我們再下載一個新的模型 所以第一次運行的時候 那麼它的時間相對來說 會長一點 現在我們就能夠查看到 它的處理過程就已經完成 所以我們重新回到 WebUI 的工具當中 也能夠查看到這個視頻 然後的話我們就可以選擇播放 我們能夠查看到 其實它的效果還是非常不錯的 相對於其它的一些產品來說 目前來說的話它的效果 還是可以的 當然 我們還要把它作爲一個實際使用的視頻 其實我們還需要去做一些額外的處理 那麼才能夠保障 它的可觀賞性 纔是一個更強的情況 那麼對於這個開源產品來說的話 它開源的只是它最核心的一個能力 那麼對於周邊的這些需求 或者是我們要優化的地方 其實我們可以通過自己編寫一些程序 或者是使用其它的一些工具 來對它進行優化 那麼這樣的話 這個數字人的製作 纔是可以的 那麼好我們今天的這一個分享到這裏就已經結束 如果你喜歡我們的這一期節目 也希望大家能夠點贊 並且去分享我們的這一期節目 然後關注我們的這個頻道 我們下一次節目再見 謝謝大家