ComfyUI進階教學- 搭建高級動畫工作流，AnimateDiff動畫生成，IPA動畫節點，CN另類模型探索。 #aigc #videogeneration #controlnet

Hello 大家好 歡迎再次來到歐陽的視頻頻道 那麼在經過了一段時間的沉澱以後 我們終於迎來了 Config UI動畫進階三連篇的最後一篇 話不多說 我們就直接來到服務器 開始今天的教程內容 那麼回來以後我們簡單的回顧一下 在進階動畫的上一期 也就是中篇內容當中 我們講解了如何利用兩個IPA 來給我們兩張參考圖進行過渡動畫 同時我們也結合了高級的分區IPA 爲我們的畫面指定了不同的運動部分 再加上ControlNet的動態蒙版 製作了這麼一個動態的案例 那麼這一期我們來進一步瞭解一下 IPA作者爲我們提供的 優質優秀的動畫製作工具 以及我們上一期留的一個懸念 關於ControlNet的另一個組件 我們就直接來說 IPA作者應該是在6月份插件更新以後 爲我們提供了這樣一組工具 首先來看到這邊 我以不同的圖片組了一個序列 之後我們直接右鍵新建節點 找到IPA應用 一定要注意是6月份以後更新的 一定要是更新到最新版本 纔會看到有這樣一個權重的分組 這裏面一共有三個節點 挨個來看 首先第一個我們要說的 就是權重計算 它其實就相當於爲我們的圖像 快速的設置一個batch 並且提供了圖像之間轉換的遮罩 這個遮罩其實不是遮罩 它只是一個權重筆 來直接把這個圖像序列 傳給我們這個節點 可以看一下這邊我加載了 一共是6張圖像 對吧 這裏我們首先要設置的有幀數 我們要設置每一張圖像 有多少幀 比如說我們讓每一張圖像 有一秒鐘 就是按我們的AnimateDiff來算 8幀一秒鐘 對吧 我們就把幀數設置爲8 直接把這個圖像1拖出來 直接來預覽 這樣的話 它就會爲我們每一張圖像 這裏的每一張重複8次 每一張8幀 這就很方便我們來組織 視頻的幀序列 那麼其次下面有一個 起始幀有個結束幀 比如說我想從第4幀開始 那麼它就會跳過前面的4張圖像 結束幀也是 如果我們把結束幀限定在第10幀 那麼我們這個序列到了第10幀 它後面的內容就會被掐掉了 最後面我們可以爲開頭和結尾添加幀 比如前面我想讓它時間多一些 那麼我們可以再給它一秒鐘 後面也是一樣的 我們再來8幀 再來生成一下 現在我們就可以看到 開頭和結尾就多出來一秒鐘的時長 這個工具真的是特別好 它可以爲我們有效的組織我們的幀率 就不會有我們之前兩期節目 要手動拼幀序列 是一個很繁瑣很複雜的過程 當有了這個節點以後 一切的幀序列安排和組織就非常的簡單了 那麼第三點也就是這個節點 最重要的針對於IPA的一個功能 是它會提供三種不同的計算方式 這裏我們可以看到是Full Batch 就是所有的幀序列都在這裏了 我們可以直接調用圖像1的序列 傳給任何動畫製作的組件和插件 對不對 當然了這邊的圖像 我們也不一定非得給原始圖像 我們也可以給一些遮罩圖像 最後把這個序列轉換爲遮罩來使用 對於IPA的應用來說 最重要的是一個全重的過渡 像之前我們是用遮罩來做的兩張圖形的過渡 但是在這個地方它只提供了一個全重值 什麼意思 我們先把前後這8幀去掉 然後我們把Full Batch改成第二個Shift Batches 輪換的一個效果 當我們選擇了一個選項以後 我們就可以把第二組圖像也來預覽一下 那麼現在我們可以看到這兩組圖像 它就錯開了 對不對 第一組圖像對應第二組 第二組圖像對應第三組 第三組圖像對應第四組 依次往下這麼循環 當我們把第一個全重的配比調出來 再根據圖像來觀察 我們就知道它的主要作用是什麼了 因爲這裏全重它其實是一組浮點數Float 所以我們沒有辦法直接來預覽浮點數 但是我們可以通過一個節點 從浮點數到遮罩的這樣一種體現方式 當然了這是需要一個KG的這樣一個節點組的 不過沒有節點組也沒有關係 沒有預覽也沒有關係 這裏我們看一下它的大概意思就行 以遮罩的方式來體現它整個的全重值 對於我們來說是比較直觀的對吧 現在我們來直接讓它生成 通過一個遮罩的體現和反應 我們就知道它的全重給的值是多少 全重的值越低 我們這邊所生成的遮罩它是越暗的 如果全重是0的話 我們這邊的遮罩就是黑的 全重是1 我們這邊的遮罩就是白色的對吧 所以我們可以看一下第一行就是8幀對不對 12345678 後面第二組也是8幀 兩邊的順序是不一樣的 第一組是從亮到暗 從有到無 第二組是從無到有 所以這時候我們可以理解爲 它爲我們做了個什麼 其實做了一個過渡 我們可以讓第一組圖像從有到無 第二組圖像從無到有 這樣是不是這一幀當中 這個畫面就從這一張畫面轉換到這一張畫面了 第二秒一樣這樣的規律 我們重複一遍 可以看到第二秒它就切到這個圖像了 然後融合的是右邊的圖像 第三秒一樣從這個圖像過渡到這邊 第四秒從這個圖像過渡到這邊 第五秒最後從倒數第二個圖像過渡到倒數第一個 最後一張圖像 我們的整個的過渡就完成了 OK那麼這個就是這個節點爲我們所做的 那麼再次聲明這個權重它不是遮罩 我們是轉換成遮罩來進行可視化的理解 其實它是一系列的數字 所以我們在這個節點這邊也能看到 作者給我們提供了一個過渡區間 從1到0也就是從有到無對不對 如果我們想調節過渡區間也可以 比方說我不想讓它完全消失 想讓它留上一點點 比如留到0.3 那就是從1到0.3 現在我們再來生成一下 我們會看到這個遮罩在最後面 它就不是最暗的那個部分 它頂多到30% 就已經替換到下一張圖像了 當我們瞭解了這個節點的使用方式以後 我們就可以利用節點 讓我們生成的權重也好 序列幀也好 來整合我們所有的動畫序列了 那麼最後在這個方法這個地方 也就是輪換這個地方 還有第三種方式 那麼這種方式 其實就是把這兩邊的圖像錯開了 我們來生成一下 看一看 其實道理和我們第二種方式是一樣的 它錯開了以後 一邊是奇數圖像 一邊是偶數圖像 同樣它把上面的遮罩 也按之前的方式進行了一個錯位 它做了一個奇數偶數的交叉以後 相對來說要節省一些內存 我們可以看到這個圖像 它基本上就把所有相同的圖像 都放在一個批次裏了 對不對 所以這個批次實際上加載了三張圖像 而這個批次同樣也是三張 如果我們使用第二種的話 這種安排方式可以看到 第一個批次它加載了 一二三四五張圖像 第二個批次同樣 它也加載了五張不同的圖像 所以說這樣的話 兩個批次它加起來是十張圖像 而如果我們用穿插的方式 它加起來是一邊三張 是六張圖像 這樣的話能極大的減少 批次組合過程中的內存消耗 這裏爲了邏輯清晰 我們還是用第二種 方便理解 那麼說到這以後 我們就可以用這個節點 爲我們提供的這一系列的東西 生成我們的動畫內容了 因爲這裏圖像比較多 我們就不使用這麼多圖像了 我們就使用三張 這邊的IP 我們不能用默認的高級 應該用批次對不對 因爲這樣才支持我們的視頻生成 我們把它替換成批次 然後模型輸出 我們這邊是加載了一個現成的 AnimateDiff Gene2的一個生成方案 這邊是上下文 這邊是採樣設置 下面是動態模型加載 一樣我們模型串聯過來 連到下面 最後我們把這邊的序列安排一下 第一組圖像序列給第一個IPA 第二組圖像序列自然給第二個 那麼權重這個地方 我們要如何處理 我們之前也說了 它其實是一組數字 所以這個數字用在哪裏 其實就用在我們權重這個地方 然後權重也進行一個動態的變化 我們就可以直接右鍵 把權重提升爲一個參數 這邊也是同樣的 我們提升一下 之後把第一組權重 給到使用了第一組圖像的IPA 反轉權重 給到我們使用了第二組圖像的IPA 這樣我們IPA的連接 就順利的應用了 之後我們獲取一下幀數 因爲同樣它也提供給我們 圖像生成序列的一個總的幀數 我們這個幀數可以顯示一下 可以看看有多少幀 把這個幀數 我們輸出給這邊的laten 把laten的批次大小 我們直接給它提升了 把我們這邊組織好的批次序列幀數 傳過來 把它挪過來 這邊有點遠 可以看到是16幀 爲什麼三張不應該一張是8幀 其實這三張的過渡 我們應該想一想 前8幀 它就會從第一張過渡到第二張 後8幀 就會從第二張過渡到第三張 對不對 所以說它生成出來是2秒 那麼這邊的主模型 我們還是用DreamShaper 8 由於前三張 我們圖像的提詞都是一個one go 所以說我們這邊就給它簡略了 直接來一個one go 然後再給一些增強提示詞 embedding 我們給一個DreamShaper的負面 之後我們運動模型 選一個默認v2的 然後這邊的採樣器 我們20步 快一點 然後cfg7 採樣器選擇DDIM 然後下面的normal 分辨率512 我們直接來生成 那麼最後我們應該合成視頻 這一步我們忘了 可以看到整個的過程 是從1到2到3 三個圖像 但是可以看到第一幀的話 它就已經開始改變了 所以說在改變之前 它的特徵不是特別明顯 我們來看一下 對吧 圖像這個地方 我們來加一個video 合併視頻 然後我們在之前的基礎上調整一下 因爲剛開始我們想讓它多停頓一段時間 後頭也多停頓一段時間 那麼我們就可以在策略這裏 把前面加8幀 4幀8幀有點長了 然後直接生成 這樣我們生成的稍微快一點 OK 那麼這樣的話 我們前面的幾幀 它就會停頓 不像前面很快的 它就跳過了 看不到第一個圖像的特徵 OK 那麼這是第一點 那麼第二點 如果我們這邊所使用的圖像 不是同一個類型的 就不是onego 我們的提示詞是不是就得變 提示詞變了的話 我們應該怎麼應對 是不是還是要用提詞調度器 對吧 這和我們之前都是一樣的 比如這裏我們使用從女孩 讓它變到龍 我們換這個女騎士 這樣的話有一些感覺 然後最後我們給它一個圖像 這樣的話 我們就會從一個女騎士 變成一條龍 最後給一個類似於字體的 這麼一個感覺 對吧 我們就需要對不同的幀序列 進行一個提詞的標註 同樣我們右鍵找到FIC的節點 找到我們的批次調度 在這個調度這裏 我們要算幀比較麻煩 對不對 需要在哪一幀讓它轉變 還需要輸入 這裏我們就說到第二個 IPA作者給我們提供的動畫工具 同樣是在權重分組裏面 我們看到最後一個策略提示詞 它可以根據我們這邊策略計算的 這麼一個節點 自動的爲我們不同的圖像 賦予不同的提示詞 我們只需要把最終輸出的策略參數 給到我們這邊 然後我們這邊直接輸入就可以 每一個圖像描述隔一行 比如說第一個我們是一個女騎士 我們這邊翻一下 第一行我們是女騎士 那麼第二個圖片我們隔一行 然後再輸入是一條中國龍 那麼第三行是有火焰的 這麼一個文字背景 這樣的話我們來看一下 它的輸出是什麼 直接來預覽一下文本 它可以看到 它其實就已經爲我們提前寫好了 適合我們這邊題詞調度的 這麼一個文本了 對吧 這邊是從0幀到4幀 然後從4幀到12幀開始變化 它會自動幫我們生成這樣一個文本 我們就不需要標註這個幀了 所以說就方便很多 這裏我們就直接可以把這個文本輸入 進行一個提升 然後把我們這邊直接輸入給文本 那Clip我們可以從這邊的模型這邊走過來 最後這邊我們給到正向 那麼下面我們還有兩個參數可以完善一下 比如說附加文本里面 我們可以把我們這邊的質量提示詞粘貼過來 然後再把最大幀數我們也給它提升一下 之後把我們這邊生成的一個總幀數 一樣傳給我們這邊的最大幀數 這樣的話就爲我們每一張圖像 進行了一個提詞 現在我們打開採樣器 再來生成一下 OK 我們可以看到這樣的話 我們就可以簡單的利用這樣一個提示詞的一個策略 來制定我們這邊要輸入的圖像 以及用這兩個IPA來輪換我們這邊的參考圖像 即便我們不用IPA 這樣一種權重生成方式 以及圖像序列的生成方式 對動畫生成來說真的是方便太多了 那麼說到這以後我們來說一下這種方式 兩種API切換的方式 我們能做一些什麼東西 像現在我們做的是什麼 是轉換 在轉換當中可能不如我們之前所分享的那種 輸入遮罩來進行畫面的轉換 現在它更多的是一種變化 因爲權重它是整體的 對整體圖像進行一個變化 不像我們之前是輸入遮罩以後 可以通過控制遮罩的形狀來形成它的過渡效果 對不對 這種變化其實它有它的另外的用法 就是一個疊加或者是一個動態幀的運算 像這裏我之前用ACG的模型 我們生成了這樣一組圖像 我找一下 這是我之前生成的一組人物的圖像 那麼其實我們是可以在不同人物的視角和動作之間 進行一個疊加 從而讓它生成一個比較準確的 我們想要的一個動畫效果 具體是什麼意思 我可以把這裏的文件夾我們來看一下 像這個地方我有很多組它的圖像 同時我爲它標註了人物的方向 以及人物的遠近距離 那麼這種情況下我挑選了一個序列 六七章的序列 我們可以讓它從近慢慢的到遠 到了遠處以後再轉身轉到右邊來 然後慢慢再拉近 可以看到這個距離也是有從遠到近的 所以這樣的話我們就可以通過這種IPA的轉換方式 來做一個我們固定好的一個運鏡效果 或者一個畫幅控制 以及角色控制的一個動畫 這裏我們直接來加載這樣一個序列 因爲這裏我是直接上傳的這樣一個文件夾 可以看到input上傳了一個文件夾 這個文件夾裏就是我們準備好的這些圖像了 所以說我們可以直接通過一個路徑節點 就是加載視頻路徑 inspire的這麼一個節點 把這個圖像全部加載出來 可以看到是8張 就是從近到遠 然後再來到這邊 這樣的效果 我們基本上就可以形成一個鏡頭運動的一個過渡幀間隔 有了這個幀間隔以後 我們就可以把這個圖像序列 直接傳到我們這邊的策略裏面來 這幾張圖像一共生成多少幀 48幀是不是有點多 太多的話 我們可以把前面和後面都剪一下 這樣的話差不多是40幀 5秒鐘其實也挺長的 然後這個提示詞 我們就不需要用調度提示詞了 我們直接用我們原先的這樣一個提示詞就可以 Clip就直接連過來了 跳過這個步驟了 高度提高一點 提高到600左右 然後設置一下我們動畫的上下紋 把這個上下紋默認是4 對於我們這樣的一個圖像 應該默認讓它更高一點點 然後模型還是給它傳過來 之後我們把主模型還要切換一下 切換到Shim Shipper 或者是切換到一個1.5的 因爲SD目前這個效果不是特別的好 選擇也不是特別的多 調一下生成參數 OK我們直接來進行動畫的生成 OK那麼這樣的話 我們就有了一個動態效果了 但是你會看到 這個動態效果是不是有些不太舒服 就是它的頭有一個縮放 但是整體的身體卻沒有跟隨縮放 對吧 這個其實就涉及到我們人物的一個控制了 所以我們有時候做這個 儘量保持這個人物 在畫面當中的大小比例是一致的 其實也和我們的動畫模型有關 V3的效果 運動效果要好一些 我們可以試一下V3 但是V3的話 我們這邊就是要加一個Laura了 對吧 強度我們給到0.6 不要特別高 重新生成一遍 OK可以看到 也是同樣的 頭會有一個縮放的感覺 但是整體的身體並沒有一個運鏡 這可能就是因爲運動模型 是基於512的分辨率上來進行訓練的 所以說到我們分辨率高於512的時候 它可能就會有一些問題 這個時候我們可以用這一種方式 這個運動模型 這是一種基於高分辨率訓練的模型 可能對於我們豎屏的效果會好一些 這個模型我們可以看到 效果又是這樣的 比之前的好 但是因爲它的過渡方式不一樣 可以看到它是到了遠處以後 會有一個縮小 然後身體會慢慢的變換到這個位置 但是它並不是往後拉 整體來說要比之前的效果好一點 對吧 那麼這是基於模型 不同模型 它有不同運動模型的一個特性 那麼在我們說完IPA這個策略應用以後 也就是我們稱之爲一個動畫序列策略 這個節點使用方式以後 之後我們重新來生成一個序列 在這個序列這裏我使用了三張圖像 第一個是晴朗的天空 海面上晴朗的天空 第二個慢慢變成陰天 第三個是雷雨暴風的天氣 這樣的一個序列組合 我第一張傳入了兩遍 也就是說第一張它是佔據了兩秒鐘 因爲我不想在策略的開頭 使用8幀的一個添加 因爲這樣不好計算後面的一個整體值 之後我們會涉及到 我就重新傳了兩遍 所以說在第一秒的時候 是第一張圖像和第一張圖像 兩張圖像進行一個交替 它是不會變化的 第二秒的時候纔會進行變化 第三秒是第二張和第三張的圖像 進行一個變化 第四秒最後一張圖像 再單獨佔一幀 這樣一個過渡的情況 這邊的提示詞也是進行了一個分割 那麼最終我們這邊生成的一個效果 是這樣的一個效果 晴朗的天空 慢慢變成了一個陰霾的天空 最後是電閃雷鳴 這樣一個過渡的效果 當有了這個效果以後 之後我們要說的就是 關於第三個組件 Contra Night 對於動畫也有很大幫助 或者是有很大創意的一個組件 是什麼組件呢 我們來切出來來看一下 這就是我們另外要說的一個主題 就這樣一個模型 QRCoder Monster 也就是我們所謂的二維碼生成的模型 它我們理解爲是一個二維碼生成 其實它不是二維碼 它是一個形狀的生成 就是對於一個圖形來說 我們提供一個形狀 一個圖形形狀 它會對於圖形形狀的邊界進行一個處理 讓整個畫面當中 依據我們提供的圖像 對邊界進行一個明顯的處理 因此我們就可以形成一些二維碼的效果 但是用過的朋友也知道 如果這個圖像生成比較混亂 你這個二維碼其實是識別不出來的 只是說提供了這麼一個方式和思路 讓邊界或者是一個形狀融入到畫面當中去 它的方式其實有很多 除了二維碼以後 我們也可以看到很多類似於字體 或者是一些固定的標誌等等 對不對 都可以用這樣的方式來體現在我們的畫面當中 所以這個時候我們就在我們的動畫當中 加入QRCoder Monster 那麼回到工作流以後 我們直接在這邊的ControlNet 來加載一個模型QRCode 我使用的是MonsterVR的版本 然後我們對接一下正向提示詞 同時輸出到我們模型這一邊來 那麼這裏比較重要的一點是 我們給它什麼圖像 同時我也想用這個圖像進行變化 比如說我這裏來漏的一個圖像 那麼這個圖像就是我頻道的一個字體 我在PS裏面做了一下 同樣和我們的視頻的分辨率是保持一致的 但是我不想只讓它成爲這麼一個字體 停留在畫面之上 想讓它進行一個變化 比如說變成我的logo這樣一個圖標 從這個圖標變到這個圖標 這裏是不是我們的思維邏輯 是和用IPA是一模一樣的 兩個IPA進行輪換 來利用我們的策略 給他們進行權重上的調整 對不對 所以這個時候我們是可以用兩個ControlNet 然後加載的模型也是同樣一個模型 我們串過來 然後提示詞也是一樣的 之後就可以根據我們的策略進行統一的安排 動畫序列幀的策略是32幀 我們總共輸入了三張圖像 這邊根據這個策略來進行圖像序列的設置 只不過我們要給到ControlNet的輸入圖像是不一樣的 對吧 4832 我們可以安排4張不一樣的圖像 或者是重複這些圖像 比如我想讓這個文字剛開始慢慢出現 我們就可以給它一個空的圖像 什麼都沒有 然後慢慢過渡到有文字的效果 對吧 所以這個時候我們就可以建一個 empty image 給個空圖像 然後這裏我們把分辨率設置成 和我們生成的分辨率是一致的 現在我們來預覽一下 就是一個黑色的 對不對 相當於是什麼都沒有 從什麼都沒有到第一個圖像產生 然後到第二個圖像產生 最後我們可以讓第二個進行一個重複 這就是我們這邊給予ControlNet 想要顯示的一個內容 對吧 接下來我們就用make image budge 把這個p字組到一起 先沒有 然後出現文字 第二張圖像我們讓它重複一次 然後後面的圖像我們也讓它重複一次 這樣的話就是5個輸入是4秒鐘 然後我們就把這個圖像序列應用到策略裏面去 這裏我們可以重新來新建一個策略 比如說這樣 對吧 當然其實我們設置的都一樣 我們就不需要第二次來計算權重 我們可以直接複用 複用的話就是第三個節點 我們右鍵可以看到在IPA應用裏面 同樣是權重分組裏面的第二個節點叫權重策略 其實就是一個複用的節點 我們直接通過拖動權重策略 也可以找到權重策略的一個節點 複用這個節點的所有數據 所有參數把我們這個圖像傳過來 那麼這邊一樣 我們生成的效果和我們上面的效果是一樣的 最終我們傳出來的兩組圖像 是不是就可以給到continent了 比如說第一組我們給到第一個continent圖像 第二組圖像給到第二個continent 那麼權重怎麼辦 權重是不是還有一個過渡的效果 有了權重我們的圖像是不是纔會有一個 從有到無 從第二張圖像到第三張圖像的一個過渡效果 那麼這個過渡效果就是我們權重決定的 那麼權重如何輸入到我們continent裏 想一想我們之前所講的 一個是強度 我們可以根據強度來設置 第二個我們之前說過 continent上打關鍵幀是用laten的關鍵幀 當然這個地方的關鍵幀我們是不需要這麼設置的 因爲我們這麼設置是需要打好幾個關鍵幀的節點 我們這裏直接有參數輸入的話 就是float輸入的話 我們可以直接用這一個laten的關鍵幀組合這樣一個節點 這個地方可以看到我們就有一個float的強度輸入 就根據我們這邊的強度輸入來進行float指定 比如說第一幀是0.01對吧 第二幀是0.03 第三幀是0.04等等 它會根據權重來進行不斷的變化和運算 OK 所以這樣的話我們就把continent兩邊的圖像 以及權重輸出設置好了 想要更明顯一些效果要加強一些 比如說我們先加到1.4 它會顯示的比較明顯 現在我們直接來進行生成 OK我們自然就有了一個這樣的畫面 從沒有到出現文字 然後到慢慢文字轉換到logo 這就是幫我們的IPA和continent QR code 進行一個結合所生成的一個效果 那麼說到這以後到目前爲止 其實還有兩個點沒有探索 第一個方向就是QR code模型的特性 我們剛纔說了 它是把我們給到它的圖像 以它生成的視頻內容相結合 給我們畫出來了一個圖像的區域 所以說我們可以理解爲 它並不一定是我們給到的圖像 比如說我們想要字體 它並不一定是字體 它只是說在畫面當中 以某種形式體現這個字體 可以看到第一種形式是山峯旁邊的雲彩 以這樣的方式體現了我這個文字 然後後面又以雷電的方式 體現了我的logo對不對 如果我想要這個字體 它就變成一個字體 就是一個3D字體 而不是畫面當中的內容應該怎麼辦 我可以把思路跟大家說一說 但因爲時間關係我就不渲染了 這個思路其實也好辦 就是我們再疊加效果 把我們的把這個圖像給到另一個IPA 再結合一個IPA 那麼這個圖像資源 我們可以給到IPA的mask 只讓IPA渲染這個區域 那麼這個區域裏面顯示什麼 是由我們後面的IPA的參考圖決定的 所以說我們想讓字體也好 logo也好 指定我們想要的一個金屬的效果 或者是指定一個木質的效果 我們就再加一個IPA 把遮罩給這部分 這樣的話就可以指定一個 我們想要的logo或者文字的一個材質了 當然了不同的材質 我們也可以用策略的方式進行輸入 比如說前幾幀用這個材質 後幾幀用另一個材質 這是第一個方向 把它就固定成我的logo 對吧 我不想讓它成爲畫面當中的一個內容 和畫面融在一起並不好 第二個方向就是QR code 我不想讓它成爲一個固態的一個東西 我想讓它成爲一個動態的東西 更融入畫面 讓畫面進行一個變化 而不是顯示我想要的一個字體或者logo 把它當成一個遮罩 可不可以做成動態的行不行 還是和我們上一期相結合 我們以動態蒙版的方式 執行它這個效果會是什麼樣呢 說到這我們就來看一看 這一個前段時間比較火的工作流 這個工作流羣裏有些朋友之前經常問我 說這個工作流看着特別牛特別絢麗 我們可以看到比如說背景比較絢麗 會產生各種各樣的動態變化 所以這個工作流在前段時間特別的火 後來我把這個工作流進行了一個拆分 拆解了一下這個工作流 我們來看一看是什麼樣 它是以什麼邏輯實現的 其實就是以QRMonster 切換到我之前拆解過的 它這個工作流我們看看是怎麼回事 首先這都是比較簡單的 這邊是一個AnimateDiff 這邊過來以後就是IPA 然後每個IPA傳入了一個遮罩 傳入了一個預覽圖 這個圖像我們可以隨意定製 就和它這個工作流一樣 我們上傳不一樣的圖像 它就會生成不一樣的過渡 下面這裏有一個比較陌生的點就是這個 它把這個遮罩傳到了IPA裏面 那這個遮罩代表什麼呢 這個遮罩生成 其實結合我們之前的策略生成的節點 我們就知道什麼意思 比如說第0幀是1 就是說第0幀到第16幀它是有遮罩的 那麼第24幀這個遮罩就是成黑的就沒有了 第96幀它又是有遮罩的 就這麼一個效果 這個地方我們把其他該關的都關了 就看一下遮罩的效果就可以 因爲這是一個獨有節點 所以說我還專門安裝了一下 其實我還是比較節儉風的 不想按太多的插件 也是爲了跟大家講解它這個原理 所以我們來看一下 它所生成的遮罩相當於是時間段落的遮罩 這一部分是前面 我們這個畫面以及IPA它是有作用的 因爲遮罩是亮的 第二個遮罩可以看到是中間這個部分亮的 第三個遮罩是後半段亮 第四個遮罩是最後這一段亮 所以說簡單的理解就是我們給4個圖像 每個圖像給予每個IPA 而每個IPA作用的時間段是不一樣 負責的時長是不一樣 簡單來說就是4個不同的IPA的開關 這是比較老的工作流 現在我們瞭解了策略生成以後 還需要一下加載4個IPA嗎 不需要了 只需要兩個進行策略輪換輪動 兩個圖像來回切換就OK了 所以說我們用策略的部分 就可以把這一大部分全部代替掉 瞭解完這個以後我們再看下面 這個地方就是一個QR Monster 我們可以看到它會給一個圖像序列 而圖像序列我們來看一下 這邊它其實加載的是一個MP4的一個地址 對於工作流作者其實提供了很多動態Mask 這些動態Mask 其實我們是可以直接來到作者的工作流的主頁 來直接找到它下面是提供了運動蒙版的方案的 我們直接把這個地址複製一下 來看一下它提供的這些運動蒙版 可以看到提供了不同形態的運動蒙版 這就是它工作流最核心的 用QR Monster形成的一種方式 當然了之前我們所做的很多的過渡遮罩都可以使用 不一定非得是它的對吧 我們可以制定會一點AE的話 我們自己做就OK了 基本上就是這麼簡單的一個東西 另外它前面這裏有一個小小的運算 可以看到它這邊的處理方法 首先幀率給到自定義的A 視頻的幀率給到自定義的B 然後進行一個相除 其實就是我們總體幀率對比視頻幀率的倍數 但有了這個倍數以後再進行一個相乘 比如說它這個視頻是我們可以看到是12幀 它強制在12幀的 跟我們這個視頻的幀率一計算以後 發現我們視頻幀率要比12幀多 所以說得出來的倍數進行一個批次的複製 複製夠我們整個的視頻 然後進行一個循環 後面這些東西我們都不看了 基本都是什麼補幀什麼高清對吧 沒有那麼複雜 大家之前說它這個工作流這麼牛 有多複雜都複雜 沒有就是這麼簡單的一個東西 所以說我們這邊也可以進行 它這樣的一個過渡動畫的生成 就不侷限於我們要生成固定的文字 又或者是生成固定的圖標 我們直接可以用這個效果來進行畫面的過渡 這個時候我們還是切回到我們之前工作流 我們就不使用這個策略了對吧 我們就可以直接把它轉換爲什麼 轉換爲我們視頻的一個序列 進行一個動態預算 這裏我們同樣用之前的方法 視頻助手來進行一個地址加載 錄音這裏是不是可以選擇 我們之前所用過的遮罩 不需要用它的 不一定非要用它的對吧 找到我們之前的有個三角形 但是這裏有一點點問題 它並不是768的 所以在尺寸這裏我們來custom自定義一下 然後把這個尺寸我們稍微設置一下 寬度我們來到768 高度就是512 這樣的話它就成了一個寬屏 我們想要的效果了 之後我們來進行一個抹選的抽幀 這裏的幀率我們就不進行通用式的設置了 我們就根據我們特定的動畫 來生成它動畫幀率 比如說現在我們是32幀 也就是4秒鐘每秒鐘8幀 這樣的話我們可以讓它循環一次 這樣我們有一個16幀的動畫 然後我們把這個序列直接批次來複制一下 我們搜索複製圖像批次 次數我們給到兩次 這樣的話一共它的幀數就是32幀對吧 我們是有一個循環播放 從小到大 然後再從小到大 它並不是一個循環動畫 這個情況我們可以把這個批次反轉一下 進行一個合併 比如這裏我們直接來搜索一個 叫應該是reverse反轉 反轉了以後我們這邊再來預覽一下 它應該就是一個從有到無的一個過程 把這兩個再組一個批次 這邊最後我們來預覽一下 是先進來再出去這麼一個批次大小 可以看到是32幀 一共32幀 和我們的視頻市場是一模一樣的 對吧 這是針對我們這個視頻進行定製的 這一步它就不需要兩個ControlNet來回循環了 對吧 因爲我們給的不是靜態圖片 而是動態圖像 這樣的話我們就可以直接刪除掉一個ControlNet 然後權重我們也不需要給它了 當然如果我們想要設置一個緩入的權重 同樣可以根據之前所說的針插值 來爲它設置一個前面弱後面強的一個關鍵針 這裏我們就不重複了 直接用我們的動態蒙版 來傳入ControlNet來進行生成 OK 那麼現在這就是我們將動態蒙版 運用在ControlNet的QR code上 來形成的這樣一種畫面的過渡效果 所以我們可以看到這個東西 它並不一定是非要是字體 或者是二維碼 或者是圖形等等 它更有意思的 它更有趣的是 我們可以將它運用在動態蒙版上 進行畫面的不同樣式 或者是不同內容的一個過渡 不管是對於畫面來說 還是對於我們蒙版形狀來說 它都是結合起來 都是特別有趣的一個生成的效果 那麼這就是這一個工作流 在這個畫面當中 我們就能夠判斷 它是用哪一種動態蒙版進行變化的 對吧 像這兩個明顯是用圓圈 不斷的放大來進行變化 那第二個這個房子 我們明顯可以看到 它應該是一個六邊形的動態蒙版 對吧 在進行不斷的放大 我們都可以看出來 它當中蒙版的影響作用區域 和作用的效果 這就是這種過渡動畫的製作思路 那麼最終這一節 我們就說到上一節的遺留問題 就是說來到我們之前的案例 那個東西應該怎麼實現了 我們之前生成八卦的案例 想要在它周圍生成一些 提取出來的元素應該怎麼添加 那麼最後這個東西應該添加到哪裏 這就不需要多說了 對不對 這裏我們來迅速的來完成一下 直接把CultureNet我們來複制一份 然後這邊加載的模型 就是我們剛纔所找的QR 然後所要實現的位置 就是我們直接把這個圖像傳到這邊的 但是這個序列我們要看一下 可以看到是25 這邊生成的序列也是25 OK 那沒有任何問題 我們直接把這個弧向動態蒙版 傳給CultureNet 然後我們接一下這個管道 之後我們把它的強度調一下 因爲這個東西要調大一點 才能看得比較明顯 我們給到1.5 打開我們的合併視頻 來直接進行生成 OK 那麼這就是我們最終的一個生成效果 可以看到周圍 它就是依照我們這個範圍 以及我們所做的這麼一個閃爍的效果 它會一閃一閃 時有時無 這一期主要跟大家分享的 就是IPA的之前的高級應用 這個策略以後我們會經常用 尤其做動畫的時候 那麼第二個就是QRCode 不管是哪一種呈現方式 它都有自己的用處 都有獨到的不同的合成方式 這也是我們未來要探索的 所以當我們瞭解了以後 這個案例它並不完美 更完美的應該是我們這個地方 在AE裏面來做一個它的動態變化的 根據我們這邊生成的視頻幀數來制定 其實這就涉及到一種是 簡單的運動動畫模型 使用AI來渲染的 這麼一個半專業的一個流程了 更多的其實發散的思維 一個是我們的調用模型的想象力 另一個是我們這邊製作 動態效果的一個想象力 這些東西其實有很多素材 就是在動畫領域 動態領域裏面 有很多MG動畫的元素 運動元素 都可以做成這種動態變化的效果 結合我們這邊的AE來做 結合我們這邊的AI來做渲染 最終的動畫視頻渲染 OK 那麼這就是我們這一期 進階的動畫內容教學的 最後一個篇章 之後我們就開啓 咖啡AI的高級系列教程 其實這一部分就和進階和高級 沒有太大的差別了 只是說我們在後面的第三段 歐陽安排的是主要以局部繪製 以及蒙版處理的 一系列的高級內容爲主 其實和進階對比 不能說誰高誰低 而是說偏向的側重的方向不同 當高級內容 我們在學習圈瞭解完以後 再回到動畫製作 那麼就來到了我們最終的 咖啡AI的高級動畫製作篇章 歐陽整體的咖啡AI的大綱 就是這樣了 我們這期就到這裏 如果覺得本期內容 對大家有所幫助的話 就千萬不要忘了 點擊一系列按鍵 來支持歐陽一波了 大家的支持纔是歐陽更新的動力 好的 我們這期就到這裏 我們下期不見不散