【ComfyUI進階】輕鬆實現 風格融合，虛擬試穿 - Flux Redux套件高級運用！ #aigc #comfyui #redux

Hello 大家好 歡迎大家來到歐陽的視頻頻道 那麼這一期靠VOI的系列教程當中 我們將會分享關於前段時間 flex出的工具級套件當中的redex 它的高級套件到底是怎麼使用的 最近大家也是比較讚許redex 配合一些插件的表現 OK 話不多說 我們這就進入今天的教程部分 好的 那麼回來以後 這一期歐陽提前再跟大家分享 一個全新的雲平臺 主要是新人福利還是挺強的 可以免費使用100個小時 當然這個規則還是有一些的 我們先來看一下 就這樣一個雲部署的 這樣一個雲平臺 針對性很強 配置也比較簡單 首先我們看到 目前它就是針對我們 抗VOI的使用者 提供的兩款鏡像 一個入門級和一個基礎級的 兩個抗VOI的鏡像 那麼對於算力來說 我們可以看到有A100 4090 以及3090 就這三種配置 當然A100 他們可能是提供企業內部來使用的 而我們個人只能使用4090和3090 接下來我們其實只需要 進行一個簡單的掃碼用戶登錄 就可以登錄到他們平臺裏面 任何用戶登錄以後 都會免費送我們1000的算力 同時我們還有7張體驗券 這個體驗券什麼意思 可以看到 我們每使用一張體驗券 就可以在一天的時間內 以1分錢1小時的費用 來使用服務器一天 可以看到這裏1小時1分錢 對應我們是10算力 對於我們先人贈送的 1000算力累加起來 是不是就可以使用100個小時累 當然了對於折扣券來說 它是有一定規則的 每一個星期我們只能使用一張 所以如果我們想要最大的發揮 對我們新人的福利 就是每個星期來使用一張 開了服務器以後 我們就可以跑一天 那麼當然我們每個星期 所開的服務器也是要新開的 而不能說在之前的服務器上 繼續使用這樣的優惠 這就是雲平臺 對於新人目前來說的一個福利 雖然說有定規則 但是我覺得這個福利力度也是挺大的 那麼如果我們不想等那麼長時間 想第二天繼續使用的話 那麼就是使用原價了 原價的話3090是1元錢1小時 所以說我們贈送的1000積分來說 也只能使用10個小時 即便如此 我也覺得這個福利是可以的 OK 我們接下來來繼續選擇一個鏡像 這邊我們選擇基礎版 下面可以看到4090 目前是搶不到 這個完全看運氣 搶不到我們就只能開3090 我們選擇按小時計費 我們點擊直接啓動 那麼這樣的話 我們的鏡像就已經在啓動中了 大概等個1到3分鐘以後 我們就可以正常的打開我們卡 VUI了 對於鏡像的使用也很簡單 當啓動了以後 我們可以看到顯存是24G 然後我們的空間是64G的空間 下面只有一個文件管理 和我們之前所用的 服務端的文件管理後臺是一模一樣 這就是我們的文件管理系統 想傳到哪個盤 比如說我們custom nodes 這是我們的插件 對不對 那找到我們的models 我們可以傳一些主模型 content-lite 或者lower模型 這都是我們常用的一些文件夾 直接通過後臺傳就可以 之後我們直接來到後臺這裏 點擊打開應用 就可以打開我們Config UI了 那麼來到Config UI以後 這就是我們最基礎的一個 Flex文生圖工作流 用的pipe管道 我們之前都是用構建的 怎麼不構建我們就不贅述了 對於新版的Config UI來說 我們在服務器查看後臺是很簡單的 找到右上方的底部面板 我們點開 就能看到我們後臺的生成進度 又或者是安裝進度等等的 這些報錯 一些排查 都可以直接在這邊來查看 對吧 那麼雲部署的註冊鏈接 我也會放到視頻簡介 或者是評論置頂區 大家如果有想嘗試的 可以直接通過註冊鏈接 來免費體驗 OK 本期我們說到Flex的 一個高級境界應用 自然會說到一個插件 我們直接點開manager 然後我們直接來搜索redex 這時候自然會看到兩個插件 第一個是redex prompt 這是近期剛出的一個 第二個就是advanced redex control 這個是比較早出的這麼一個插件 我們也可以看到 後面它的新是285顆 所以說這一期 我們就拿這一個插件來舉例 接下來我們直接點擊 它來到它的Github 我們來看一下 首先我們上次已經瞭解過 關於redex 它是基於token的一個注入 也就是我們直白的來說 就是提示詞反推了 只不過官方開發的反推 也就是reversion的模型 是非常的強大 它所對於構圖 對於人物還原 或者對於物體 物品還原的方向 都是特別好的 我們上一期瞭解到 它的token是比較重的 對不對 那麼通過這個插件 我們就能來調節 它的注入到t5 clip當中 token的一個強度 如何調節的 我們可以大概來了解一下 因爲token我們之前 如果看過歐陽這個進階教程知道 它其實就是prompt 轉化成爲的一組 一序列的一個參數 那麼這個參數 對於開發者而言 它有幾種不同的方式來控制 最簡單的一種就是降權 那麼降權有兩種處理方式 這裏我們可以看到第一種 它就是降低採樣 降低採樣是將圖像分塊 分塊以後再進行token的合併 這樣的話最終的塊就沒有那麼多 那麼第二種降權 我們常見的應該說是去重 因爲很多token當中 它有一些重複的描述 對不對 比如說女性 girl woman 又或者是lady 對吧 等等很多這種描述 如果這些描述堆到一起的話 它的權重就會比較高 它表現的一些東西其實是一樣的 對吧 都是我們所謂的一個女性 這種情況的話 它就會進行一個去重 把三個單詞併成一個單詞 減化了token的描述以後 就可以給我們更多的提詞的控制權 對吧 就把控制權運給我們這邊了 所以說它有一個合併的預值 根據預值來將最相近的詞 這個就不能叫詞了 因爲到了token裏面 它已經是一個序列序組了 應該也算一種張量 就是說它們在這個空間裏面位置相近的 就會合併爲一個 我們理解就是同類型就會進行合併 只不過根據我們的預值設置的不同 它合併的多與少 最終也就決定了 這個redex它的控制有多強 這是兩種降權的方式 當然也有一種average的一種合併方式 可以看到這邊它也說了 用合併的方式效果不是特別的理想 我上一期我們將提詞和它的高權重的 一個redex的conditioning 可以拿過來進行average 這樣的average其實它的權重還是比較高 而且它內在的結構不會變化 所以說這裏作者也說了 最好的方式就是使用這種降權 也就叫降採樣 我們可以看到是給降採樣的一個控制 基本上就是這麼個原理 OK明白了這個以後 我們就可以直接在我們manager裏直接安裝了 它就是很簡單的兩個節點 也不需要安裝什麼依賴 當我們安裝了以後 直接右鍵新建節點 我們直接找到conditioning的條件選項 也就我們系統默認這樣一個分類裏面 條件這裏還是找到我們上一期風格模型的應用 我們之前是應用的風格模型對吧 那麼現在安裝以後會多兩個節點 一個是simple簡單應用 還有一個是advanced高級應用 這兩個其實我們都拿出來看看 它還是比較簡單的 我們對比一下 可以看到這個和我們之前的風格應用 the style model apply其實是一樣的 唯獨多了一個是什麼 就是權重 可以看到它提供給我們5種權重類別 分別是最低、低、中等、高和最高 當然後面advanced就有更多的控制 比如說mask的控制 又或者我們這邊的權重控制 還有一些降權的模式和裁減的模式 它就控制的多一些 這裏我們就直接講advanced 就一步到位了 而且它用起來也比較簡單 我們就把這個刪掉 我們直接這邊conditioning直接連過來 風格模型我們出來 loader一個默認的我們redex的風格模型 clip一樣還是我們這個clip version的一個loader 然後我們找到redex專用的視覺編碼模型 之後就是圖片和mask 這裏我們直接load一個圖片 是一個這樣一個女性模特的一張圖像 那麼對於高級來說 我們上次講過 在我們在採樣的時候 寬高是要和原圖一樣的對不對 對於這個節點來說 我們可以讓它進行一個寬高比的保持 這樣的話我們就不需要把它的寬高 和我們這邊是一致的了 它就會填充 我們儘量還是相對一致 比如說我們這邊豎屏 我們這邊也儘量是豎屏的 如果不是豎屏 其實通過這樣一個填充的話 我們也可以做到不會被裁減 那麼我們來說一下它的參數 首先第一個參數就是重量 降權要降權多少級 多少等級的降權 比如說1那就是最高 相當於我們默認的redex的強度 它是最高的 之後是2345 對應的我們剛纔那個簡單的simple節點 5個等級 當然了你還可以更弱 這裏作者說可以最低降到9個等級 它就非常弱 基本上是靠我們提示詞出的圖 這裏通常我覺得是3的左右 3的上下是不錯的效果 我們給個3就相當於平均 就是一箇中等水平 這個我們先不動 這個其實是它的降權採樣方式 會有一些變化 但是變化不是很大 我們可以去對比一下 有一些作者也說是實驗性的來嘗試一下 但是歐陽對比以後感覺差異不是特別的大 相當於一個隨機種的變種了 那麼下面這個模式我們剛纔說過了 之後的權重我們不動 也就是我們average平均的一個權重 最後這個是涉及到我們一個遮罩的裁減係數 這個我們可以保持默認 不用管它 現在我們什麼提詞都沒有 可不可以我們現在試着直接來運行一下 OK我們可以看到這邊不是特別的相近 對吧 因爲我們這邊給了一箇中權度 而提詞什麼都沒有 同時我們可以看到寬高比 我們這邊是豎屏 我這邊給了個1比1的 也能把我們模特完全解釋出來 不會被裁減 爲什麼 因爲我們這邊它兩邊已經做了一個填充 根據我們這邊的layten的寬高 它會做一個填充 但最好我們還是要做一下 削削的適應 給它一個豎屏 768的1280 0比6 現在我們把它的權重再提高 就相當於默認的redex的一個強度 現在可以看到服裝它就有一些相近了 對吧 但是姿勢可能還不是特別的相近 這裏我們再給它一個提示詞 簡單的美麗的模特 OK我們可以看到它的服裝的樣式和鞋的樣式 甚至是姿勢的樣式都比較接近了 對吧 這就是我們redex插件是如何使用的 其實很簡單 這個節點我們替換一下 同樣的參數輸入過來就OK了 我們知道怎麼設置這個地方 那麼接下來我們就來說一下 redex目前我看到的一些使用場景 或者是歐陽聯想到摸索到 嘗試摸索的一些方向 其實這個和IPA一樣 一樣是引用我們的額外的一些參數 只不過它引用的是token IPA引用的是一個unit 那額外引用一個參數我們要做什麼 無非就是參考 參考完以後再結合 對不對 那麼結合我們可以分爲外部結合和內部結合 內部就是我們的clip 外部就是我們給的圖 怎麼結合 比如說我想給它加風格 最簡單了 對吧 我就使用redex來參考它的構圖 以及人物以及服裝等等的東西 然後我們這邊給它一個風格 比如我們這裏給它複製一個卡通動漫的風格 美漫的一個風格 然後我們這邊生成一的重量 可以有一點點風格 但風格不大 那麼二的重量它就已經是動漫的風格 三的重量可能偏的更復古 更動漫 所以說二的重量在這個情況下 它的效果應該是不錯的 這就是第一個應用方向 我們可以把它直接作爲一個風格轉匯 如果模型裏沒有風格 我們是不是也可以接個laura 這是沒有問題的 當然了具體的姿勢什麼的 和我們這邊的多少會有些出入 但是我們會發現它的樣式 鞋或者衣服的樣式會很相近 如果我們想讓它姿勢在保持更相似的話 我們可以接入一個之前所說的contra net 不是contra net 就是專用的一個kenny一個線條 這樣的話能固定住我們的一個構圖姿勢 這是第一點 內外結合的一個風格傾向 我們再反過來想 這邊我要給的是構圖和人物 我們可不可以給風格 下面我們給構圖和人物 也可以 但是由於它的特性 它來說的話是clip反推 反推出來其實是解釋的提示詞 其實對於主體來說更好 因爲它能解釋主體更詳盡更詳細的東西 那麼對於風格其實不一定能解釋的很好 有沒有辦法用風格 其實在歐陽試了以後也是可以的 比如說我們這裏給它一個模特的提詞 這邊給一個另一種風格來試試 這樣一張一個鳳凰的圖 當然我覺得這個風格特別強對吧 它有各式各樣的花紋和色彩是非常不錯的 我們假設把它當成我們要的一種風格 這邊我們給它一個模特的提詞 這個項目大家應該也熟悉了 這邊我在上面給了一個模特的提示詞 就是一個走秀的模特 然後我們複製一下放到這個裏面來 然後現在我們把它的強度稍微提高一下 一樣是三個等級 我們來看一下 OK我們來對比一下 這是第一個等級 你可以看到它的風格很像 但是有點問題 這第二個等級 也可以看到它有一些我們之前提詞裏面的內容 第三個我們可以看到 風格可能會弱一些 但是後面會有一些色彩 只不過不知道是什麼東西對吧 這裏我們總結一下你會發現什麼 它將一個元素過重的體現出來了 它的色彩是有了 但是它還有了一個動物對吧 我們的參考圖它是有一隻鳳凰 所以說它經過了提詞反推的解釋以後 把鳳凰這個東西給提出來了 所以說在每一個畫面當中 我們都可以看到鳳凰相關的東西 對吧這邊是翅膀或者是羽毛 這邊有個頭 這邊後面可能還有一點點羽毛的感覺 所以當我們知道了它解釋出來的東西 不是我們想要的 我們想要的只有風格以後 我們來怎麼來修改它 怎麼來修正它 其實也比較簡單 這裏我們把它的物體識別的區域給它取消掉 或者是給它摳掉 就相當於只需要要它有色彩或者是有風格的地方 只讓它看到這個 它就只解釋色彩的內容和色彩的部分了 對吧 所以這個時候我們來打開遮罩編輯器 我們直接來編輯一下它的遮罩 不要鳳凰 這樣的話我們就能得到一個想要的結果 然後把它一些好看的 有紋理的花紋的地方保留下來 讓它去參考這一部分 而不需要解釋鳳凰 然後把我們這邊圖像的遮罩發送到我們這邊來 將強度我們給到1 重新來試過一遍 那麼現在我們就能看到它沒有鳳凰的概念了 對不對 但是它還保留有翅膀的概念 因爲什麼 因爲我們圖的這個部分可能更像一個羽毛 更像一個翅膀 這樣我們就知道它解釋什麼 現在我們把強度給到2 這個效果看下來是不是就融入了一些我們之前的元素 但是又沒有凸顯這當中我們不想要的東西 如果覺得我們現在很弱 我們還可以符合的來調一下 把它的強度給到1 同時把權重我們再試着給到0.5 這裏我們就可以更精細的調節 其實我們可以把它比喻爲 這個降權是控制最有效的一個權重 而下面這個權重就是我們conditioning的一個權重控制 它是一個輕微的控制 相當於是一個微調 所以我們可以定一個大的檔位 在這個檔位上再進行權重的微調 這樣一來的話我們可以看到有一些不同的效果 還是很有趣的 OK 那麼這就是兩種基於圖像與提示詞如何結合 不管怎麼樣都是提示詞和我們的圖像反推的提示詞進行配合 那麼這是第一種方式 那麼第二種方式就是雙圖的融合 這個也比較簡單 這時候我們來複製出來一個加載器 我們來兩張圖像 我們有人物有背景 這樣的話我們可以把這兩張圖像進行一個融合 並不需要我們過多的進行提示詞的干預 對吧 這也是另外一種方式 但是我們如何接入兩張不同的圖像 這裏因爲節點原因 我們沒有辦法把這兩張圖像組個P4傳過來 所以怎麼辦 也很簡單 我們在之後來多複製這麼一個節點 Ctrl-C,Ctrl-Shift-V 我們帶關係粘貼出來以後 把我們這邊的圖像單獨給到我們這邊 同時我們把這兩個redex來串聯一下 conditioning對吧 這樣的話我們就是一種串聯的效果 強度我們可以給背景稍微弱一點 給到2 之後我們把提示詞給它消掉 稍微留意好舞臺上的模特 現在我們來生成一下 模特和背景都沒有太大問題 只是說背景你可以看到 比我們原先的背景要亮 爲什麼肯定會解釋到我們這張圖片 對不對 這張圖片背景也要解釋 它是一個純色的一個白色 如果想屏蔽掉背景 我們最好來一個什麼 摳個圖對吧 我們這裏用一個segment anything 這一個節點 直接把圖像傳過來 這邊我們預覽一下 然後直接把遮罩傳給我們第一個flex OK沒有問題 這個人還是比較乾淨的 然後我們直接打開這邊的採樣器 來直接渲染 可以看到我們這邊的背景 是不是就更接近 我們剛纔的這樣一個背景 所以屏蔽了以後 是不是就有更好的一個效果 所以這個時候我們就要知道 它描述了什麼 把什麼傳進了token 我們可以通過這個圖像判斷 雖然我們底層代碼看不見 對不對 但我們通過圖像 基本上判斷出來 它解釋了哪些東西 哪些東西是我們想要它解釋的 哪些東西並不是它想要解釋的 這就是兩種圖像的融合方式 那麼最後我們再來說一下 最近比較火的服裝 有些人說對於服裝的詮釋也不錯 形成一種虛擬試穿的感覺 但是其實還是差點意思的 這裏我們來把它刪掉 來重新上傳一個服裝的圖像 同樣我們給它摳一下圖 我們來預覽一下 沒有問題 然後把遮罩什麼都傳過來了 也是這邊我讓它出的一個提示詞 就是一個模特展示服裝的 這麼一個提示詞 這裏可以看到 我不要讓它描述服裝的細節 這就說到一個token 我們要讓它有什麼沒什麼 對吧 因爲我們這一邊本身給它服裝了 所以說就不需要 再給它更多的服裝細節 要不然什麼 這個概念會混淆 對吧 它會在服裝上 再加上我們這裏邊的服裝概念 就會混淆 這樣很簡單的 就能把我們服裝還原個70% 80% 因爲這個圖像可能不是特別的清晰 分辨率不是特別高 細節它可能全設不到位 但是整個來說還可以 這裏我們說到了 控制這兩個地方的token 它的重量取決於什麼 取決於我們的衝突關係 也就是說我們下面和上面 是否有衝突的內容 有衝突的話 我們只能權衡 讓這邊多還是這邊多 我們就要通過強度來調節 如果沒有衝突的話 就像我們衣服一樣 現在我們是一個衣服的參考圖 對吧 我們的提示詞裏面 也並沒有衣服服飾相關的描述 所以這種情況下 它就不存在衝突問題 它就錯開了 這個概念就錯開了 所以說我們可以把它的強度給很高 也不會有太大的問題 當然了 如果你覺得需要微調的話 我們可以稍微降一下它的權重 我們再來看 比如說降到0.7 這樣的話它可能就稍微再弱一點點 這就是另一種變種生成效果 當然衣領還是不是特別的好 對吧 那這就是基本上目前 用它來實現服裝試穿的一個簡單的工作流 其實我覺得它能做到70%-80%的相近了 但是你要說百分之百還是不可能 對吧 畢竟我們這邊是通過token來解釋服裝的 你會看到背部的地方也會印在前面 這是第一方面 當然了 我們再換一個服裝 接下來我們說第二個方面 爲什麼有些服裝的細節 我們是沒有辦法把控 或者是沒有辦法讓它完全還原的 這當然其中的一個最主要的原因 就是我們底層的邏輯問題 對吧 有一些複雜的高精度的這種服裝 或者是首飾等等的 它還沒有辦法做到那麼高 那這種情況 我們還是可以通過提示詞來校準來校正 因爲目前我們提示詞裏 沒有關於服裝的任何細節 我們可以再加入 比如說 砍袖就是沒有袖子 我們可以再加入其他的一些解釋內容 來引導它更正確的產生圖像 第二點我們來放大一下 看一下細節 這裏說到一個細節 就是不管是剛纔花紋還是這個衣服 在紋理對比之上 我們會發現 有時候我們這邊生成出來的紋理 要比我們提供的參考圖要大 那是爲什麼 這就說到一樣 是它降權的一個底層邏輯 我們可以看到它下面 它的降權方式 主要通過把圖像給拆分了 也就是相當於我們之前 VAE切片 分塊的那麼一個道理 27乘以27的分塊分成了9乘9 最終出來的一個分辨率 其實是很小的 分辨率只有384乘384的像素 比起來我們IP Adapter更新以後的 它的像素還要小 IP Adapter一代的時候 差不多也是像素量級的 所以說它的像素非常的小 到了我們這邊以後 它把像素降解了以後再還原 它就達不到那麼高分辨率 那麼高顆粒度的細節了 所以說它只能還原什麼 一個概念 一個大概氣 一個樣式 就是說這個細節 你需要很高的分辨率 來識別它才能很好的還原 而現在它只有一個模糊的這麼一塊 比如說這個花紋很密的對不對 這些花紋的樣式 它這邊是完全吸收不到的 相當於我們戴一個近視眼鏡 正常人戴近視眼鏡看這個東西 它這個東西是模糊的 但是它能看到是這個樣子 所以說它在腦補一下 想象出來以後 就會和我們實際的東西有所差異 OK 那麼這就是它最本質的一個東西 我們現在說這個Redex 它雖然效果已經很好了 但是想要百分之百還原 還是不太借實際 希望未來官方再開發出一套 注入Unet管道的工具 比如說是IP Adapter 又或者是調層分權這些東西 能注入到Unet管道 這樣的話 我們Clip管道和Unet管道來結合 再產生這個圖像的話 我現在就會做到非常棒了 OK 那麼這就是這一期 主要跟大家分享的 關於Flex Redex 這樣一個很給力的工具 我們如何配合高級的Advanced 這麼一個插件 這麼一個節點來符合的使用 以及我們的應用場景 通常在哪一塊 當然我也只是舉了一些例子 希望也能引發大家的思考 或者是能在大家手頭的項目上 起到一點點的幫助和啓發作用 OK 那麼最後在我們使用完服務器以後 也千萬別忘了來到雲部署平臺 我們的後臺 在這裏點擊關機 來關閉我們的實例 OK 現在我們顯示操作成功 這樣的話 我們就正常的 就我們的實例停止了 當然對於我們雲部署 目前的吸引人優惠政策來說 一天24小時的費用 都是按照0.01元一分錢算的 所以既然開了 就不要太早關機 用夠了它以後 我們再關就更合算了 最後再次提醒 對於平臺的邀請鏈接 我會放到視頻簡介 或者是評論置頂區 大家想免費體驗的 就不要錯過了 趕緊通過鏈接來註冊試用 那麼這期內容就到這裏 如果本期內容 對大家有所幫助的話 就千萬不要忘了 點擊系列按鍵 大家的支持 纔是歐陽更新的動力 那如果對AI領域 感興趣的朋友 也不要忘了關注一波 未來我們一同學習 一同成長 那我們下期再見