Comfyui實用工作流教程8期——Flux Tools 4款全新模型全面解析

CG迷
2 位粉絲
2024年11月27日
黑森林工作室發布了它們全新的FLUX Tools,一共4款全新的控制模型,分別是Canny、Depth、FILL和Redux,接下來我們就來深入的測試一下這4款模型的效果。
大家通過CG迷專屬鏈接註冊端腦雲,https://cephalon.cloud/#/share/register-landing?id=DRN92k,就可以獲得5000點腦力值(已註冊的同學填寫邀請碼DRN92k),可以免費白嫖4090兩個小時的使用時長。教程中所有模型與插件都已經部署好,在端腦雲的社區鏡像裏面,選擇Comfyui 【CG迷版鏡像】就可以直接運行工作流了。
教程中用到的素材、模型、工作流:
夸克:https://pan.quark.cn/s/b081a20491db
百度: https://pan.baidu.com/s/1RKXGDlzUlMDaQb4EtRx0-Q?pwd=cgmi
近日黑森林工作室發佈了他們全新的FluxTools
一共四款全新的控制模型
分別是Kenny,Dev,Fill和Vitas
其中Kenny和Dev是我們非常熟悉的Controller控制類型
不過FluxTools的Kenny和Dev是直接內嵌在大模型裏面的
還可以選擇通過LOA的方式來加載
完全不需要調用Controller
大大的簡化了操作流程
Fill模型則內嵌了Impaint功能
直接就可以進行局部重繪和圖片擴充
Vitas模型則可以替代掉IPAdapter
起到很好的風格遷移作用
接下來我們就來深入的測試一下這四款模型的效果
這些刻所有的模型
LOA,工作流,CGME都已經全部打包好了
大家可以通過以下圖鏡自行獲取
對應的各個模型
大家按照以下的目錄對應放置即可
可以看到這次發佈的幾個主要的模型容量都是23GB左右
和傳統的Flux DV FP16精度的模型保持一致
還是非常喫顯卡支援的
在測試的過程中即便是24GB的4090
偶爾也會出現爆顯存的情況
配置不是很好的同學推薦來到端老雲
在首頁可以直接開啓CGME專屬的鏡像
現在CGME鏡像已經更新到最新的ConvUI 0.3.2內核了
本地使用的同學也要更新一下ConvUI的內核
才能正確的運行Flux Tools的工作流
在端老雲CGME鏡像裏面
所有的模型、插件、工作流都已經給大家部署好了
直接在這裏把工作流加載出來就可以運行
這裏面一共有4個工作流
我們先來看看Dev和Kenny的工作流
這個工作流直接就包含了Flux Tools的Dev和Kenny的所有控制方式
首先我們在這裏上傳一張扁平化的狐狸圖片進來
這邊是Flux傳統工作流的CLIP和VA1編碼
對傳統Flux工作流還不瞭解的同學
可以看一下CGME之前的這一期教程的講解
接下來第二步就是選擇對應的模型
這裏可以選擇直接內嵌Kenny和Dev的Flux大模型
我們也可以用傳統的Flux模型
串聯一個Flux Tools的Kenny或者是Dev Loa
也能起到同樣的控制功效
這裏我們就先選一個深度的Loa進來
這邊是對上傳圖片進行深度和線稿的預處理器
由於我們前面選擇的是深度模型
所以這裏要把深度的預處理器傳輸到這邊
OK 我們要處理的就是這三個步驟
這時候我們可以手動輸一下對應的提示詞
這裏就簡單輸入狐狸 Flux
點擊生成
可以看到在深度模型的作用下
參考原圖的效果就生成出來了
從對比圖片可以看到
左邊用單獨內嵌深度功能的Flux模型生成出來的效果
要比加載深度Loa的效果要更好一些
在這邊預處理器模塊也可以看到對應深度圖的處理效果
假設現在我想用Kenny線稿的功能
那麼同樣的操作
首先上傳一張圖片
線稿更適合我們用來處理建築等比較嚴謹的一些線條的結構生成
這邊選擇內嵌的Kenny大模型
下面是傳統Flux加Kenny Loa的搭配
這時候就要用到Kenny的預處理器了
這裏面有低閾值和高閾值兩個參數可以調整
默認數值得到的是這樣的預處理效果
可以看到這邊的結構樣條我們還沒有獲取完整
這時候可以降低一下低閾值
從0.15改成0.05
這樣就可以獲取更多的線條結構了
而高閾值則相反
如果覺得內部輪廓被限制太多
那麼就可以增加高閾值
這樣就基本只保留大樓的輪廓了
調整好數值後
我們把Kenny預處理器連接到第三步這邊來
接着還有一個很重要的數值
引導係數Guidance
這裏也給出了推薦數值
如果用深度建議改成10
Kenny建議改成30
那麼這個數值是什麼意思呢
很多同學會把這個數值跟CFG值搞混淆
CFG值全稱是這樣的
CFG主要是控制提示詞的聽話程度
CFG數值越低
AI就有越多的自己想法
例如這裏CFG1就額外在頭部生成一些奇怪的裝飾
但畫面也會更乾淨一些
CFG值越高
畫面就越忠於提示詞
但提高這個數值也會出現一些過禮盒的情況
而這邊的這個引導實際就是CFG的G Guidance
它主要是影響畫面的風格化的強度
可以看到在固定CFG1的時候
增加引導值
畫面的風格化效果就會越明顯
所以兩者的作用是不一樣的
這時候我們輸入一下簡單的建築提示詞
點擊生成
那麼在Kenny的作用下
和原圖相同結構的效果就生成出來了
同樣也是左邊直接內嵌Kenny的模型
生成出來的效果會更加準確和更多的細節
所以硬盤容量充足的同學
還是建議直接使用內嵌模型來生成
效果會更加好
接下來我們來看看Fill模型的用法
這個模型可以用來進行圖片擴充和局部重繪
先來看看它的局部重繪功能
這個工作流和傳統Floss工作流是完全一樣的
只是這裏選擇的是Floss Fill DEV模型
由於已經內嵌了InPaint功能
所以整個工作流就非常簡單了
只需要額外加入一個內部模型條件節點即可
這時候我們在上傳圖片上右鍵
在製造編輯器中打開
塗抹出我們想要重繪的區域
這時候提示詞輸入眼鏡
點擊生成
那麼眼鏡就非常自然的湧入到原圖中去了
即便拉近放大來看
邊緣過渡依然是非常自然的
我們再來換一張圖片測試一下
這時候塗抹出貓的區域
提示詞改成一隻狗
點擊生成
可以看到
得益於Floss龐大的數據集
Fill模型重繪出來的效果還是非常不錯的
除了重繪功能外
Fill模型還能起到擴圖的功能
我們把擴圖工作流下載出來
這個工作流和剛剛的工作流是一樣的
同樣選擇Fill模型
並且在圖片後面添加一個外補畫板節點
現在上傳的是一張奔馳大G的圖片
但我想讓它左右兩邊和下方顯示更多的內容出來
那麼就可以通過這邊的外補畫板
把左邊右邊和下面各擴充400個像素
最下面是擴充的區域和原圖之間的過渡與畫質
然後在提示詞輸入漂亮的場景
非常簡單
點擊生成
這樣整個圖片就被很好的擴充出來了
可以看到
原圖僅僅只露出了一點點樹的結構
Fill則非常自然的參考這樣的結構
把其他的區域拓展出來了
包括天空和地面
過渡效果也非常的自然
僅僅在最邊緣的位置出現了一些瑕疵
這樣的效果是完全可以接受的
我們再來換一張圖片測試一下
同樣擴展左右和下方的區域
點擊生成
Fill會根據人物的衣服自動補充下方的區域
併合理的生成手部和腳部
這邊還能合理的把汽車剩餘的區域
非常自然的銜接起來
包括這邊的牆面也能自然的延伸拓展出來
這個Fill模型確實非常的厲害
最後我們來看看VDAS模型
這裏直接導入黑森林官方的VDAS工作流
首先這裏選擇一開始我們放置好的SIG VISIONS模型
然後上傳一張繁高風格的圖片進來
風格模型就選擇VDAS模型
這邊就是加載傳統的FLOSS模型進來
默認工作流這個提示詞是不會生效的
例如現在提示詞是輸入一個可愛的動漫女孩
帶着毛絨絨的大耳朵
可以看到VDAS默認直接就復刻了我們上傳的繁高風格的效果
但完全沒有給我們生成動漫女孩出來
所以我們要修改一下這個VDAS工作流
首先我想進一步拓展一下它的功能
現在這個工作流只能遷移一張圖片的效果
我想它能同時參考兩張圖片
所以把這幾個節點複製一下
移動到這邊來
CLIP視覺模型和VDAS風格模型是可以共用的
把它們一一連接過來即可
然後把VDAS1的條件傳輸過來
再把VDAS2的條件傳輸到基礎引導
這樣就完成了兩個參考圖片的串聯了
這邊這個我們換一張圖片
例如加載一張風格和比例都完全不同的圖片進來
點擊生成
可以看到VDAS工作流就很智能的把兩張圖片風格融合在一起了
生成繁高背景的汽車圖片出來
同樣是完全不會理會工作流中的提示詞的
接下來我們要進一步優化工作流
現在兩張圖片是有了
但我想給它們分別添加一個權重控制
能夠讓我們設置最終生成圖片遷移的權重比例
所以我們搜索一下條件採樣
這裏添加一個ConvUI自帶的條件採樣區域強度節點出來
這樣我們就可以通過這個節點來控制風格化模型輸出的強度了
接着繼續搜索條件合併
添加條件合併節點出來
首先把VDAS1的條件傳輸到強度1
然後複製一下這個節點
同樣給VDAS2也配置一個強度節點
接着就是把它們合併在一起了
不過這時候需要注意
由於現在我們要給它們單獨分配獨立的權重值
所以就不能像剛剛那樣把VDAS1傳輸到VDAS2去了
而是應該找到VDAS1的條件輸入接口
同樣讓它傳輸給VDAS2去
讓它們從串聯變成並聯
接着VDAS1的強度傳輸進條件合併1
VDAS2的強度傳輸進條件合併2
然後把合併後的條件傳輸進基礎引導
這樣就實現了兩個風格參考模塊的獨立調整了
這時候把繁高風格改成0.8
汽車風格改成0.4
點擊生成
這時候我可以看到
現在生成出來的圖片主要就是以繁高風格爲主
但還能若隱若現的看到汽車的輪廓
假設現在我把提示詞修改一下
我想生成一幅繁高風格的房子
提示詞輸入house
點擊生成
可以看到目前這個工作流完全不會理會提示詞
那麼有沒有什麼辦法能讓提示詞生效呢
要想讓提示詞生效
這裏建議只參考一張圖片的風格
實際非常簡單
我們只需要把VDAS2圖片模塊刪除掉
這時候就變成了VDAS1圖片風格傳輸進條件1
而條件2則變成了提示詞了
這樣就相當於VDAS1的圖片和提示詞
從原來的串聯關係變成了並聯關係
因此提示詞也得到了單獨的獨立權重
點擊生成
可以看到現在繁高風格的房子就生成出來了
提示詞這時候就能正確生效了
不過需要注意的是
VDAS1的圖片風格不能改得太高
例如把它的權重值改成1
那麼它就會搶掉提示詞的權重值
從而又生成出單純繁高風格的效果出來
所以我們要適當降低一點點它的權重值
例如改成0.85
這樣提示詞又重新生效了
這裏我們打開CGMI VDAS工作流
這個工作流已經給大家更規整的調整好了
同樣提供了兩張圖片風格遷移
假設VDAS2選擇一張女生圖片進來
繁高圖片權重改成0.7
女生權重改成0.5
那麼融合了兩張圖片風格的圖片就生成出來了
接着這邊是合併節點
開啓之後提示詞的功能就能生效
我們可以右鍵把節點開啓出來
這裏參考一下下面的註釋
開啓後建議把第二個圖片的權重改成0
僅僅讓VDAS1和提示詞生效
第一個圖片的權重建議設置成0.6至1.1之間
這裏圖片1換成一張藍天白雲的汽車圖片進來
然後我們提示詞嘗試輸入一個完全格格不入的提示詞來測試一下
例如輸入一隻貓
點擊生成
可以看到VDAS工作流就會自動引用圖片1的元素
並在汽車上生成了一隻貓出來
非常的有意思
所以總的來說
FluxTools這次推出的4款模型都是非常好用的
過去Flux用的都是第三方的controller和ipadata
FluxTools作爲原廠自家的出品
在流程銜接的順暢度和效果方面
都是妥妥比第三方插件要更好的
期待黑森林後續給我們帶來更多更好用的模型
好了
以上就是本期視頻的全部內容
如果喜歡這種全流程工作流的講解
希望能夠學習到更多節點原理和使用的同學
請持續關注CGMI和短腦雲的視頻發佈
感謝大家的觀看
那我們下期再見
拜拜
