flux強力官方生態更新，深度，輪廓，風格遷移！ #AI繪畫 #stablediffusion #c

hello大家好 今天給大家帶來一個重大的更新 黑森林也就是flux的官方更新了 一系列的生態 其中包括ContraNet裏面的深度控制 輪廓控制 以及一個類似於風格參考的 一個圖像混合編輯 還有就是一個重繪模型 或者叫擴圖模型 首先跟大家說結果 它們的效果都是非常不錯的 接下來我們一一來看一看 它們的實際效果 以及具體的用法 還有它的延伸的一些用法 我們先說說兩個相對簡單的ContraNet ContraNet這塊 其實目前已經有好幾個生態了 但是大家對它們都不太滿意 然後最新的生態 官方出了其實是兩個東西 我們可以看到 在最新更新的這裏 它有更新了兩個 一開始有更新了兩個 flux的canning 還有深度 但是當我點進去之後 我發現這個版本 它是把ContraNet的功能 和原本的大模型混合起來了 也就是說它直接集成了一個 flux canning的 這樣一個23G的大模型 然後另外的深度也是 我本來就覺得 它是一個可有可無的東西了 爲了一個ContraNet的控制 我們要單獨再下一個23G的模型 但是它後面又緊跟着更新了 相對應的canning和深度的lowra 這兩個模型只有一個G的大小 並且通過lowra的方式 簡單調用就可以實現ContraNet的控制 所以我這裏就不再介紹前面的 23G的大模型這種用法了 我們直接就用lowra 包括網盤也會給大家優先放這個 工作流官方在這個頁面上 都有一些詳細的介紹 大家可以記錄一下這個網站 然後到這裏面來看看 官方給的工作流 這個工作流我也會放到網盤當中 我稍微的修改了一下 首先它就是最基礎的 flux的工作流來改版的 我們看到klib模型 unet模型 ve模型 再加上採樣器 還有政府編碼 然後解碼 就是一個最基礎的流程 然後如果我們想要用lowra 多加了一個什麼東西 我們需要串聯進來一個lowra加載器 這個lowra加載器 就需要把我們下載的flux-e-depth 1.多G的深度模型 放到和我們其他lowra一樣的地方 來調用它就可以了 第二個就是 我們需要通過一個 instruct-px2px這個節點來調用 它跟我們常規的content-net 調用方式不一樣 但是我覺得是更簡潔了 這個節點需要我們把latent 直接連到採樣器的latent 我們不能去調控它的尺寸了 這個尺寸來源於哪 就來源於它上傳的圖像 那我們上傳的圖像有多大 它生成的圖就有多大 我這裏接了一個預處理器 把這樣圖片處理成一個深度 如果我們經過預處理器 這個分辨率建議 在這裏就可以調整它的尺寸 之後我們來點擊生成一下 看看它的效果 速度和配置方面 跟我們直接用文生圖 圖正圖基本是一樣的效果 首先控的確實是非常準的 然後包括這個草帽的邊緣 而且我還是用了深度 我覺得控制相當不錯 提示詞把這個女孩穿着紅色裙子 站在海邊 戴着黑色草帽 這個質量就比我們目前所用的 其他的content-net 我覺得要好很多了 同時它的使用 我覺得是非常簡單的 一個lower就可以搞定了 不需要下載其他多餘的插件 所以兩個模型 一個canon一個深度 我覺得大家以後可以更新爲這個版本 除此之外 更加着重介紹的 應該是一直以來 大家萬衆矚目的風格遷移 或者官方給的說法叫圖像混合 我們接下來看看圖像混合 是如何來使用的 圖像混合的使用 我們需要下載幾個模型 第一個就是在clipvision文件夾下 我們需要下載一個什麼384這個模型 把它放到clipvision 第二個我們需要下載一個 這個reduce的模型 這個只有一百多兆 我們需要把它放到models裏面 有個style models 這些模型我都會放到網盤裏面 接下來我們看一下它的連接方式 連接方式下面這裏 跟我們的原版是一模一樣的 這裏就是大模型 然後正負提示詞 加上latent採樣器位移解碼 我們只需要在正向提示詞之間 串連進來這麼一串 首先它的核心就是叫風格模型應用 這個東西我們需要更新到 11月1號以後的本體版本 就基本都有了 把它串到我們的文本編碼器 跟採樣器的中間 這個clip的節點中間 之後這裏還需要接一個什麼 風格加載模型 這個就是我們下的reduce這個模型 另外需要我們連接一個 clip視覺輸出 這clip視覺輸出也需要接載 加上我們剛纔下的384的模型 同時把我們的圖像輸入進來 也就是說我們在生成的時候 要參考這個圖像 OK當我上傳了一張這樣的參考圖 這個時候我提示詞寫什麼 其實已經不重要了 我隨便寫了一句真實照片 甚至之前我嘗試過別的提示詞 但是幾乎都被權重給佔據了 提示詞不太生效 這個效果看起來 有點像我們早期的ipadapter 它沒有選擇風格 和選擇什麼參考權重的時候 只能強行的把這裏面的東西遷移過來 但是我們可以看到 它的參考效果是非常好的 官方除了給這種單張參考的同時 還給了一個多張混合參考 這個時候我們想參考兩張圖片的話 我們就需要把這個 clip視覺編碼再複製一份出來 然後我們要新加載一個 另外的一張圖片 然後視覺模型 我們同樣要給它連進來 之後要把視覺輸出 再連到一個風格模型裏面 所以我們要把風格模型 再給它複製一份 把這個視覺輸出連進來 把這個模型也給它接上 之後這個條件怎麼連 這第一個圖片 我們通過第一個風格模型去參考它 之後第二個我們就給它串聯起來 把這兩個串聯的再接到採樣器裏面 相當於這樣 我們就完成了兩張圖片的風格參考 我也嘗試過一次類推 三張四張五張理論上都可以 添加的越多 你會把每張圖片當中的內容 平均化給它參考上來 比如說我現在需要一張這樣的圖 然後我再隨意的選擇一個 我們經常喜歡做的 比如說產品 然後上傳一下這張圖 之後再點擊生成 它把這兩張圖結合了一下 生成一張這樣的圖 既有瓶子的一些特徵 包括上面的花紋已經非常接近了 又有場景的特徵 看到這兒這個功能就有點意思了 相當於說我們可以把兩張圖混合起來 甚至可以指向性的 把一張圖融合到另一張圖裏面 這個瓶子明顯還是結合了燈和瓶子的作用 如果這個時候我們嘗試一下 把它的主產品給它擦掉 只留背景我們來試一下 這裏用一個拉瑪接點 或者我們可以上傳的時候 直接就上傳一張紙帶背景 不要有主體衝突這樣的圖像 OK 我們把這張圖像梳理一下 去掉主體只留背景 這回我們可以看到 有一個很清晰的瓶子圖片 它們的形狀有點接近 但還沒有完全一致 看到這兒有些同學就覺得 好像還是沒什麼用 首先它在創意上面 絕對是一個很好的工具 多張圖像混合做創作 在商業上面有沒有更加好用的方式 我們可以去嘗試 這個時候我們可以跟剛纔的 continent做一下聯動 比如說我們控制住這張圖片的構圖 然後再去生成參考它的背景 我們這個時候想辦法 把剛纔的continent的控制也接進來 首先我給它添加一個lora加載器 然後把lora很簡單 通過模型串到採樣器裏面 我們這裏用一下輪廓 接下來我們要添加pix2pix這個節點 這個時候要注意 所有的上面的風格參考 我們都只連接到了正向 所以這裏的連接也很簡單 我們把負面接進來 把正面我們直接從這個地方 串聯的結尾給它連進來 然後ve連上之後圖像 它需要的是一張預處理圖 所以我們要用aux集成預處理器 然後我們想參考輪廓 也就是這張圖像 這裏用的是kenny 所以我就用kenny細緻線的預處理器 然後再把它的圖像接進來 我們先預覽一下 也就是說接下來的圖像 我會參考上面圖的風格 以及這張圖的元素 同時會按照這張圖的輪廓來進行生成 然後我們把latent給它接進來 這裏的空latent就用不上了 然後我們點擊生成 OK 我們可以看一下這個結果 首先背景遷移的不錯 然後但是由於輪廓我們控制的有點死了 左下角左右兩邊的文字 包括原圖當中倒影的輪廓也被我遷移到了 所以最後生成就在這個場景下 但是我們看看原圖還原的程度 我覺得已經是非常高了 相當於是幾乎準確的 把一個產品能和另外一個場景直接融合起來 之後這點細節 無論是通過細節遷移的節點也好 或者在PS裏面簡單擦一擦也好 我覺得在產品上面是不是一個非常不錯的進步 我們再來嘗試一個把人和衣服放到一起 這裏我們隨便找一張人物的圖像 然後我們來找一張衣服的圖像 畫面中的女生穿着粉色毛衣在喫東西 VLOX建議儘量寫詳細一點 但是在這個流程下 其實它的提示詞權中是有限的 這裏暫時我們就不需要剛纔的lora控制了 所以把所有的這些lora控制給它取消掉 然後替換成紋身圖的流程 我們可以看到一張人物圖一張衣服圖 它合併了但是仍然是一個玩具 我們嘗試一下給它更精準的控制 這裏我們用局部重繪來試一下 首先我要把這個人物給它重繪 這些地方都不要了 我們直接給它VE編碼 然後接一個Latent設置Latent噪波遮罩 也就是說我們現在要局部重繪這一張圖 然後它的遮罩我們來塗抹一下 OK 我們要對這張圖像進行局部重繪 然後把Latent直接輸入到採樣器 之後在重繪的範圍內 我們要給它參考一張圖 也就是衣服的圖像 人物的圖像我們就不需要參考了 這樣的話就不需要第二個東西串聯 把它直接連接了 把這些都可以刪掉 整個流程就是局部重繪這張圖 但是參考的同時我要參考衣服 我們來看看它的效果 但是這裏我塗抹的地方 我們要注意它衣服是個長袖 所以我把它的胳膊全部覆蓋 我們看到這個結果 參考到的地方其實還是挺像的 但是由於我這個遮罩塗的問題 然後還是有一些缺失的部分 我覺得它配合一些服裝上身的節點 真的已經可以做到 平面服裝上身不錯的效果了 除此之外 我們想一想把人和場景結合 把衣服和人結合 把任何東西在我們有控制的情況下 讓它進行強硬的參考 這些方向大家可以進去探索一下 總之我們可以把它當成一個 記憶力非常強的模型 它能非常好的還原產品 但是對於圖像的適應性沒有那麼強 所以我們要通過contra net輪廓控制 或者通過局部重繪等等的方式 把它這種記憶力 復現在合適的範圍內 這個工作流我會給大家整理好 做好註釋 放到網盤當中 包括相應的模型 最後一個是這個闊圖模型 官方給的視力非常不錯 從一隻眼睛能闊到整個人 但說實話闊圖現在本身就很不錯的 Focus闊圖模型配合flux 都已經有不錯的效果了 所以這塊我沒有繼續測 大家可以在官方給的頁面上面 去下載它的工作流 這個模型我也看了 它模型也是一個23G的整合大模型 最後再跟大家說一下 我所有日常分享的康復原來的內容 都在羣公告鏈接裏面 翻到最下面有一個康復原來的文件夾 在那個裏面找 很多東西找不到