3步訓練Flux 超高效FluxGym Lora模型詳細訓練教程

CG迷
2 位粉絲
2 次觀看·2024年10月8日
本期視頻深度講解訓練Flux模型最簡單、最高效的方法——FluxGym,把複雜的訓練過程,簡化成3個步驟,並且把顯存要求進一步降低到12GB就可以了。
教程中用到的,智靈GPU彈性算力平台(https://serverless.datastone.cn/ ),能夠一鍵運行webui、forge、comfyui、FluxGym、Kohya、秋葉訓練器。4090頂級配置,彈性擴縮,算力分時段按秒計費,全網最低價,低至0.8元/小時。
教程中模型、素材、和工作流:
夸克網盤:https://pan.quark.cn/s/e4b7f7a09332
百度網盤:https://pan.baidu.com/s/1s04xU7u4-LUQPFXVu0S0yA?pwd=cgmi 提取碼: cgmi
Fluxgym:
https://github.com/cocktailpeanut/fluxgym
秋葉訓練器1.9.0:
https://github.com/Akegarasu/lora-scripts/releases/tag/v1.9.0
Kohya SD3分支 :
https://github.com/kohya-ss/sd-scripts/tree/sd3
kohya-ss GUI:
https://github.com/bmaltais/kohya_ss/tree/sd3-flux.1
本期視頻帶你深度瞭解訓練Flux模型最簡單最高效的方法
目前我們訓練Flux模型主要有以下幾種方法
很多同學可能不知道
我們直接通過ConvUI導入對應的工作流
就可以對圖片素材進行打標了
打標完畢後再導入Flux訓練工作流
這樣就可以直接在ConvUI裡面訓練Flux模型了
接著就是KOHA-SS訓練腳本
它的功能是最新最全的
市面上絕大多數訓練器都是基於這個腳本來開發的
需要注意的是
用這個腳本來訓練Flux
我們需要切換到KOHA-SS的SD3分支
下拉可以看到這個腳本的詳細使用介紹
可以看到這裡面的參數代碼非常的多
並且它是通過純代碼的方式來運行的
所以對於新手同學來說是非常不友好的
市面上也有一些開發者對它進行了UI前端介面的開發
通過GUI版本來進行相關的操作就會直觀很多了
不過要說到介面
還是我們用的比較多的秋葉訓練器介面要友好很多
我們只需要更新到1.9.0或者以上的版本
就可以在秋葉訓練器裡面訓練Flux模型了
不過以上介紹的幾種訓練方法操作起來相對還是比較複雜
而且對顯存的要求最少最少也要16GB獲得以上
那麼今天就來給大家介紹一款極度簡單
且高效的Flux模型訓練器
Flux Gym
可以看到它的操作介面非常的簡潔
把整個複雜的訓練過程簡化成三個步驟
它同樣是基於Qoha腳本來開發的
雖然介面看似簡單
但在高級選項裡面展開之後
同樣可以獲得和Qoha一樣的完整功能參數調整
並且把顯存進一步降低到12GB就可以了
這樣我的4070 Super也可以在本地進行Flux模型訓練了
接下來我們就來看看Flux Gym的安裝部署
正常安裝Flux Gym是需要輸入非常多的命令步驟來一步一步進行安裝的
不過作者也秉承著一切重檢的精神
提供了一鍵安裝的方式
前提是我們得先安裝好PiloQ的客戶端
不想麻煩的同學可以跳過這個安裝步驟
把視頻進度條拖到後面
可以通過在線運行的方式高效的一鍵運行
我們點擊這個鏈接
就會跳轉到PiloQ客戶端的安裝介面
這個PiloQ實際上是一個開源AI寶箱
通過它就可以非常方便的自動部署各種GitHub上開源的項目了
對於新手編程小白來說是非常友好的
需要注意的是
第一次使用的同學由於電腦沒有安裝PiloQ
所以點擊這個一鍵安裝Flux Gym會提示無效的
我們需要先點擊下面的鏈接
下載PiloQ的客戶端
然後點擊下載
就會跳轉到下載頁面
點擊下載Windows版本
等待下載完畢
然後雙擊安裝程序
什麼都不需要管
很快PiloQ的客戶端就安裝好了
這個就是PiloQ的主介面
但現在我們什麼程序都沒有安裝
我們點擊這個訪問發現頁面
這裡面就可以看到一系列的開源項目了
下拉找到這個Flux Gym的項目
點擊下載
就會進入Flux Gym的前置部件安裝頁面
現在我們就是需要在這裡
從上到下各個部件全部安裝上
纔可以正常運行Flux Gym
這時候我們只需要點擊這個安裝按鈕
PiloQ就會一項一項自動按順序安裝了
這裡可以看到實時的代碼安裝情況
需要注意的是
整個安裝過程中
我們必須全程開啟魔法網絡
保持外網的暢通才能正確部署的
另外在第一次安裝完畢後
它不會把全部9個部件都安裝好
可以看到現在還有4個部件沒有安裝
我們需要再次點擊安裝按鈕
進行補充安裝
現在還剩下最後一個部件
繼續點擊補充安裝完畢
當9個前置部件安裝完畢後
就會彈出Flux Gym的主程序安裝框
點擊下載
然後點擊安裝按鈕
依然需要保持魔法網絡的暢通
這時候會從遠程服務器把代碼加載進來
這一步是最後一個步驟了
耐心等待這6項全部安裝完畢即可
整個安裝過程大概需要30分鐘至1小時左右
這個和我們的魔法網絡速度有關
當安裝完畢後
就可以自動彈出今天我們要講解的
介面非常簡潔的Flux Gym主程序介面了
現在第一步是需要選擇Flux模型作為底膜
所以還需要把模型手動放置一下
打開PiloQ的安裝目錄
進入API文件夾
點擊這個Flux Gym文件夾
打開Models
這時候我們就要把Flux模型的Clip
Unet和VA1分別放置到這裡面
這些模型CGME都已經給大家準備好了
直接把它們一一拖進對應的文件夾即可
可以看到整個安裝過程並不算複雜
但需要安裝和部署的步驟還是挺多的
而且在部署的過程中有可能會出現一些報錯的情況
不想麻煩的同學
這裡給大家推薦一個非常好用
而且價格相當相當划算的算力助力平臺
智靈Separate
註冊登錄後我們可以在GPU列表裡面點擊新增GPU
可以看到智靈平臺提供的都是清一色4090D頂配的顯卡
有4顯卡、雙顯卡和單顯卡不同的規格可以選擇
而且它們還能根據不同的時間段提供不同的計費方式
像是在凌晨12點到早上8點的這個時間段
4090D僅僅只需要8毛錢一個小時
性價比非常的高
可以說是目前市面上最便宜的4090助力平臺了
在開啟機器後
我們還能設置機器在指定的時間定時關機
非常適合我們用來進行模型訓練或者是掛機跑圖
智靈給我們提供了一系列部署好的鏡像
Stable Division Web UI、Forge和Console UI直接就能運行
同時在這邊智靈還給我們提供了Frost Gym
秋葉訓練器和KOHA三個主流的模型訓練鏡像
免去了我們安裝部署的煩惱
在下方我們可以按需選擇機器的儲存容量
一開始可以設置的少一點
這樣可以節省一點費用
在後面如果發現儲存空間不夠用了
我們也可以手動進行彈性擴容
這裡我們的鏡像就選擇Frost Gym訓練器
作為演示這裡我就不加載儲存了
大家在訓練的時候最好是掛載一下儲存空間
這樣即便我們關閉機器後
訓練的模型文件依然會保存起來
同時還能方便我們後續在智靈裡面
直接運行功夫UI來檢驗訓練的LOL效果
對於有進階使用需求的同學
還可以手動設置環境變量和額外的端口開放
我們點擊新增按鈕
這樣配備了4090顯卡的Frost Gym鏡像就開啟了
點擊進入機器
在這裡可以查看終端和程序運行日誌
還可以看到機器累計運行時間和大致的消費金額
點擊這裡可以進入Frost Gym的文件管理器
一會兒後我們訓練的模型都會存放在這個Output文件夾裡面
由於我們現在是沒有掛載儲存空間的
所以當模型訓練好後
大家記得記得一定要把訓練好的模型下載到本地
我們返回鏡像的主頁
點擊這個按鈕就可以進入Frost Gym的主介面了
好那麼接下來我們就來看看Frost Gym的使用方法
它的介面和操作都是非常簡單的
僅僅只需要三步操作就可以開始Frost模型的訓練了
這裡推薦先進行第二步操作
把我們準備的素材上傳進來
這裡作為演示我僅僅只提供10張圖片來作為訓練素材
一般情況下想要LOL模型的質量和繁華性更好一些
最好是要準備上20-40張圖片素材
而且素材必須是統一風格統一尺寸的
對於一些風格不一致又或者是質量不好的圖片
情願把它刪除掉也不要把它加入進來
大家不要為了湊數而湊數
不好的素材反而會影響模型整體的效果
對於素材的裁剪我們可以來到這個網站
直接把素材拖入進來
然後在這邊設置好統一的分辨率
這樣我們就可以在這裡移動框顯出素材的顯示區域
統一調整好後點擊這個保存壓縮包
那麼所有的素材都會被裁剪成統一的尺寸了
素材上傳完畢後
接下來我們就在這邊輸入LOL模型的名稱
例如這裡輸入眼鏡女孩
這個名稱大家可以隨意輸入
不影響實際的訓練效果
接下來就是觸發詞了
這裡就比較講究了
這個觸發詞最好是填寫一些具有唯一性的特殊詞組
不要用一些常規的英文描述詞
例如這裡輸入CG迷的英文
這個就非常具有唯一性
也不會和普通的英文詞有所衝突
同時我們一定要在這個觸發詞後面加上一個英文的逗號
不然觸發詞就不能凸顯出來了
這裡我就先做一個錯誤的示範
就不在最後加上逗號給大家演示一下
接下來大家可以根據自身顯卡的配置來選擇顯存的大小
Fluxdream最低只需要12GB顯存就可以進行訓練了
由於這裡我用的是智靈平臺的4090D顯卡
所以顯存我就選擇20GB以上
再下來就是repeat值
也就是每張圖片訓練多少次
然後是epon值
意思就是一共訓練多少輪
這裡期望總訓練次數
這個數值就是我們上傳的圖片數量
這裡是10張素材
乘以每張圖片需要訓練的repeat值
再乘以一共訓練的輪次數
所以總訓練次數就是1600步了
這裡是素材圖片的參考提示詞
我們可以把素材圖片特徵詞語通過換函的方式來填寫進來
例如眼鏡色彩鮮豔
霓虹燈眼鏡
肖像照
一個女孩
這裡的提示詞對素材達標影響並不大
簡單填寫一下就好了
這裡是我們希望每訓練多少步就保存一個模型
由於現在總訓練步數是1600步
我希望保存4個模型來作為測試
所以這裡就設置每訓練到400步就保存一個模型
最後這個是我們上傳的素材縮小成512分辨率來進行訓練
這個參數非常的重要
實際上512的分辨率訓練效果已經非常不錯了
喜歡追求更多細節的同學可以把這個數值改成1024
不過這樣也會大大增加渲染時間
假設512進度訓練總時長是一個小時的話
那麼如果這裡設置成1024
總時長就會增加三倍左右的時間
大約是2.5至3.5個小時才能訓練好
所以這個參數大家按需調整
這樣這邊的參數就調整好了
然後我們來到中間的第二步
對圖片進行打標
操作也非常簡單
直接點擊中間的這個按鈕就可以了
這個佛羅倫薩反推模型是要從遠程進行加載調用的
所以我們在運行這一步的時候必須保持魔法網路的暢通
如果是雲端運行的用戶就更方便一些了
耐心等待模型的下載即可
這樣10張圖片的打標描述就被反推出來了
這裡每一個反推描述都會優先加上我們設置的觸發詞
由於之前我們的觸發詞在結尾沒有加上逗號
所以觸發詞就會和後面的描述連接在一起了
這就是前面跟大家所說的
填寫觸發詞的時候一定要在結尾加上一個逗號作為區分
這時候我們可以認真的檢查一下
圖片的打標描述是否符合要求
對於多餘的描述我們直接把它刪除掉
需要補充的描述我們可以直接在上面補充完整
這樣第二步對圖片素材打標就完成了
再下來還有一個高級選項
打開之後我們唯一需要關注調整的就是這個學習率
至於下面一系列非常非常多的參數全部都不需要管
保持默認即可
這時候我們就可以進入第三步操作
直接點擊一下這個按鈕
就開始我們的Flux模型訓練了
下方會顯示出一系列實時訓練的情況
目前我是8.05分開始訓練
當總訓練步數到達我們設定的1600步後
那麼模型就訓練好了
可以看到通過智靈平臺在線的4090D來訓練
總耗時僅僅只需要34分鐘就訓練好了
但同樣的素材同樣的參數設置
用我本地的4070 Super來訓練
從凌晨3點37分開始
直到早上7點35分才訓練完畢
總耗時是4個小時
將近是智靈4090第8倍的時長
這個速度差距還是非常明顯的
這時候我們進入智靈文件管理器
在forge dream的output文件夾裡面
就可以看到我們的模型訓練目錄了
點擊進去後
就是剛剛我們訓練好的4個loa模型
其中最後這個結尾沒有序列號
實際就是最後一輪第16輪訓練結束後所得到的模型
對於這4個模型
我們選擇它右鍵
點擊download
就可以把它們保存到本地了
接下來就是要檢驗一下
這幾個loa模型訓練的怎麼樣
我們進入convui
在這裡導入CGMI專門的force loa對比測試工作流
這裡的force模型
clip和vae都已經設置好了
然後下面有一系列的loa加載器
分別對應選擇上剛剛通過force dream訓練的第4輪
第8輪
第12輪
和16輪的4個模型
上方可以設置統一的採樣器
set值和生成圖片的寬高
然後最重要的一步就是輸入測試提示詞了
首先肯定是需要輸入我們設定的出發詞
CGMI
然後簡單描述一下
一個年輕的女子
戴著霓虹燈眼鏡
人物肖像照
非常簡單
同樣把這組提示詞複製到下面來
ok
點擊生成
工作流最右邊分別有4組對應loa效果的對比
從生成結果可以看到
這一張是僅僅進行了4輪訓練的效果
明顯眼睛上霓虹燈的感覺還沒學習進來
這一張是進行了8輪的學習效果
眼鏡框開始呈現出一些輪廓光
隨著學習的輪次不斷的增多
最後這個第16輪的loa
眼鏡霓虹燈的效果是最明顯的
並且內部也會有更多的星光點點的細節
接下來我們再刷新一次看看
可以看到
使用flox模型進行訓練的效果確實非常的驚艷
不但訓練效果好
而且非常簡單高效
我們僅僅只是提供了10張訓練素材
就可以很高效的生成出和素材非常一致的效果了
從這組測試中可以看到
隨著學習輪次的增多
眼鏡開始呈現出一些霓虹燈的光效
在最後一輪模型中
眼鏡發光的效果是最好的
但我們仔細觀察一下這張圖片
臉部稍微出現了一些油膩和過禮盒的情況
如果再訓練一次的話
我會考慮保存一個第14、15輪的loa模型
效果或許會更自然一些
好了
以上就是本期視頻的全部內容
視頻中用到的模型、素材和工作流
都會一起提供給大家
如果覺得教程對大家有所幫助的話
請不要吝嗇你們的小愛心
記得點贊收藏一下啦
感謝大家的觀看
那我們下期再見
拜拜
