【SD3深度評測】對比Midjourney,安裝|下載|部署超詳細stablediffusion3使用教程

CG迷
2 位粉絲
2024年10月29日
SD3終於開源了,stablediffusion3大模型目前已經可以在huggingface上免費下載了,在LiblibAI也可以第一時間直接體驗到SD3的出圖效果,那麼這期視頻就來給大家深度剖析一下Stability有史以來最強的模型stablediffusion3。
LiblibAI在線版SD3:https://www.liblib.art
SD3模型與Comfyui工作流
夸克網盤:https://pan.quark.cn/s/6de4bf1b2e92
百度網盤:https://pan.baidu.com/s/1M_WqrSzYH7Di0Ncc0oFKMA?pwd=cgmi 提取碼: cgmi
想系統學習SD Webui的同學,可以看看我的《全面掌握Stablediffusion》100節系統課程, https://www.bilibili.com/cheese/play/ss9507
SD3它終於來了
儘管公司財務狀況出現了問題
再加高管離職
但Celebrity AI依然堅守開源的承諾
就在昨天
Stable Division 3大模型已經可以在Hungam Face上免費下載了
在LibriVo AI也可以第一時間直接體驗到SD3的出圖效果
那麼這期視頻就來給大家深度剖析一下
Celebrity有史以來最強的模型
Stable Division 3
嗨 大家好 我是李晨
歡迎來到CG迷
顧名思義
Stable Division 3就是第三代大模型
2022年8月
Celebrity發佈了第一代模型SD1.5
這一代模型一經推出就火爆全球
雖然它的基礎分辨率僅僅只有512x512
但由於它對配置的要求不高
兼容性也很好
所以SD1.5有着龐大的生態鏈
至今依然是使用量最高的模型
之後過了兩個月
Celebrity就推出了SD2.1版本
它的分辨率提升到768x768
然後過了將近一年時間
Celebrity推出了全新的SDXL大模型
分辨率進一步提升到1024級別
這兩者可以統稱爲Stable Division的第二代模型
然後就是今天的主角了
Stable Division 3第三代大模型
它的分辨率依然是1024級別
最大的區別就是這次Stable Division 3換了全新的架構
採用和Sora一樣的Transform的架構
而之前的兩代模型都是採用ULED噪聲預測架構
簡單來說ULED架構就是給AI輸入一段文本
然後淺空間不斷重複多次加噪去噪的過程
最終生成我們想要的圖片
這是一種單向的生成方式
而Stable Division 3的Transform架構就非常特別了
簡稱MMDIT
它是一種多模態架構
它把文本Embeddings和圖片Embeddings分離開
兩者分別有自己獨立的權重值
然後通過DryAttention連接起來進行交互
接着又再次把兩者釋放出來
這樣的好處就是文本Embeddings和圖片Embeddings既獨立分離
又會有所交互能夠考慮到對方
因此我們輸入的文本就可以和圖像之間進行流動轉化了
正是因爲Stable Division 3這種全新的架構技術
我們就可以用上SD3一個非常強大的功能
Stable Assistant
它相當於一個聊天機器人
當我們生成好圖片後
就可以直接用對話的方式
告訴Stable Assistant修改畫面的某個地方
例如通過SD3生成一張雷神的圖片
然後告訴Stable Assistant把錘子換成斧頭
還可以告訴它我想換成漫畫風格
包括叫它去除畫面中不想要的元素
都是完全沒有問題的
同時全是Format架構在生成視頻方面
天生就有很大優勢
所以使用SD3來拓展生成動態視頻是非常輕鬆的事情
不過我們要知道
這次Stable Division 3開放出來的實際上並不是它們的最終形態
Stable Division 3是一個訓練參數從8億到80億的系列模型
而這次開放出來的是一個訓練參數爲21次的Stable Division 3 Median版本
SD1.5模型訓練參數是10億次
而SDXL模型訓練參數是35億至66億次
所以這次Stable Division 3 Median版本是介於兩者之間
可以看出Sability也爲自己留了一手準備
具備81參數的終極版Stable Division 3還牢牢握在手中
想體驗滿血版81參數Stable Division 3效果的同學
是需要開通Sability AI會員的
還是以消耗積分和調用API的方式來使用
Sability通過這樣的策略來幫助公司回回血也是完全能夠理解的
儘管Stable Division 3 Median版本訓練參數少了
但對顯卡的要求也同樣降低了
經過測試
Stable Division 3 Median工作流在基礎節點配置下
顯存佔用還不到8GB
比SDXL模型還要節省顯存
即便是81參數的滿血版Stable Division 3
Sability官方也說明了4090顯卡是完全可以跑得動的
生成1024分辨率50步採樣的圖片
用時僅僅只需要34秒
而Stable Division 3 Median模型28步採樣在Console UI裏面
我的4070Super只需要10.35秒就可以生成出來了
同樣的參數在LibreLibre AI中更是隻需要6秒就可以出圖
速度非常的快
Stable Division 3生成速度之所以這麼快
原因就是Stable Division 3在訓練的過程中
引用了全新的Vertify Flow Sampling採樣方法
簡稱RF
平常我們訓練模型的時候
Loss值經常是互高互低波動起伏的
而Stable Division 3 RF會尋求一條最快捷的直線路徑
到達最終的生成結果
可以看到Stable Division 3訓練過程中的軌跡採樣
一直是圍繞着中間的線路來生成的
這樣不但提升了模型的訓練效率
還能很好地提高出圖的速度
Stable Division 3的優勢遠遠不止於此
Stable Division 3有着驚人的理解能力
同時對文字生成、排版設計的支持也是有史以來最強的
Stable Division 3的文本理解和處理能力
完全是依賴於它全新的Text Encoder文本編碼器
簡單來說Text Encoder就是把我們輸入的題字詞
編碼成AI能夠聽得懂的語義項量
其核心部件就是Click模塊
它的作用就是把我們輸入的題字詞轉化成圖像
Stable Division 1是採用Click V1版本
Stable Division 2和SDXL則是採用OpenClick VR版本
這個版本是Click V1的開源升級版本
而Stable Division 3則是採用Click加OpenClick的模式
同時再增加一個T5XXL的大語言模型
從而使得它在文本理解能力上得到了大幅度的提升
從這次開源的Stable Division 3 Medium版本可以看到
一共有三個不同的規格
首先這個4GB版本是不包含文本編碼器的
這個模型是需要對應下載這裏面專門的Text Encoder才能使用
而中間這個5.97GB的就是包含剛剛所說的
Click L和Click G兩個文本編碼器的版本
一般如果想節省顯存資源
我們就使用這個版本就可以了
最下面這個是容量最大將近11GB的版本
它就是類似了Click L和Click G
再加上XSL大語言Text Encoder的版本
它對文本的支持和理解能力會更好一些
這裏面所有的模型CGME已經幫大家下載好了
大家可以通過這些渠道自行獲取
目前我們使用Stable Division 3的途徑主要有兩個
一個就是ConvUI
一個就是使用LibriVAI
而RepUI的用戶還需要再等一等客戶端的更新
相信很快就會出來了
這裏已經提供了一系列官方的ConvUI工作流
首先我們得先把ConvUI升級到最新支持ST3的版本
接着把下載的Stable Division 3大模型和Text Encoder模型
分別放置到ConvUI的這兩個位置
這樣我們就可以導入ST3的官方工作流了
如果我們選擇的是最小容量版本的ST3模型
那麼這裏就需要加載對應的Clip模塊
這樣ST3的三個Clip模塊就加載進來了
但如果我們的大模型是選擇中間檔或者是最大容量的模型
那麼它們本身就已經內嵌了對應的Clip模塊
所以這裏的這個節點就可以刪除掉了
直接把大模型的Clip連接到正向提示詞和後面提示詞即可
然後輸入對應的提示詞,點擊生成
可以看到ConvUI生成出來的圖片質量是非常好的
不愧ConvUI的同學
我們還可以來到LibLibAI直接使用StableDyn3
能在WebUI界面中直接使用ST3模型的
目前就僅有LibLibAI一家了
習慣了WebUI的同學
在這裏進行相關的設置會感到無比的順手
調整一下寬度和高度
在用ST3模型的時候
CFG值要適當降低一些
LibLibAI的在線版StableDyn3接下來還將會支持圖生圖
此次StableDyn3 Medium版本是專門對人臉和手部進行了優化的
可以看到在人物生成方面效果是非常好的
即便換一下提示詞,生成全身照
臉蒙的情況幾乎很少出現
手部乍一看還可以
但如果專門展示出人物的手部
例如我在提示詞裏面加入把手舉起來
一次生成三張圖片,點擊生成
可以看到手部還是有比較明顯的瑕疵的
繼續我們把提示詞換一下
專門生成三張只有手部特寫的圖片
能夠看出來效果確實比之前的模型要好一些
但問題依然還是很大
還有很大的優化空間
StableDyn3還是一個全能型大模型
各種不同畫風的效果都能輕鬆的生成出來
並且它還可以一次生成多張圖片
然後進行重組合排版
這就有點厲害了
例如這裏我讓它同時生成多張不同的圖片
並進行組合拼接
通過一系列的位置詞來對畫面進行排版控制
點擊生成
這樣拼接在一起的多組畫面就生成出來了
我們還可以給它指定某一種風格
例如輸入漫畫效果
點擊生成
這樣簡單的漫畫排版圖就生成好了
接下來我們就來對比一下Midranny和StableDyn3的出圖效果
兩者將會採用完全一樣的提示詞
並且不經過任何的放大和後期處理
先來看看二次元的效果
選好你們心目中覺得更好看的圖片
那麼接下來就公佈答案
看看你的審美是站在哪個陣營
接下來看看兩張風景圖片的對比
同樣選好你們心目中覺得好看的圖片
3
2
1
公佈答案
繼續來對比一下兩組動物圖片
選擇上你們心中的最愛
3
2
1
答案揭曉
有沒有三次都選中同一陣營的同學
然後就是人物效果了
這一組就不需要對比了
StableDyn3這些直出的圖片幾乎已經脫離了一眼AI
效果秒殺Midranny N條街
而且StableDyn3 Medium版本還有很大的上升空間
輸入一組軍事基地、機甲部隊的提示詞
目前StableDyn3 Medium版本生成出來的效果是這樣的
但如果我們用同樣的提示詞
在LibreAI通過點數來調用StableDyn3更高級的版本
那麼生成出來的效果就會上升好幾個檔次了
更高訓練參數的StableDyn3還是非常厲害的
另外StableDyn3 Medium模型目前是不可以商用的
但如果你有商用的需求
可以到Sability官網填寫申請許可證
最後爲了讓StableDyn3能夠更好的在公共場合展示
這次StableDyn3完全刪除了修修圖的訓練集
這樣就可以很好地避免在演講或者是直播的時候
突然生成一個xxx的尷尬情況了
在AI設計行業
以Miss Jenny爲首的一衆軟件
都是採用幣源收費使用的運營模式
僅僅只有Sability戰隊堅守開源免費的陣營
由於沒有太好的盈利模式
前段時間Sability也是出現了一些財務狀況
不過可以看到它們很快就調整過來了
再次獲得了AMD等企業的資金贊助
如期給我們帶來了革命性改進的StableDyn3
Sability的這一舉措不單單是我們這些用戶感到開心
更重要的是點燃了整個StableDyn開源社區開發者的創作熱情
相信很快圍繞StableDyn3展開的一系列插件模型就會紛紛湧現市場
期待StableDyn3的生態早日成熟
也希望Sability在開源的道路上越走越好
好了以上就是本期視頻的全部內容
如果覺得視頻還不錯的話
請不要吝嗇你們的小愛心
記得點贊收藏一下啦
感謝大家的三連
我們下期再見
拜拜
