Flux最近收到了很多模型爱好者的好评,出图质量超越SD3和MJ,许多人说Flux才是大家心目中的SD3,所以我也是非常好奇FLux的实力,顺便把安装的过程分享给大家
官网参考图:
Flux官网首页:https://blackforestlabs.ai/
人工智能初创公司 Black Forest Labs成立公司并发布其首套文本转图像人工智能模型 FLUX.1。这家总部位于德国的公司由开发Stable Diffusion的研究人员创立,旨在为图像和视频创建先进的生成式人工智能。
模型一共分三款,包含pro版、dev版、schnell版。
Black Forest 的图表声称其 Pro 和 Dev 模型是迄今为止最好的图像生成器,而其功能较弱的 Schnell 排名介于 Midjourney v5 和 Ideogram 之间。
这三个版本说明:
- Pro版本效果最好,但是闭源,API收费的。
- Dev版本开源但是不可商用,至少需要24G显存运行。
- Schnell版本开源可商用
如果你想要在线体验,也有在线的网站:
schnell :https://replicate.com/black-forest-labs/flux-schnell
dev:https://replicate.com/black-forest-labs/flux-dev
pro:https://replicate.com/black-forest-labs/flux-pro
本地部署
目前ComfyUI最新版本已经兼容FLux模型了, 只需内核升级到最新即可体验。
所以我们首先把ComfyUI给更新了
如果你用的是官方的comfyUI整合包就点这个更新
如果你用的是秋叶的启动器就按下图示例更新内核
显存太低的人本地估计运行很可能,我本地电脑配置还行,这里体验下schnell版本。
下载大模型:https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
该链接提供了23.8g的大模型和335MB的Vae模型,我们需要把这两个都下载
- 下载完成后将大模型放在:ComfyUI/models/unet/ 文件夹中。
- VAE应该放在您的 ComfyUI/models/vae/ 文件夹中。
如果电脑配置一般的可以下载Flux-fp8精简版,只有11.9GB:https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
Vae还是通用的ae.sft
我们除了大模型和Vae还需要下载Clip模型:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
这其实就是SD3的Clip模型,配置好我们选择fp16,配置一般我们选择fp8,clip_l是一定要下载的
下载完我们放在:ComfyUI\models\clip 该文件夹内
以上的大模型,VAE,Clip都安装完成后我们就可以运行我们的工作流了,官网提供了一个简易的comfyUI工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/
我们把官网提供的图片保存下来
再把图片拖进ComfyUI中即可,进入工作流我们确保模型加载没问题就可以点击加入队列等待生成了。
生图效果
提示词1:a bottle with a rainbow galaxy inside it on top of a wooden table on a table in the middle of a modern kitchen
总结
整体来说,测试下来效果还是很不错的,FLUX 比 SD3 强。
- 手部生成比较稳定,较少出现手脚畸形。
- 蒸馏版出图速度快, 30 秒内即可完成。 Dev版虽然出图比较久但是出图质量更好。
- 模型兼容性强:无论是二次元、人像、写实、还是风景风格,效果都很好。