终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

2024年9月19日15:12:17 发表评论 768 °C
摘要

全新开源图像生成器FLUX,保姆级教程!

FLUX 是一个开源的全新的图像生成器,可以生成逼真的超现实图像,人们称它为 Midjourney 的终结者,下一代 Stable Diffusion 的替代品。

终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

FLUX究竟强大到什么程度?外网到现在为止,都还有抵制它的声音。

终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

Google DeepMind 团队甚至在本月还发布了一篇研究人们如何滥用生成式 AI 的论文。令人震惊的是,所谓极具亲密性的图像、小黄片,这都不是首要的问题,真正危险的地方在于假冒他人身份。

而这,正是 FLUX 非常擅长的地方。终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

那么这篇文章将会带你手把手从零开始运行这个“危险”的 AI 工具,如何用自定义的数据集微调模型,训练想要的 Lora,并将结果转换成视频,生成你想要的内容。
提前声明,建议显存大于 12GB,如果本地性能不足,可以使用云服务器直接体验。
如果想本地搭建,可以见本文的第二部分。

OpenBayes 训练

那么,如果你的机器显存不足,我们可以直接白嫖 OpenBayes 云服务器的算力!能白嫖体验 4 小时 4090 。目前还有开学季特惠活动,单笔充值金额满 19.9 元就能参与中奖率 100% 的抽奖,以及充值返现活动。

OpenBayes 支持环境一键克隆,用起来很方便,注册链接:

https://openbayes.com/console/signup?r=JackCuiAI_R3mZ

用这个链接注册,可以获得 4 小时 RTX 4090 + 5 小时 CPU 免费使用时长。

首先注册好账号后,先完成实名认证,账号只有经过实名认证才能使用 API 地址功能。

在官网的首页的侧边栏,点击公共教程
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

在公共教程里搜索 FLUX,选择支持 Lora 训练的这个,这是我为大家准备好的一键镜像。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

也可以直接使用下方的链接,打开项目:

https://go.openbayes.com/cAPks

点击克隆,选择算力,这里用默认的 4090 显卡就行,点击审核并执行。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

这里显示正在分配资源,就说明服务正在部署,我们稍等片刻。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

等待这里变成运行中,表明服务部署完成了。鼠标悬浮到API地址上,就可以看到地址了。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!
打开这里的 API 地址,就能看到 FLUX 的服务了。打开 API,我们可以选择加载哪个工作流,如果想跑黑神话悟空的,那就选择 Wukong,然后点击添加提示词队列就能运行了。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

绿的框框代表运行到的位置,第一次运行会慢一些,因为需要加载模型,直到运行到最后一个节点,就能看到预览图像了。第二次运行会快很多,因为涉及到的模型已经加载到了显存中。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

TED 真人演讲工作流运行方法也一样。另外如果想要在图片中生成文本内容,可以参考 3mm4w 这个工作流。

想要训练 Lora,在项目页面打开工作空间。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

在工作目录里找到train.sh这个文件。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

开启命令行窗口,使用sh train.sh运行文件。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

稍等片刻后,可以看到加载出的public URL,进入即可看到 FLUX Lora 的 WebUI 页面。

我们还是以川普为例,先输入名字:
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

上传十张他的图片,耐心等待一会。这里的图片尽量是人物的正脸照片,人脸比例最好大些,且分辨率要尽可能的高。等到页面变成这样,说明上传成功了。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

这里我们需要写每个图片对应的文本表述,比如穿着西装系着蓝色领带的帅气大男孩。注意,得用英文。如果嫌麻烦,这里也有 AI 能够一键生成描述。只需要点击一下,稍等片刻,每张图片对应的文本描述就做好了。

对于 AI 描述不准确的地方,可以手动修改。
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

最后,点击开始训练的按钮。再等待几分钟,就能看到这个训练的进度条,一共训练 1000 轮次,可以通过进度条查看现在训练到了第几轮。如果你使用的是 RTX4090,大概 40 分钟能够训练完一个 Lora 模型。 终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

当出现如图的字样时,说明训练完成了。 终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

此时在 ai-toolkit 目录下的 output 文件夹里能看到训练好的模型,在 samples 里还有生成的图片,这个效果不错的话,就表明模型训练完成了。

终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

训练好模型之后,我们关掉这个训练服务,释放 GPU 资源,要不然会一直占用显存,然后重启 ComfyUI,具体步骤:

1、运行「Ctrl+C」停掉训练服务

2、运行「sh copy.sh」命令

3、运行「sh dependencies.sh」命令

4、等待 1 分钟之后,重新打开 API 地址即可

最后,在 LoRA 加载器里选择新训练好的模型,即可使用了:
终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

本文对应的视频教学:

https://www.bilibili.com/video/BV1xSpKeVEeM

FLUX LoRA 训练工具:

https://github.com/ostris/ai-toolkit

OpenBayes 平台专属注册链接:

https://openbayes.com/console/signup?r=JackCuiAI_R3mZ

本地搭建流程

最后,讲解下本地搭建流程:

环境要求:

  • Python,版本大于3.10
  • Nvidia GPU,显存大于 12GB
  • Python 虚拟环境(venv)
  • Git

安装步骤

如果你是Windows系统,可以参考以下流程:

如果你是Linux系统,可以参考以下流程:

根据以上步骤,你已经可以在本地搭建好一个运行 FLUX 的环境了!当然,想要使用的话,在安装完 ai-toolkit 后,你还需要一些操作,以下是本地通过 Gradio UI 进行训练的步骤:

  • 进入项目目录 cd ai-toolkit。
  • 登录 Hugging Face,使用 write 权限的 Token huggingface-cli login
  • 启动自定义 UI 进行训练 python flux_train_ui.py

该 UI 会让你上传图片,给图片添加标题,并训练和发布你的 LoRA 图像模型。更多的本机配置方法及细节,可以参考官方 Github 的文档。

https://github.com/ostris/ai-toolkit

那么本期的内容就是这么多,感兴趣的小伙伴欢迎体验!

weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: