AI杀疯了,NovelAI开源教程

2022年10月22日09:42:41 3 3,448 °C
摘要

AI作画,NovelAI开源教程

大家好,我是 Jack。

如果说 2021 年是“元宇宙”的元年,那么 2022 年或许就是“AI作画”的元年。

最近,“AI作画”的作品越来越多,掀起了一股热潮。比如之前在美国科罗拉多州博览会的艺术比赛中获得了第一名的作品,就是 AI 所作。

AI杀疯了,NovelAI开源教程

空间歌剧院(Thétre D'opéra Spatial)

AI杀疯了,NovelAI开源教程

基于Midjourney生成的图像

想像一下:输入各种风格、主题、氛围的关键词,然后 AI 就会生成符合要求的作品,仿佛艺术就是一件“触手可及”的事情。

而现在,这一切已经成为了现实。

我们一起看下现在 AI 的作画水平。

AI 作品

输入文字关键词描述,AI 直接生成图像作品:

AI杀疯了,NovelAI开源教程 AI杀疯了,NovelAI开源教程 AI杀疯了,NovelAI开源教程

输入真实场景图片,图片二次元化:

AI杀疯了,NovelAI开源教程 AI杀疯了,NovelAI开源教程

这种算法,不是检索,检索网络上已有的作品,而完全地重新创作

看到这里可能做绘画的一些小伙伴会说:

糟糕,这回我失业了!

其实,我个人认为会用 AI 工具的画师,反而会所向披靡,在画师的手里,AI 就像被驯化的超级战马,会为我们带来更多惊艳的作品。

这类 AI 工具会促生“新的行业”,完全没必要抗拒。

不过,AI 画作的版权确实是个问题,人类画家和 AI 作画其实都是一个学习的过程,参考了很多先人的作品,但不同的是人类画家会说明自己的灵感来自于哪里,参考了谁的风格,但是 AI 目前不会。

NovelAI

国外相继也推出了各种各样的产品,比如比较出名的 NovelAI,上述的 AI 作品都是通过 NovelAI 生成的。

NovelAI 的模型训练使用了数千个网站的数十亿张图片,包括 Pixiv、Twitter、DeviantArt、Tumblr 等网站的作品。

NovelAI 是一个收费的网站:

AI杀疯了,NovelAI开源教程

后来 NovelAI 的模型被指泄漏了出来,采用的就是一些 stable diffusion 模型。

也就是说,我们可以本地搭建这个服务了。

Stable Diffusion web UI

使用 Stable Diffusion web UI 开源项目,即可搭建。

AI杀疯了,NovelAI开源教程

这里简单说下搭建流程:

1、下载代码:

2、创建 Anaconda 虚拟环境:

安装 3.10.6 是因为开源代码仓库说明的是推荐 3.10.6。

3、激活 conda 虚拟环境:

4、根据显卡驱动安装 GPU 版本的 Pytorch:

直接使用官网的命令安装,打开网页:

https://pytorch.org/get-started/locally/

根据自己的环境选择安装指令:

AI杀疯了,NovelAI开源教程

5、第三方库依赖安装:

进入项目根目录,然后作者注明的第三方依赖库。

6、下载模型文件:

NovelAI 的模型训练文件泄漏出来了,我直接放到网盘分享出来了。

权重下载链接(提取码:jack ):

https://pan.baidu.com/s/1BJ-5Zo7FnCxh7ezJtYEqIg?pwd=jack

将模型文件解压缩放到 models 目录下,

在 models/Stable-diffusion 里,可以看到这几个文件:

AI杀疯了,NovelAI开源教程

7、运行 Web UI

第一次运行,这个过程中也会下载一些依赖库和权重文件,耐心等待即可。

AI杀疯了,NovelAI开源教程

看到 local URL 表明开启完成,直接打开这个本地连接。

然后你就能看到这个页面了:

AI杀疯了,NovelAI开源教程

8、效果测试:

Prompt 输入:

masterpiece, best quality,obliques , 1girl, magic, vivid, looking at viewer, from above, black hair, black eyes, floating, flowing dress, {{{{intricate red dress}}}}, hibiscus flowers, d:, cleavage

Negative prompt 输入:

nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,

steps、图片尺寸、CFG Scale 设置跟我一样,随机种子 Seed 设为:815804347。

点击 Generate 生成,你就能得到这样的结果:

AI杀疯了,NovelAI开源教程

如果对环境搭建有问题,可以参考我之前的几个教程:

一劳永逸的 Python 开发环境搭建

Pytorch深度学习实战教程(一):语义分割基础与环境搭建

或者看我之前发布过的一期环境搭建视频教程

https://www.bilibili.com/video/BV14R4y1g7qs/

絮叨

其实高级玩法还有很多,比如使用 Textual Inversion 用某个人的图片集(30张左右),训练一个小模型,记录这个特征,然后进行多特征融合(写在 Prompt 描述里)。

就能生成像某个人的写实一些游戏风格作品。

AI杀疯了,NovelAI开源教程 AI杀疯了,NovelAI开源教程 AI杀疯了,NovelAI开源教程

还可以使用 img2img 进行风格、背景的替换等。

这些都可以使用 Stable Diffusion web UI 实现。

如果大家这些内容感兴趣,欢迎点个在看,喜欢的人多的话,我这周末就肝一期视频教程

详细讲述,环境搭建 + Stable Diffusion web UI 使用技巧 + 各种玩法。

风险提示:

1、不要将 Stable Diffusion web UI 服务部署到公网服务器上,项目有漏洞,机器会被劫持;

2、不建议使用 naifu 版本,封装较多,容易被动手脚。建议使用开源的 Stable Diffusion web UI。

3、我的模型,我跑过,没问题。但不要随便下载网络上的其它开源模型,有反序列化攻击风险。

好了,今天就聊这么多吧。

我是 Jack,我们下期见~

weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:3   其中:访客  2   博主  1

    • avatar MAT_ 来自天朝的朋友 谷歌浏览器 Mac OS X Lion 10_15_7 中国 移动 2

      大佬在os系统上操作的吗?还有大佬是在公司操作的吧..好多部分git clone会连接不到断掉

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X Lion 10_15_7 北京市 联通

          @MAT_ 看我最喜的文章吧,视频里分享了一键安装打包,我是在家电脑配置的,windows

        • avatar mackj 来自天朝的朋友 谷歌浏览器 Windows 10 云南省昆明市 移动 1

          我感觉是把训练的图片拆分,然后根据语境拼接上去,调整下缝合度这些