大家好，我是 Jack。
对于 Stable Diffusion，想必我的读者朋友们对此都不陌生。
自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。
随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL...
顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！
图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。
也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。
举几个例子。
输入：火箭升天
AI 算法直接生成对应的视频：
输入：太空中转动的地球。
AI 算法直接生成对应的视频：
看下更多的例子：
是不是效果还不错？Stability AI 把 Stable Video Diffusion 也开源了！
Stable Video Diffusion
一共开源了两个模型：
SVD：能够生成帧率 14、分辨率 576x1024 的视频；
SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；
前排提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。
1、下载代码库
1 2 | git clone git@github.com:Stability-AI/generative-models.git cd generative-models |
2、配置 Python 环境
由于第三方依赖库的要求，Python 需要至少是 3.10 版本以上。
推荐使用 conda 新建一个环境。
1 | conda create -n py310 python==3.10 |
激活环境，并安装相应的依赖。
1 2 | conda activate py310 python -m pip install -r requirements/pt2.txt |
最后再安装 sgm，直接在项目根目录运行即可。
1 | python -m pip install . |
如果想要训练模型，还需要安装 sdata，我这里就不说了，毕竟跟我一样训练不起的，应该占绝绝绝绝大多数。
3、模型下载
SVD 模型下载地址：
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid
SVD-XT 模型下载地址：
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt
下载好模型后，将模型放到 checkpoints 目录下。
4、运行算法
可以使用 streamlit 运行：
1 | streamlit run scripts/demo/video_sampling.py --server.port <your_port> |
好了，今天就聊这么多吧。
我是 Jack，我们下期见！
2023年12月14日 下午10:38 沙发
666，试一下