一个令人惊艳的新项目,SVD开源了!

2023年11月24日13:43:12 1 739 °C
摘要

stable video diffusion很强!

大家好,我是 Jack。

对于 Stable Diffusion,想必我的读者朋友们对此都不陌生。

自 Stability AI 公司发布 SD(全称:Stable Diffusion) 以来,受到了很多人的喜爱。

一个令人惊艳的新项目,SVD开源了!

随后技术升级,又发布了 SDXL,名字很有喜感,XL、XXL、XXXL...

一个令人惊艳的新项目,SVD开源了!

顾名思义,SDXL 就是 SD 的升级版,图片生成的效果更好、更逼真、分辨率更高!

图片领域做得不错了,Stability AI 再次发力,昨天又发布了 Stable Video Diffusion。

一个令人惊艳的新项目,SVD开源了!

也就是说,通过一句话描述,现在不仅可以生成图片,还可以生成视频了。

举几个例子。

输入:火箭升天

AI 算法直接生成对应的视频:

一个令人惊艳的新项目,SVD开源了!

输入:太空中转动的地球。

AI 算法直接生成对应的视频:

一个令人惊艳的新项目,SVD开源了!

看下更多的例子:

一个令人惊艳的新项目,SVD开源了!

是不是效果还不错?Stability AI 把 Stable Video Diffusion 也开源了!

Stable Video Diffusion

一共开源了两个模型:

SVD:能够生成帧率 14、分辨率 576x1024 的视频;

SVD-XT:SVD 的 finetune 升级版,分辨率不变,但能够生成帧率 25 的视频;

前排提醒: 想要本地跑 Stable Video Diffusion,显存得 20G 左右。

1、下载代码库

2、配置 Python 环境

由于第三方依赖库的要求,Python 需要至少是 3.10 版本以上。

推荐使用 conda 新建一个环境。

激活环境,并安装相应的依赖。

最后再安装 sgm,直接在项目根目录运行即可。

如果想要训练模型,还需要安装 sdata,我这里就不说了,毕竟跟我一样训练不起的,应该占绝绝绝绝大多数。

3、模型下载

SVD 模型下载地址:

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

SVD-XT 模型下载地址:

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

下载好模型后,将模型放到 checkpoints 目录下。

4、运行算法

可以使用 streamlit 运行:

好了,今天就聊这么多吧。

我是 Jack,我们下期见!

weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  1   博主  0

    • avatar 西瓜 来自天朝的朋友 谷歌浏览器 Windows 10 安徽省合肥市 联通 0

      666,试一下