又火三个惊艳的AI项目,已开源!

2024年9月25日22:49:03 发表评论 72 °C
摘要

开源项目FluxMusic、StoryMaker、LVCD介绍

大家好,今天继续给大家分享一下科技圈最近发生的那些事儿。

一、FluxMusic

在生活中,大大小小的事时常发生,你有没有设想过给自己的生活配个BGM?

例如,生活之余和家人朋友牌桌对拼时,会不会幻想“赌神”的音乐在你出牌时响起?在漆黑的夜里疾驰归家时,会不会突感中二,想象自己是「秋名山车神」,脑海里有《头文字D》的音乐在涌动?

又火三个惊艳的AI项目,已开源!

那么,有没有可能有这样一款应用,可以根据你简单的一句话想法,帮你生成相应风格的音乐呢?

FluxMusic 是一项基于变换器扩展的音乐生成项目。专注于文本到音乐的生成。

又火三个惊艳的AI项目,已开源!

FluxMusic 的原理基于校正流变换器(Rectified Flow Transformers),其核心是将文本描述转化为音乐的生成过程,主要分为以下几个步骤:

  • 文本和音乐模态的结合:FluxMusic 利用预训练的文本编码器(如T5-XXL 和CLAP-L)提取文本的粗粒度和细粒度特征,将这些文本特征与音乐的mel谱图(mel-spectrogram)结合。粗粒度的文本信息用于调制生成过程,细粒度的文本特征与音乐补丁序列一起作为输入,用于音乐生成。
  • 双流和单流结构:模型首先将文本和音乐数据输入双流模块,在此阶段,文本和音乐作为独立的模态进行处理,并通过注意力机制在两者之间交换信息。接着,模型进入单流阶段,文本流被移除,仅保留音乐流用于生成过程中的噪声预测。
  • 潜在空间的噪声预测:模型在潜在的VAE空间中进行噪声预测,通过训练模型在从噪声到数据的转换路径中进行预测。校正流(Rectified Flow)方法使得数据和噪声之间沿着线性路径连接,从而提高生成效率和模型性能。
  • 生成和重建:通过变换器和校正流模型的共同作用,生成潜在空间中的mel谱图,然后利用预训练的Hifi-GAN将生成的mel谱图还原为可听的音频。

光是想想,这个项目的潜能就超级大。

作为辅助工具,音乐家可以通过简单的文本描述快速生成符合需求的音乐片段,用于灵感激发或为特定项目(如影视、广告)提供背景音乐。或者,在心理健康应用中,用户可以根据自己的情绪状态或需求(如“需要平静的音乐来放松”)生成个性化的放松音乐。你甚至可以将这些几乎独一无二的音乐保存下来,比起寻求专业团队的帮助,这是不是一种性价比超高的“私人定制”呢?

作者团队提供了超多的训练集可供选择:

又火三个惊艳的AI项目,已开源!

那么,如果给自己现在的生活配上一个 BGM,你会用哪一首歌呢?如果你始终无法找到能描述当下的音乐,不妨让 FluxMusic 帮你创作属于你的专属旋律吧!

项目地址:

https://github.com/feizc/fluxmusic

二、StoryMaker

StoryMaker 是一种个性化解决方案,它不仅保留了面部的一致性,还保留了多角色场景中的服装、发型和身体,从而有可能制作出由一系列图像组成的故事。

总的来说就是,提供几张饱含信息量的照片,StoryMaker 可以帮你构造出一个由这些图像组成的虚拟小故事。该项目基于变换器和扩散模型,通过利用多轮推理和特征一致性机制,确保生成的图像中的角色在不同场景和姿势下保持一致。

例如,仅仅给出一张照片,我们就可以让 StoryMaker 创造出照片中的人物在不同场景下的样子。

又火三个惊艳的AI项目,已开源!

哈哈,或许平日里总是一丝不苟的人,在 StoryMaker 的创作下也有你没见过的一面呢!或者,我们有没有可能让两个本毫无关联的人,出现在同一个故事,或是同一张照片里呢?

又火三个惊艳的AI项目,已开源!

当然,可以。只需要提供两张照片,项目便可以将两张照片中的人物进行关联,创造出一系列新照片。这下 CP 粉们狂喜了,平日里几乎毫无交流或接触的两个谁谁,在一起是什么样子?画面太美,我不敢看。还是交给 StoryMaker 自由发挥吧!

如果你对这个项目感兴趣,可以直接进入项目的主页看看教程。

项目地址:

https://github.com/RedAIGC/StoryMaker

三、LVCD

今天的最后一个项目 LVCD,是一种基于参考图像的线稿视频上色系统。

给出一个原色参考的静态图片,再给出视频图像的线稿,LVCD 会学习配色风格,直接生成效果超棒的新视频。例如,我们可以看到“再上色”版本的《幽灵公主》和《大鱼》。

又火三个惊艳的AI项目,已开源!

又火三个惊艳的AI项目,已开源!

怎么样,如果你看过原片,是不是觉得毫无违和感?仅仅和给出的参考图像做比较,生成视频的画风,已经和预期的原片风格差不多了。

又火三个惊艳的AI项目,已开源!

项目通过参考帧,为线稿生成长时间、时序一致的动画视频。其中包含几个关键的模块:

  • Sketch-guided ControlNet:这是一个用于引导生成的模块,结合了线稿和参考图像来为动画添加颜色。它通过对输入线稿进行特征提取,帮助模型生成符合线稿结构的图像。
  • Reference Attention:这个模块用于将参考帧中的颜色信息传递给后续帧,特别适用于处理大幅度的动作。它通过全局注意力机制实现远距离的颜色匹配。
  • Overlapped Blending Module:这个模块在视频段之间使用重叠帧来避免累积误差,确保长时间视频生成的一致性。
  • Prev-Reference Attention:这个模块进一步加强了重叠帧之间的时序关联,确保生成帧在较远的时间点上依然能保持内容一致性。

又火三个惊艳的AI项目,已开源!

依靠这个项目背后的技术,对于动漫工作者来说,是否可以大幅减轻工作量呢?提供线稿和风格参考图就可以生成一段效果不错的动画,如果能大规模应用,想必更多优秀的作品会更快面世。

不过这个项目目前还没有开源,可以期待一下。

项目地址:

https://luckyhzt.github.io/lvcd

好了,本期的内容就是这么多,我们下期再见。

weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: