大家好,我是 Jack。
很久没给大家推荐一些,有趣好玩的 AI 项目了。
最近,能明显的感受到,一些 AI 相关的算法,更新变缓了。
今天给大家带来几个,最新开源的,比较火的 AI 项目,感兴趣的可以动手学习一番。
1、Real-ESRGAN
超分辨率重建算法。
简单来讲,就是让图片变的更清晰,相对于曾经火爆过的Waifu2x,它的效果又有了明显的提升。
这个算法不仅适合二次元的场景,真实场景也能覆盖。
喜欢的经典老番,经典电视剧,都可以用Real-ESRGAN去修复一下。
然后在 B 站发个高清重制版,天啊,发家致富了。
最新的 iphone 13 pro 真机测评大家看了吗?
录像过程中的电影模式,就用到了一些 AI 算法,例如人脸检测、图像分割等,用来捕获人脸主体和虚化背景等。
这类的图像去噪,分辨率提升的算法,也可以在一些手机场景应用。
Real-ESRGAN提升图像分辨率,感兴趣的,可以试一试。
项目地址:
https://github.com/xinntao/Real-ESRGAN
2、StyleCariGAN
你想拥有一个自己的卡通头像吗?
StyleCariGAN为你一键生成。
输入一副图片,这个 AI 算法,为你生成一个漫画风格的头像。
它是基于StyleGAN的一种算法,老读者应该对它并不陌生,基于它的算法,我写过不少:
StyleCariGAN训练也并不复杂,难点在于要有成对的数据集,即照片和对应的漫画。
如果有作画实力,完全可以按照自己喜欢的风格,画个上万组的作品,然后训练模型。
在淘宝再开个小店,为他人生成卡通头像。
天,每天一个发家小技巧。
项目地址:
https://github.com/wonjongg/StyleCariGAN
3、RVM
实时人像抠图算法,Robust Video Matting号称强过MODNet。
MODNet应该也都不陌生,我之前出过技术教程:
不同于现有神经网络将每一帧作为单独图片处理,RVM 使用循环神经网络,在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。
在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。
该算法,之前开源又删了,后来更新了开源协议,重新发布。
感兴趣的,可以去测试测试。
项目地址:
https://github.com/PeterL1n/RobustVideoMatting
总结
就介绍这么多吧,最近太忙,图解 AI 算法系列断更有一阵子了。
打算利用国庆的时间,肝出一期,上点硬核干货。
我是 Jack,我们下期见~
2021年9月30日 上午8:28 沙发
在看,
2021年10月22日 下午3:59 板凳
崔哥,想了解一下您一般是如何关注这些最新的学术动态的。
2021年12月13日 下午12:43 地板
您好,能讲解一下这个项目怎么配置环境吗,作者没有说明白:https://hub.fastgit.org/zyainfal/One-Shot-Face-Swapping-on-Megapixels/blob/main/inference/README.md 。而且要达到两张图片之间运行好像要修改代码?修改思路https://hub.fastgit.org/zyainfal/One-Shot-Face-Swapping-on-Megapixels/issues/26。如果您愿意讲解可以发送邮件给我,期待您的回复。
当然如果您有兴趣可以把类似项目做成专题,SIMSWAP,FaceShifter,效果都挺不错。HifiFace非官方实现测试效果不太行,但感觉论文效果很好。fsgan和其他的六个项目的测试预览,都比不上,而且对显存要求很高我还没找到地方修改,而且colab运行也有错误,我就放弃了。还有三个只发布了论文的项目Cihanet ,FaceController ,FaceInpainter。如果做一期算法原理比较,应该很有深度。
第一段为所求,第二段是建议,后两段是分享。
可以考虑做一期人脸增强,GPEN、GFPGAN、PsfrGAN。其中REAL-ESRGAN现在有集成GFPGAN。我是觉得不对比还好,对比GPEN好像锐度不够而且人脸有斑点,GFPGAN人脸有对比锐利过头。psfrGAN昨天搭环境运行dlib 导入DLL 错误,还没有测试。
https://hub.fastgit.org/yangxy/GPEN
https://hub.fastgit.org/TencentARC/GFPGAN
https://hub.fastgit.org/chaofengc/PSFRGAN
另外分享的是animegan2-pytorch 他比原作者算法animegan2,增加了人脸插画头像模型,测试过效果特别好。
https://hub.fastgit.org/bryandlee/animegan2-pytorch