心中无码便是高清,马赛克“脑补”算法 PULSE

2020年7月3日08:17:37 8 453 °C
摘要

PULSE 算法,“去除”人脸马赛克,“脑补”高分辨率图片。

心中无码便是高清,马赛克“脑补”算法 PULSE

本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录,有技术干货文章,整理的学习资料,一线大厂面试经验分享等,欢迎 Star 和 完善。

一、万恶马赛克

万恶的马赛克,是阻碍人类进步的绊脚石。

马赛克“脑补”算法 PULSE,助你图片模糊高清

心中无码便是高清,马赛克“脑补”算法 PULSE

这是杜克大学近期的一项研究,将模糊人脸秒变高清。

心中无码便是高清,马赛克“脑补”算法 PULSE

PULSE 算法目前只支持人脸的马赛克“去除”,因为训练数据都是人脸。

也就是说,“脑补”其它物体马赛克下的内容也是可以的,只要你有数据!

我知道,你一定又有了一些大胆的想法

「 Just do it 」 !

心中无码便是高清,马赛克“脑补”算法 PULSE

今天,继续手把手教学

算法原理、环境搭建、效果测试,一条龙服务,尽在下文!

二、算法原理

PULSE 算法可以在几秒内,将 16x16 像素的低分辨率(Low Resolution,以下简称 LR)小图,放大 64 倍,变成 1024 x 1024 像素的高分辨率(High Resolution,以下简称 HR)图像。

PULSE 算法会「脑补」出 LR 图像一些不存在的特征,补充细节,例如纹理、毛孔、毛发等:

心中无码便是高清,马赛克“脑补”算法 PULSE

左图为原始 LR 图片,右图为 PULSE 算法生成的 HR 图片。

PULSE 算法的思路是,拿到一张 LR 图片,使用 stylegan 生成 HR 图片,再将 HR 图片 downscale 得到的 LR 图片与原始 LR 图片对比,一直迭代收敛,找到最接近的那张。如下图所示:

心中无码便是高清,马赛克“脑补”算法 PULSE

原始 LR 图片和 PULSE 修复后再 donwscale 的 LR 图片对,使两者最接近的 HR 图片,就是修复得到的 HR 图片。

该算法在著名的高分辨率人脸数据集 CelebA HQ 上进行了效果评估,用 64×,32× 和 8× 的比例因子,采用不同的算法,进行了对比实验。

实验表明,PULSE 算法的效果最佳,得分几乎与真实的高质量照片一样高

心中无码便是高清,马赛克“脑补”算法 PULSE

通过上图,可以清晰地看到,PULSE 算法在人脸不同位置的纹理细节。

不过 PULSE 算法也有一定的局限性,它无法将失焦、不能识别的人脸照片,变成照片真人的清晰图像,它仅会生成不存在但看上去很真实的新面孔

说白了,PULSE 生成的高清图片,是「脑补」出来的,与真实的人脸照片可能存在差别。

三、环境搭建

PULSE 算法采用 Pytorch 实现,使用了 dlib 人脸库的一些 API。

项目地址:https://github.com/adamian98/pulse

环境搭建不复杂,工程里的 pulse.yml 文件,已经写明了依赖环境。

直接使用 pulse.yml 文件,用 Anaconda 进行环境配置。

修改 pulse.yml 文件中 prefix 的路径为你的 Anaconda 路径,然后使用指令创建环境:

这是官方推荐的方法。亲测,依然遇到了一些依赖问题。

最后一个一个依赖包安装才解决,所以我建议是使用 Anaconda 通过第三方库的包名安装,不用管版本啥的,例如:

libcxx、libedit 等这类的 lib 库不用安装,Anaconda 在创建 Python 环境的时候已经安装好了。

这里面稍微难安装的就是 dlib,dlib 需要使用 cmake 进行编译,所以需要先安装好 cmake,这里使用 pip 安装即可:

都搞定了,环境就算搭建完成了。

四、效果测试

PULSE 项目地址:https://github.com/adamian98/pulse

下载项目到本地:

项目提供了 pretrained model ,模型放在了 Google Drive ,不能翻墙的无法下载。

所以我将模型下载好,上传到了我的百度网盘。

下载地址(提取码:3gpq):

https://pan.baidu.com/s/13NZ8RY8KSogY78xh3gpcJA

在工程目录,创建 cache、realpics 两个文件夹,将下载好的三个文件放到 cache 文件夹内。

然后将下图放到 realpics 文件夹内,我们以此图为例,进行测试。

心中无码便是高清,马赛克“脑补”算法 PULSE

图片下载地址:https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-6.jpg

首先,我们使用 align_face.py 对图片 downscale。

程序使用 dlib 检测人脸框,并对检测到的人脸进行降低分辨率处理,默认降低为 32x32 分辨率的图片。

生成的图片会放到 input 文件夹内,如果将图片放大到 1024x1024,就是相当于一张布满马赛克的图片。

心中无码便是高清,马赛克“脑补”算法 PULSE

有了这张 LR 图片,也就是低分辨率图片,使用 PULSE 算法,看下「脑补」效果吧!

运行 run.py ,迭代 2000 steps,在 runs 文件夹下就会生成“去除”马赛克后的「脑补」图。

心中无码便是高清,马赛克“脑补”算法 PULSE

「脑补」图跟原图还是有些神似的!

五、争议

我们都知道,今年 5 月 25 日美国的「跪杀黑人」事件。

心中无码便是高清,马赛克“脑补”算法 PULSE

由此引发了美国有史以来,最大规模的游行抗议。

心中无码便是高清,马赛克“脑补”算法 PULSE

6 月份,吃“美国瓜”的人应该不在少数,比如我就在 YouTube 上吃了一个月的瓜。

每个国家都有自己的敏感话题

而美国,现在的敏感话题就是「种族歧视」。

PULSE 算法惹了大麻烦。

PULSE 采用 CelebA-HQ 训练的模型,数据集都是白人,因此算法「脑补」出的也都是白人脸

这在如今高喊「黑命贵」的美国,无疑是一股扎眼的“逆流”。

有网友就拿奥巴马的低分辨率照片进行测试,结果生成的都是白人男性,更加坐实了 PULSE 算法的「种族歧视」罪名。

心中无码便是高清,马赛克“脑补”算法 PULSE

PULSE 算法,以及相关的研究人员,因此被打上了「种族偏见」的标签。

甚至深度学习领军人物 LeCun 因为替 PULSE 说话,也不幸躺枪。

我倒是在想,以后美国科研的数据集是不是也得像美国电影一样,一部剧必须得有黑人演员才行,否则就算「政治不正确」。

扛着「政治正确」大旗的人们“口诛笔伐”异己,欲加之罪,何患无辞。

技术,有罪吗?

六、最后

  • PULSE 算法对于非数据集的数据,「脑补」效果一般。
  • 想用 PULSE 算法,“去除”人脸以外的马赛克图,需要建立数据集,重新训练模型。

心中无码便是高清,马赛克“脑补”算法 PULSE

weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:8   其中:访客  4   博主  4

    • avatar Vince_94 来自天朝的朋友 谷歌浏览器 Windows 8.1 贵州省贵阳市 电信 1

      美国的zzzq已经到了神经质的地步,花木兰的爹都硬生生变成黑人了 :arrow:
      从这一现象来看,键盘侠并不只是存在于大天朝,鬼佬敲起键盘来更吓人

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

          @Vince_94 哈哈,键盘侠无国界~

        • avatar 养猪道人 来自天朝的朋友 谷歌浏览器 Windows 10 广东省珠海市 联通 0

          请问下博主,有没得办法,自己训练个亚洲人用的模型,如果可行,劳驾指点迷津。谢谢!

            • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

              @养猪道人 完全可以,就看数据集规模了。

            • avatar dahans2145 来自天朝的朋友 谷歌浏览器 Windows 10 山东省济南市 联通 0

              python align_face.py 执行这句话,报torch不存在

              • avatar csq 来自天朝的朋友 火狐浏览器 Ubuntu Linux 甘肃省兰州市 兰州大学 0

                请问运行python run.py 出现这个错误
                forward() missing 1 required positional argument: “ref_im”

                  • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器  Android 10 Redmi K20 Pro Build/QKQ1.190825.002 北京市 电信

                    @csq 这个你是没数据吧?