程序员欢乐送(第40期)

2019年10月31日08:30:21 2 322 °C
摘要

程序员欢乐送:DeepFill v2、Few-shot vid2vid、PySlowFast、SinGAN、Gaussian YOLOv3、Photoshop 2020、ClothFlow

程序员欢乐送(第40期)

一直保持的追求有三点:技术、快乐、财富,这里记录每周值得分享的内容,周五把欢乐送达。

技术

1、DeepFill v2

关注过图像修复领域的朋友,一定听说过DeepFill算法。DeepFill v1算法开源已久,是CVPR 2018的一篇佳作。DeepFill v2的论文放出也有一阵子了,但是一直没有开源。

10月27日,作者团队终于在Github放出自己的代码,效果很是惊艳,论文也被收录到了ICCV2019 Oral。

图像修复(Image Inpainting)要解决的问题是在内容缺失的图片上进行填充,填充后的图片尽量自然。例如,左图是原始图片,中间标记想去掉的部分,右图就是去除后的效果。可以看到,去除后的背景纹理也跟着一起修复了。其实,算法就是根据去除区域的背景纹理,对空白区域进行了自然纹理填充。

程序员欢乐送(第40期)

项目地址:点击查看

2、Few-shot vid2vid

GAN在图像生成领域虽然研究十分广泛,然而在视频生成领域却还存在许多问题。主要原因在于生成的视频很难保证前后帧的一致性,容易出现抖动。

vid2vid在pix2pixHD基础上,加入了时序约束,改善了抖动问题,实现了高分辨率的视频生成。

虽然vid2vid合成技术已经取得了显著进展,但依然存在以下两种局限:

其一,现有方法极其需要数据。训练过程中需要大量目标人物或场景的图像;

其二,学习到的模型泛化能力不足。

为了克服这两种局限,英伟达的研究者提出了 Few-shot vid2vid,一种基于小样本的vid2vid算法,该算法可以利用少量的数据,就可以实现视频的合成。

有一些很有趣的玩法,比如,可以让一个雕像,跟随人的节奏跳舞。

程序员欢乐送(第40期)

再比如,让"蒙娜丽莎"跟随人的表情"说话"。

程序员欢乐送(第40期)

至于代码,作者在issues中提到,他们正在等在律师的反馈,得到批准后,代码会很快发布出来。

感兴趣的朋友,可以持续跟进下。

项目地址:点击查看

3、PySlowFast

检测并归类图像中的物体是最广为人知的一个计算机视觉任务,随着ImageNet数据集挑战 而更加流行。不过还有一个令人恼火的问题有待解决:视频理解。

视频理解指的是对视频片段进行分析并进行解读。虽然有一些最新的进展,现代算法还远远达不到人类的理解层次。

FaceBook AI Research何凯明团队提出了SlowFast,一种新颖的方法来分析视频片段的内容。算法采用快慢双通道网络FastPath和SlowPath,FastPath负责捕捉动作信息,SlowPath负责捕捉视觉语义信息,最后在无预训练的情况下,在Kinetics数据集上视频分类准确率达到了79.0%,在AVA action detection数据集上达到了当前最好的28.3mAP。

10月28日,算法的代码也在Github上放出。

程序员欢乐送(第40期)

项目地址:点击查看

4、SinGAN

SinGAN将GAN带入了一个新领域,从单幅自然图像中学习非条件生成模型,它能够捕捉图像的内部块分布信息,生成具有相同视觉内容的高质量、多变的样本。

SinGAN使用多尺度对抗训练方案来跨多个尺度学习图像内部统计信息,可以将其用于生成新的逼真图像样本,该样本在生成新目标和结构的同时保留原始图像块分布。

程序员欢乐送(第40期)

有了SinGAN是不是在一定程度上可以帮你解决训练样本不够,样本不均衡的问题呢?

项目地址:点击查看

5、Gaussian YOLOv3

做过目标检测的,对YOLOv3应该都不陌生,Gaussian YOLOv3就是对YOLOv3的一个改进版本。

Gaussian YOLOv3针对自动驾驶室外场景,通过高斯建模,损失函数重构等方法,改进了YOLOv3算法精度,提高TP并显着降低FP,同时保持实时性。

与YOLOv3相比,改进后的算法在KITTI数据上的mAP提高了3.09。

程序员欢乐送(第40期)

项目地址:点击查看

6、Photoshop 2020

Adobe为Photoshop 2020准备了新的功能,一键抠图。采用用机器学习算法,快速扣取目标,不仅识别精准,还能机智地保留细节。

程序员欢乐送(第40期)

毛发也都能分割的很好,有不太理想的地方,也可以再修修补补。

其实,功能实现的背后,就是用到了类似Deep Image Matting的算法。

Adobe还没有公布该功能的正式发布时间,不过官方表示:快了。

7、ClothFlow

ClothFlow是一个基于外观流的衣服生成模型,主要用于将一个图片中的服装渲染到另外一张图片上,其想要实现的效果是这样的:

程序员欢乐送(第40期)

具体的实现方式,是使用一个级联的特征金字塔网络,估算源服装区域和目标服装区域的几何变换,然后通过多个基于编码器-解码器的生成网络来实现“衣服迁移”。

在论文中,作者也多次提到了这一研究的应用场景:虚拟试衣等服装相关应用。

尤其是在直播场景中,有不少的想象空间。这一技术成熟后,主播可以虚拟换装,省去买衣服的成本和换衣服的时间。而且, 用户也可以根据自己的喜好给主播选穿什么样的衣服。

论文地址:点击查看

快乐

1、来自老父亲的爱

程序员欢乐送(第40期)

2、凭实力单身

程序员欢乐送(第40期)

程序员欢乐送(第40期)

财富

聊聊最近的A股,A股的强势股换了又换,如今轮到了区块链相关企业。

10月24日下午,中共中央政治局就区块链技术发展现状和趋势进行第十八次集体学习。习总书记在主持学习时强调,区块链技术的集成应用在新的技术革新和产业变革中起着重要作用

10月25日,老百姓看到新闻的时候,A股已经停盘。晚上,美股开盘,拥有区块链技术的迅雷一夜之间暴涨107%。

10月28日,A股开盘,新湖中宝、文化长城等拥有区块链技术的公司股票相继涨停。

截止10月31日,文化长城6板,新通联5板,区块链总龙头新湖中宝也是稳稳的缩量4板。涨停梯队看着很完整,但涨停数降至新低14家,跌停增至59家,涨停股连涨率35.71%,连板4家,炸板率46%,短线氛围冰点。

再说说A股大盘,美联储降息,美股再创新高,印度股市也创新高,全世界都在涨,唯独A股全线下挫。

2019年,还剩下2个月。今年的A股,在全球表现不算差,年初来了波气势十足的小涨,人们以为盼着的牛市到来了,结果股市跌宕起伏,震荡到现在。

定投的基金,投了大半年,亏损的日子比盈利的日子多一些,不过整体还好,属于可接受范围,符合预期。

程序员欢乐送(第40期)

500ETF这两天跌了不少,快到了阶段性低位,不过十一月份不确定的因素太多,感兴趣的朋友,可以关注一下,看看大盘走势,再决定是否入场。

最后

本周的程序员欢乐送,到此结束,下周再会。

weinxin
微信公众号
分享技术,乐享生活:Jack Cui公众号每周五推送“程序员欢乐送”系列资讯类文章,欢迎您的关注!
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:2   其中:访客  1   博主  1

    • avatar summer 来自天朝的朋友 谷歌浏览器 Windows 7 江苏省常州市 移动 2

      希望博主能把网站继续做大做强。。喜欢博主的这种对待生活的态度。。希望一直更新下去!!!!支持!!!!

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 联通

          @summer 哈哈,感谢~~