雷锋网AI研习社 AI投研邦 活动 专题 爱搞机
业界人工智能 学术 开发者 智能驾驶 新智驾TV AI+金融科技未来医疗网络安全智慧城市 智慧安防 智慧教育 智慧交通 智慧社区 智慧零售 智慧政务 机器人行业云智能硬件物联网GAIR
人工智能正文
0
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
本文作者：汪思颖 2017-12-06 10:11
导语：视觉 AI IP 输出者：腾讯优图 ICCV 2017 论文
雷锋网(公众号：雷锋网) AI 科技评论按，ICCV（The International Conferenceon Computer Vision）是计算机视觉领域的三大顶级会议之一，腾讯优图实验室在 ICCV 2017 中共投稿 15 篇论文，其中 12 篇被大会录用。录用论文中，被誉为「一键卸妆」的论文 Makeup-Go: Blind Reversion of Portrait Edit 在社会各界引起了强烈反响，引爆社交媒体。另一篇超分辨率的论文 Detail-revealing Deep Video Super- resolution（细节还原深度视频超分辨率）相关技术也已经在 QQ 空间成功落地，各项性能指标均超过谷歌的同类技术。
近日，雷锋网 AI 科技评论邀请到腾讯优图实验室高级研究员沈小勇，他为我们详细介绍了腾讯优图实验室和前面提到的两篇论文：「一键卸妆」（Makeup-Go: Blind Reversion of Portrait Edit）和视频超分辨率（Detail-revealing Deep Video Super- resolution）。
嘉宾简介：沈小勇，腾讯优图实验室高级研究员，浙江大学本科、硕士，香港中文大学博士、博士后。主要研究深度学习在图像视频处理理解中的应用，包括图像增强、分割、物体检测识别、运动与深度估计等，在 CVPR、ICCV、ECCV 等顶级会议和 TPAMI、TOG 等顶级 Journal 上发表论文超过 15 篇。
以下为他的分享内容：
雷锋网的网友们，大家晚上好，非常高兴能在这里进行直播，我今天分享的题目是《视觉 AI IP 输出者：腾讯优图 ICCV 2017 论文》，我是沈小勇，腾讯优图高级研究员，目前在优图主要进行人工智能的技术研究及开发工作。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
这是我的个人主页，我本科和研究生就读于浙江大学，博士就读于香港中文大学。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是对腾讯优图的简介，我们主要立足于人脸识别、图像识别、音频识别三个方面的研究。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是优图在基础研究、平台数据以及业务场景三方面融合的生态。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
这是优图实验室2017年最新的技术突破。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
今天我重点要跟大家分享的是腾讯优图在 ICCV 2017 上发表的其中 2 篇论文。
Makeup-Go: Blind Reversion of Portrait Edit
我分享的第一篇论文是 Makeup-Go: Blind Reversion of Portrait Edit，即一键卸妆，给你一张处理过的图片（比如经过美图秀秀把人变白、变美之后的图片），把软件处理之前的样子恢复出来。一般情况下，现在有很多图片处理 APP，我们想知道在美颜处理之前是照片是什么样。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是未经过美化的图片。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
美化之后脸上的痘痘消失了，皮肤变得非常光滑。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
想要把图片恢复成处理之前的状态，难点在哪里？
简单暴力的方法是既然有输入图片和输出图片，能不能训练出一个神经网络自动学会处理图片。在这里我们做了一个简单实验，是2016年 CVPR 的一篇文章，一个非常深的网络。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是输入和输出。从这里可以发现，即使用了一个那么深、学习能力那么强的网络，还是和最初的图像有很大差别，比如说皱纹和雀斑，都恢复得不是那么完美。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
为什么现在的 CNN 网络不能恢复原来的图片？图像里包含很多东西，如果只是简单用 CNN 去回归，只能回归出非常少的 component，我们在图像恢复时发现了一个非常重要的信息，叫 component domination effect，这篇文章重点针对 component domination effect 来改变一键卸妆效果。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
首先我们对 L2 loss 进行分析，可以对其进行分解，F 是神经网络的输出结果，y 是 ground truth。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
我们在这里发现，实际上可以对 L2 loss 进行分解，分解成 PCA 不同 component 的线性组合。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
可以继续对其进行展开。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
怎么理解 component，我们从大到小分解出来。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
这里是我们所做的网络，称为 component regression network。相当于把图经过 PCA 分解为不同的成分，接下来我们希望通过不同的 subnetwork 把每一个 component 都能回归得很好，最后把各个 component 综合在一起，得到最终的结果。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
接下来是我们的实验结果，可以证明这个网络对于一键卸妆是非常有效的。绿色线条是我们的结果，在 component 为 40 时就能达到比较好的效果。大家可以看到与 Euclidean loss 和 Perception loss 的比较。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面的这张图经过美图秀秀处理，把雀斑、皱纹都去除了，可以看到我们复原的结果与 ground truth 修饰的结果的比较。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是一张 overly touched 图片，图像过度平滑，颜色都改变了，我们恢复的结果能把丢失的细节很好地复原出来。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是更多的结果，我们在网上随便找的照片，可以很好地把图中雀斑和皱纹恢复出来。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
这个网络并不对所有案例都有效，下面是对 Trump 的图片的处理，虽然能把图片恢复出来，但和 ground truth 比还是有差别。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
这个工作的总结如下：一、我们在做图像修复时发现了非常重要的性质 component domination effect；二，提出 component regression network，在很多领域有非常强的应用。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
Detail-revealing Deep Video Super- resolution
第二篇论文是 Detail-revealing Deep Video Super-resolution，目前做出来的效果在业界非常好。
首先讲一下我们做视频超分辨率的 motivation。一，这是一个非常传统和基础的问题；二，应用非常非常多，比如说在监控场景下分辨车牌号。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
对于视频超分辨率之前的工作，可以分为两类，一类是 image SR，一类是 video SR，具体的研究工作如 PPT 所示。我们这篇文章在别人的基础上把研究向前推进了一步。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是这个问题的难点。一是怎么去得到非常 effective 的网络，二是模型的问题。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
首先介绍我们方法的优势：一是 sub-pixel motion 更好的运用，二是在视觉和数量上我们的结果比之前好很多。另外这个模型是 fully scalable 的，可以是任何输入大小，实现任何倍数放大。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是我们方法的网络。怎么解决刚才提到的那些问题呢？一是设置 Fully convolutional，二是 SPMC 层没有任何参数，三是 Conv LSTM。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是我们的分析。对这个网络，我们输入三个相同的帧，效果不是很好，而输入三个连续的帧可以得到比较好的效果。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
第二个分析是将 SPMC Layer 和 Baseline 进行比较，SPMC 在此处效果更好。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
通过对比可以看到我们的方法比之前的 Bicubic、BayesSR、DESR、VSRNet 都要好。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
最后分析下运行时间，我们的方法优于 BayesSR、MFSR、DESR、VSRNet。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
最后总结：一是这个工作是端到端的，有很好的适应性，二是提出了 SPMC layer，三是我们的方法质量很高，速度上有较大提升。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
下面是对我们腾讯优图 X-Lab 的简介。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
这是我们的团队照片，目前我们团队大概有 30 多个人。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
最后我还想在这里来个简单的广告，目前我们团队处于飞速发展中，如果大家对我们团队有兴趣，欢迎加我微信。
腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解
视频：
雷锋网原创文章，未经授权禁止转载。详情见转载须知。
7人收藏 分享：
相关文章
ICCV腾讯优图
计算机视觉顶会 ICCV 2019 投稿数量翻倍！
腾讯优图CVPR 2018论文：图片去模糊及快速肖像处理等 ...
Temporal Action Detection (时序动作检测)方向2017 ...
商汤科技43篇论文横扫2017全球顶级视觉学术会议 实习 ...
文章点评：
我有话要说……
表情 同步到新浪微博 提交
汪思颖
编辑
关注 AI 学术动态以及各类数据挖掘比赛，加好友请备注个人信息~谢谢。微信：awanglala
发私信
当月热门文章
贾扬清离职 Facebook，即将加盟阿里硅谷研究院
「杨超越杯编程大赛」启动报名，谁才是真正的「锦鲤」？
万字长文详解腾讯优图 CVPR 2019 入选论文
百度发布NLP模型ERNIE，基于知识增强，在多个中文NLP任务中表现超越BERT
瑞金医院 MMC 人工智能辅助构建知识图谱大赛结果出炉，哈工大赵铁军教授团队夺冠
最新文章
计算机视觉顶会 ICCV 2019 投稿数量翻倍！
四个任务就要四个模型？现在单个神经网络模型就够了！
DeepMind 明年搬 11 层新总部！盘点这家顶尖 AI 科研机构的高光时刻
斯坦福 HAI 出品：细数全球 18 件 AI 大事记
2019全球智博会将于5月开幕，见证AI创新未来
深度强化学习新趋势：谷歌如何把好奇心引入强化学习智能体
热门搜索
HTC Vive雷穿戴xbox酷派台积电电子商务沃尔沃骁龙800Whatsapp健康投融资
热门关键字
热门标签人工智能 机器人机器学习深度学习金融科技未来医疗智能驾驶自动驾驶计算机视觉激光雷达图像识别智能音箱区块链智能投顾医学影像物联网IoTCV微信小程序平台微信小程序在哪CES 2017CES2016年最值得购买的智能硬件2016 互联网小程序微信朋友圈抢票软件智能手机智能家居智能手环智能机器人智能电视360智能硬件智能摄像机智能硬件产品智能硬件发展智能硬件创业黑客白帽子大数据云计算新能源汽车无人驾驶无人机大疆小米无人机特斯拉VR游戏VR电影VR视频VR眼镜VR购物AR直播扫地机器人医疗机器人工业机器人类人机器人聊天机器人微信机器人微信小程序移动支付支付宝P2P区块链比特币风控高盛人脸识别指纹识别黑科技谷歌地图谷歌IBM微软乐视百度三星s8腾讯三星Note8 小米MIX小米Note华为小米阿里巴巴苹果MacBook ProiPhoneFacebookGAIRIROS双创周云栖大会先打智能硬件公司智能硬件QQ红包支付宝红包敬业福发电机无人驾驶iphone8facebook messenger苹果更换电池1more迅雷路由器什么是api如何访问facebook软银移动8k希拉里与特朗普谁会赢两轮电动车iphone翻新mr视频 htc vive制作更多
联系我们关于我们加入我们意见反馈投稿申请专栏作者
Copyright © 2011-2019 www.leiphone.com 雷锋网-读懂智能&未来 All Rights Reserved 粤ICP备11095991号-1 ICP证粤B2-20150332 0daybank
文章评论