安防峰会
雷锋网AI研习社 AI投研邦 活动 专题 爱搞机
业界人工智能 学术 开发者 智能驾驶 新智驾TV AI+金融科技未来医疗网络安全智慧城市 智慧安防 智慧教育 智慧交通 智慧社区 智慧零售 智慧政务 机器人行业云智能硬件物联网GAIR
人工智能学术正文
0
王威廉组满分CVPR论文：遵照自然语言指令的室内导航
本文作者：杨晓凡 2019-03-05 10:08
导语：强化学习结合NLP结合视觉结合自监督学习
雷锋网 AI 科技评论按：CMU 博士、UC Santa Barbara 计算机科学系助理教授王威廉（William Wang）是学术圈内的积极分子，研究领域涵盖信息提取、社交媒体、语言和视觉、口语处理、机器学习理论和知识图谱等。王威廉也是社交媒体红人。
王威廉组的学术研究非常活跃，小组内常有顶会论文出现。根据王威廉微博介绍，他们组有 6 篇论文被自然语言处理顶级会议 NAACL 2019 接收，其中甚至包括来自二年级本科生同学的论文。近日随着 CVPR 2019 发榜，王威廉组王鑫同学与微软研究院的合作文章《Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation》也被 CVPR 接收。王威廉表示，“本文是CVPR满分文章（3个Strong Accept），在5165篇投稿文章中审稿得分排名第一。今天被程序委员会和领域主席评审团确定为CVPR口头报告论文，我们将在夏天在洛杉矶长滩市进行报告。”
雷锋网 AI 科技评论把论文内容简单介绍如下。
Reinforced Cross-Modal Matching & Self-Supervised Imitation Learning for Vision-Language Navigation
用于视觉-语言导航的强化跨模态匹配及自我监督模仿学习
论文地址：http://arxiv.org/abs/1811.10092
论文简介：视觉-语言导航（Vision-language navigation，VLN）任务是指在真实的三维环境中让具有实体的智能体进行导航并完成自然语言指令。在这篇论文中，作者们研究了如何解决这个任务中的三个重点挑战：跨模态参照，糟糕的反馈，以及泛化问题。作者们首先提出了一种新的强化跨模态匹配（RCM）方法，它可以通过强化学习的方式同时促进局部和全局的跨模态参照。具体来说，他们使用了一个匹配指标，它成为了鼓励模型增强外部指令和运动轨迹之间匹配的固有反馈；模型也使用了一个推理导航器，它用来在局部视觉场景中执行跨模态参照。在一个 VLN benchmark 数据集上进行的评估结果表明，作者们提出的 RCM 模型大幅超越已有模型，SPL 分数提高了 10%，成为了新的 SOTA。为了提高学习到的策略的泛化性，作者们还进一步提出了一个自监督模仿学习（SIL）方法，通过模仿自己以往的良好决策的方式探索未曾见过的环境。作者们表明了 SIL 可以逼近出更好、更高效的策略，这极大程度减小了智能体在见过和未见过的环境中的成功率表现的差别（从 30.7% 降低到 11.7%）。
王威廉组满分CVPR论文：遵照自然语言指令的室内导航
任务示意图 —— 人类给定指令：右转，面朝厨房。然后左转，从一张桌子旁边经过，进入走廊。沿着走廊继续走，拐进右手边没有门的那个门廊。在厕所门口停下来。
由于他们提出的学习框架是模块化的、不依赖模型的，其中的组件未来都可以继续分别作出改进。论文中的 ablation study 也表明了每个组件各自的效果。
论文原文见 http://arxiv.org/abs/1811.10092
雷锋网(公众号：雷锋网) AI 科技评论报道
雷锋网原创文章，未经授权禁止转载。详情见转载须知。
4人收藏 分享：
相关文章
王威廉CVPRNLP自然语言跨模态
Siamese：CVPR 2019 接收论文作者为你解读视频跟踪领 ...
CVPR 2019 论文解读：人大 ML 研究组提出新的视频测 ...
美图推出业界最大规模教程类行为数据集 | CVPR 2019 ...
万字长文详解腾讯优图 CVPR 2019 入选论文
文章点评：
我有话要说……
表情 同步到新浪微博 提交
杨晓凡
读论文为生
日常笑点滴，学术死脑筋
发私信
当月热门文章
姚班天才少年鬲融凭非凸优化研究成果获得斯隆研究奖
怎么把GPU上训练的模型转到TPU或者CPU上去？DeepMind发布新工具支招
iPhone XS系列降价一千元；Intel雷电接口将融合USB4；蔚来汽车收入、亏损均增长百分百 | 雷锋早报
王威廉组满分CVPR论文：遵照自然语言指令的室内导航
Facebook的「下一代 AI 计算平台」长什么样子？
最新文章
一位冉冉上升的青年理论计算机科学家：陈立杰斩获ACM STOC最佳学生论文
AI发展的理想路线是什么？学者们为了这个争起来了
机器学习算法中的概率方法
Facebook的「下一代 AI 计算平台」长什么样子？
和谷歌一同探索基于强化学习的长距离机器人导航
要更有钱、更烧钱，OpenAI 重组，加速融资之路
热门搜索
移动互联网广告硬件丰田酷派GPU技术奔驰东芝教育CarPlay
热门关键字
热门标签人工智能 机器人机器学习深度学习金融科技未来医疗智能驾驶自动驾驶计算机视觉激光雷达图像识别智能音箱区块链智能投顾医学影像物联网IoTCV微信小程序平台微信小程序在哪CES 2017CES2016年最值得购买的智能硬件2016 互联网小程序微信朋友圈抢票软件智能手机智能家居智能手环智能机器人智能电视360智能硬件智能摄像机智能硬件产品智能硬件发展智能硬件创业黑客白帽子大数据云计算新能源汽车无人驾驶无人机大疆小米无人机特斯拉VR游戏VR电影VR视频VR眼镜VR购物AR直播扫地机器人医疗机器人工业机器人类人机器人聊天机器人微信机器人微信小程序移动支付支付宝P2P区块链比特币风控高盛人脸识别指纹识别黑科技谷歌地图谷歌IBM微软乐视百度三星s8腾讯三星Note8 小米MIX小米Note华为小米阿里巴巴苹果MacBook ProiPhoneFacebookGAIRIROS双创周云栖大会先打智能硬件公司智能硬件QQ红包支付宝红包敬业福魔窗 appchromebook pixel电动汽车电池tile精灵4小米手机4surface 2世界上第一台计算机赚钱宝是真的吗s7壁纸5g信号穿墙退出微信群别人能看到吗手机盒子surface pro4苹果研发中心更多
联系我们关于我们加入我们意见反馈投稿申请专栏作者
Copyright © 2011-2019 www.leiphone.com 雷锋网-读懂智能&未来 All Rights Reserved 粤ICP备11095991号-1 ICP证粤B2-20150332 0daybank
文章评论