无需CAD模型!浙大、商汤发布物体姿态估计新方法

编辑:LRS

【新智元导读】最近浙大、商汤的研究人员联手攻克了物体姿态识别的一大难关,性能更强、运行时间更短,还能one-shot!

物体姿态估计任务「缺标注数据」是个老大难问题了。

世界上的物体那么多,每一样都给建个CAD模型,那真是有多少人工,就有多少智能

最近浙江大学、商汤科技、慕尼黑工业大学联合在CVPR 2022上提出了一个全新的物体姿态估计方法OnePose,重点是One-shot!

与现有的实例级或类别级方法不同,OnePose不依赖于CAD模型,可以处理任意类别的物体,而不需要进行针对实例或类别的网络训练。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

论文链接:https://arxiv.org/pdf/2205.12257.pdf

补充材料:https://zju3dv.github.io/onepose/files/onepose_supp.pdf

仓库链接:https://github.com/zju3dv/OnePose

OnePose借鉴了视觉定位的理念,只需要对物体进行简单的RGB视频扫描,就可以建立一个物体的稀疏SfM模型。

然后将模型配准到具有通用特征匹配网络的新查询图像上即可。

为了缓解现有视觉定位方法的运行缓慢的问题,文中还提出了一个新的图注意网络。该网络直接将query图像中的二维兴趣点与SfM模型中的三维点进行匹配,从而实现高效和稳健的姿势估计。

与基于特征的姿势跟踪器相结合,OnePose能够稳定地检测和实时跟踪日常家用物品的6D姿势,作者还收集了一个大规模的数据集,其中包括150个物体的450个序列。

在验证集中没有任何实例或类别被训练到的情况,达到了更好的精确率,并且在GPU上处理一帧图像的时间仅需58ms,四个字形容:恐怖如斯!

论文一出,也是获得了大量好评,在reddit上的点赞量接近1k

无需CAD模型!浙大、商汤发布物体姿态估计新方法

网友评价,机器人能不能走出工厂,就看这个了!

无需CAD模型!浙大、商汤发布物体姿态估计新方法

还有人在评论区直接创业,这项技术拿到车上可能会有用!

无需CAD模型!浙大、商汤发布物体姿态估计新方法

物体姿态识别

想把现实中的物体都搬到「元宇宙」里,物体姿态估计(object pose estimation)就是一个很重要的技术,在获得物体姿态信息后,可以将其视为虚拟锚点(virtual anchors),然后为任意物体制作AR特效。

跟人体姿态估计最大的不同在于,物体的形状变化太多了,想要把生活里的物体姿态都识别正确还是很有难度的。

大部分物体姿态估计的工作都假定可以获取到目标物体的CAD模型。

但标签总是昂贵的,高质量日常物体CAD模型往往是不可获取的,所以AR场景下的物体姿态估计的研究可能得换个研究方向了。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

最近的物体姿态估计的研究方向开始转向「类别级」的姿态估计,也就是说,不再依赖具体的物品实例训练。通过在同一类别的不同实例上训练网络,网络就可以学习物体外观和形状的类别级表征,从而能够归纳到同一类别的新实例。

这种「曲线救国」的方式也还是需要大量的同类别训练样本,标注成本还是没降下来。

此外,当新的实例具有明显不同的外观或形状时,类别级方法的泛化能力也得不到保证。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

更重要的是,在许多现实世界的应用中,例如移动AR,当需要处理的物体类别数量巨大时,为每个类别训练和部署一个网络的成本也会显著增加。

为了减轻对CAD模型或特定类别训练的需求,我们回到了物体姿态估计的「旧」问题设置,用一种新的基于学习的方法翻新了整个pipeline。

类似于「视觉定位」任务在给定场景的SfM地图的情况下估计未知相机的姿势,物体姿势估计长期以来一直也被制定在基于定位的设置中。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

与实例或类别级别的方法不同,这种设置假定给定了物体的视频序列,并且可以从该序列中重建稀疏点云模型。

然后,估计物体的姿势就等同于相对于重建的点云模型定位摄像机的姿势。

在测试时,从query图像中提取二维局部特征,并与SfM模型中的点相匹配,以获得二维到三维的对应关系,从中可以通过PnP解决物体的姿势问题。

这种传统的pipeline不是通过神经网络学习特定的实例或类别的表征,而是利用物体的显式三维模型,该模型可以为新的实例即时建立,这为任意物体带来了更好的泛化能力,同时使系统更容易解释。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

研究人员将这种问题设置称为单次物体姿势估计,其目标是能够估计任意类别的物体的6D姿势,只需给定一些物体的姿势注释图像进行训练。

6D指的是OnePose估计的姿态包括6个自由度(Degree of Freedom),即三个空间维度表示的位置和三个轴维度上的旋转

无需CAD模型!浙大、商汤发布物体姿态估计新方法

虽然这个问题与视觉定位类似,但直接移植现有的视觉定位方法并不能解决这个问题。

现代视觉定位pipeline通过首先在查询图像和检索到的数据库图像之间进行2D-2D匹配来产生2D-3D的对应关系。

为了确保定位的高成功率,与多个图像检索候选的匹配是很有必要的,但2D-2D匹配对于基于学习的匹配器来说可能非常费时。

因此,现有的视觉定位方法的运行时间往往需要几秒钟,不能满足实时跟踪移动物体的要求。

基于上述原因,作者提出一种新思路,直接在query图像和SfM点云之间进行2D-3D匹配。

关键想法是使用图注意网络(GATs)来聚合对应于同一三维SfM点(即特征轨迹)的二维特征,形成一个三维特征。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

聚合的三维特征随后与query图像中的二维特征进行自注意力和交叉注意层的匹配。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

与自注意力层和交叉注意力层一起,GATs可以捕捉到真实的2D-3D对应关系中表现出的全局注意力和上下文依赖的匹配先验,使匹配更加准确和鲁邦。

在实验评估阶段,研究人员收集了一个大规模的数据集,用于one-shot姿势估计的设置,其中包含150个物体的450个序列。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

与之前的实例级方法PVNet相比,OnePose无需对验证集中的任何物体实例或类别进行训练就能达到更好的精度。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

和类别级方法Objectron对比后优势仍然明显,其中S为auxiliary scale adjustment,C为center alignment

无需CAD模型!浙大、商汤发布物体姿态估计新方法

在和视觉定位模型对比后,不仅性能领先,在GPU上处理一帧的时间只需要58ms。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

作者表示,在基于特征的姿势跟踪器相结合时,OnePose是第一个基于学习的方法,可以稳定地实时检测和跟踪日常家用物品的姿势。

无需CAD模型!浙大、商汤发布物体姿态估计新方法

参考资料:

https://www.reddit.com/r/MachineLearning/comments/uzt23p/r_onepose_can_estimate_6d_poses_of_arbitrary/

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/21670.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年6月14日 00:14
下一篇 2022年6月14日 00:17

相关推荐

  • 被AI加持的投影,如何提升会议效率?讯飞AP10评测

    开会,是每位职场人工作中需要经常参与的一个场景,有时是内部讨论会,有时是公司总结会,还有时是跨部门、跨公司、跨国家的交流沟通会。会议形式多样,却总是离不开投影展示PPT、录音笔全程录音、笔记本记录要点等熟悉的操作。 一场会议下来,可能是身心俱疲,亦可能是迎接下一场会议,如何让会议更简单、省心,就成了办公场景下一个绝对痛点。 日前,科大讯飞发布讯飞AI投影系列…

    2022年6月13日
    4300
  • 2022AI框架技术持续演进-AI框架技术演化出三个层次

    根据技术所处环节及定位,当前主流 AI 框架的核心技术可分为基础层、组件层和生态层。 一、基础层 基础层实现 AI 框架最基础核心的功能,具体包括编程开发、编译优化以及硬件使能三个子层。编程开发层是开发者与 AI 框架互动的窗口,为开发者提供构建 AI 模型的 API 接口。编译优化层是 AI 框架的关键部分,负责完成 AI 模型的编译优化并调度硬件资源完成…

    2022年6月15日
    4600
  • 无人卡车公司图森未来入驻美国亚利桑那州,地点也叫图森

    允中 编译 量子位 出品 | 公众号 QbitAI 欢迎图森未来落户图森!(I’m very pleased to welcome TuSimple to Tucson)当地时间8月21日下午两点,图森未来在亚利桑那州图森市的新办公室正式开张,图森市市长乔纳森·罗斯柴尔德莅临开业现场亲为剪彩并致欢迎词。 一同参加剪彩仪式的还有皮马郡政府官员、亚利桑那州阳光走…

    2022年6月17日
    2700
  • ???这款游戏的热度是被骂出来的…呆猫云游戏测评来了

    哈喽,艾瑞巴蒂!呆猫以往的游戏测评都是以市场上畅销的游戏作品为主角,今天这位主角有点特别,它并不是因为好玩、畅销才被人铭记,而是实实在在被骂上了热搜…. 推出之前备受期待,推出之后差评累累,热门IP下的大作在线人数更是创历史新低,时至今日收到的10W+评论,依旧保持着多半差评的优秀成绩,这个让玩家们口诛笔伐的游戏到底如何从宣传时的次世代神作,一下…

    2022年6月14日
    4200
  • 车主更换雨刮器影响“三电质保”?比亚迪回应:不会影响

    文:懂车帝原创 常思玥 [懂车帝原创 行业] 日前,比亚迪新闻打假办公室转发了比亚迪汽车品牌及公关副总经理杜国忠的一条动态,明确了有关更换零部件影响车辆三电质保是有曲解的。 比亚迪回应更换雨刮器影响三电质保:不会影响 杜国忠在个人社交平台表示,大家好,关于今天网络上提及到:车辆更换雨刮器、轮胎、螺丝的问题会影响‘三电质保’,经核实有曲解。 因‘三电系统’涉及…

    2022年6月14日
    3500

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信