云从科学技术基于单帧图像的3D人体修复技术在Human3【亚博手机网页版】

本文摘要:3D要点检测,传统的3D修复技术大多需要倒数的图像序列和多视点的图像,硬件设备一般需要双眼照相机和结构光照相机等设备,因此在手机等便携设备中很难实现,另一方面,专用设备不会降低配置成本,大规模普及3D修复技术的可玩性基于单帧图像的3D修复技术在开放完整图像的市场需求的同时,对背后的技术明确提出了更无能为力的挑战:技术必须从单帧图像中推理出具有人体和脸部的3D形态,通过光学投影阴影变化等基本光学原则正确预测各要点在3D空间的方向和方向,获得人体的姿态和表情信息。

信息

近年来,应用于场景丰富的市场需求,推进AI领域将技术能力从感觉延伸到理解,从2D延伸到3D。3月19日,云从科学技术基于单帧图像的3D人体修复技术在Human3.6M、Surreal和UP-3D上创造了最近的世界记录,这次突破在误差记录下大幅度减少了30%,去年云从3D人脸数据集中大幅度更新了记录Human3.6M数据集对比Surreal数据集对比UP-3D数据集对比3D修复领域一般以误差(Error)为算法能力的主要指标,误差(Error)是分解模型和实际图像的不同。

一般来说,误差越低,精度越高,意味着技术性能越好。云从科学技术3D人体修复技术的全身精度误差(Surfaceerror)在Surreal中从75.4毫米减少到52.7毫米,关节精度误差(3DJointerror)从55.8毫米减少到40.1毫米,Human3.6M上的关节精度误差(3DJointerror)从59.9毫米减少到46.7毫米,技术的持续执行速度从以前的几百毫米减少到5毫米。

信息

在论文中,云从科学技术对人体非常丰富的姿态和服装特征,明确提出了基于人体3D翼预测的新的3D信息密切相关方式。通过对三原色图像(RGB,不含深度信息)的分析,预测人体的3D形态和姿势,以6万分以上的点原始描绘人体,在人体修复技术上获得速度和精度的双重突破,显示的模型更加细致,帧率可以说是200fps以下由于对输出图像的拒绝低,3D修复技术可以使用普通光学照相机作为感觉设备。

该技术不会使美容APP需要结构光照相机,也不会具备低精度的瘦身和动画制作功能,百货商店内的试衣魔镜不会根据身体的形状自动分解想要更换的衣服,在大幅节约百货商店空间的同时提高用户体验度通过最重要的人员影像修复、医疗建模肢体打印机、虚拟世界试衣、美容化妆、表情姿态动画制作等应用于大型百货商店、直播平台、美容软件、电影效果制作等行业的普遍AI能力。值得注意的是,Human3.6M、Surreal和UP-3D是世界上有关3D人体修复技术的权威数据集,加利福尼亚大学伯克利分校、马克斯-普朗克研究所、Amazon、宾夕法尼亚大学、北京大学、浙江大学、Microsoftresearch、法国国家信息和自动化研究所、Adobe领导人Research等着名企业、研究所和大学都在该排行榜的竞争队列中,算法实力比以往常白热化,中国企业和高中国机构开始在国外展示领域的优势。与传统式的关键点检测、3D修复技术性的差别传统式的人体关键点检测技术性常常以2D的人体骨骼关节点检测形式出現,即通过技术性预测RGB图中人体十几个关节点的座标,一方面結果十分密集,将人体深度感修改成骨骼的形式,另一方面結果往往只包含二维平面上的座标预测,不可以恢复深度信息,因而不可以反映两翼感。

基于单帧图像的3D修复技术不仅可以输入骨关节点信息,还可以同时预测大量人体表面的重要信息,预测结果非常丰富,各点的座标为3D,需要反映不同身体的两翼信息。3D要点检测,传统的3D修复技术大多需要倒数的图像序列和多视点的图像,硬件设备一般需要双眼照相机和结构光照相机等设备,因此在手机等便携设备中很难实现,另一方面,专用设备不会降低配置成本,大规模普及3D修复技术的可玩性基于单帧图像的3D修复技术在开放完整图像的市场需求的同时,对背后的技术明确提出了更无能为力的挑战:技术必须从单帧图像中推理出具有人体和脸部的3D形态,通过光学投影阴影变化等基本光学原则正确预测各要点在3D空间的方向和方向,获得人体的姿态和表情信息。人体的姿态和服装简单多样,精度提高意味着对简单场景的适应性更好,模型更像现实。

例如,在阿凡达、漫才电影、阿丽塔等电影中,为了完成详细的人物收集,必须使用专用的特殊效果设备和脸部贴纸,基于单帧图像的3D人体/脸部修复技术完全制作政治宣传电影视频,同时减少工业级3D动画制作的门槛。

本文关键词:预测,单帧,亚博手机网页版,精度,图像,能力

本文来源:亚博网页版登录-www.miljoshop.com

相关文章

网站地图xml地图