首页|快讯|精选|一周|焦点|要闻|综合|今日|滚动|真相|世绘|百态|观点|深度|聚合|新度|智慧|趣味|即时|追踪|视野|视点|点击|分享|听闻|时讯|博览|推荐|维度|新知|热搜|热点|观看|新事|消息|荐闻|酷讯

为解决HoloLens 2手部追踪模型拟合,微软提出全新曲面模型

时间:2020-09-10 22:49:20

来源:映维网 作者 黄颜

混合现实中的实时感知和交互能力要求资源受限的硬件(如头戴式设备)以低延迟解决一系列的3D追踪问题。实际上,对于HoloLens 2等CPU和GPU可以用于应用程序的设备而言,多个追踪子系统需要在共享一个数字信号处理器的同时实现连续、实时的运行。

为了解决HoloLens 2手部追踪的模型拟合问题(计算预算大约比iPhone 7小100倍),微软团队提出了一种全新的曲面模型:“Phong Surface(冯氏曲面)”。

利用计算机图形学的思想,Phong Surface描述了与三角网格模型相同的3D形状,但其具有连续的曲面法线,从而能够使用Lifting-based Optimization优化方法,并比基于ICP的方法提供显著的效率提高。研究人员指出,Phong Surface保留了平滑曲面模型的收敛优势。

微软团队日前在ECCV 2020大会通过视频对所述模型进行了介绍,下面包括具体的字幕整理:

我们提出了一种使用Lifted Optimization来实现有效3D模型拟合的Phone Surface模型。

我们的模型拟合示例通过拟合离散3D数据来追踪人手的28个自由度。在头戴式增强现实系统(如HoloLens 2)中,这可以实现一种比当今所有计算系统都更为自然的交互机制。

HoloLens 2搭载了强大的CPU和GPU,但它们是为了用于应用程序,所以手部追踪必须由数字信号处理器以4GFLOPS的速度完成,亦即只有iPhone 7的1%。

对于之前的研究,效率的关键是使用Smooth Surface模型,Subdivision Surface或b样条曲线(bspline)。Smooth-Surface允许使用名为lifted optimization的优化方法,而所述方法能够大大减少了模型拟合中的迭代次数,并且支持使用更少的数据点。

涉及论文:Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences

尽管单个服务评估的计算成本要比Polygon Surface高出7倍,但总体的计算成本缩减是一次胜利。然而,要以4GFLOPS实现实时性,我们需要拿回7X的计算成本。所以,我们引入了一个全新的曲面模型:Phong Surface。

声明:本站部分资源来源于网络,版权归原作者或者来源机构所有,如作者或来源机构不同意本站转载采用,请通知我们,我们将第一时间删除内容。本站刊载文章出于传递更多信息之目的,所刊文章观点仅代表作者本人观点,并不意味着本站赞同作者观点或证实其描述,其原创性及对文章内容的真实性、完整性、及时性本站亦不作任何保证或承诺,请读者仅作参考。
编辑:大米
猜你喜欢