别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡

频道:微博热点 日期: 浏览:245

映维网 2019年10月10日)日前,斯坦福大学的Hanseul Jun和Jeremy N. Bailenson等三宝肽人发布了名为《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的论文,并介绍了他们运用单个RGBD摄像头来支撑AR头显的试验。

团队表明,这一研讨的奉献在于为选用现成硬件的作业体系供给可用代码,而非为核算机视觉或图形学供给先进的理论。当时的研讨用一个搭载RGBD摄像头(微软Kinect v2)的体系来捕获人物,并经过AR头显(微软HoloLens)来显现场景。虽然保真度低于挑选多摄像头的其他体系,但所述体系的帧率高,推迟低,且可移动,由于它不需求一台烘托核算机。

图1:体系紧缩宽和紧缩概述。紧缩阶段适用于连接到Kinect v2的笔记本别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡电脑。紧缩之后,VP8帧和RVL帧将恩恩撸传输到HoloLens。解紧缩阶段用于接纳帧的HoloLens。

梨花雨女犯 别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡

体系的硬件端由两方面组成:装备Kinect v2的笔记本电脑和HoloLens。 软件端一起包别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡括两个方面:将像素从Kinect v2发送到HoloLens;以及由HoloLens烘托像素。所述进程面对三个应战,而这三个应战来自于设备的三彦崽儿个特征:

  1. Kinect v2发生很多别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡数据。
  2. HoloLens需求无线传输。
  3. HoloLens具有较低的核算才能。

面对的应战是:

a. 由于(1)和(2),需求紧缩。

b. 由于(a)和(3),需求核算有用的解紧缩。

c. 由于(3),需求一种有用的烘托技能。

1. 紧缩与解紧缩

Kinect v2具有五颜六色像素和深度像素。关于五颜六色像素,团队选用VP8编解码器,并经过libvpx和FFmpeg进行编码宽和码。虽然H.264至少表现出相同的功用,但团队挑选VP8的原因洛克王国金色命运之钥是libvpx依据修订的BSD答应,而这与团队供给体系源代码的方针共同。关于深度像素,由于需求防止有损紧缩的不确定性,所以团队挑选RVL(Wilson,2凤凰文娱渠道网址017)进行紧缩,由于它的核算成本低且无损。图1概述了团队体系的紧缩宽和紧缩进程。

2. 紧缩阶段

运用接到Kinect v2的笔妖孽受记本,libvpx将五颜六色像素编码为VP8帧,并将深度像素RVL紧缩为RVL帧吴建春简历。履行这一功用时,由于五颜六色像素的分辨率(19201080)较应试宝官网于深度像素(512424)过大,所以五颜六色像素的分辨率在宽度和高别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡度削减一半,特别是关于团队的可视化技能而言(其将每个深度像素与色彩值配对)。两种像素都经过无线网络发送到HoloLens。

3. 解紧缩阶段

团队的体系使别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡用FFmpeg解码编码后的五颜六色像素,并将解码后的像素转超品地师换为三个8位单通道Direct3D纹路,其间每个吻下面纹路都归于YUV的色彩通道。为了防止从YUV420(一种视频流式传输的首要色彩空间,由于它答应在U通道和V通道进行4倍紧缩)转换到高核算量的RGB,团队挑选在YUV色彩空间中创立纹路。别的, 为防止将解码后的像素重新排列为单个纹路,团队运用了三个纹路而非一个。接下来,用RV爱专教L紧缩的像素将解紧缩为16位单通道Direct3D纹路。

4. 烘托阶段

凭借YUV纹路和深度纹路,HoloLens可以将深度纹路的每个像素烘托为漂浮在空间上的四边形,并运用YUV纹路中的色彩值对四官员不雅观边形进行上色。团队的烘托技能需求运用由Kinect v2的intrinsic variable预先计别董大,山海经异兽,万一网-点赞汉堡,一个赞送您一个汉堡算的网格。在具有深度纹路的极点上色器中,预先核算的网格变成反映深度纹路深度值的一组点。在几许上色器中,所述点变为四边形。四边形的巨细挑选为不影响相邻四边形的最大巨细。最终,在片段上色器中,依据YUV纹路对四边形进行上色。图2是团队的烘托技能示例。

团队发布体系代码的意图是,支撑我们将其用作AR头显应用程序开发的根底,尤其是长途出现体系。虽然烘托质量远非完美,但团队期望这个体系可以供给一种便携的,支撑现成硬件的经验证办法(无需机器进行烘托),从而为开发者,研讨人员和顾客带来帮霉组词助。

相关论文:An Easy-to-use Pipeline for an RGBD Camera and an AR Headset

图2:烘托技能示例。 左上方和左下方是Kinect v2中的色彩像素和深度像素。右上角是早年视图捕获的烘托场景,右下角是从侧视图捕获的烘托场景。

5. 源代码

体系的源代码现已保管至GitHub。

原文链接:https://yivian.com/news/67247.html