HoloLens自问世以来,常被人们冠以微软“黑科技”的名号。之所以称为“黑科技”,绝不是因为它外观黑,而是在于混合现实(MR)技术中所具备的科技含量,尤其是在硬件支持和算法运用这两个方面。今天就综合这两块为大家深扒一下HoloLens背后的黑科技。

黑科技1:透视全息透镜See-through Holographic Lenses

作为一款混合现实设备,透视全息透镜保证了HoloLens稳定高效的输出混合现实(MR)图像。最外侧的保护镜能够降低外界环境光线对显像的干扰,而LCoS微型投影仪投显的画面通过全息衍射波导光栅技术从里层透视镜面投射到体验者眼中,体验者就能通过HoloLens清楚的观测虚拟空间。全息衍射波导光栅技术被运用在美国空军战斗机上,通过此技术,驾驶员能够不受空间限制观测飞机前方景象。把军备技术提炼运用在商业科技上,正宗“黑科技”。

黑科技2:深度摄像头Depth Camera

利用惯性测量单位(IMU)确定体验者头部位置,深度摄像头将扫描到的真实空间数据传输到处理器中加以确认,再通过左右两侧4个环境感知摄像头和环境光传感器创造环境地图把虚拟空间叠加在真实环境中,利用深度摄像头正下方的200万像素的HD视频摄像头(也称为RGB摄像头)将用户观测到的画面予以记录,以上便是HoloLens将虚拟空间和真实环境叠加的初步流程。为降低外界光线的干扰,保证深度摄像头的工作的精确度,我们能从外侧保护镜中观察到的仅有左右两侧的4个环境感知摄像头和正中间的HD视频摄像头。实际HoloLens在操作中难度比描述的更为复杂,为保证体验质量, HoloLens凭借TOF(Time of Flight)技术的精确度,令深度摄像头在完成扫描物体轮廓外,还可以实时支持手势指令的辨识。

黑科技3:全息处理单元Holographic Processing Unit(HPU)

HoloLens中所有图像的处理都采用的是独立计算处理方式。机身不仅包含各种常见移动设备计算单元来增添虚拟空间与真实环境融合的真实感,还额外搭载着为其量身特制的全息处理单元HPU(Holographic Processing Unit)来处理所有传感器感应到的数据单元。通过HPU的24个DSP 核心执行所有特定指令来优化效果。 所有这些元器件集成化的被安置在HoloLens内,同时还要保证不影响整体佩戴的舒适度,而这些HoloLens也都做到了,整机重量仅有579克。

黑科技4:立体声效Spatial Sound

为了营造混合现实环境中逼真体验效果,HoloLens采用了一套Spatial Sound(立体声效)系统,模拟虚拟物体在真实环境中的坐标、位置及环境,通过两侧的3D扬声器,声音能够在佩戴者周围的3D空间中产生一种“方位感”,这样,即便虚拟物体在观测范围(FOV)之外,体验者也可以通过Spatial Sound感知虚拟物体在周围的空间位置。 做到现实环境中的”听声辩位”。

不仅如此,HoloLens还衍生出了一套将真实空间和虚拟环境融合的方式——空间映射(Spatial Mapping)

空间映射是HoloLens独有的环境信息识别搜集功能。依靠HoloLens 6个前置摄像头,能够扫描确定观测环境的轮廓、真实环境位置坐标等数据,并实时传输到HoloLens处理器中。有过Kinect体验的朋友相信对Spatial Mapping不会太陌生,Spatial Mapping 利用了一部分Kinect的红外空间感知技术并进行升级完善,而在HoloLens上对Spatial Mapping 曾有开发者脑洞大开的将Spatial Mapping (空间映射)收集到的数据建造出了一个等比概念模型。这也意味着HoloLens不单单只是虚拟图像的展示,也能成为一个具有数据采集功能的设备。

多样化、精度高的硬件配备,复杂的图像处理,从各方面看,HoloLens可以算得上在混合现实(MR)领域的一款“诚意级”的产品,而随着科技的不断提升,在探索混合现实多样化发展的同时,也将会有更多“黑科技”增加到HoloLens中来给用户带来全新的体验效果。