01 什么是虚拟现实

“元宇宙”是美国科幻小说家尼奥·斯蒂文森1992年在《雪崩》中提出的概念,书中设定现实世界中的人在网络世界中都有一个分身,这个由分身组成的世界就是“元宇宙”。如今,随着虚拟现实技术的发展,元宇宙逐渐从科幻走入现实。

Augmented Reality的缩写,通常被称为增强现实。AR的定义很广泛,技术种类众多。目前主流的AR是指通过设备识别和判断(二维、三维、GPS、体感、面部等识别物)将虚拟信息叠加在以识别物为基准的某个位置,并显示在设备屏幕上,从而实时交互虚拟信息。VR

Virtual Reality的缩写,通常被称为沉浸式虚拟现实。VR为用户提供了完全沉浸式的体验,使用户有一种置身于真实世界的感觉,是一种高级的、理想化的虚拟现实系统。除了我们通常了解的AR和VR这两个名词之外,行业内其实还有MR和XR的说法。MR

Mixed Reality的缩写,即混合现实,指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里,物理和数字对象共存,并实时互动。XR

Extended Reality的缩写,即扩展现实。实际上,XR是AR/VR/MR等各种形式的虚拟现实技术的总称。它分为多个层次,包括从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。2014年,Facebook对Oculus的收购盘活了整个行业。2019年,Facebook推出的Oculus Quest让无数人眼前一亮,可谓“当前VR一体机产品中的翘楚”。2020年9月,Facebook发布Oculus Quest2,并宣布在2021年全面停产Oculus Rift PCVR系列产品。

可以预见,未来的虚拟现实产品将不再区分AR/VR/MR,而是一种融合性的产品。

虚拟现实技术自诞生以来应用于多个领域—从军事到航空航天,从教育到娱乐游戏,从医疗到旅游,等等。从目前来看,融合了5G/AI等技术的AR/VR设备有望取代智能手机的计算模块。

头戴显示器通常拥有两个显示器,而两个显示器由计算机分别驱动向两只眼睛提供不同的图像,再通过人的大脑将两个图像融合以获得深度感知,从而产生立体的图像。

全息处理芯片),透过层叠的彩色镜片创建虚拟物体影像,再借助类似Kinect的体感技术,让用户从一定角度和虚拟物体进行交互。依靠HPU和层叠的彩色镜片,HoloLens可以让用户感觉到这些全息图像直接投射到了现实场景中的物体上。当用户移动时,HoloLens借助广泛应用于机器人和无人驾驶汽车领域的SLAM

同步定位与建图)技术来获取环境信息,并计算出玩家的位置,保证虚拟画面的稳定。2)全息投影技术

反射全息投影两种,是全息摄影技术的逆向展示。和传统立体显示技术利用双眼视差的原理不同,全息投影技术可以通过将光线投射在空气或者特殊的介质(如玻璃、全息膜)上呈现3D影像。人们可以从任何角度观看影像,得到与现实世界中完全相同的视觉效果。目前,我们看到的各类表演中所使用的全息投影技术都需要用到全息膜或玻璃等特殊的介质,需要提前在舞台上做各种精密的光学布置。这类表演的效果绚丽无比,但成本高昂、操作复杂,需要操作人员进行专业训练。

神秘的Magic Leap采用了所谓的“光场成像”技术。从某种意义上来说,该技术可以算作“准全息投影”技术。其原理是用螺旋状振动的光纤形成图像,并直接让光线从光纤弹射到人的视网膜上。

为了打造完美的虚拟现实体验,我们需要从零开始构建虚拟世界,或将现实生活中的场景转化成虚拟世界的一部分。那么,这种虚拟世界如何构建呢?

简单来说,3D软件建模就是通过各种三维设计软件在虚拟的三维空间构建出具有三维数据的模型。

除了游戏之外,3D软件建模还广泛应用在影视、动画、建筑和工业产品的设计中。目前在游戏、影视和动画领域,最常用的3D设计软件包括3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等,而在建筑和工业产品设计中,最常用的是AutoCAD、Rhino等。

在构建虚拟现实世界时,除了使用常规的3D建模技术和实景拍摄技术之外,我们还可以使用3D扫描技术将真实环境、人物和物体进行快速建模,将实物的立体信息转化成计算机可以直接处理的数字模型。

光场捕捉建模技术最早应用于Ren Ng创办的Lytro,它通过在单个传感器前放置微透镜阵列实现多个视角下画面的采集,但这种方案会导致分辨率大大降低。

使用3D扫描或光场捕捉技术可以大大提高3D建模效率,减少前期工作量,并实现更为真实的效果。

随着VR/AR时代的来临,传统的交互方式已经远远不能满足人们的需求。因此,模仿人类本能的自然交互技术成为虚拟现实技术的重要基础。虚拟现实要实现完美的沉浸感,需要用到哪些自然交互技术呢?

为了实现和虚拟现实世界中场景和人物的自然交互,我们需要捕捉人体的基本动作,包括手势、表情和身体运动等。

非光学动捕。光学动捕技术包括主动光学动捕和被动光学动捕,而非光学动捕技术包括惯性动捕、机械动捕、电磁动捕和超声波动捕。2)眼动追踪

眼动追踪的原理其实很简单,就是使用摄像头捕捉人眼或脸部的图像,然后用算法实现人脸和人眼的检测、定位与跟踪,从而估算用户的视线变化。目前,我们主要使用光谱成像和红外光谱成像两种图像处理方法,前一种需要捕捉虹膜和巩膜之间的轮廓,后一种则需要跟踪瞳孔的轮廓。

在和现实世界交互的时候,除了眼神、表情和动作交互外,还有语音交互。一个完整的语音交互系统包括对语音的识别和对语义的理解两大部分,不过人们通常用“语音识别”一词来概括。

触觉交互技术又被称作所谓的“力反馈”技术,在游戏行业和虚拟训练中一直有相关的应用。具体来说,它会通过向用户施加某种力、震动等,让用户产生更加真实的沉浸感。触觉交互技术可实现在虚拟世界中创造和控制虚拟的物体,比如远程操控机械或机器人,甚至模拟训练外科实习生进行手术。

在虚拟现实的研究中,对视觉和听觉交互的研究一直占据主流地位,对其他感觉交互技术的研究则相对被忽视。目前,已经有一些研究机构和创业团队在着手解决这些问题。

只允许单向的信息通信,比如只允许计算机接收大脑传来的命令,或者只允许计算机向大脑发送信号(比如重建影像)。

则允许大脑和外部计算机设备实现双向的信息交换,比如Neurosky(神念科技)的Brainlink。它可以采集大脑产生的生物电信号,并通过esense算法获取使用者的精神状态参数(专注度、放松度)等,实现基于脑电波的人机交互,或是俗称的

Neuralink公司属于侵入式技术的代表,其产品通过在大脑中植入微型电极和芯片,收集人脑1500个点产生的神经元信号。Neuralink公司使用了一种被称为“神经织网”的技术,该技术通过一种特制的“缝纫机”将只有头发丝1/10粗细的线植入大脑,这种线可以像人的神经一样高速传输各种数据。

虽然植入式技术的难度更大,但在信息的捕捉和传递方面更加精准、可靠,发展空间不可限量。

关于作者:王寒,资深苹果平台开发者、国内较早的iOS与VR/AR应用开发者、腾讯课堂讲师、知乎专栏“灵猫学编程”作者、蛮牛游戏开发专栏作者。著有《Cocos2D权威指南》《虚拟现实:引领未来的人机交互革命》《Unity AR/VR开发:从新手到专家》等书。

本文摘编自《Unity AR/VR开发:实战高手训练营》,经出版方授权发布。

4.将“商户单号”填入下方输入框,点击“恢复VIP特权”,等待系统校验完成即可。

4.将“商家订单号”填入下方输入框,点击“恢复VIP特权”,等待系统校验完成即可。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注