为什么要关注混合现实(Mixed Reality)?

首先,我们得花一点时间区分一下AR, VR , MR这几个词的意义。根据Milgram在1994年的论文定义:纯物理现实的体验和纯虚拟现实的体验是一种连续光谱的两个极端。这个光谱被称之为 现实-虚拟的连续。在这种连续中,包含了虚拟和物理现实出现的各种比例。根据这些比例的不同我们对不同的状态有不同的称呼。AR就是以现实为基础在其上增加虚拟元素;VR就是一个完全虚拟的世界。而我们今天要讲的混合现实(MR)是介于他们之间的一种状态。
在94年的定义中,作者仅考虑了视觉的要素。在2009年Jeon and Choi(extended it to include the sense of touch)一文中为混合现实的定义中加入了触觉的元素。至此我们混合现实的概念覆盖了人类两大感官,但这是远远不够的。研究者们在追求多重感官的沉浸式体验路上已经越走越远。不同的人尝试在不同的维度上进行尝试,有可以给力反馈的手套,有提供温度感知的衣服等等。但是无可否认的是,视觉仍然是混合现实中最重要的一部分,它的重要性远远超过了其他的感官。
当人们通过看电视、看书、听收音机等方式去体验一个不同的世界的时候,人们往往可以获得一种短暂的沉浸感,这种沉浸感往往是由人的大脑主观营造出来的。但是这种体验不可能维持非常长的时间,人需要回到真实世界的生活当中。但是当我们的机器设备有能力接管人类的感官的时候。我们相信这种混合现实的体验就会有可能长期侵入甚至主导人们的日常生活。真实世界的信息和虚拟的信息将会又计算机进行混合再传递到我们的大脑当中,其中计算机将会做出大量的不可见运算以使得结果可以达到以假乱真欺骗我们大脑的目的。由此混合现实将会是一种主导人们日常生活的技术。为此我们需要做好充分的准备。

未来有多远?

我们现在能够预见到在未来的五年内,显示技术将会有一个很大的跃升。这将会导致我们将混合现实应用逐渐进入我们的日常生活中。人们将会通过随身设备随时的进行虚拟和现实的切换。
大量的电影中的镜头将会成为现实,生活中将会加入大量的虚拟信息。混合现实中会出现不同的社交元素。这种技术的加入使得人们的社交将会真正突破时间的空间的现实,每个人都将会拥有他们可视化的虚拟形象。iphone X中出现的人脸追踪定位技术将我们通过电子形象表达情感的可能进一步拉近。

未来会是一个什么样子

随着苹果的ARKit和安卓的ARCore的出现,我们每天使用的设备将会具有混合现实的展示能力。随着这项技术的成熟,我们日常生活中与电子信息打交道的方式将会发生一个深刻的转变。从目前以应用为基础的方式(下载应用,每个应用对应解决一个需求的方式)到以不可察觉的智能助手的方式,我们的应用界面将会彻底的融入我们的视觉和自然互动之中。应用将会出现以下几个特点:

应用程序将会去界面化,变得不可察觉甚至容易”被人遗忘”

随着混合现实的组件流行,目前的二维交互界面将会彻底地融入三维的图形渲染世界之中,人工智能的语音问答将会成为人们与信息交互的主要输入媒介,信息的呈现方式将会和我们的混合现实世界融为一体。人的肢体交互方式将会被彻底地释放,从鼠标键盘等物理控制器转变到以自然行为作为语义的交互方式。由于交互的自然化,应用的概念将会逐渐被人们所遗忘,行为既交互,交互既信息将会成为未来主流。

混合现实将会影响人们对周围环境的感知

由于混合现实具有给周边环境叠加新信息的能力。这种能力将会为人们观察世界带来新的可能。物件的语义在新的信息的加入情况下将会获得与之往常不一样的功能或者意义。一切简单的物件被计算机识别之后都有可能产生他们自己的新的交互方式。这将把交互的入口进一步的放大的整个环境当中。因为人的感知和认知不一定百分百能够反应物理世界的真实情况。所以这给计算机或者说软件设计者留下了进一步操作的可能,这也是我们团队研发混合现实的重定向行走的前提。

更为社交化的混合现实体验

这里谈论的社交化不仅仅是指在混合世界中与他人交互,更多的是当用户在享受他自己的混合内容的时候。他人是如何和当前用户看到的场景同步的。现在在各大VRAR的展览中我们都会看到这样的一种情况:现场只有一个人可以沉浸在体验内容当中,其他的人就只能等待或者通过二维的影响预览一下。这种体验的模式使得混合现实推广的难度大大增加。所以如何使得多人可以同时体验混合现实,乃至当多人在同时体验混合现实的时候,他们之间的内容如何同步甚至交互,都是今后发展研究的方向。
理想和混合现实的体验环境应该是我们可以很方便地与他人分享我们的所见所感。我们能够自由地控制我们内容的隐私和开放程度。
原文章发布于作者个人网站