今年在上海世界移动通信大会上出现的虚拟现实（VR）展台和样品比往年更多。我们发现很多参观者都戴上了如图1所示的头显设备（HMD）。围绕VR的大肆宣传已经酝酿多时。另一方面，销量却未达到预期。彻底释放VR及诸如增强现实（AR）和扩展现实（XR）等相关技术的潜能需要我们做出哪些改变呢？

图1：2017上海世界移动通信大会：参观者试用其中一台VR样机。

HMD有多种产品，从廉价的纸盒式设计到深度浸入式高端产品，如HTC Vive，及很多界于这两者之间的设计（图2）。在浸入轴的左侧，所有的头显设备都是便携式且使用适用于此设备的现有智能手机所采用的处理能力和显示屏。在右侧，所有的HMD均由电脑或控制台供电，使得用户在体验VR时有所限制。正如我的同事在一年前所指出的，这个球和链是限制用户体验的一大因素。

图2：此图显示了流行HMD的价格与浸入程度的关系。（消息来源：CEVA）

预计所有顶级VR头显设备的销量会逐年增加（图3）。也就是说，便携式头显设备三星Gear VR和谷歌Daydream的出货量预计比受限于电脑/控制台的头显设备要高得多。其它市场研究公司也做出了相同的预计。据BI Intelligence预计，搭载智能手机的头显设备将是未来数年销售量增长最快的产品。其它搭载控制台和电脑的头显设备的销售量也会增加，但不会那么快。

图3：显示了2016年及2017年全球VR头显设备的出货量。

此报告未包括的新产品为独立式VR头显设备。坊间有关此领域所有巨头的传言，包括Facebook、Samsung、Google和Intel。预计独立式VR头显设备将于2018年上市。此产品会遇到与搭载智能手机头显设备相同的挑战。

对此也有不同的预测，Mediatek在其博客中称2021年的VR头显设备的出货量将达到近6000万台。与2016年1680万台的出货量相比，增加了约240%。这些数字基于Juniper Research的一项研究。这意味着解决了头显设备移动性挑战（即能耗、计算资源及内外追踪）的公司的销量会最高。另一大挑战是内容质量，这是所有产品都面临的问题。

从上海世界移动通信大会拍摄的两则简短视频来看，移动VR解决方案的一些问题将必须加以解决。在第一个视频中，我们立即就能发现可穿戴设备上的电线与一台高性能的电脑连接，以处理任务并给设备供电。在第二个视频中，你们会看到一个小女孩正在用Leap Motion参考平台操纵一个基本3D模块。在第二个视频中，样机的功能是通过外部传感器来实现的，这限制了原先确定好的活动空间。

价格、内容和移动性是VR设备的瓶颈

如果你在追HBO的电视剧《Silicon Valley》，你可能已经注意到这一季中出现了一个新角色，编程神童Keenan Feldspar。在剧集中（警告：有剧透！），他打造了一款浸入程度很高的VR样机。在所有大肆宣传平息之后，解决方案饱受诟病，因为它需要一台价值10000美元的设备才能正常工作且不能自由移动。这正是现实生活中VR产品所面临的情形。阻碍现在的VR产品在市场上大量销售的最主要因素是价格及这种沉重设备无法自由移动。这部剧的粉丝认为Feldspar的角色是电视剧版的Oculus创建人Palmer Luckey。Luckey自己最近把推特的头像换成了Feldspar的照片。

Luckey在Facebook于2014年以20亿美元的价格收购自己的公司时加入了Facebook。其首款HMD，Rift于2016年推出，但销量让人失望，因此Luckey被Facebook炒了鱿鱼。自那时起，他发推特确认自己通过Patreon给一个名为Revive的项目投了2000美元。此项目让专为Oculus Rift设计的VR游戏在竞争产品HTC Vive上运行。目前，优质内容是特定VR生态系统吸引消费者的一个主要区别因素。但显然，Luckey相信内容应该是跨平台的，我也倾向于同意此观点。

顺便要提到的是，Khronos Group正在打造一个名为“OpenXRis工作组”的适用于VR和AR应用和设备的公开免版税标准。如果成功的话，这会打造出一款跨平台架构，免去了为每类设备的API移植应用、游戏及引擎的需要。

移动VR的挑战

移动设备上的挑战稍有不同。受限的问题已经解决，剪掉烦人的电线意味着开启了基于位置的内容的无尽机会。但仍有其它挑战，首先是能耗。移动意味着电源被整合进HMD内部，电池大小和重量由不影响用户舒适度的头显设备决定。现在电池从前面移到了后面，用以平衡重量。除了影响设备运行时间的电池大小，还得考虑处理量。渲染全高清图像所需的处理能力远低于渲染4K分辨率的图像的，而4K正是处理量的分水岭。

举个例子，Caraok独立式VR头显设备（图4）配有一块3200mAh 400g的锂电池，号称使用时间长达3小时。头上戴着这么重的东西，你能3小时不低头吗？没有明确的答案，但有一件事很确定：处理必须极为高效才能让电池的每mAh都能发挥作用。

图4：Caraok：你也许能玩上3小时，但你的颈部肌肉能支持那么长的时间吗？（消息来源：Amazon）

也许正在开发独立式VR头显设备的Oculus的原型机（代号“太平洋（Pacific）”）会给这些问题提供一些答案。Facebook的CEO Mark Zuckerberg称其会在Rift受限的浸入式体验和Samsung Gear VR的轻型设备体验中找到“平衡点”。这意味着享受其它Oculus设备所具有的相同功能——浸入式游戏、视频观看及社交网络，但无需电脑为其供电也没有那些恼人的电线。标价200美元，这有可能就是最佳价位。

外内及内外追踪

大多数固定式VR设备都是通过在室内布置传感器对用户的运动进行“外内”追踪，从而确定HMD的位置。反其道而行之的内外追踪是将传感器置于用户所佩戴的头显设备上。内外追踪是移动HMD必须具备的功能。这要求头显设备上的传感器更智能，此外传感器要与显示屏和处理器共用电源。尽管内外追踪更为复杂且更具挑战性，但其显著优势是真正实现了设备的完全自由移动。由于不依赖于外部传感器，因此你能在任何地方使用它，而不仅仅是预配置的房间。内外追踪仍不像外内追踪那样精确，但它在迎头赶上。计算方面的挑战是实现6度自由追踪，以及眼球追踪和手势追踪。

VR的一项需要很多处理能力的功能是生成超高清图像，以带来真实的而非像素化的体验。图像的360度特性甚至让这一功能更难实现。由于与游戏计算机和控制台相比，通常移动系统的处理能力要低，因此VR设备的分辨率也会比较低。

注视点渲染

注视点渲染可能是VR领域的技术创新。通过追踪用户的眼球运动，注视点渲染让设备只显示用户注视位置的高分辨率图像。其它任何东西的显示分辨率在用户注视之前都较低。为此，苹果悄悄收购了SensoMotoric Instruments，一家专注于研究追踪人的眼球运动技术的公司。同样，Google买下了同样致力于追踪眼球运动技术的公司Eyefluence。这些都是上述公司锁定移动VR领域的清晰信号，它们都明白注视点渲染是未来的发展方向。

游戏之外：医疗、教育、旅游等

VR、AR及XR开启了我们拥抱生活和体验的无尽可能。尽管娱乐是此技术最受欢迎的使用领域，但这只是开始。如果医疗机构能够从全球任何地方做手术或培训同事，那就可以挽救很多生命和/或治疗很多人。教育可以跨跃边界，让很多有需求的人获益。

旅游业可以使用这些技术，让人们体验异域风情或在老地方有新发现。但要让所有这些可能成为现实，技术必须要成熟。处理必须高效智能。在不影响储备充足电能以实现活动不中断的情况下，头显设备还要轻，佩戴要舒适。一旦所有这些要求都能满足，那么所有这些令人兴奋的使用案例都会成为现实。

高效视觉处理器必须是移动VR的核心元件。为获得舒适愉悦的体验，4K变形修正、注视点渲染、内外追踪及传感器融合等计算上的挑战必须在低能耗和最高速的条件下予以解决。了解CEVA如何看待成像和计算机视觉移动的更多信息。