深圳国际电子展：光追手套VR虚拟键盘方案电子物料展|汽车电子展|电子元器件展会-行业资讯-深圳电子元器件及物料采购展览会

青亭网就曾报道Facebook科研人员展示的一种基于光追手套的VR虚拟键盘方案，它的特点是利用Quest头显对光追手套上标记的识别，来替代实体键盘进行输入。也就是说，你在任何表面上都可以模拟键盘输入，在VR中你可以看到虚拟的键盘和输入的文字。

为了探索在VR中快速、自然输入文字的方式，Facebook想了很多办法。目前已经应用且最直接的方式是，通过手机输入然后发送到头显中，或是依靠语音指令。不久后，Facebook还将为Quest推出基于AR透视和键盘定位的AR办公功能Infinite Office，也是一种可以让你快速在Quest中进行输入的方式。

Facebook表示：目前，我们在Quest 2的文字输入方式上将重心放于AR+键盘追踪的形式。与此同时，用光追手套模拟打字也是FRL正在探索的输入方式之一，目前它可以让你在任何表面实现73字/分钟的输入速度，距离FRL的研究目标前进了一大步。

FRL在最新发布的一篇博客中详细介绍了光追手套VR虚拟键盘方案的更多细节，以及为Quest开发手势识别技术背后的故事和设计理念。

关于VR虚拟键盘方案

FRL研发的光追手套VR虚拟键盘方案的一大特点是利用模型算法来推断你的意图，以此来提升虚拟键盘输入的准确性。为此，FRL科研人员参考了自动语音识别算法采用的统计解码技术（利用声学模型从音频帧预测音位），利用动作模型来推断敲击手势的意图，即使手势漂移也能辨别不规则的输入规律。

具体来讲，FRL利用时间卷积网络来根据手势数据来形成动作模型，将一系列手势特征转化成文字。然后在动作模型基础上还结合了语言模型，即使动态手势难以识别，也能推断出输入意图。接着，利用定向搜索来分析动作模型和语言模型，推断不规则或不明确的手势想要输入的文字。据了解，利用该方案输入文字的速度平均可达73字/分钟，未修正的错误率低至2.4%，对比同一个人在实体键盘上输入的速度和准确率，两种方案效率相当。

FRL科研人员还发现，手势识别输入比平板电脑采用的电容传感触屏效率更高，原因是手势识别可追踪每一个单独的手指，以及手指的移动轨迹，这是当前平板电脑或智能手机技术难以做到的。尽管如此，在VR沉浸的环境中，依靠手势来输入可能并不适合所有人。FRL表示：该方案更适合于能够盲打的人，尤其是没有键盘的体感反馈也能自然输入的人。可能对于习惯于用实体键盘打字的人来说，还需要一段时间适应。FRL的手势识别探索之路对于FRL科研团队来讲，手势识别技术是为了降低VR使用门槛而探索的方向之一，他们认为手势输入比手柄更容易上手，随时随地就能使用，是一种更加自然的人机交互方式。

尽管一开始，FRL在VR输入方式上的研究以手柄为重点，但是他们发现与直接用手操作相比，手柄控制缺乏表现力，使用起来也不够自然。于是在5年前，FRL几乎从零开始研发，最后成功在Quest上推出足够稳定的手势识别技术。此前，青亭网就曾报道过FRL对Quest手势识别研究发布的论文，其中揭露了4颗黑白摄像头实时识别手势的原理，以及需要克服的困难。为了在配备移动芯片的Quest一体机流畅运行，FRL对手势识别系统进行一系列优化，将该系统的耗电量降低至7%。接下来，FRL还将继续在VR手势识别上的探索，进一步优化技术。如果你现在就想试试Quest手势识别功能，可以去体验《Wlatz of the Wizard》、《The Line》、《SpaTIal》、《The Curious Tlae of the Stolen Pets》等VR应用，未来相信还会有更多VR作品加入该功能。

深圳电子元器件及物料采购展览会是深圳国际电子展中专注于全面展示电子产品设计生产所需的各类电子元器件及物料产品的商业展览，是为来自各类电子产品生产加工企业的专业采购人员所打造的元器件及物料采购平台的深圳国际电子展。

深圳电子元器件及物料采购展览会是立足硬件之都、创业之都： 5G/6G、无人机、机器人、智能穿戴、智能硬件……；全面覆盖华南优势产业应用：物联网、AI、工业、新能源、消费电子、家电、手机、通信、照明、安防等；全面展示从电子到制造，行业应用解决方案的深圳国际电子展展览会。

深圳电子元器件及物料采购展览会将于2022年10月12-14日在深圳国际会展中心（宝安新馆）隆重开幕，期待您的参与。

如有侵权，请联系删除。

参考：https://tech.fb.com/making-technology-feel-natural/

深圳国际电子展： 光追手套VR虚拟键盘方案

深圳国际电子展：光追手套VR虚拟键盘方案