回声|结合手势与AR，这项研究让我看到了沉浸感音乐的未来
为了让你自然操控AR眼镜，Facebook从多种方向探索AR的交互方式，比如：用摄像头、体感手套来追踪手势，或是用EMG肌电技术追踪五指的运动神经信号等等。
文章插图
实际上，除了自然的交互外，手指的触觉反馈也能帮助增加AR的沉浸感。那么，如何将触觉和手势交互自然结合呢？为了探索这个问题，Facebook科研人员研发了一种改变视觉、声觉和触觉的体感增强系统：Tactile Echoes。
Tactile Echoes的联合设计者Anzu Kawazoe（加州大学博士候选人）表示：Tactile Echoes可能是首款将AR投影、手势识别等多重模拟反馈结合的体感方案。它具有10种可调试的参数，支持模拟多样化的多感官反馈。
据悉，Tactile Echoes又被科研人员称为“基于手势的多重感官增强系统”，其特点是采用可穿戴式设计，与基于投影的AR界面结合，Echoes基于AR投影，手势追踪通过摄像头，而体感反馈则通过手指上方的压电传感器和制动器来实现。
采用AR投影界面的好处是，体验者的手可直接触碰桌面并得到反馈，无需控制按钮或触屏来进行输入，因此体验感更自然，而且可以融合视觉、体感、听觉多重感官反馈。应用场景方面，可用于游戏、娱乐、科研等等。
文章插图
细节方面，整套系统包含：压电传感器、制动器、声卡、PC、扬声器和音频放大器。压电传感器在识别到手指震动信号后，会传输到PC中进行处理，并输出至制动器中，对手指产生震动反馈，与此同时扬声器也将发出音频反馈。而AR投影则提供视觉UI。
实际上，在日常生活中你用手指敲打桌面时，通常能听到哒哒声，而Tactile Echoes方案想了解的是，能否用空洞的回音，或是哄哄的雷声来代替哒哒声。
也就是说，摄像头识别到手指与平面接触时产生的震动强度，会影响你与AR界面的交互体验。Tactile Echoes产生的体感和音频反馈与手指接触表面的力度相关，用力越大反馈越强烈，当你轻触某样物体时，可能会听到轻轻的回声，当你用力捅某样东西时，可能会听到砰的回声。而当你的手指触碰不同的界面时，得到的反馈也有所不同。
文章插图
打个比方，当你短暂用手敲击AR界面时，会得到不连续的回声，如果你用手指在AR界面上滑动，则会产生持续的回声。除此之外，还会根据触屏的表面或位置渲染不同的体感反馈。
【 回声|结合手势与AR，这项研究让我看到了沉浸感音乐的未来】
文章插图
Kawazoe表示：我们的灵感是，通过Tactile Echoes来增强木桌等普通平面的触感，加入动态的体感反馈和音效，对触碰做出响应。
Facebook表示：Tactile Echoes是一个穿戴式触觉反馈系统，其特点是可捕捉手指触碰桌子等平面产生的震动，并实时处理震动数据，转化为“回声反馈”，就像是将触觉震动转化为声音震动，从而产生回声的一种持续的反馈过程。
在实验中，科研人员创造了一个2D的AR音乐合成界面，看起来互动性足够优秀，尽管只是虚拟的AR界面，也能同时提供触觉、震动、音频的自然反馈。
科研人员采用了VR/AR头显、交互式AR投影来展示视觉效果。实验共分为两种，一种是调查体验者对于不同音效、体感反馈的认知，而第二个实验中，体验者需要完成结合Tactile Echoes方案的交互式AR游戏。体验者表示：音频和体感反馈有效提升了游戏交互的响应能力，而且沉浸感和临场感也加强了。
推荐阅读
- 无畏|三款热门小钢炮轻薄本对比，结合用户口碑，聊一聊谁更值得入手？
- 软件|全新量子计算软件发布，国产量子计算软硬件结合迈出重要一步
- 手势|荣耀60系列详细评测：2021手机颜值天花板实锤了
- ThinkBook|高性能与便携的结合 打工人必备联想ThinkBook 14p
- m最佳6款13英寸笔记本电脑大推荐：性能与体积的完美结合，完美
- ultrvivo NEX5渲染图曝光！小米11 Ultra和华为Mate 40的结合体？
- 数据智能|TalkingData崔晓波：科技基因与运营基因结合，促成跨越周期的中国品牌｜探路 2022
- vlog|荣耀50系列！科技与美学的极致结合
- 平板|直板手机与平板完美结合 荣耀MagicV带来全新折叠屏体验
- 汽车出行|ZEEKR 001试驾：优雅猎装与性能怪兽的结合体