德国不莱梅大学Felix Putze等人在研究现实增强（Augmented Reality , AR）与虚拟现实（Virtual Reality , VR）技术与脑机接口（Brain-Computer Interfaces , BCI）结合的巨大潜力，进一步提高AR/VR的沉浸性，提高BCI在康复和控制方面的可用性。相关成果作为Editorial论文于2020年5月发表在 《Frontiers in Human Neuroscience 》 杂志上。原文题目为Brain-Computer Interfaces and Augmented/Virtual Reality。本文将会对论文中的内容进行介绍以及自己的总结。
范围
近年来，现实增强和虚拟现实（AR/VR）技术已经成熟，能够为用户提供了更高层次的沉浸感和存在感，同时它成为了一个广泛应用的工具，由此创建一系列新的应用程序和体验。AR/VR技术能够创建比标准桌面应用程序更刺激和更具表现力的场景，其涵盖广泛的领域，其中包括娱乐、教育、艺术和健康等。
脑机接口（BCI）和AR/VR技术的融合可以通过增加人与AR/VR交互的网络带宽，进而提供额外的交互渠道。这可以通过主动BCI显式实现，也可以通过被动BCI隐式实现。主动的BCI允许用户向设备发出命令或输入文本，而无需任何形式的物理参与，而被动的BCI可以监控用户的状态（例如，工作负荷水平，注意力状态），并可用于主动适应AR/VR界面。
BCI与AR/VR的融合，能够通过创建让人身临其境的场景从而诱导用户产生人为感知现实的幻想，其不仅仅可以用于基础的BCI研究，还可以用于其他的应用领域。在基础研究中，AR/VR可以用来平滑地调整场景刺激的强度、复杂度，和真实感。在治疗应用中，AR/VR可以通过游戏化的方法或可信化的虚拟场景创建具有激励性的训练模式。在人机交互应用中，AR/VR可以快速生成现实环境中新的场景范例的原型设计。为了实现这些期望，需要在BCI交互和刺激设计、同步或处理VR/AR特定伪影[1]和干扰方面取得方法上的进步。
该研究课题中的论文展示了基于AR/VR技术与BCI融合研究的优点和潜力，以及在实现两者融合的道路上所面临的挑战。根据分析目前的研究，提出了被动和主动的BCI。在被动BCI方面，Vortmann[2]等人研究了AR中的注意力状态，Termmel[3]等人研究了VR中工作负荷评估。而对于主动BCI，Pardo[4]等人以及Vourvopoulos[5]等人在神经康复的运动想象脑机接口训练中直接控制虚拟手臂，Škola[6]等人通过游戏化的训练中直接控制虚拟手臂。
根据分析现有的研究成果，我们可以看到BCI可以用于基于AR/VR技术的训练，用于工作负荷和注意力评估，同时也可以用于康复治疗，其中与传统的训练方法相比，通过虚拟现实技术更能创造出沉浸式的体验。
研究重点
在该课题的研究中，作者们提出了被动和主动BCI技术。关于被动的脑机接口，研究主要集中在两个方面：注意力和工作负荷，这是自适应技术经常要解决的问题。从分析前人的研究动机出发，其论文旨在通过用户状态适应进行调整AR/VR的场景。
Vortmann等人[2]研究了AR环境下内部的注意力与外部的注意力的分类，其模仿经典的AR交互，开发了一种需要连续空间对齐的新型AR任务。他们表明，根据频率特征，使用长度为13秒的窗口，分类器能够实现85%的平均分类精度。最近，他们展示了一个实时实现的注意模型，可以在线ARbased改编的用户界面，如智能家居控制AR采用稳态视觉诱发电位（SSVEP）和眼动跟踪技术从在环境中显示的虚拟菜单进行选择。其他的相关研究有，Si-Mohammed[7]等人提出基于SSVEP的BCI开发增强现实的3D用户界面的可行性和设计的研究。
Tremmel[3]等人进行了一项测量虚拟现实中的心理负荷的研究。他们将n-back任务改编为交互式VR，通过EEG记录了15名被试在进行0-back，1-back，以及2-back实验时的神经活动，并表明尽管在VR使用期间发生了大量的身体运动，但是工作负荷水平可以从头皮记录中区分出来。此外，他们还证明了使用功能性近红外光谱（fNIRS）作为一种替代模式的可行性，这为虚拟现实工作负荷分类的未来多模态系统打开了大门。
其他论文则集中于在VR设置中集成主动BCI技术。与被动脑机接口的贡献相比，该研究较少涉及VR界面的改进，而是利用这种沉浸式技术来改善传统脑机接口范式，例如在康复方面。
Vourvopoulos , Pardo等人在REINVENT的康复训练平台上进行了一项结合VR和BCI原理的研究[4],评估了其对四名不同程度运动障碍的慢性脑卒中患者的影响。采集到的中风后脑电图信号表明患者尝试移动，控制虚拟手臂，同时允许患者在虚拟现实中观察BCI。他们表明，基于EEG的BCI-VR通过增加用户与VR的交互的网络带宽，可能会使有严重运动损伤的患者受益，而对于较轻微损伤的患者在相同的VR训练中可以利用现有的基于肌电图的反馈感受行动路径。
通过将BCI-VR训练从单手（受伤的手臂）扩展到双手控制，Vourvopoulos , Jorge等人[5]在一名慢性中风患者中，使用了在虚拟现实中的自主控制 BCI范式NeuRow 和脑成像数据（fMRI），进行了一项研究。他们发现了上肢临床量表（Fugl-Meyer）的重要改进，并通过功能磁共振成像（fMRI）检测出大脑活动的增加，表明大脑运动网络中的神经可塑性改变。通过其实验结果，BCI与生态有效性的VR技术结合可以用于上肢运动功能下降的慢性中风患者，同时，结合脑成像数据，作者们将进一步确定脑控制的VR训练环境对神经康复的具体好处。
最后， Škola等人[6]提出了一项研究，该研究采用了游戏化BCI-VR训练，其中包括旨在保持高水平注意力和动机的虚拟场景。这是通过逐渐增加的训练，训练是由事件驱动，而不是通过给被试提供关于他们进步的分数来实现的。分类器性能的性能水平高于偶然性水平（65%）。
个人想法和讨论
该论文提出了将AR/VR技术与BCIs相结合，进一步提高AR/VR的沉浸性，同时也提高了BCIs在康复和控制方面的可用性。未来的研究可以建立在这项开创性的工作和由此产生的最佳实践的基础上，为各种各样的研究问题衍生出更标准化、通用的实验方案，这将降低进入门槛，使这项充满前景的技术更容易获得。
个人总结与思考
这篇论文主要是介绍将AR/VR与BCI进行结合后产生的巨大潜能，通过分析了几个AR/VR与BCI结合在康复治疗的研究成果，得出了将AR/VR与BCI相结合，不仅仅可以提高AR/VR技术的沉浸感，也能提高BCIs在康复治疗应用的可用性。
目前，BCI与AR/VR技术结合大部分是应用于康复治疗中，但是在被动的脑机接口领域的进一步研究[8，9]可以帮助监测用户的不同心理状态（如，仪态，情绪，注意力等等）。自己个人的研究也是通过将VR与BCI进行结合，通过VR技术设计一些虚拟场景，本人目前使用的是使用Untiy进行虚拟现实场景的设计，通过虚拟场景进行诱发或调控被试的情绪。
目前简单设计一个轻松愉快的场景，场景的内容包括草坪，山丘，树木，房子，湖水以及天空，被试可以通过键盘进行控制视觉的移动，当移动在树木的附近会有小鸟的叫声。
实现虚拟现实系统的BCI控制可以看作使用BCI作为输入设备与虚拟环境（Virtual Environments ，VE）进行交互。因此，它为用户提供了一种通过大脑活动在虚拟世界中行动的方式，并使用可用的输出设备向用户提供有意义的反馈，在我看来BCI系统主要记录大脑信号，经过处理并且实时提取相关特征和与情绪相关的心理状态并进行分类以生成命令，虚拟现实的系统则模拟和渲染一个虚拟的世界，为用户提供反馈和处理接收到的命令，重点是两个系统必须能够通信，以便交换信息和命令。图8为VR应用程序与BCI控制的原理图。
目前情绪调控的神经机制研究可以依托成像技术，如功能磁共振成像（functional MageneticResonance Imaging, fMRI），通过设置不同的情绪调控任务，对大脑的功能分区在任务中的活化程度进行分析。其中，Ochsner提出了情绪调控的认知控制模型[10,11]，该模型认为情绪源于多种评价系统，既可以自下而上产生（刺激驱动），也可以自上而下产生（概念驱动），无论是刺激驱动还是概念驱动，都是源于刺激知觉。在研究情绪调控的实验方法上，多数研究者以情绪材料诱发情绪感受为主，需要结合不同的认知任务要求，观测任务执行过程和执行前后的各种表现。Dennis和Solomon在研究情绪调控和注意力干扰时，采用视觉—听觉交叉模式，设计了有声的电影片段来诱发被试的不同情绪，进而观看不同类型的图片，其结果证实了额叶活动反应了情感语境和情绪调控的能力[12]。由于个人的研究是VR与BCI结合，在情绪调控也主要是通过虚拟现实的场景进行调控用户的情绪，例如当检测用户当前的情绪为紧张，恐惧时，则虚拟场景切换至轻松愉悦的场景，通过视觉与听觉上，使得用户的情绪逐渐恢复平静。
参考链接
https://www.scholat.com/teamwork/showPostMessage.html?id=9418
[1] F. Putze, C. Herff, C. Tremmel, T. Schultz, and D. J. Krusienski, ‘Decoding Mental Workload in Virtual Environments: A fNIRS Study using an Immersive n-back Task’, in 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Berlin, Germany, Jul. 2019, pp. 3103–3106, doi: 10.1109/EMBC.2019.8856386.
[2] L.-M. Vortmann, F. Kroll, and F. Putze, ‘EEG-Based Classification of Internally- and Externally-Directed Attention in an Augmented Reality Paradigm’, Front. Hum. Neurosci., vol. 13, p. 348, Oct. 2019, doi: 10.3389/fnhum.2019.00348.
[3] C. Tremmel, C. Herff, T. Sato, K. Rechowicz, Y. Yamani, and D. J. Krusienski, ‘Estimating Cognitive Workload in an Interactive Virtual Reality Environment Using EEG’, Front. Hum. Neurosci., vol. 13, p. 401, Nov. 2019, doi: 10.3389/fnhum.2019.00401.
[4] A. Vourvopoulos et al., ‘Effects of a Brain-Computer Interface With Virtual Reality (VR) Neurofeedback: A Pilot Study in Chronic Stroke Patients’, Front. Hum. Neurosci., vol. 13, p. 210, Jun. 2019, doi: 10.3389/fnhum.2019.00210.
[5] A. Vourvopoulos, C. Jorge, R. Abreu, P. Figueiredo, J.-C. Fernandes, and S. Bermúdez i Badia, ‘Efficacy and Brain Imaging Correlates of an Immersive Motor Imagery BCI-Driven VR System for Upper Limb Motor Rehabilitation: A Clinical Case Report’, Front. Hum. Neurosci., vol. 13, p. 244, Jul. 2019, doi: 10.3389/fnhum.2019.00244.
[6] F. Škola, S. Tinková, and F. Liarokapis, ‘Progressive Training for Motor Imagery Brain-Computer Interfaces Using Gamification and Virtual Reality Embodiment’, Front. Hum. Neurosci., vol. 13, p. 329, Sep. 2019, doi: 10.3389/fnhum.2019.00329.
[7] H. Si-Mohammed et al., ‘Towards BCI-Based Interfaces for Augmented Reality: Feasibility, Design and Evaluation’, IEEE Trans. Visual. Comput. Graphics, vol. 26, no. 3, pp. 1608–1621, Mar. 2020, doi: 10.1109/TVCG.2018.2873737.
[8] L. George and A. Lécuyer, ‘An overview of research on “‘passive’” brain-computer interfaces for implicit human-computer interaction’, p. 6.
[9] T. O. Zander and C. Kothe, ‘Towards passive brain–computer interfaces: applying brain–computer interface technology to human–machine systems in general’, J. Neural Eng., vol. 8, no. 2, p. 025005, Apr. 2011, doi: 10.1088/1741-2560/8/2/025005.
[10] K. N. Ochsner, S. A. Bunge, J. J. Gross, and J. D. E. Gabrieli, ‘Rethinking Feelings: An fMRI Study of the Cognitive Regulation of Emotion’, vol. 14, no. 8, p. 15.
[11] K. N. Ochsner et al., ‘For better or for worse: neural systems supporting the cognitive down- and up-regulation of negative emotion’, NeuroImage, vol. 23, no. 2, pp. 483–499, Oct. 2004, doi: 10.1016/j.neuroimage.2004.06.030.
[12] T. A. Dennis and B. Solomon, ‘Frontal EEG and emotion regulation: Electrocortical activity in response to emotional film clips is associated with reduced mood induction and attention interference effects’, Biological Psychology, vol. 85, no. 3, pp. 456–464, Dec. 2010, doi: 10.1016/j.biopsycho.2010.09.008.