本篇学习报告的内容为：使用深度学习算法进行脑机接口的多模态 fNIRS-EEG 分类，所参考的文献是《Multimodal fNIRS-EEG Classification Using Deep Learning Algorithms for Brain-Computer Interfaces Purposes》，该文献发布时间为2020年。文献使用了柏林科技大学的两个开源元数据集，研究了DNNs在多模态fNIRS-EEG记录的运动想象（MI）和精神负荷（MWL）任务分类中的能力。
背景与研究内容
单模态的脑电图(EEG)和单模态的功能性近红外光谱(fNIRS)已广泛用于脑成像。然而，近年来，这两种模态的融合在神经成像方面也显示出良好的结果，这是因为它们在时间和位置上准确识别大脑活动的分辨率，同时，由于EEG的时间分辨率高，空间分辨率低，而fNIRS的空间分辨率高，时间分辨率低，因此这两种模态之间会形成一种互补的特性，从而能够获得更加丰富的大脑信息。然而，基于fNIRS和EEG的认知任务分类涉及到复杂的模式识别问题，传统的分类方法需要先验的特征选择和预处理的工作，但是这并不能保证得到最优的分类。深度神经网络(DNN)可以克服这一挑战，DNNs直接从fNIRS和EEG信号中提取特征，并且大量的特征预处理工作。此外，随着计算能力的提高，DNN已成为高精度分类的实用选择。
数据集与信号处理
文献研究使用了由Jaeyoung Shin等人于2016年和2017年在柏林科技大学收集的两个开源元数据集[2, 3]。两个数据集都包括了同时采集的脑电（30个通道）和fNIRS（36个通道）记录的大脑信息。此数据集记录了26名健康受试者在3个认知任务：（1）n-back(0-， 2-和3-back)，歧视/选择反应任务（DSR）和单词生成任务（WG）中的大脑活动情况。第一个任务分别被分为四类（0-，2-和3-back任务和休息），第二个任务被分为两类（目标vs.非目标），第三个任务被两类（基线和单词生成）。第二个数据集是运动想象，包括左、右运动想象任务，共29名健康参与者。
脑电电极按5-10系统分布于整个头皮。数据集在MWL实验中，分别在额叶区（16个通道）、运动区（4个通道）、顶叶区（4个通道）和枕叶区（4个通道）放置16个光源和16个探测器。而在MI实验中，15个信号源和16个fNIRS探测器分别放置在前额区(9个通道)、运动区（12个通道）和视觉区（3个通道）。在[2]和[3]中，第一和第二数据集头皮上的EEG和fNIRS通道有211个。数据集的具体描述如下：
数据集1. A: n-back -数据集由9个序列的0-，2-和3-back任务平衡顺序排列组成。单轮系列流程包括一个2秒的指令，显示任务类型（0-，2-或3-back），一个40秒的任务周期，和一个20秒的休息周期[3]。
数据集1. B: DSR -数据集由9个DSR系列组成，按平衡顺序排列。一个单独的试验包括2秒的指令，40秒的任务期和20秒的休息期。在任务期间，符号O和符号X以随机的顺序每隔2秒给出一次。当符号O出现时，被试按下一个按钮（目标，当符号X出现时按下另一个按钮（非目标）[3]。
数据集1. C: WG -每个系列包括20个随机顺序的单词生成（WG）和基线（BL）试验（每个10个）。对于WG，在2s指令中，要求被试继续思考已经给定开头字母的单词，而在BL中，要求被试放松并注视十字符号，以降低认知负荷[3]。
数据集2 .A:左手MI vs.右手MI -实验包括3个阶段的左手MI和右手MI，每个阶段包括1分钟的实验前休息时间，20个重复给定的任务，和1分钟的实验后休息时间。任务以2秒的视觉介绍开始，接着是10秒的任务周期和15 - 17秒的随机休息周期。被试被要求以1hz的速度[3]想象握（张开和握紧他们的手）。
所有数据集的试验次数、系列数和实验次数的汇总见表1。
深度神经网络与输入特征
文献提出的深度神经网络由4个隐含层组成，如图1所示，每层包含60个神经元。输入层神经元数量为HbO/HbR和EEG通道数之和。输出层由两个、三个或四个单元组成，这个取决于实验中类的数量，同时soft-max激活表示类上的概率分布。这个架构是在试验了几种不同的架构（窄的和宽的）后选择的。
DNN的输入特征被定义为N个样本，每个样本包含所有通道在所选时间窗口内的ERD、DHbO和DHbR 的平均值。N的值取决于时间窗口的长度。由于fNIRS采样率低，数据集相对较小，必须谨慎选择窗口。所选择的窗口长度既不应该导致N足够小以至于发生过拟合，也不应该窗口太大以至于影响精度。为了确保这一点，文献选择了3s的窗口长度。输入的特征数量根据所使用的采集数据点数量而有所不同。对于完全混合的fNIR-EEG，一个样本有102个（36 + 36 + 30）特征。为了比较完全混合的fNIRS-EEG系统与独立的fNIRS和EEG的分类精度，文献还测试了另外四种情况：融合的EEG和DHbO、单模态的EEG、DHbO和 DHbR的融合，以及单模态的DHbO。对应于这些情况中每一种的特征的数量如表2所示。
分类流程如图2所示。滤波后，将之前获得的fNIRS特征进行平方，然后在滑动窗口上求平均，以计算DHbR和DHbO。此外，在滤波之后，对之前获得的EEG信号特征在滑动窗口上进行平均，并对结果进行ERD/ERS分析。然后，所有特征被馈送到DNN算法来进行网络的训练。
结果
表3-6分别报告了n-back、DSR、WG和MI任务中所有记录组合（EEG、fNIRS （DHbO - DHbR）、fNIRS （DHbO）、EEG + fNIRS （DHbO - DHbR）和EEG + fNIRS （DHbO - DHbR））基于DNN分类和基于SVM分类的单被试准确率。计算了26名被试在脑力负荷任务和29名被试在MI任务中的平均准确率。
对于所有事件，与独立方法相比，全混合EEG-fNIRS具有最高的平均准确性。在所有的实验中，采用DNN作为分类器的效果都优于传统的SVM分类器。DSR任务的改进率最高，为8%。总体而言，2类实验（MI、DSR和WG）的平均分类准确率高于4类n-back测试，正如预期的那样，因为n-back测试中可能存在的类更多。所提出的DNN分类器对WG任务的准确率为92%，而SVM的准确率为86%。
使用ELU激活函数生成表中所示的结果。为了研究激活函数对分类性能的影响，文献应用了两个最近引入的激活函数，并比较了它们在这个应用中的性能。应用的激活函数是整流线性单元（ReLU）函数，该函数已被证明可以抑制由于其非饱和性质而导致的消失梯度问题，以及指数线性单元(ELU)，该函数的代价快速收敛到零[6]。使用ELU激活函数时，分类准确率平均比使用ReLU时高2%。
所有实验的混淆矩阵如图3所示。这些矩阵的行代表预测条件标签，而列代表参考标签。在所有的实验中，在所有的个体类别中都取得了显著的成绩，并且在混淆矩阵（对角元素，深棕色）中获得了显著的和正确的识别。在n-back测试中，3-back类相对于其他类具有最高的真正分类，2-back类具有最低的真正分类。3-back和2-back的试验显示出最严重的错误分类，3-back被归类为2-back，反之亦然。错误分类的模式表明，当项目被错误分类时，他们更有可能与难度相近的项目相混淆。在MI测试中，右手动作的解码性能较好，左手动作的真阳性分类最小。在两类实验中进行分类比四类实验产生更高的整体准确率。在WG和DSR中，两类都有相似的真阳性分类率，而误分类在两类中几乎相同。
总结与思考
文献研究了DNN结构在混合EEG-fNIRS的MI和MWL任务分类中的结果表现。文献结果表明，与单模态的EEG或fNIRS记录相比，多模态的分类精度要高得多。与传统的SVM相比，该算法显著提高了分类性能，对MI任务的平均准确率达到90%，比SVM高出8%。对于n-back任务，提出的DNN达到87%的准确率，而使用SVM的准确率为82%。选择ELU激活函数是因为它相对于ReLU具有更高的准确性。文献的结果证明了使用多模态BCI和全连接DNN实现强分类性能的可行性。
文献的全连接DNN方法对EEG和fNIRS 的多模态生理信号实现了高精度分类的效果。但此文献的方法只应用在公开数据集上，因此此方法可以在日后不同应用（如情绪分类，意识检测，虚拟现实等）的EEG-fNIRS多模态生理信号中进一步尝试应用并且改进。
参考链接
https://www.scholat.com/teamwork/showPostMessage.html?id=10644
[1] Saadati M , Nelson J , Ayaz H . Multimodal fNIRS-EEG Classification Using Deep Learning Algorithms for Brain-Computer Interfaces Purposes[M]. 2020.
[2] Shin, J., Von Luhmann, A., Kim, D.-W., Mehnert, J., Hwang, H.-J., Muller, K.-R.: Simultaneous acquisition of EEG and NIRS during cognitive tasks for an open access dataset. In: Generic Research Data (2018)
[3] Shin, J., Von Lhmann, A., Kim, D.-W., Mehnert, J., Hwang, H.-J., Muller, K.-R.: Simultaneous aquisition of EEG and NIRS during cognitive tasks for an open access dataset. In: Scientific Data, vol. 5 (2018)