- 文章题目: 脑电情绪识别的深度学习研究综述
- 全部作者: 李锦瑶, 杜肖兵, 朱志亮, 邓小明, 马翠霞, 王宏安
- 第一单位: 中国科学院大学 计算机科学与技术学院
- 出版时间: 2023,34(1):255-276
摘要
情绪是情感的外在体现, 影响人类的认知、感知、理性决策等日常活动. 情绪识别作为实现计算机全面智能的一项基础任务, 在情感计算和人机交互领域被深入研究和广泛应用. 相比面部表情、语音或其他生理信号, 利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势. 近年来, 越来越多的深度学习框架被应用于基于脑电信号的情绪识别, 并取得了比传统机器学习方法更加优异的效果. 基于深度脑电特征的情绪识别是当前的研究热点之一, 也具有一定的挑战性. 目前, 可供参考的针对此研究热点的综述文献较少. 对近年来国内外相关文献进行调研分析, 从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况, 并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比, 分析和总结这些方法的不足, 同时也对未来可能的研究方向进行了展望.
内容精选
将深度学习应用于基于EEG的情绪识别是当前的研究热点, 然而, 国内外可供参考的综述性文献较少. 因此, 本文针对基于EEG的情绪识别任务, 研究深度学习方法在其中的应用, 从模型输入、深度框架、实验设置、实验结果等方面总结不同方法, 进行更加全面的比较和分析.
模型输入
EEG通过测量离子流在大脑神经元内部产生的电压波动, 按照时间顺序来记录头皮活动. 因此, EEG设备采集的是一种多通道时间序列, 其中每个通道对应一个EEG电极. 鉴于EEG信号具有较高的时间分辨率, 蕴含丰富的信息, 如何处理采集到的数据作为模型的输入成为关键问题之一. EEG情绪识别模型的输入形式可以大致分为4类: 人工设计的传统特征, 原始或经过预处理的信号, 编码后的图像特征, 以及其他特征. 大多数研究利用人工设计的EEG特征作为模型输入. 如下图所示.
图1 人工设计的EEG特征的分类及各类别下的常用特征
深度学习框架分类概述
近年来, 受到深度学习在各类识别任务中取得巨大成功的影响, 如下图所示, 多种深度学习框架也被应用于EEG情绪识别.
图2 用于EEG情绪识别的深度学习框架
实验设置
外部刺激和内部响应是主要的情绪诱发方式. 其中, 通过图片、音乐和视频等外部刺激诱发不同的情绪是最普遍使用的方法. 而视频结合视觉和听觉体验, 更接近现实生活中情绪的产生环境, 在诱发具体情绪方面较为常用. 本文将重点放在视频诱发的EEG-情绪数据库.
常用公开数据库
实验策略
方法对比与分析
为了进一步对深度学习框架进行定性和定量分析, 本文选定DEAP和SEED这两个常用数据库, 对基于它们开展实验的代表性工作进行整理. 结果如下图所示.
- 在输入特征形式上, 大多数深度学习方法还是以人工设计的特征作为输入, 占比64.7%, 其中涉及DE特征的占82.6%, 可见DE是多数研究的首选特征; 此外, 分别有17.6%和14.7%的研究使用预处理后的原始信号或图像作为输入, 这两类输入在近两年逐渐兴起.
- 关于样本的切分方式, 鉴于深度模型训练需要尽可能多的样本, 88.6%的研究将一次试验的数据切分为多个样本, 进行片段层次的识别任务, 其中滑动窗口大小为1 s的占48.6%; 只有11.4%的研究尝试试验层次的情绪识别, 2016、2017、2018和2020年各一篇. 基于此, 我们认为实验层次的情绪识别是一个潜在的研究方向, 研究者们可以在此投入更多精力.
- 从深度学习框架类型的角度, 排名前3的分别是CNN及其变体(42.1%), RNN及其变体(26.3%), AE及其变体(13.2%). 由此可见, 从EEG中提取空间和时间上的特征仍是研究热点, 无监督的特征提取也受到越来越多的关注. 更加多样化的框架有待被应用.
- 在实验策略方面, 所有工作中, 涉及被试依赖策略的研究占71.4%, 涉及被试独立策略的研究占48.6%. 单篇工作只涉及被试依赖策略的占48.6%, 只涉及被试独立策略的占25.7%, 只涉及片段依赖策略的占2.9%. 可见更多研究倾向于只在一类策略上开展实验, 其中选择被试依赖策略的居多, 但这样并不能全面地验证模型的表现. 意识到这一点, 有22.9%的研究同时应用被试依赖和被试独立的实验策略, 对模型进行更加系统的评估. 此外, 有5.7%的研究涉及跨数据集的实验策略.
图3 用于EEG情绪识别的深度学习框架
总结与展望
本文从数据库建立、研究任务、特征设计和算法优化4个方面, 进一步探究和梳理未来的可行研究思路.
- 在数据库建立方面, 利用自然交互技术建立更加自然的情绪诱发材料库, 服务于更加高质量的数据采集; 建立规模更大、情绪粒度更细致的EEG-情绪数据库, 满足深度学习方法对于训练数据的大量需求, 支撑更多实际应用.
- 在研究任务方面, 开展更加细粒度、更具实用意义的情绪识别与分析, 实现更加精准的情感计算智能.
- 在特征设计方面, 引入认知心理学和神经科学领域的理论机制, 从多学科交叉角度来设计与情绪最相关的脑电特征.
- 在算法优化方面, 设计多模态融合和多策略联合的深度情绪识别算法, 或从EEG特性出发设计针对性网络结构, 实现多个数据库和多种实验策略上识别的高精准度和高稳定性.