aoi学院

原文

JCR Q2，中科院2区，IF：4.6

本篇学习报告介绍2022年2月发表于中科院一区期刊IEEE Journal of Biomedical and Health Informatics的论文“Investigating of Deaf Emotion Cognition Pattern By EEG and Facial Expression Combination”，作者Yang Y, Gao Q, Song Y等来自天津工业大学。

本篇学习报告《A shallow mirror transformer for subject-independent motor imagery BCI》来自期刊Computers in Biology and Medicine，作者是来自西安理工大学的Jing Luo , Yaojie Wang , Shuxiang Xia , Zhenghao Shi , Xinhong Hei和来自西安交通大学的Na Lu , Xiaoyong Ren 发表于2023年9月。

2023年8月23日，《Nature》杂志同时发表了两篇脑机接口技术（BCI）的重磅文章，为帮助那些因脑损伤和疾病而失去语言能力的人恢复语言能力迈出了重要一步，为我们带来了前沿领域的最新进展。

一篇名为《A high-performance speech neuroprosthesis》的文章研究使用了植入的微电极阵列（MEA）识别受试者说话时口面动作相关的脑区神经信号，经机器学习模型解码，最终令受试者可以以每分钟62词的速度与人交流，这是以往同类技术最高速度的3倍，已经大大接近了无语言障碍者的自然交流速度（160词/分钟）。

另一篇名为《A high-performance neuroprosthesis for speech decoding and avatar control》的文章研究利用了皮层电描记术（ECoG）来记录控制口腔和面部肌肉的运动皮层神经活动，同样以机器学习解码，其交流速度达到每分钟78词，而且该技术还允许虚拟形象根据神经活动模拟出说话者的口型和面部表情，提供了交流中的视觉反馈，大大丰富了受试者的交流能力。

音乐是跨越所有年龄和文化的普遍体验，是我们情感、认知和社会生活的核心部分。音乐拥有着独特的魅力，它能够抚慰受伤的心灵，让人忘却心中的悲痛；它能吹响前进的号角，为人带来前进的动力。然而大脑对充满魅力的音乐是如何处理的，当人们听到自己喜欢的曲目时，大脑又会是什么样的反应呢？这些困扰人们已久的音乐感知和认知的神经基础方面的问题终于在最近的研究中取得了重大进展。

本新闻中的研究来自于2023年8月15日发表在《PLoS biology》的论文《Music can be reconstructed from human auditory cortex activity using nonlinear decoding models》。作者是来自加州大学伯克利分校奈特实验室人类认知神经科学博士后研究员Ludovic Bellier等人，本篇论文的内容大致可分为两项研究。

在近期的TED2023舞台上，来自德国的克里斯蒂安·拜尔莱因，与脑机接口公司OpenBCI的创始人康纳·鲁索曼诺一同完成了一场令人震惊的表演——仅仅通过面部肌肉活动，用非侵入式脑机接口成功控制并驾驶无人机飞越TED现场，引起观众欢呼。

克里斯蒂安·拜耶莱因（Christian Bayerlein）患有脊髓性肌萎缩症（SMA），这是一种影响控制自主肌肉运动的运动神经元的遗传疾病。在TED的舞台上，康纳·鲁索曼诺展示了如何重新利用克里斯蒂安身体的残余肌肉活动来控制和驾驶无人机。

“Explaining Knowledge Distillation by Quantifying the Knowledge” in CVPR2020

论文链接：https://arxiv.org/abs/2003.03622

研究介绍

本研究旨在从一个新的角度解释知识蒸馏算法，即通过量化神经网络所建模的“知识量”分析神经网络的性能。目前，神经网络可解释性的研究主要分为两个流派：一是从语义层面解释神经网络所建模的特征，譬如可视化中层特征，或是提取对结果影响显著的关键性像素；二是从数学层面分析神经网络的表达能力，例如评测神经网络的泛化能力或鲁棒性。但是学界尚未有理论工具打通神经网络语义解释与表达能力分析的连通壁垒，实现对二者的统一建模。

本研究核心在于通过定义并量化神经网络中层特征的“知识量”，从神经网络表达能力的角度来解释知识蒸馏算法的成功机理。我们提出并验证以下三个Hypotheses:

• Hypothesis 1：比起直接从数据学习，蒸馏算法往往使得深度神经网络（DNN）学到更多的知识；
• Hypothesis 2：比起直接从数据学习，蒸馏算法往往使得DNN更倾向于同时学到不同知识；
• Hypothesis 3：比起直接从数据学习，蒸馏算法往往使得DNN的优化方向更为稳定。

你能想象只需要用脑电波即可与GPT-4等先进AI进行沟通吗？这不是什么科幻电影或者游戏，这正逐渐成为现实。

最近，有一位名为Fireship的独立开发者发布了一个令人震惊的视频：他成功地通过 Neurosity公司推出的的设备The Crown将自己的大脑连接到 GPT-4。简而言之，他通过脑机接口公司Neurosity提供的设备以及相应的Javascript SDK和一个控制面板，实现了与GPT-4的脑机通讯连接。也就是说，他只要意念一动就能连接到GPT-4，从而获得最强大AI的协助。这是一项令人兴奋的结果，大大加速了脑机接口+AI新领域的应用。