近期,上海交通大学电子信息与电气工程学院计算机科学与工程系吕宝粮教授团队在电气与电子工程师协会(The Institute of Electrical and Electronics Engineers, IEEE)情感计算汇刊(IEEE Transactions on Affective Computing)发表的题为《Identifying Stable Patterns over Time for Emotion Recognition from EEG》的论文荣获最佳论文(Best of IEEE Transactions on Affective Computing Paper Collection)。上海交通大学是该论文的唯一单位,吕宝粮教授指导的博士毕业生郑伟龙为第一作者,硕士毕业生朱嘉祎为第二作者,吕宝粮教授为通讯作者。该奖项是情感计算汇刊编委会从2019年9月至2021年6月期间发表在该汇刊上的122篇论文中评选出的6篇最佳论文,将在9th International Conference on Affective Computing & Intelligent Interaction (ACII 2021)上公布。
该论文利用机器学习方法研究了在情感脑-计算机接口中情绪脑电模式随时间变化的稳定特性。对于基于脑电信号的情绪识别任务,是否存在稳定的脑电模式是一个研究空白。为了解答此问题,该研究首先设计了跨时间的多次情绪诱发实验,之后在两个公开的脑电情感数据集DEAP和SEED上系统地评估了不同的脑电特征提取、特征平滑以及模式分类方法。最后,情绪识别的实验结果表明,脑电的稳定模式在不同实验中具有一致性。在beta和gamma频段,两侧颞叶区对积极情绪的激活高于消极情绪。中性情绪的神经模式在顶叶和枕叶有更高的alpha反应。对于负面情绪,神经模式在顶叶和枕叶部位有明显更高的 delta 反应,在前额叶部位有更高的gamma反应。脑电神经模式在不同时间实验中相对稳定。这一结论为使用脑电信号构建情感脑-计算机接口提供了数据有效性的理论保证。
(上图:正面、中性和负面情绪脑电模式随时间变化的模式;下图:正面、中性和负面情绪分类的脑电信号关键脑区)
该论文在正式发表之前,曾被麻省理工科技评论于2016年1月23日以“智能机器与人类沟通时如何识别情绪变化?中国团队给出答案”为题进行过报道。目前该论文在谷歌学术上被引306次,位列情感计算汇刊最受欢迎下载论文第11位,是ESI高被引论文。情感计算汇刊是情感计算领域国际上的顶级期刊,2020年的影响因子为10.5。
吕宝粮教授领导的团队多年来一直致力于情感脑-计算机接口的研究,在情感脑-计算机接口的基础理论,模型与算法,实验设计以及临床医学应用等方面取得了一系列进展与突破。该团队设计开发的情感脑电数据集SEED(SJTU Emotion EEG Dataset,https://bcmi.sjtu.edu.cn/~seed/)是目前国际上开展情感脑-计算机接口研究最常用的两个标准脑电数据集之一,包括三类情绪数据集SEED、四类情绪数据集SEED-IV、五类情绪数据集SEED-V以及警觉度数据集SEED-VIG。到目前为止,来自全球61个国家、770余所大学(包括哈佛大学、MIT、剑桥大学和清华大学)的2400余个实验室申请使用SEED数据集。
W.L. Zheng, J.Y. Zhu and B.L. Lu, "Identifying Stable Patterns over Time for Emotion Recognition from EEG," in IEEE Transactions on Affective Computing, vol. 10, no. 3, pp. 417-429, 1 July-Sept. 2019, doi: 10.1109/TAFFC.2017.2712143.
作者简介:
郑伟龙,美国麻省理工学院MIT脑与认知科学系博士后研究员。2018年在上海交通大学计算机科学与工程系获博士学位,博士学位论文题目为“情感脑机交互研究”。2018年至2020年就职于美国哈佛大学医学院和麻省总医院神经病学系担任博士后研究员。获2020年吴文俊人工智能自然科学奖一等奖、 2018年中国人工智能学会优秀博士学位论文奖、2018年上海交通大学优秀博士学位论文提名奖和2018年IEEE Transactions on Autonomous Mental Development最佳论文奖。研究兴趣包括计算神经科学,机器学习,情感计算和脑机接口。个人主页:https://weilongzheng.github.io/
朱嘉祎,2013年和2016年在上海交通大学计算机科学与工程系获本科和硕士学位,硕士毕业论文题目为“情绪识别的脑电信号稳定模式研究”。
吕宝粮,上海交通大学计算机科学与工程系长聘教授、博士生导师、IEEE Fellow。现任上海交通大学智能交互与认知工程上海高校重点实验室主任、上海交通大学清源研究院执行院长、上海交通大学附属瑞金医院脑机接口与神经调控中心共同主任和上海交通大学附属瑞金医院脑病中心-米哈游联合实验室主任。担任亚太神经网络学会理事、IEEE Transaction on Cognitive and Developmental Systems、Journal of Neural Engineering、《模式识别与人工智能》和《智能科学与技术学报》编委。荣获2018 IEEE Transactions on Autonomous Mental Development 最佳论文奖和2020年度吴文俊人工智能自然科学一等奖,入选爱思唯尔2020“中国高被引学者”榜单。主要研究领域包括仿脑计算理论与模型、神经网络、深度学习、情感智能与情感脑机接口。个人主页:https://bcmi.sjtu.edu.cn/~blu/