近日，上海交通大学计算机科学与工程系吕宝粮教授和郑伟龙副教授团队在IEEE Transactions on Affective Computing上发表了题为“SEED-VII: A Multimodal Dataset of Six Basic Emotions with Continuous Labels for Emotion Recognition” 的研究论文。
从生理信号中识别情绪是一个近几年备受关注的研究课题，研究者们先后开发出了各种新算法，大大提升了情绪识别的准确率。然而，随着情感脑机接口技术的快速发展以及在情感障碍疾病客观评估的临床应用，迫切需要更多情绪类别和更高质量的情绪脑电数据集，以实现对人类情绪的精准解码。为了深入探索人类情绪解码的神经与认知机理、开发更高效的情绪识别算法，本文开发了一个名为 SEED-VII 的多模态数据集，包括了脑电（EEG）信号和眼动信号。该数据集涵盖了六种基本情绪，即快乐、悲伤、恐惧、厌恶、惊讶和愤怒，以及中性情绪；这七类情绪是通过 80 段不同的视频素材进行诱发的，数据集还提供了表示相应情绪强度水平的连续标签。
本文的主要贡献如下：
1. 开发了一个新的多模态七类情绪数据集
开发了一个由六种基本情绪，即快乐、悲伤、恐惧、厌恶、惊讶和愤怒，再加中性情绪的七类多模态情绪数据集，多模态数据包括同步采集的脑电（EEG）信号和眼动信号。此外，对七类情绪的强度水平,数据集提供了连续的标签。
2. 提出了新的多模态自适应情绪Transformer（MAET）
提出了一种灵活的模型 MAET，能够通过专用模块处理单模态和多模态输入。为了提升域泛化能力，MAET 采用对抗训练减少被试者间的数据分布差异。
3. 在SEED-VII 数据集上开展了系统的对比实验
在单模态、多模态、被试依赖和被试独立等条件下，使用 SEED-VII 数据集进行了系统的实验，评估和比较了MAET 模型与其他分类器的性能。此外，本文还研究了表征情绪的神经特征的稳定模式以及眼动信号的统计特性。
4. 分析使用连续标签过滤高情绪强度数据的有效性
实验结果表明，过滤高情绪强度数据能够显著增强所提方法的情绪区分能力。此外，我们还进行了低情绪强度和高情绪强度分类和回归实验，探索在无连续标签的情况下进行过滤的可行性。
图：通过短视频诱发被试七类情绪的实验设计
图右侧部分的每行表示一个包含20个实验片段的一次完整的实验过程，不同的颜色代表希望短视频诱发被试的不同的情绪状态。为了避免长时间实验导致被试疲劳和情绪诱发效果下降的问题，本研究将七类情绪的诱发通过四次完整的实验完成，每次完整的实验所诱发的情绪类别见图右侧四行中不同的颜色所示。图最左边表示单次实验片段的过程，包括四个部分：实验开始的提示、视频观看、实验结束的提示以及最后需要被试对当前被诱发的情绪状态强度的打分。
SEED系列数据集简介：
自2015年10月对外正式发布上海交通大学情绪脑电数据集SEED（SJTU Emotion EEG Dataset）以来，吕宝粮教授和郑伟龙副教授团队先后发布了SEED系列的10个子集，包括四个情绪数据集（SEED、SEED-IV、SEED-V和SEED-VII）、两个跨文化情绪数据集（SEED-FRA和SEED-GER）、三个疲劳驾驶监测数据集（SEED-VIG、SEED-VLA和SEED-VRW）和一个通过脑电信号解码视频的数据集（SEED-DV）。目前，SEED系列数据集已成为全球数据量最大、数据类型最多的情绪脑电数据集，也是国际上最常用的两个标准情绪脑电数据集之一。
论文作者介绍：
姜卫邦，于2021年在上海交通大学ACM班获得计算机科学与技术学士学位。目前是上海交通大学计算机科学与工程系直博研究生，导师为吕宝粮教授，研究方向包括情感计算、脑机接口及机器学习。
刘轩豪，本论文共同第一作者，于2022年在中山大学航空航天学院获得理论与应用力学学士学位。目前他是上海交通大学计算机科学与工程系博士研究生，导师为郑伟龙副教授，研究方向包括情感计算、脑机接口及机器学习。
郑伟龙副教授：
郑伟龙，上海交通大学计算机科学与工程系长聘教轨副教授，博士生导师。入选国家级高层次海外青年人才和上海市海外高层次青年人才。他于2018年在上海交通大学计算机科学与工程系获得博士学位，之后在哈佛大学医学院麻省总医院和麻省理工学院从事博士后研究，长期从事脑认知与智能、情感计算、脑机交互、类脑计算理论与模型等方面研究。在国际高水平会议和期刊发表研究论文110余篇，多篇论文入选ESI高被引论文。荣获IEEE Transactions on Autonomous Mental Development最佳论文奖、IEEE Transactions on Affective Computing最佳论文奖、ACM Multimedia Top Paper Award、中国人工智能学会优秀博士学位论文奖以及吴文俊人工智能自然科学一等奖，入选上海市浦江人才项目、小米青年学者、微软亚洲研究院铸星计划、2023和2024全球前2%科学家年度影响力榜单。目前担任IEEE Transactions on Affective Computing编委。个人主页：https://weilongzheng.github.io/
吕宝粮教授：
吕宝粮，上海交通大学计算机科学与工程系二级教授、博士生导师、IEEE Fellow。1994年获日本京都大学工学博士学位，现任上海交通大学智能人机交互与认知工程上海高校重点实验室主任和上海零唯一思科技有限公司首席科学家，担任IEEE Trans. Affective Computing和Journal of Neural Engineering编委。荣获2018 IEEE Trans. Autonomous Mental Development最佳论文奖、2020年度吴文俊人工智能自然科学一等奖、2021 IEEE Trans. Affective Computing最佳论文奖和2022亚太神经网络学会杰出成就奖，入选爱思唯尔2020至2023中国高被引学者榜单。主要研究领域包括深度学习、脑电大模型、情感智能、情感脑机接口及其在情感障碍疾病的客观评估与数字疗法。
SEED-VII数据集已公开发布在：
https://bcmi.sjtu.edu.cn/home/seed/seed-vii.html
论文原文链接：
https://doi.org/10.1109/TAFFC.2024.3485057