近日，ACM多媒体学术会议（ACM Multimedia 2022）在葡萄牙里斯本成功举行，电子信息与电气工程学院计算机科学与工程系智能交互与认知工程上海高校重点实验室吕宝粮教授和郑伟龙副教授共同指导的博士研究生李芮同学荣获本届ACM Multimedia 最佳论文提名奖 (Top Paper Award)。

ACM Multimedia为CCF A类会议，是国际多媒体领域最高水平的国际会议之一，是一个展示多媒体领域的科学成果和创新工业产品的主要论坛。今年的ACM Multimedia 2022共有2473篇有效投稿论文，接受率为27.9%。本次会议共有13篇论文获最佳论文提名（Top Paper），其中包括一篇最佳论文（Best Paper）和一篇最佳学生论文（Best Student Paper）。

研究背景

在基于脑电的情绪识别方面，研究人员可以成功地解码在实验室场景下收集到的有标注的、高质量的脑电数据。然而，脑电数据的标注耗时且工作量大，并且由于脑电信号对噪声敏感，日常采集的脑电数据容易受到环境的损害，上述问题极大地限制了情感脑机接口技术在实际场景中的应用。

论文简介

获奖论文的题目为：“A Multi-view Spectral-Spatial-Temporal Masked Autoencoder for Decoding Emotions with Self-supervised Learning”。该研究针对现有方法无法充分利用无标注和被损毁的脑电数据的问题，提出了一种具有多视角的自监督学习情绪识别方法。该方法利用重建掩蔽脑电通道的生成式自监督学习，挖掘大量无标签脑电数据信息，提高了基于脑电信号的情绪识别性能。该方法分为三个阶段：在预训练阶段，利用基于CNN-Transformer混合结构的多视角掩码自编码器，通过随机掩蔽来自所有被试的未标记脑电数据的通道，并重构被掩蔽的脑电通道数据，来学习脑电数据的通用表征，得到特征提取器；在个性化校准阶段，使用来自特定被试的少量标记数据校准预训练后的特征提取器，得到情绪预测器；利用校准后的情绪预测器从完整的或缺失通道的受损脑电数据中解码情绪，确定情绪分类结果。实验结果表明，基于多视角自监督学习的情绪识别方法能够有效提升基于脑电的情绪识别的准确率，并解决从少量标记和损坏的脑电数据中解码情绪的问题。

基于多视角的自监督学习情绪识别方法架构

论文链接：