微表情数据集简介
以下数据集均为公开数据集，其中 MEVIEW 是在真实场景中捕捉微表情；SMIC, SAMM, MMEW, CASME, CASME II, CAS(ME)2 and CAS(ME)3 数据集在实验室环境下，通过观看视频诱发微表情，后者相比前者减少了多余动作污染的机会。
除SMIC外，SAMM, MMEW, CASME, CASME II and CAS(ME)2数据集均标注了onset frame, apex frame, offset frame 和AUs标签。
数据集虽然公开，但仍需签订协议进行申请，有些学生就可以申请，有些则需要导师申请。如需申请，请前往官网查看细节。
MEVIEW
2017年发布，由一些在非实验室环境下的 真实视频片段组成，诱发场景为扑克牌游戏和电视访谈。
数据集可分为7个情感类型：happiness, contempt, disgust, surprise, fear, anger and unclear emotions。
示例
数据集信息
- 包含包含40 个微表情视频样本
- 样本标签包含7种情感类型，happiness(6 samples), contempt(6), disgust(1), surprise(9), fear(3), anger(2) and unclear(13)
- 受试人员16人
视频信息
- 每个片段平均长度为3秒
- 分辨率为（resolution）1280×720
- 每秒帧数（fps) 25。
优缺点
- 提供AUs标签
- 场景真实
- 同时由于场景真实，很少能从正面拍摄到脸部
- 参与者仅仅16人
官网链接
CMP – Center for Machine Perception @ CTU in Prague (cvut.cz)
相关论文
Spotting Facial Micro-Expressions ‘In the Wild’ (cvut.cz)
SMIC
THE SPONTANEOUS MICRO-EXPRESSION DATABASE (SMIC)
2013年发布，数据集包含三个数据子集，它们区别在于使用了不同类型的相机——1)HS，使用高帧率相机；2）VIS，使用普通相机；3）NIR，使用近红外线相机,消除光照影响；数据集可分为3种情感类型：positive, negative and surprise
示例
数据集信息
- 包含三种不同类型相机拍摄的视频子集，总样本数量为306
- 样本标签包含3种情感类型，positive（107）, negative（116） and surprise（83）
- HIS子集受试人员为16，NIR和VIS为8
视频信息
对于HS数据子集
- 包含164个微表情视频片段
- 分辨率为（resolution）1280×720
- 每秒帧数（fps) 100
对于VIS和NIR数据子集
- 均包含71个微表情视频片段
- 分辨率为（resolution）640*480
- 每秒帧数（fps) 25
优缺点
- 仅3种情感类型
- 情感标签基于参与者自我报告，可能不准确
- 未提供动作单元(AUs)标签
AUs是个体肌肉或肌肉群的基本动作，是根据面部动作编码系统(FACS)定义，一种根据面部表情来分类人类面部动作的系统。如高兴表情对应的AUs可以是AU6(脸颊上升)+AU12(嘴角拉伸)
扩展版的SMIC-E中，提供了包含非微帧的长视频，可以用于微表情检测
官网链接
相关论文
Recognising spontaneous facial micro-expressions | IEEE Conference Publication | IEEE Xplore
CASME
2013年发布，由中国科学院提供，采用完全控制的实验室环境，实验期间保持中性表情，通过观看高情感视频诱发微表情，并提供4个灯以减少电流带来的灯光闪烁现象。
示例
数据集信息
- 包含微表情视频样本195
- 受试者人数35，平均年龄22.03，亚洲人
- 样本标签包含8种情感类型, categories: Amusement (5),Disgust (88), Sadness (6), Contempt (3), Fear (2), Tense (28), Surprise (20), Repression (40)
视频信息
- 分辨率为（resolution）640480 和 1280720
- 每秒帧数（fps) 60
- 视频中人脸尺寸 150*190
优缺点
- 提供了AU labels
- 视频中人脸较小
- 样本标签分布不均匀
官网链接
Welcome to Professor Fu’s Lab (psych.ac.cn)
相关论文
CASME II
2014年发布，其可以视为CASME的扩展，采用高速相机，每秒帧数200；视频中的人脸尺寸更大；每个情感类别样本数量变得均衡些。
示例
数据集信息
- 包含微表情视频样本 247
- 受试者 26，平均年龄22.59，亚洲人
- 样本标签包含5种情感类型, Happiness (33 samples), Repression (27), Surprise (25), Disgust (60) and Others (102);
视频信息
- 分辨率为（resolution）640*480
- 每秒帧数（fps) 200
- 视频中人脸尺寸 280*340
优缺点
- 样本标签分布较均匀
- 人脸尺寸变大
官网链接
相关论文
CAS(ME)^2
2018年发布，其进一步扩展，增加了受试者的宏观表情和微观表情样本，数据集被划分为A、B两部分，A中有87个包含微表情和宏表情的长视频，B中有300个宏表情样本，57个微表情样本。情感类型包含三分类 positive, negative, surprise and others 或更细致的 anger，sadness ，anger， fear， disgust，happiness，surprise ，helpless，pain，confused，happyiness，sympathy。
示例
数据集信息
- 标注微表情视频样本有57，宏表情样本300个
- 受试者 22，平均年龄22.59，亚洲人
- 平均视频长度148秒
视频信息
- 分辨率为（resolution）640*480
- 每秒帧数（fps) 30
优缺点
- 数据集中包含宏表情与微表情视频样本，更适合微表情检测工作
- 不仅提供了区间标注，也提供了情感类型的标注
官网链接
相关论文
CAS(ME)3
2022年发布，数据集以三个特点：
- 大规模数据。征集216个对象，提供约8小时的视频，超过8,000,000帧，包括人工标注1030个微表情，3364个宏表情，避免数据库的偏差
- 多模态分析。首次提供了深度信息作为额外的模态，并采集了总时长超过13000秒的生理和语音信号，有助于多模式的微表情分析
- 无监督学习。改数据库野，提供了1508个未标注的视频，超过4,000,000帧，提供建立无监督微表情分析方法的数据平台。
- 高生态效度。为了使数据更接近真实场景，通过模拟犯罪模式诱发微表情。
示例
数据集信息
包含A,B,C三部分，受试者共 247，男女比112/135，平均年龄22.74，标准偏差1.75，亚洲人
PartA
使用情感视频诱导产生微表情,每个受试者观看13个情感视频
- 包含100个受试者
- 微表情934个，宏表情3143个
- 微表情样本标签包含7种情感类型, Happiness (64 samples), Disgust (281), Fear(93), Anger(70), Sadness(64), Surprise (201) and Others (170)
PartB
使用情感视频诱导产生微表情，包含116个受试者，1508个未标注视频片段
PartC
通过模拟犯罪模式诱发微表情
- 31个受试者
- 包含116个微表情，347个宏表情
- 收集了相关生理信号，心率、声音信号
视频信息
- 分辨率为（resolution）1280*720
- 每秒帧数（fps) 30
优缺点
- 数据集目前最大
- 引入深度图像信息，及其它生理信息
官网链接
CAS(ME)3 Database (psych.ac.cn)
相关论文
SAMM
The Spontaneous Actions and Micro-Movements.
2016年发布，与CASME数据集系列相似，也是在完全控制的实验室环境下进行，并控制灯光防止造成图像闪烁。情感类型包括 contempt, disgust, fear, anger, sadness, happiness and surprise。
示例
数据集信息
- 包含微表情视频样本 159
- 受试者 32，平均年龄33.24，来自13个种族
- 样本标签包含8种情感类型: Happiness (26 samples), Fear (8), Surprise (15), Anger(57), Disgust (9) ,Sadness (6), Contempt(12) and Others (26)
视频信息
- 分辨率为（resolution）2040*1088
- 每秒帧数（fps) 200
- 视频中人脸尺寸 400*400
优缺点
包含AUs标签，指出Apex帧
fps高，视频分辨率大，人脸尺寸大
官网链接
MH Yap - Datasets/Software (mmu.ac.uk)
相关论文
SAMM: A Spontaneous Micro-Facial Movement Dataset | IEEE Journals & Magazine | IEEE Xplore
SAMM Long
SAMM Long数据集是SAMM数据集的扩展，包含147个长视频，这些视频中标注了343个宏表情和159个微表情。
数据集信息
- 包含微表情视频样本 147个，其中79个包含了微表情
- 受试者 29
- 微表情标注159个，宏表情标注343个
视频信息
- 分辨率为（resolution）2040*1088
- 每秒帧数（fps) 200
- 视频中人脸尺寸 400*400
优缺点
相比于CAS(ME)^2
- SAMM Long 数据集有更长的视频，更高的分辨率和帧率
- 具有更多的表情样本标注
- 没有标注情感类型
官网链接
MH Yap - Datasets/Software (mmu.ac.uk)
相关论文
SAMM Long Videos: A Spontaneous Facial Micro- and Macro-Expressions Dataset - 百度学术 (baidu.com)
MMEW
micro-and-macro expression warehouse
2021年发布，同样在实验室环境下，通过观看情感视频诱惑微表情，同时视图保持中性表情。
示例
数据集信息
- 包含微表情视频样本 300，宏表情视频样本 900
- 受试者 36，平均年龄22.35，亚洲人
- 样本标签包含7种情感类型, Happiness (36), Anger (8), Surprise (89), Disgust (72), Fear (16), Sadness (13) and Others (66);
视频信息
- 分辨率为（resolution）1920*1080
- 每秒帧数（fps) 200
- 视频中人脸尺寸 400*400
优缺点
- 包含AUs表情并指出Apex帧
- 同时包含有一组受试人员的微表情和宏表情视频样本
- 样本数量较多
官网链接
相关论文
总结
其按发布时间排序为：
- CAS(ME)3(2022)
- MMEW(2021)
- SAMM Long(2020)
- CAS(ME)^2(2018)
- MEVIEW(2017)
- SAMM(2016)
- CASMEII(2014)
- CASME(2013)
- SMIC(2013)
CAS(ME)^2和SAMM Long适合微表情检测相关工作；CASMEⅢ、MMEW、SAMM、CASMEII、SMIC适合微表情分类，其中MMEW、CASMEII、CASMEⅢ、受试人员由亚洲人组成；MEVIEW是真实场景下的数据集，这意味着需要更多的处理。
在2019年的The Second Facial Micro-Expression Grand Challenge (MEGC): Spotting and Recognition 比赛中，CASMEII、SAMM、SMIC被组合为一个表情分类表情有3种（positive、negative、surprise）的数据库。