# 复杂场景下多模态情感预测：数学建模与算法设计

> 2026 年中国研究生数学建模竞赛 E 题  
> **复杂场景下多模态情感预测的数学建模与算法设计**

---

## 1. 项目概述

本项目基于 CMU-MOSEI 英文多模态情感数据，研究复杂场景下文本（Text）、语音（Audio）和视觉（Vision）三种模态的联合情感预测。

赛题主要包含三个逐层递进的问题：

1. **Q1：多模态情感特征提取与时序对齐**
2. **Q2：模态局部缺失条件下的鲁棒情感预测**
3. **Q3：可解释性多模态情感预测**

整体逻辑可以概括为：

\[
\boxed{
\text{原始视频}
\rightarrow
\text{多模态特征}
\rightarrow
\text{跨模态时序对齐}
\rightarrow
\text{缺失感知鲁棒融合}
\rightarrow
\text{情感预测}
\rightarrow
\text{预测解释}
}
\]

本项目现阶段不预先指定某一种方案为最终方案，而采用：

\[
\boxed{\text{多方案全部实现 + 统一实验协议 + 系统对比}}
\]

最终根据：

- 基础预测性能；
- 缺失情况下的鲁棒性；
- 解释可信度；
- 模型复杂度；
- 可复现性；

共同确定最终建模方案。

---

# 2. 赛题核心任务

## 2.1 Q1：多模态特征提取与时序对齐

从原始视频中分别提取：

- 文本语义特征；
- 语音情感特征；
- 视觉情感特征；

并解决三种模态：

- 采样频率不同；
- 序列长度不同；
- 时间尺度不同；

造成的时序不一致问题。

Q1 不以最终情感分类为主要目标，而应产生：

\[
\boxed{
\text{结构化、可追溯、可核验的多模态时序特征}
}
\]

同时记录：

- 原始视频 ID；
- 模态；
- 时间位置；
- 有效长度；
- padding；
- 原始视频时间映射；
- 特征维度；
- 对齐关系。

---

## 2.2 Q2：局部模态缺失下的鲁棒情感预测

题目中的“模态缺失”不是简单的：

> 整个 Audio / Vision / Text 完全不存在。

而是：

\[
\boxed{\text{一个或多个模态中出现随机的连续局部缺失区间}}
\]

例如：

\[
X^A =
[a_1,a_2,a_3,
\underbrace{0,0,0,0}_{\text{局部缺失}},
a_8,\ldots].
\]

模型需要同时预测：

### 情感极性

\[
\hat c \in
\{
\text{Negative},
\text{Neutral},
\text{Positive}
\}
\]

### 连续情感强度

\[
\hat y\in[-3,3]
\]

同时研究：

\[
\boxed{
\text{缺失模态类型}
+
\text{缺失位置}
+
\text{缺失长度}
}
\]

对预测性能的影响。

---

## 2.3 Q3：可解释性情感预测

在三模态信息完整条件下，不仅预测：

\[
(\hat c,\hat y)
\]

还需要解释：

1. 主要参考了哪种模态；
2. 不同模态的作用程度；
3. 哪些局部文本、音频和视觉片段最重要；
4. 关键证据对应原始视频的什么时间位置。

因此 Q3 的核心不是简单画 Attention，而是：

\[
\boxed{
\text{定位证据}
+
\text{量化贡献}
+
\text{验证解释}
+
\text{回溯原始素材}
}
\]

---

# 3. 数据集说明

---

## 3.1 附件 1：100 条原始视频

附件 1 包含从 CMU-MOSEI 中筛选的：

\[
100
\]

条英文视频样本。

共有：

\[
37
\]

个 `video_id` 子文件夹。

样本由：

```text
video_id + clip_id
```

共同唯一确定。

视频长度范围：

\[
2.648s \sim 34.567s
\]

配套文件：

```text
label-100.xlsx
```

包含字段：

| 字段 | 含义 |
|---|---|
| video_id | 原视频编号 |
| clip_id | 视频片段编号 |
| text | 英文转写文本 |
| label | 连续情感强度 |
| annotation | Negative / Neutral / Positive |

连续情感标签：

\[
y\in[-3,3]
\]

定义：

\[
[-3,0)\Rightarrow Negative
\]

\[
0\Rightarrow Neutral
\]

\[
(0,3]\Rightarrow Positive
\]

注意：

\[
\boxed{0\text{ 只属于 Neutral}}
\]

---

# 4. 附件 2：标准化多模态特征

附件 2 包含两套特征：

```text
aligned_50.pkl
unaligned_50.pkl
```

每套包含约：

\[
4850
\]

条有效样本，并按照：

```python
train
valid
test
```

划分。

---

## 4.1 Pickle 数据组织方式

整体结构为：

```text
data
├── train
│   ├── id
│   ├── raw_text
│   ├── text
│   ├── text_bert
│   ├── audio
│   ├── vision
│   ├── annotations
│   ├── classification_labels
│   ├── regression_labels
│   └── ...
├── valid
└── test
```

正确读取方式：

```python
data["train"]["audio"][j]
```

而不是：

```python
data["train"][j]["audio"]
```

---

# 5. aligned / unaligned 数据格式

## 5.1 aligned_50.pkl

\[
X^T\in\mathbb R^{N\times50\times768}
\]

\[
X^A\in\mathbb R^{N\times50\times74}
\]

\[
X^V\in\mathbb R^{N\times50\times35}
\]

三个模态已经被组织为：

\[
50
\]

个相互对应的位置。

可以理解为：

\[
T_i\leftrightarrow A_i\leftrightarrow V_i.
\]

---

## 5.2 unaligned_50.pkl

文本：

\[
X^T\in\mathbb R^{N\times50\times768}
\]

音频：

\[
X^A\in\mathbb R^{N\times500\times74}
\]

视觉：

\[
X^V\in\mathbb R^{N\times500\times35}
\]

同时提供：

```text
audio_lengths
vision_lengths
```

记录实际有效长度。

因此 unaligned 数据保留了：

\[
\boxed{
\text{文本较粗语义轴}
+
\text{音频细粒度时序}
+
\text{视觉细粒度时序}
}
\]

这为学习式 Cross-Attention 对齐提供了空间。

---

# 6. 附件 3：模态局部缺失测试集

附件 3：

- 无标签；
- 已处理多模态特征；
- 包含随机局部模态缺失；
- 缺失区间表现为连续位置全部置零。

用于 Q2 最终预测。

---

# 7. 附件 4：可解释性专项测试集

附件 4：

- 无标签；
- 三模态完整；
- 同时提供原始真实场景视频；
- 特征组织形式与附件 2 一致。

用于：

\[
\boxed{
\text{预测}
+
\text{模态贡献}
+
\text{关键证据定位}
}
\]

可以根据 Q1 保存的时间映射将关键位置重新定位到：

- 原始文本；
- 音频时间段；
- 视频关键帧。

---

# 8. 统一数学符号

一个样本记为：

\[
\mathcal X_i=
(X_i^T,X_i^A,X_i^V)
\]

其中：

- \(T\)：Text
- \(A\)：Audio
- \(V\)：Vision

原始模态序列：

\[
X^m=
[x_1^m,\ldots,x_{L_m}^m],
\qquad
m\in\{T,A,V\}.
\]

---

## 8.1 基础符号

| 符号 | 含义 |
|---|---|
| \(x_j^m\) | 模态 \(m\) 原始第 \(j\) 个位置特征 |
| \(\tilde x_i^m\) | 软对齐到文本位置 \(i\) 后的特征 |
| \(h_i^m\) | 模态编码器生成的隐藏表示 |
| \(M_j^m\) | 原始位置是否有效 |
| \(A_{ij}^m\) | Cross-Attention 对齐权重 |
| \(R_i^m\) | 对齐后的局部模态可靠度 |
| \(\alpha_i^m\) | 融合时模态权重 |
| \(z_i\) | 第 \(i\) 个位置的多模态融合表示 |
| \(\beta_i\) | 第 \(i\) 个位置对整段情绪的时间重要性 |
| \(g\) | 整条视频最终表示 |
| \(\hat y\) | 情感强度预测 |
| \(\hat c\) | 情感极性预测 |

---

## Q1
@Q1.md

---

# 可能使用的开源库、工具与模型

| 类别 | 工具 / 模型 | 用途 | 优先级 |
|---|---|---|---|
| 深度学习 | PyTorch | 网络、训练、Cross-Attention | 必须 |
| GPU | CUDA / cuDNN | GPU 加速 | 必须 |
| 数值计算 | NumPy | 数值运算 | 必须 |
| 数据 | Pandas | CSV / XLSX / 表格 | 必须 |
| 科学计算 | SciPy | Pearson / 统计分析 | 必须 |
| ML | scikit-learn | F1、Accuracy、MAE 等 | 必须 |
| 配置 | PyYAML | 实验配置 | 推荐 |
| 配置 | Hydra / OmegaConf | 多实验管理 | 推荐 |
| 日志 | TensorBoard | loss / metric | 推荐 |
| 日志 | MLflow | 系统实验管理 | 可选 |
| 调参 | Optuna | 超参数搜索 | 推荐 |
| 视频 | FFmpeg | 拆音频、转码 | 必须 |
| 视频 | OpenCV | 抽帧与时间映射 | 必须 |
| 文本 | Hugging Face Transformers | BERT 等 | 高 |
| 文本 | BERT-base-uncased | 768 维表示 | 高 |
| ASR/时间戳 | WhisperX | 词级时间定位 | 推荐 |
| 强制对齐 | Montreal Forced Aligner | transcript-audio alignment | 推荐 |
| 音频 | openSMILE | 声学/韵律特征 | 高 |
| 音频 | librosa | 基础信号处理 | 推荐 |
| 音频 | torchaudio | PyTorch 音频 | 推荐 |
| 音频 PLM | wav2vec 2.0 | 深层语音表示 | 可选 |
| 音频 PLM | WavLM | 深层语音表示 | 可选 |
| 音频 PLM | HuBERT | 深层语音表示 | 可选 |
| 视觉 | OpenFace 2.0 | AU / gaze / pose | 高 |
| 视觉 | MediaPipe | landmark / blendshape | 可选 |
| 视觉 | torchvision | 图像处理 | 推荐 |
| 多模态 | CMU-MultimodalSDK | MOSEI 数据参考 | 高 |
| 多模态 | MultiBench | baseline / multimodal benchmark | 高 |
| 解释 | Captum | IG / Occlusion / Ablation | 高 |
| 解释 | SHAP | Shapley 解释 | 可选 |
| 可视化 | Matplotlib | 曲线 / 热图 | 必须 |
| 可视化 | Plotly | 交互可视化 | 可选 |
| 统计 | statsmodels | 回归 / 显著性分析 | 推荐 |

---

# 模型候选汇总

| 模块 | 候选 |
|---|---|
| Text Encoder | BERT |
| Audio Feature | openSMILE |
| Audio Encoder | BiGRU / Transformer |
| Audio PLM | Wav2Vec2 / WavLM |
| Vision Feature | OpenFace |
| Vision Encoder | BiGRU / Transformer |
| Alignment | Hard Alignment |
| Alignment | Fixed Window |
| Alignment | Cross-Attention |
| Fusion | Concatenation |
| Fusion | TFN |
| Fusion | LMF |
| Fusion | MAG |
| Fusion | MulT |
| Representation | MISA |
| Missing Model | MMIN |
| Missing Model | CMAD |
| Missing Model | P-RMF |
| Experts | EMOE |
| Diffusion | HyperEF |
| Factorization | FUSE-Net |
| Distribution Alignment | CaReFlow |
| Robust Representation | CmIR |
| Attribution | Integrated Gradients |
| Attribution | Occlusion |
| Attribution | Feature Ablation |
| Attribution | SHAP |

---

# 参考文献

> 下表优先使用论文官方会议/期刊入口。  
> README 中记录 DOI、ACL Anthology ID、arXiv ID 或官方论文标题，避免引用二手博客作为正式论文来源。

| # | 文献 | 会议/期刊 | 年份 | 与本项目关系 | 官方标识 |
|---|---|---|---:|---|---|
| 1 | Zhang et al., *Deep learning-based multimodal emotion recognition from audio, visual, and text modalities: A systematic review of recent advancements and future prospects* | Expert Systems with Applications | 2024 | 多模态情感综述 | DOI: 10.1016/j.eswa.2023.121692 |
| 2 | Bagher Zadeh et al., *Multimodal Language Analysis in the Wild: CMU-MOSEI Dataset and Interpretable Dynamic Fusion Graph* | ACL | 2018 | CMU-MOSEI | ACL: P18-1208 |
| 3 | Vaswani et al., *Attention Is All You Need* | NeurIPS | 2017 | Transformer / Attention | NeurIPS 2017 |
| 4 | Devlin et al., *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding* | NAACL | 2019 | 文本特征 | ACL: N19-1423 |
| 5 | Eyben et al., *openSMILE: The Munich Versatile and Fast Open-Source Audio Feature Extractor* | ACM Multimedia | 2010 | 音频特征 | ACM MM 2010 |
| 6 | Baltrušaitis et al., *OpenFace 2.0: Facial Behavior Analysis Toolkit* | FG | 2018 | 视觉特征 | DOI: 10.1109/FG.2018.00019 |
| 7 | Bain et al., *WhisperX: Time-Accurate Speech Transcription of Long-Form Audio* | arXiv | 2023 | 词级时间戳 | arXiv:2303.00747 |
| 8 | Tsai et al., *Multimodal Transformer for Unaligned Multimodal Language Sequences* | ACL | 2019 | unaligned + Cross-Attention | ACL: P19-1656 |
| 9 | Rahman et al., *Integrating Multimodal Information in Large Pretrained Transformers* | ACL | 2020 | MAG-BERT / 文本中心融合 | DOI:10.18653/v1/2020.acl-main.214 |
| 10 | Zadeh et al., *Tensor Fusion Network for Multimodal Sentiment Analysis* | EMNLP | 2017 | TFN baseline | ACL: D17-1115 |
| 11 | Liu et al., *Efficient Low-rank Multimodal Fusion With Modality-Specific Factors* | ACL | 2018 | LMF baseline | ACL: P18-1209 |
| 12 | Hazarika et al., *MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis* | ACM MM | 2020 | shared / private representation | DOI:10.1145/3394171.3413678 |
| 13 | Neverova et al., *ModDrop: Adaptive Multi-Modal Gesture Recognition* | TPAMI | 2016 | 模态随机丢失 | DOI:10.1109/TPAMI.2015.2461544 |
| 14 | Pham et al., *Found in Translation: Learning Robust Joint Representations by Cyclic Translations between Modalities* | AAAI | 2019 | 跨模态重构 | DOI:10.1609/aaai.v33i01.33016892 |
| 15 | Zhao et al., *Missing Modality Imagination Network for Emotion Recognition with Uncertain Missing Modalities* | ACL-IJCNLP | 2021 | MMIN | ACL:2021.acl-long.203 |
| 16 | 王楠、王淇、欧阳丹彤，《基于知识蒸馏与动态调整机制的多模态情感分析模型》 | 计算机学报 | 2025 | AUMDF / 动态权重 / 缺失 | 48(8):1923–1942 |
| 17 | Fang et al., *EMOE: Modality-Specific Enhanced Dynamic Emotion Experts* | CVPR | 2025 | Mixture of Experts | CVPR 2025 |
| 18 | Zhuang et al., *CMAD: Correlation-Aware and Modalities-Aware Distillation for Multimodal Sentiment Analysis with Missing Modalities* | ICCV | 2025 | 缺失模态蒸馏 | ICCV 2025 |
| 19 | Zhu et al., *Proxy-Driven Robust Multimodal Sentiment Analysis with Incomplete Data* | ACL | 2025 | P-RMF / 不确定性 | DOI:10.18653/v1/2025.acl-long.1075 |
| 20 | Qiu et al., *Beyond Missing Modalities: Hypergraph Conditioned Diffusion for Uncertainty-Aware Multimodal Emotion Recognition* | CVPR | 2026 | Diffusion / uncertainty | CVPR 2026 |
| 21 | Yang & Li, *Factorize, Reconstruct, Enhance: A Unified Framework for Multimodal Sentiment Analysis* | CVPR | 2026 | shared/specific/noise + reconstruction | CVPR 2026 |
| 22 | Mai & Han, *Learning Invariant Modality Representation for Robust Multimodal Learning from a Causal Inference Perspective* | ACL | 2026 | CmIR / causal invariance | DOI:10.18653/v1/2026.acl-long.2119 |
| 23 | Mai & Han, *CaReFlow: Cyclic Adaptive Rectified Flow for Multimodal Fusion* | CVPR | 2026 | 模态分布对齐 | arXiv:2602.19140 |
| 24 | Wan et al., *Locate and Explain: Joint Multimodal Emotion Cause Extraction and Summarization in Conversation* | ACL | 2026 | 关键证据定位 | DOI:10.18653/v1/2026.acl-long.2012 |
| 25 | Sundararajan et al., *Axiomatic Attribution for Deep Networks* | ICML | 2017 | Integrated Gradients | PMLR 70 |
| 26 | Jain & Wallace, *Attention is not Explanation* | NAACL | 2019 | Attention 解释局限 | DOI:10.18653/v1/N19-1357 |
| 27 | Lundberg & Lee, *A Unified Approach to Interpreting Model Predictions* | NeurIPS | 2017 | SHAP | NeurIPS 2017 |
| 28 | Adebayo et al., *Sanity Checks for Saliency Maps* | NeurIPS | 2018 | 解释可信性验证 | NeurIPS 2018 |
| 29 | Zeiler & Fergus, *Visualizing and Understanding Convolutional Networks* | ECCV | 2014 | Occlusion 思想 | DOI:10.1007/978-3-319-10590-1_53 |
| 30 | Wachter et al., *Counterfactual Explanations without Opening the Black Box* | arXiv / HILDA | 2017 | 反事实解释 | arXiv:1711.00399 |

---

# 最终原则

本项目当前不采用：

> “先选一个看起来高级的模型，然后证明它最好。”

而采用：

\[
\boxed{
\text{提出多个机制假设}
\rightarrow
\text{设计公平实验}
\rightarrow
\text{观察数据}
\rightarrow
\text{解释规律}
\rightarrow
\text{确定最终模型}
}
\]

重点不只是得到最高指标，还要回答：

1. 为什么某种对齐方式更好？
2. 哪种模态最怕局部缺失？
3. 缺失的位置是否比缺失比例更重要？
4. Cross-Attention 能否帮助判断缺失信息的重要程度？
5. 动态可靠度是否真的提高鲁棒性？
6. 重构和“降低信任”哪种策略更有效？
7. Attention 权重是否真的对应模型决策依据？
8. 哪种解释方法最能经受反事实验证？

最终目标是形成：

\[
\boxed{
\text{有性能}
+
\text{有机制}
+
\text{有数学分析}
+
\text{有可解释性}
}
\]

的完整多模态情感预测建模方案。