# Q2 多模态情感预测：当前两个核心方案 我们目前保留两个主要模型： 1. **方案一：Mask-aware EarlyConcat + BiGRU** - 结构简单； - 参数少； - 是我们的强基线模型。 2. **方案二：MoFE-7 + MLP Router** - 针对 EarlyConcat 在所有位置使用同一融合形式的限制，显式学习不同模态子集的组合权重； - 已按数学方案的 Q2 口径重训；本次单种子结果中，Accuracy 略高，但 Macro-F1、回归指标和缺失情景汇总点估计低于 EarlyConcat。 二者其实是一条很自然的递进路线： > **方案一：把所有可用模态直接交给一个统一模型学习。** > **方案二：先判断当前更适合使用哪一种模态组合，再交给统一模型学习。** --- # 一、数据在进入模型之前是什么样子？ 我们使用官方提供的对齐后多模态特征。 每条样本被表示为长度为 50 的有序序列： \[ t=1,2,\dots,50. \] 注意，这里的 50 个位置是 **wordpiece ordered positions（按文本词片顺序排列的位置）**，不是严格意义上的 50 个等长物理时间片。 在每个位置 \(t\)，都有三种模态： \[ T_t\in\mathbb{R}^{768} \] 表示文本 BERT 特征； \[ A_t\in\mathbb{R}^{74} \] 表示音频特征； \[ V_t\in\mathbb{R}^{35} \] 表示视觉特征。 同时还有三个 observation mask： \[ M_t^T,\quad M_t^A,\quad M_t^V. \] 它们告诉模型： > 当前位置的 Text / Audio / Vision 到底有没有有效观测。 因此 mask 非常重要。 例如某个 Audio 特征全为 0： - 没有 mask 时，模型不知道这是“真实特征刚好接近 0”； - 有 mask 时，模型知道这是“Audio 当前缺失”。 --- # 二、方案一：Mask-aware EarlyConcat + BiGRU ## 2.1 一句话理解 EarlyConcat 的思想非常直接： > **同一个位置上的文本、音频、视觉特征全部放在一起，然后交给一个 BiGRU，让模型自己学习三种模态之间以及前后位置之间的关系。** 整体流程： \[ \boxed{ T/A/V + Masks \rightarrow Early Concatenation \rightarrow BiGRU \rightarrow Sequence\ Aggregation \rightarrow Classification/Regression } \] --- ## 2.2 第一步：同位置多模态拼接 对于位置 \(t\)，我们有： \[ T_t,\quad A_t,\quad V_t. \] 当前实现先分别把三个模态投影到 128 维，再加上位置和模态标记，并用 mask 清零缺失模态： \[ z_t^m=M_t^m\left[\operatorname{LN}(\operatorname{GELU}(W_mX_t^m+b_m))+p_t+e_m\right], \quad m\in\{T,A,V\}. \] 随后拼接投影后的特征和三个 mask，再经过一个融合层： \[ x_t^{\mathrm{fuse}}= \phi([z_t^T;z_t^A;z_t^V;M_t^T;M_t^A;M_t^V]). \] 其中 \(\phi\) 是 Linear、GELU、LayerNorm 和 Dropout。这个工程实现仍属于 EarlyConcat：模态在时序主干前合并，但各自先经过独立投影，并保留 mask。 这里的符号 \[ [\,;\,] \] 表示向量拼接。 也就是说，本来三个模态是三份信息： ```text Text ── T_t Audio ── A_t Vision ── V_t ``` 现在把三个投影后的模态表示和 mask 放到同一个向量： ```text [projected Text | projected Audio | projected Vision | masks] ``` 这就是 **Early Concatenation（早期拼接）**。 之所以叫“Early”，是因为： > 三个模态在进入主要时序模型之前就已经融合。 --- ## 2.3 第二步：BiGRU 建模上下文 融合层处理以后，我们得到长度为 50 的序列 \(x_t^{\mathrm{fuse}}\)： \[ x_1^{\mathrm{fuse}},x_2^{\mathrm{fuse}},\dots,x_{50}^{\mathrm{fuse}}. \] 然后送入双向 GRU： \[ H= BiGRU(x_1^{\mathrm{fuse}},x_2^{\mathrm{fuse}},\dots,x_{50}^{\mathrm{fuse}}). \] BiGRU 包含两个方向。 前向 GRU： \[ x_1\rightarrow x_2\rightarrow\cdots\rightarrow x_{50} \] 负责利用前面的上下文； 反向 GRU： \[ x_{50}\rightarrow x_{49}\rightarrow\cdots\rightarrow x_1 \] 负责利用后面的上下文。 因此当前位置的表示可以同时参考： \[ \text{前文信息} + \text{当前位置多模态信息} + \text{后文信息}. \] 这对局部模态缺失尤其有用。 例如位置 \(t\) 的 Audio 缺失了： ```text t-2 t-1 t t+1 t+2 Audio ✓ × ✓ ✓ Text ✓ ✓ ✓ ✓ Vision ✓ ✓ ✓ ✓ ``` 模型仍然可以利用： 1. 当前位置的 Text； 2. 当前位置的 Vision； 3. 前后位置的上下文； 4. mask 告诉模型 Audio 当前缺失。 因此 EarlyConcat + BiGRU 本身就具有一定的**隐式缺失补偿能力**。 --- ## 2.4 第三步：得到整条样本表示 BiGRU 得到： \[ H=(h_1,h_2,\dots,h_{50}). \] 随后按照现有实现对整个序列进行聚合，得到 clip-level representation： \[ h_{\mathrm{clip}}. \] 当前实现对 BiGRU 的位置输出做 masked mean：只平均至少有一个模态观测的位置；如果一条样本全部缺失，则保留一个位置用于产生序列级输出。 --- ## 2.5 第四步：同时预测情感极性和情感强度 模型最终有两个任务： ### 任务 A：情感极性分类 当前分类头预测三类极性： \[ \text{Negative / Neutral / Positive}. \] 得到： \[ \hat y_{\mathrm{cls}}. \] ### 任务 B：情感强度回归 预测连续情感强度： \[ \hat y_{\mathrm{reg}}. \] 因此最终： \[ h_{\mathrm{clip}} \rightarrow \begin{cases} Head_{\mathrm{cls}} \rightarrow \hat y_{\mathrm{cls}}\\ Head_{\mathrm{reg}} \rightarrow \hat y_{\mathrm{reg}} \end{cases} \] 训练时采用交叉熵分类损失与强度回归损失的加权和： \[ \mathcal L = \operatorname{CE}(y_{\mathrm{cls}},\hat y_{\mathrm{cls}}) +0.5\operatorname{SmoothL1}\left(\frac{\hat y_{\mathrm{reg}}}{3},\frac{y_{\mathrm{reg}}}{3}\right). \] 回归头通过 \(3\tanh(\cdot)\) 输出 \([-3,3]\) 范围的强度值。 --- ## 2.6 EarlyConcat 为什么效果不错？ 它最大的优点其实是： > **假设非常少。** 它没有提前规定： - Text 一定最重要； - Audio 一定只是辅助； - Vision 应该和 Text 对齐到某个共享语义空间； - 某个模态缺失以后一定应该由另一个模态修复。 而是： \[ \boxed{ \text{保留三个模态的信息，把学习任务交给 BiGRU。} } \] 因此在我们目前只有几千条训练样本的情况下，它是一个非常稳定的强基线。 --- # 三、方案一的问题：所有情况下都采用同一种融合方式 EarlyConcat 的问题也很明显。 无论当前数据是什么情况，它始终做： \[ [T;A;V]. \] 但是实际情况可能是： ### 情况 1：三个模态都很好 可能： \[ T+A+V \] 一起使用最好。 ### 情况 2：Audio 当前质量不好 可能： \[ T+V \] 更好。 ### 情况 3：Vision 缺失 可能： \[ T+A \] 更合理。 ### 情况 4：Text 本身已经非常有信息 可能： \[ T \] 单独使用反而比加入噪声较大的 A/V 更合适。 所以我们进一步提出： \[ \boxed{ \text{为什么所有位置都必须使用同一种融合方式？} } \] 这就产生了第二个方案。 --- # 四、方案二：MoFE-7 + MLP Router ## 4.1 一句话理解 MoFE 的核心思想是： > **不再永远把 T/A/V 一股脑拼起来，而是准备 7 种不同的模态组合方案，再让 Router 根据当前位置的情况决定应该更相信哪些组合。** MoFE 全称： > **Mixture of Fusion Experts** 中文可以称为： > **融合专家混合模型** 我们当前还加入了 availability constraint，因此更完整地可以理解成： > **Availability-aware Mixture of Fusion Experts** 即： > **可用性感知的融合专家混合模型。** --- # 五、为什么恰好是 7 个 Expert？ 我们有三个模态： \[ T,\quad A,\quad V. \] 三个模态所有非空组合一共有： \[ 2^3-1=7 \] 种。 因此定义： \[ \boxed{ \mathcal E= \{ E_T,E_A,E_V, E_{TA},E_{TV},E_{AV}, E_{TAV} \} } \] 具体来说： | Expert | 可以看到的信息 | |---|---| | \(E_T\) | Text | | \(E_A\) | Audio | | \(E_V\) | Vision | | \(E_{TA}\) | Text + Audio | | \(E_{TV}\) | Text + Vision | | \(E_{AV}\) | Audio + Vision | | \(E_{TAV}\) | Text + Audio + Vision | 这里最关键的一点是： > **Expert 的分工不是训练以后才希望它自己形成，而是从结构上就已经确定。** 例如： \[ E_{TA} \] 永远不能看 Vision。 而： \[ E_{AV} \] 永远不能看 Text。 因此七个 Expert 天然具有不同的信息来源。 --- # 六、MoFE 的完整算法流程 整体流程可以概括成： \[ \boxed{ T/A/V \rightarrow Private Projection \rightarrow 7\ Fusion\ Experts \rightarrow MLP\ Router \rightarrow Weighted\ Fusion \rightarrow Shared\ BiGRU \rightarrow Emotion\ Prediction } \] 下面逐步解释。 --- ## 6.1 第一步：三个模态分别进行私有投影 原始三个模态维度差异很大： \[ T_t\in\mathbb R^{768}, \] \[ A_t\in\mathbb R^{74}, \] \[ V_t\in\mathbb R^{35}. \] 因此首先分别进行投影： \[ z_t^T=P_T(T_t), \] \[ z_t^A=P_A(A_t), \] \[ z_t^V=P_V(V_t). \] 统一得到： \[ z_t^T,z_t^A,z_t^V\in\mathbb R^{64}. \] 注意： \[ P_T,\quad P_A,\quad P_V \] 是三个**独立的投影网络**。 这里统一到 64 维只是为了方便后面的计算，并不意味着： \[ z_T=z_A=z_V. \] 我们没有强迫三个模态进入所谓的“共享语义空间”。 我们的原则仍然是： \[ \boxed{ \text{保留模态差异，需要交互时再交互。} } \] --- # 七、第二步：构造七个融合 Expert 例如： \[ E_T(t)=f_T(z_t^T), \] \[ E_{TA}(t) = f_{TA}([z_t^T;z_t^A]), \] \[ E_{TV}(t) = f_{TV}([z_t^T;z_t^V]), \] \[ E_{TAV}(t) = f_{TAV}([z_t^T;z_t^A;z_t^V]). \] 其余同理。 所有 Expert 最后都输出： \[ E_S(t)\in\mathbb R^{64}. \] 这里特别需要说明： > **我们的 7 个 Expert 不是 7 个完整的深度网络。** 每个 Expert 只是一个很轻量的 fusion module。 真正参数量较大的时序模型 BiGRU 只有： \[ \boxed{1\text{ 个}} \] 而不是 7 个。 所以结构是： ```text T ─┐ A ─┼─> 7 个轻量 Fusion Experts V ─┘ │ ▼ Weighted Sum │ ▼ 一个 Shared BiGRU ``` 而不是： ```text Expert 1 -> BiGRU 1 Expert 2 -> BiGRU 2 ... Expert 7 -> BiGRU 7 ``` 这对于我们的中小规模数据集非常重要。 --- # 八、第三步：Router 决定当前更应该相信哪些 Expert 这是 MoFE 最核心的一步。 对于每个位置 \(t\)，我们使用一个小型 MLP Router。 Router 会根据当前位置的信息产生 7 个分数： \[ s_{t,T}, s_{t,A}, s_{t,V}, s_{t,TA}, s_{t,TV}, s_{t,AV}, s_{t,TAV}. \] 经过 Softmax 后得到： \[ \alpha_{t,T}, \alpha_{t,A}, \alpha_{t,V}, \alpha_{t,TA}, \alpha_{t,TV}, \alpha_{t,AV}, \alpha_{t,TAV}. \] 并满足： \[ \sum_{S\in\mathcal E} \alpha_{t,S}=1. \] 只要当前位置至少有一个模态可用，这些权重就在当前可用的 experts 之间归一化；如果三个模态全缺失，则七个 expert 权重都为 0，并改用 learned missing token。 可以把： \[ \alpha_{t,S} \] 理解成： > **当前位置模型愿意把多少融合权重分配给 Expert \(S\)。** --- # 九、Router 看什么信息？ 当前 Router 主要使用： 1. 三个模态的 observation masks； 2. 三个 private projection 的 log-RMS 幅值； 3. 三个模态各自的局部 5-position observed ratio。 因此 Router 的输入为 9 个数值，MLP 结构为 \(9\rightarrow16\rightarrow7\)，七个输出对应七种模态子集。 也就是说 Router 不只是知道： > “这个模态有没有。” 它还能获得一些局部状态信息： > “这个模态附近是不是经常缺失？” > “当前 private representation 的幅值状态是什么样？” 然后决定： \[ \boxed{ \text{当前位置更适合使用哪种模态组合。} } \] --- # 十、第四步：Availability-aware Routing 我们还加入一个非常重要的约束： > **如果某个 Expert 所需要的模态不存在，那么这个 Expert 当前不能被选择。** 例如： \[ M_t^A=0. \] 说明当前位置 Audio 缺失。 那么： \[ E_A,\quad E_{TA},\quad E_{AV},\quad E_{TAV} \] 全部依赖 Audio，因此这些 Expert 当前不可用。 我们直接把对应 Router logit 屏蔽： \[ s_{t,S}=-\infty. \] Softmax 后自然得到： \[ \alpha_{t,S}=0. \] 所以 Router 不需要自己慢慢学： > “Audio 没了以后不要用 Audio。” 这个基本事实直接由模型结构保证。 Router 真正需要学习的是： > **在当前仍然可用的 Fusion Experts 中，应该怎样分配权重。** --- # 十一、如果三个模态全部缺失怎么办？ 如果某个位置： \[ M_t^T=M_t^A=M_t^V=0, \] 那么 7 个 Expert 全部不可用。 此时模型使用一个学习得到的： \[ e_{\mathrm{missing}} \] 作为 all-missing token。 也就是说模型知道： > “这个位置没有可靠的模态观测。” 然后把这个信息继续交给后面的 BiGRU。 BiGRU 可以根据前后位置： \[ t-1,\quad t+1,\quad\cdots \] 继续进行上下文建模。 --- # 十二、第五步：对七个 Expert 做加权融合 Router 得到权重后： \[ u_t = \sum_{S\in\mathcal E} \alpha_{t,S}E_S(t). \] 例如某个位置可能学到： \[ \alpha_T=0.50, \] \[ \alpha_{TA}=0.25, \] \[ \alpha_{TV}=0.15, \] \[ \alpha_{TAV}=0.10. \] 那么： \[ u_t = 0.50E_T + 0.25E_{TA} + 0.15E_{TV} + 0.10E_{TAV}. \] 所以它不是硬选择： > “只能选一个 Expert。” 而是： > **根据当前情况，动态组合多个 Expert。** --- # 十三、第六步：统一进入 Shared BiGRU 得到： \[ u_1,u_2,\dots,u_{50} \] 以后，当前实现把每个 \(u_t\) 与三个 observation masks 拼接，再经过 \(67\rightarrow128\) 的输入投影层；投影后的序列再统一进入： \[ H= BiGRU(u_1,u_2,\dots,u_{50}). \] 因此整个模型的职责划分非常清楚： ### MoFE 负责 \[ \boxed{ \text{当前位置应该怎样组合不同模态？} } \] ### BiGRU 负责 \[ \boxed{ \text{这些位置之间存在怎样的上下文关系？} } \] 也就是： \[ \boxed{ \text{MoFE 做模态组合选择，BiGRU 做序列上下文建模。} } \] --- # 十四、第七步：完成情感预测 BiGRU 输出经过现有序列聚合方式后，得到 clip-level representation： \[ h_{\mathrm{clip}}. \] 然后同时完成： ### 情感极性分类 \[ h_{\mathrm{clip}} \rightarrow Head_{\mathrm{cls}} \rightarrow \hat y_{\mathrm{cls}} \] ### 情感强度回归 \[ h_{\mathrm{clip}} \rightarrow Head_{\mathrm{reg}} \rightarrow \hat y_{\mathrm{reg}}. \] 训练目标继续与 EarlyConcat 相同： \[ \mathcal L =\operatorname{CE}(y_{\mathrm{cls}},\hat y_{\mathrm{cls}}) +0.5\operatorname{SmoothL1}\left(\frac{\hat y_{\mathrm{reg}}}{3},\frac{y_{\mathrm{reg}}}{3}\right). \] --- # 十五、MoFE 为什么比我们之前的 MoE 更合理？ 我们之前也尝试过 MoE，但是旧 Expert 类似： ```text Full Expert Text-dominant Expert AV Expert ``` 问题在于： > Expert 到底应该擅长什么，很大程度上需要模型自己学。 在只有几千条训练数据的情况下： \[ \text{既要学 Expert specialization} + \text{又要学 Router} \] 比较困难。 而现在： \[ T,A,V,TA,TV,AV,TAV \] 七个 Expert 的分工天然存在。 例如： ```text E_T -> 永远只看 Text E_AV -> 永远只看 Audio + Vision E_TAV -> 永远看三个模态 ``` 因此模型不再需要先学习： > “每个 Expert 到底是什么。” 它只需要学习： \[ \boxed{ \text{当前应该如何组合这些已经定义清楚的 Expert。} } \] 这大幅降低了 Router 学习 specialization 的难度。 --- # 十六、MoFE 还可以得到可解释的模态 Utility Router 得到七个权重以后，我们还可以计算每个模态的： > **Task-conditioned Modality Utility** 例如 Text： \[ R_T(t) = \alpha_T + \alpha_{TA} + \alpha_{TV} + \alpha_{TAV}. \] Audio： \[ R_A(t) = \alpha_A + \alpha_{TA} + \alpha_{AV} + \alpha_{TAV}. \] Vision： \[ R_V(t) = \alpha_V + \alpha_{TV} + \alpha_{AV} + \alpha_{TAV}. \] 它表示： > **Router 当前有多少权重分配给了“包含该模态”的融合路径。** 需要注意： \[ R_T,R_A,R_V \] 不是物理意义上的“信号可靠性”。 更准确地说，它们是： \[ \boxed{ \text{Task-conditioned Modality Utility} } \] 即： > **这个模态对于当前情感预测任务有多大的使用价值。** --- # 十七、一个直观例子 假设三个模态都正常。 模型可能认为： ```text Text 重要 Text + Audio 有帮助 Text + Vision 有帮助 TAV 少量补充 ``` 于是： \[ u_t = 0.45E_T + 0.25E_{TA} + 0.20E_{TV} + 0.10E_{TAV}. \] 如果当前位置 Text 缺失： ```text Text × Audio ✓ Vision ✓ ``` 那么所有包含 Text 的 Expert： \[ E_T,E_{TA},E_{TV},E_{TAV} \] 直接不可用。 Router 只能在： \[ E_A,E_V,E_{AV} \] 之间重新分配： \[ u_t = \alpha_AE_A + \alpha_VE_V + \alpha_{AV}E_{AV}. \] 所以模型可以自然地根据模态缺失状态改变融合策略。 --- # 十八、两个方案最核心的区别 | 问题 | EarlyConcat + BiGRU | MoFE-7 + MLP Router | |---|---|---| | 模态如何融合 | 直接全部拼接 | 动态组合 7 种模态子集 | | 是否区分不同融合方式 | 否 | 是 | | 是否显式利用 mask | 是 | 是 | | 模态缺失处理 | 交给 BiGRU 隐式学习 | Availability mask + BiGRU | | 是否有 Router | 否 | 有 | | Expert 数量 | 无 | 7 | | 时序主干 | 1 个 BiGRU | 1 个 Shared BiGRU | | 可解释性 | 一般 | 可以分析 Expert 权重和 Modality Utility | | 复杂度 | 低 | 略高 | | 定位 | 强基线；本次重训点估计较强 | 候选；Accuracy 略高，整体优势未确认 | --- # 十九、用一句话理解两个模型 ## EarlyConcat > **“把三种模态的材料都摆在桌子上，让 BiGRU 自己读。”** 数学上： \[ \boxed{ [T;A;V;M] \rightarrow BiGRU \rightarrow Prediction } \] --- ## MoFE-7 > **“先准备 7 种不同的模态组合方案，让 Router 根据当前位置的模态状态决定更应该参考哪些组合，再交给统一的 BiGRU 建模上下文。”** 数学上： \[ \boxed{ T/A/V \rightarrow 7\ Fusion\ Experts \rightarrow MLP\ Router \rightarrow Weighted\ Fusion \rightarrow Shared\ BiGRU \rightarrow Prediction } \] --- # 二十、按数学方案 Q2 口径重训后的模型性能 本节替换旧的检查点重评结果，报告 2026-09-25 在 GPU 上从头重训两个模型后的结果。官方测试集只在检查点确定后进行一次干净评估；缺失鲁棒性在官方验证集的 42 个固定情景上评估。 ## 20.1 训练与评估设置 - 使用官方 `aligned_50.pkl` 划分：训练 3,395 条 / 1,528 个 source video，验证 728 条 / 239 组，测试 727 条 / 381 组；三份划分的 source video 互不重叠。 - 输入是 50 个有序 wordpiece positions，文本、音频、视觉维度为 768、74、35；不是 Q1 的 50 个物理时间 bins。 - 两模型共享只在官方训练集观测行上拟合的 median/MAD 缩放器、训练掩码、batch 顺序、seed `20260924` 和联合目标。 - 连续块训练缺失率为 0%、10%、30%、50%、70%，模式为 single、sync、partial、async；每个被选模态至少保留 20% 原有观测。 - AdamW：学习率 `3e-4`、weight decay `1e-3`、batch size 64、最多 12 epochs、patience 3。两模型都在第 3 轮选中检查点。 - checkpoint 选择使用官方验证集上 `0.0/none`、`0.3/single`、`0.3/sync`、`0.5/async` 四情景的平均联合损失。 - 保留当前两个模型的输出头和 `CE + 0.5 × SmoothL1` 目标。数学方案 C5 使用的概率 Beta-mixture 损失与当前确定性输出头不兼容，因此没有移植该损失。 - 测试指标为 Accuracy、Macro-F1、MAE、RMSE、Pearson。分类使用 Negative / Neutral / Positive 三类，回归预测裁剪到 \([-3,3]\)。 ## 20.2 官方测试集结果 | 模型 | Accuracy ↑ | Macro-F1 ↑ | MAE ↓ | RMSE ↓ | Pearson ↑ | 参数量 | |---|---:|---:|---:|---:|---:|---:| | EarlyConcat + BiGRU | 0.6740 | **0.6157** | **0.6624** | **0.8897** | **0.6585** | 253,124 | | MoFE-7 + MLP Router | **0.6795** | 0.6049 | 0.6761 | 0.8980 | 0.6427 | 306,523 | 差值均为 MoFE-7 减 EarlyConcat，置信区间来自 1,000 次按测试 source-video ID 成对 Bootstrap： | 指标 | 差值 | 95% Bootstrap 区间 | |---|---:|---:| | Accuracy | +0.0055 | [−0.0259, +0.0339] | | Macro-F1 | −0.0109 | [−0.0475, +0.0216] | | MAE | +0.0137 | [−0.0065, +0.0353] | | RMSE | +0.0083 | [−0.0150, +0.0327] | | Pearson | −0.0159 | [−0.0323, +0.0013] | 五项指标的区间都包含零。MoFE 的 Accuracy 点估计略高；EarlyConcat 的 Macro-F1、MAE、RMSE 和 Pearson 点估计更好。当前是单种子结果，视频组 Bootstrap 反映样本组抽样不确定性，不反映跨随机种子波动。 ## 20.3 验证集 42 个缺失情景 下表中的平均值是对 41 个非 clean 验证情景不加权求平均；worst 是其中 Macro-F1 最低的情景。它们是描述性汇总，不代替 AURC。 | 模型 | Clean Macro-F1 | 41 个缺失情景平均 Macro-F1 | 最差情景 Macro-F1 | 缺失情景平均 MAE | |---|---:|---:|---:|---:| | EarlyConcat + BiGRU | **0.5746** | **0.5655** | **0.5289**（0.3/location_start_T） | **0.6371** | | MoFE-7 + MLP Router | 0.5626 | 0.5513 | 0.5048（0.7/partial） | 0.6453 | 30% 模态缺失的 Macro-F1 / MAE： | 条件 | EarlyConcat | MoFE-7 | |---|---:|---:| | Text | 0.5462 / 0.6386 | 0.5455 / 0.6477 | | Audio + Vision | 0.5817 / 0.6326 | 0.5620 / 0.6350 | | All-modal | 0.5693 / 0.6352 | 0.5617 / 0.6421 | 归一化 AURC-MAE 越低越好。差值为 MoFE-7 减 EarlyConcat，区间按验证 source-video ID 成对 Bootstrap： | 缺失模式 | EarlyConcat | MoFE-7 | 差值及 95% 区间 | |---|---:|---:|---:| | Single | **0.6379** | 0.6494 | +0.0115 [−0.0082, +0.0302] | | Sync | **0.6387** | 0.6461 | +0.0074 [−0.0120, +0.0250] | | Partial | **0.6420** | 0.6527 | +0.0107 [−0.0087, +0.0285] | | Async | **0.6409** | 0.6527 | +0.0119 [−0.0062, +0.0289] | 四种模式下 EarlyConcat 的 AURC-MAE 点估计均较低，但区间均跨零。 ## 20.4 结论与边界 这次重训的点估计整体偏向 EarlyConcat + BiGRU：测试集 Macro-F1 和回归指标更高，验证集缺失情景的平均 Macro-F1、平均 MAE 与四种 AURC-MAE 也更好；MoFE-7 仅在测试 Accuracy 上略高。由于 Bootstrap 区间均跨零，且本次只使用一个 seed，不能声称 EarlyConcat 已被统计上确认优于 MoFE。当前应将 EarlyConcat 视为本轮较强候选，MoFE-7 继续保留比较，不宣称其具有总体优势。 数学汇总文件中的 C5 测试结果为 Accuracy 0.6740、Macro-F1 0.5861、MAE 0.6980、RMSE 0.9674、Pearson 0.6300。C5 的概率输出头与损失函数不同，该结果只作背景参考，不是与本节两个模型的严格同结构消融比较。 ## 20.5 可复现产物 运行入口： ```bash uv run python -m q2.train_math_protocol \ --device auto \\ --output-dir outputs/followups/R04_math_protocol_retraining_replica ``` 本次报告、检查点、scaler 和逐条件结果保存在独立目录： - [RESULTS.md](outputs/followups/R03_math_protocol_retraining/RESULTS.md)：本次结果和解读； - [official_test_metrics_by_seed.csv](outputs/followups/R03_math_protocol_retraining/official_test_metrics_by_seed.csv)：官方测试集指标； - [official_test_paired_bootstrap.csv](outputs/followups/R03_math_protocol_retraining/official_test_paired_bootstrap.csv)：测试集配对 Bootstrap； - [controlled_metrics_by_scenario.csv](outputs/followups/R03_math_protocol_retraining/controlled_metrics_by_scenario.csv)：42 个验证情景的逐项结果； - [aurc_mae_by_mode_seed.csv](outputs/followups/R03_math_protocol_retraining/aurc_mae_by_mode_seed.csv) 与 [aurc_mae_paired_bootstrap.csv](outputs/followups/R03_math_protocol_retraining/aurc_mae_paired_bootstrap.csv)：AURC 与其区间； - [run_manifest.json](outputs/followups/R03_math_protocol_retraining/run_manifest.json)：输入特征 hash、数据划分、训练配置、设备和评估规程。 --- # 二十一、目前我们对整个方法的最终理解 我们的模型设计经历了一个很重要的变化。 最开始的问题是： > “怎么把三个模态融合起来？” EarlyConcat 的答案是： \[ \boxed{ \text{直接融合，然后统一学习。} } \] 进一步我们发现，更合理的问题其实是： > **“在不同样本、不同位置、不同模态缺失状态下，究竟应该使用哪一种模态组合？”** 于是 MoFE 的答案变成： \[ \boxed{ \text{不是寻找唯一最优的融合方式， 而是让模型根据当前条件动态选择融合方式。} } \] 因此我们最终的核心思想可以概括为： > **保留不同模态自身的信息结构，不预设某个模态永远最重要；将所有可能的非空模态子集定义为轻量融合专家，再通过可用性感知的 MLP Router 在局部位置动态分配专家权重，最后由共享 BiGRU 统一建模序列上下文。** 最终流程： ```text Text │ ▼ Private Projection │ ├──────────────┐ │ │ Audio ──> Private Projection │ │ │ ├──────────┐ │ │ │ │ Vision -> Private Projection │ │ │ │ │ ▼ ▼ ▼ ┌─────────────────────────────┐ │ 7 Fusion Experts │ │ │ │ T A V TA TV AV │ │ TAV │ └──────────────┬──────────────┘ │ ▼ MLP Router │ Availability Mask │ ▼ Expert Weights α │ ▼ Weighted Expert Mixture │ ▼ Shared BiGRU │ ▼ Sequence Aggregation │ ┌────────┴────────┐ ▼ ▼ Polarity Head Intensity Head │ │ ▼ ▼ 情感极性分类 情感强度回归 ``` 一句话总结： \[ \boxed{ \text{EarlyConcat 是“全部给模型看”， MoFE 是“让模型决定当前应该怎么看”。} } \]