Add aligned missingness analyses and results

2026-09-25 11:49:09 +08:00
parent 95bd34599b
commit c6b018e5d0
20 changed files with 6373 additions and 395 deletions
@@ -1247,20 +1247,97 @@ Prediction

 四种模式下 EarlyConcat 的 AURC-MAE 点估计均较低，但区间均跨零。

-## 20.4 结论与边界
+## 20.4 缺失模态类型、缺失率与消融分析
+
+题目要求分析局部缺失的模态类型、位置和持续长度。本节在官方 aligned 验证集上对已选定的两个检查点做受控推理消融，不重新拟合模型，也不读取官方测试集。
+
+### 实验设计
+
+- 验证集为 728 条样本、239 个 source-video 组；只使用 R03 训练集拟合的同一个 median/MAD scaler。
+- 50 个位置是附件提供的有序 wordpiece positions，不是 50 个等长物理时间段。因此下文的 start/middle/end 与缺失比例都指这条 50-position 序列中的位置，不换算成视频秒数。
+- 构造 7 种被遮蔽模态集合：T、A、V、TA、TV、AV、TAV；每种分别设 10%、30%、50%、70% 缺失率，共 28 个条件。
+- 每个被选模态遮蔽一个居中的连续块，其他模态保持原观测状态。比例按该模态原本有效的位置数计算，至少保留 20% 原有观测。实际平均遮蔽率约为请求值：10% 条件实测 10.0%，30% 为 29.8%，50% 为 49.7%，70% 为 69.5%。两个模型使用完全相同的样本级掩码。
+- 下表先对同一缺失率下的 7 种模态集合不加权平均。干净验证集参考值为 EarlyConcat：Accuracy 0.6154、Macro-F1 0.5746、MAE 0.6343、Pearson 0.6095；MoFE：0.6058、0.5626、0.6368、0.6043。
+
+### 缺失率总体趋势
+
+| 缺失率 | Early Acc | Early Macro-F1 | Early MAE | Early Pearson | MoFE Acc | MoFE Macro-F1 | MoFE MAE | MoFE Pearson |
+|---:|---:|---:|---:|---:|---:|---:|---:|---:|
+| 10% | 0.6142 | **0.5736** | **0.6336** | **0.6084** | 0.6032 | 0.5641 | 0.6366 | 0.6042 |
+| 30% | 0.6126 | **0.5725** | **0.6337** | **0.6024** | 0.6054 | 0.5627 | 0.6384 | 0.6009 |
+| 50% | 0.6085 | **0.5665** | **0.6416** | 0.5865 | 0.6068 | 0.5390 | 0.6452 | **0.5901** |
+| 70% | 0.5899 | **0.5470** | **0.6605** | 0.5442 | **0.5907** | 0.5147 | 0.6679 | 0.5558 |
+
+随着遮蔽率从 10% 升到 70%，两模型的平均 Macro-F1 与 Pearson 都下降，MAE 上升。70% 时，EarlyConcat 的平均 Macro-F1 比 clean 低 0.0277、MAE 高 0.0257；MoFE 的 Macro-F1 低 0.0479、MAE 高 0.0310。总体退化在高缺失率更明显，且本轮点估计下 EarlyConcat 对缺失率增加更稳。
+
+### 哪种模态缺失更有影响？
+
+下表是相对同一模型 clean 验证结果的变化：
+
+- \(\Delta F1=F1_{missing}-F1_{clean}\)，负值表示 Macro-F1 下降；
+- \(\Delta MAE=MAE_{missing}-MAE_{clean}\)，正值表示回归误差上升。
+
+| 被遮蔽模态 | Early ΔF1（30% / 70%） | Early ΔMAE（30% / 70%） | MoFE ΔF1（30% / 70%） | MoFE ΔMAE（30% / 70%） |
+|---|---:|---:|---:|---:|
+| T | −0.021 / −0.080 | +0.003 / +0.060 | −0.037 / −0.128 | +0.019 / +0.103 |
+| A | +0.015 / +0.027 | −0.002 / −0.003 | −0.012 / −0.006 | +0.001 / +0.006 |
+| V | +0.001 / +0.002 | −0.003 / −0.002 | 0.000 / +0.011 | −0.005 / −0.010 |
+| TA | −0.007 / −0.062 | −0.003 / +0.053 | −0.041 / −0.120 | +0.012 / +0.040 |
+| TV | −0.014 / −0.089 | +0.001 / +0.073 | −0.034 / −0.121 | +0.008 / +0.075 |
+| AV | +0.009 / +0.010 | −0.003 / −0.003 | +0.009 / +0.023 | −0.006 / −0.006 |
+| TAV | +0.001 / −0.002 | 0.000 / +0.001 | +0.001 / +0.006 | +0.004 / +0.009 |
+
+文本局部缺失的影响最大，尤其对 MoFE：只遮蔽 70% 的 T 时，Macro-F1 下降 0.128、MAE 上升 0.103；EarlyConcat 分别下降 0.080、上升 0.060。遮蔽 T+A 或 T+V 后也出现明显下降，说明这一训练结果对文本位置包含的信息较敏感。单独遮蔽 A 或 V 的影响较小；EarlyConcat 在 A-only 条件中的 F1 点估计甚至上升。该现象只能说明当前验证集上的局部遮蔽结果，不能据此断言 A/V 对任务无用。TAV 的变化也不呈简单单调关系，反映不同模态组合与上下文仍会影响结果。
+
+![两模型在七种缺失模态集合下的 Macro-F1 随缺失率变化](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/macro_f1_by_modality_and_rate.png)
+
+![相对 clean 的 Macro-F1 变化热图](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/macro_f1_drop_heatmap.png)
+
+### 位置、连续块长度与跨模态错位
+
+30% 单模态遮蔽的位置控制如下。这里 start/middle/end 是 wordpiece 序列位置：
+
+| 模型 | T：start / middle / end | A：start / middle / end | V：start / middle / end |
+|---|---:|---:|---:|
+| EarlyConcat + BiGRU | 0.529 / 0.554 / 0.556 | 0.581 / 0.590 / 0.591 | 0.578 / 0.576 / 0.571 |
+| MoFE-7 + MLP Router | 0.507 / 0.526 / 0.524 | 0.569 / 0.551 / 0.555 | 0.571 / 0.563 / 0.559 |
+
+T 的序列开头缺失是两个模型最差的位置；T 在中间或末尾缺失时 Macro-F1 较高。A/V 的位置效应较小且模型间方向不完全一致。
+
+将 30% 缺失做成一个长块或多个短块，没有出现跨模态一致的赢家：
+
+| 模型与模态 | 一个长块 Macro-F1 | 多个短块 Macro-F1 |
+|---|---:|---:|
+| Early T / A / V | 0.542 / 0.584 / 0.571 | 0.544 / 0.578 / 0.572 |
+| MoFE T / A / V | 0.518 / 0.557 / 0.573 | 0.522 / 0.564 / 0.566 |
+
+T/A/V 同时缺失 30% 时，EarlyConcat 对 sync、partial、async 的 Macro-F1 分别为 0.570、0.568、0.567，差异较小；MoFE 分别为 0.568、0.542、0.567，partial 条件低约 0.025。当前结果提示 MoFE 对多模态缺失区间错位更敏感；单种子验证结果尚不足以确认这种差异能否稳定复现。
+
+![30% 缺失位置敏感性](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/location_sensitivity.png)
+
+### 消融结论
+
+1. **输入模态局部遮蔽消融：**固定 R03 检查点，逐一遮蔽 T/A/V 及其组合。七种集合、四档缺失率均纳入逐条件 CSV；总体上文本缺失最伤，视觉或音频单独缺失影响较弱。
+2. **融合架构消融：**在相同特征、训练掩码和 28 个条件上比较 EarlyConcat 与 MoFE。28 条件 Macro-F1 平均值为 0.5648 vs 0.5384，MAE 为 0.6421 vs 0.6485；参数量分别是 253,124 和 306,523。EarlyConcat 的点估计更好且参数更少，但只有一个 seed，不能将此差异表述为稳定或显著优势。
+
+本节全部因素分析只在官方验证集和单个 seed 上进行，没有对 28 个单项条件逐一做显著性检验。结果适合描述趋势、定位敏感模态和选择后续实验，不应用来声称每个单项差异都具有统计显著性。
+
+## 20.5 结论与边界

 这次重训的点估计整体偏向 EarlyConcat + BiGRU：测试集 Macro-F1 和回归指标更高，验证集缺失情景的平均 Macro-F1、平均 MAE 与四种 AURC-MAE 也更好；MoFE-7 仅在测试 Accuracy 上略高。由于 Bootstrap 区间均跨零，且本次只使用一个 seed，不能声称 EarlyConcat 已被统计上确认优于 MoFE。当前应将 EarlyConcat 视为本轮较强候选，MoFE-7 继续保留比较，不宣称其具有总体优势。

 数学汇总文件中的 C5 测试结果为 Accuracy 0.6740、Macro-F1 0.5861、MAE 0.6980、RMSE 0.9674、Pearson 0.6300。C5 的概率输出头与损失函数不同，该结果只作背景参考，不是与本节两个模型的严格同结构消融比较。

-## 20.5 可复现产物
+## 20.6 可复现产物

 运行入口：

 ```bash
 uv run python -m q2.train_math_protocol \
-  --device auto \\
+  --device auto \
  --output-dir outputs/followups/R04_math_protocol_retraining_replica
+
+uv run python -m q2.analyze_aligned_missingness --device auto
 ```

 本次报告、检查点、scaler 和逐条件结果保存在独立目录：
@@ -1271,6 +1348,11 @@ uv run python -m q2.train_math_protocol \
 - [controlled_metrics_by_scenario.csv](outputs/followups/R03_math_protocol_retraining/controlled_metrics_by_scenario.csv)：42 个验证情景的逐项结果；
 - [aurc_mae_by_mode_seed.csv](outputs/followups/R03_math_protocol_retraining/aurc_mae_by_mode_seed.csv) 与 [aurc_mae_paired_bootstrap.csv](outputs/followups/R03_math_protocol_retraining/aurc_mae_paired_bootstrap.csv)：AURC 与其区间；
 - [run_manifest.json](outputs/followups/R03_math_protocol_retraining/run_manifest.json)：输入特征 hash、数据划分、训练配置、设备和评估规程。
+- [aligned_missingness_analysis/modality_rate_metrics.csv](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/modality_rate_metrics.csv)：7 种缺失模态组合 × 4 档缺失率的全部指标；
+- [aligned_missingness_analysis/modality_rate_summary.csv](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/modality_rate_summary.csv)：按缺失率跨 7 种模态集合的平均结果；
+- [aligned_missingness_analysis/architecture_ablation_deltas.csv](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/architecture_ablation_deltas.csv)：逐条件的 MoFE − EarlyConcat 差值；
+- [aligned_missingness_analysis/location_span_synchrony_metrics.csv](outputs/followups/R03_math_protocol_retraining/aligned_missingness_analysis/location_span_synchrony_metrics.csv)：位置、长短块和同步方式消融明细；
+- [analyze_aligned_missingness.py](q2/analyze_aligned_missingness.py)：固定 R03 检查点，复现验证集因素分析的入口。

 ---