Add aligned missingness analyses and results

math/E题V2_Q1_Q2模型结果汇总.md

@@ -60,7 +60,7 @@ C6 在这组验证点指标中取得较高的 Accuracy、Macro-F1、MAE 和 RMSE
 
 测试集类别支持数为负向 207、中性 158、正向 362；相应召回率为 0.7440、0.2089、0.8370。温度校准参数为 1.2127。测试集指标、预测、组 Bootstrap 区间及门控诊断见 [Q2/results](Q2/results/)。
 
-### 连续缺失控制
+### 连续缺失控制与缺失类型/率的规律分析
 
 验证集共执行 42 个固定缺失情景。C5 的归一化 AURC-MAE 及相对 C0 的差值如下；差值置信区间由来源视频组配对 Bootstrap 得到。
 
@@ -71,13 +71,87 @@ C6 在这组验证点指标中取得较高的 Accuracy、Macro-F1、MAE 和 RMSE
 | 部分重叠 | 0.6883 | -0.0774 | [-0.1146, -0.0429] |
 | 异步 | 0.6880 | -0.0894 | [-0.1261, -0.0554] |
 
+#### 缺失率对 C5 性能的影响
+
+以下受控遮蔽评估只在官方验证集进行（728 条、239 个来源视频组），不使用测试集选择遮蔽方案。主表模型为正式选定的 C5；所有已有 C0–C7 消融模型使用相同验证样本和相同掩码。自然缺失率约为 36.2%。新增遮蔽只作用于原本可观测的特征行。置信区间由 1,000 次来源视频组配对 Bootstrap 得到。
+
+横轴使用论文定义的实际新增缺失率；“最终缺失率”包含 aligned 数据本来的缺失。请求遮蔽率和实际率不同，是因为音频、视频原本已有缺行，且连续区间内可遮蔽的有效行数受时间位置影响。
+
+![对齐数据缺失率和匹配缺失类型的验证结果](Q2/results/aligned_missingness_effects.png)
+
+| 遮蔽模式 | 请求率 | 实际新增率 | 最终缺失率 | Accuracy | Macro-F1 | MAE | 相对自然缺失 ΔMAE（95% 区间） |
+|---|---:|---:|---:|---:|---:|---:|---:|
+| 自然缺失 | 0% | 0.0% | 36.2% | 0.6168 | 0.5472 | 0.6615 | — |
+| 单模态 | 10% | 3.4% | 38.3% | 0.6181 | 0.5489 | 0.6596 | -0.0019 [-0.0085, 0.0037] |
+| 单模态 | 30% | 10.1% | 42.7% | 0.6113 | 0.5380 | 0.6692 | +0.0077 [-0.0007, 0.0163] |
+| 单模态 | 50% | 16.7% | 46.7% | 0.6071 | 0.5285 | 0.6678 | +0.0063 [-0.0065, 0.0202] |
+| 单模态 | 70% | 23.2% | 51.0% | 0.6085 | 0.5318 | 0.6935 | +0.0320 [0.0172, 0.0466] |
+| 同步 | 10% | 5.7% | 40.6% | 0.6154 | 0.5396 | 0.6589 | -0.0025 [-0.0115, 0.0049] |
+| 同步 | 30% | 18.4% | 50.0% | 0.6126 | 0.5414 | 0.6741 | +0.0126 [-0.0093, 0.0332] |
+| 同步 | 50% | 33.0% | 60.1% | 0.6058 | 0.5213 | 0.6964 | +0.0349 [0.0110, 0.0627] |
+| 同步 | 70% | 50.5% | 71.3% | 0.5934 | 0.5084 | 0.7390 | +0.0775 [0.0461, 0.1100] |
+| 部分重叠 | 10% | 5.3% | 40.4% | 0.6181 | 0.5483 | 0.6612 | -0.0003 [-0.0117, 0.0126] |
+| 部分重叠 | 30% | 14.8% | 48.7% | 0.6113 | 0.5357 | 0.6784 | +0.0169 [-0.0005, 0.0357] |
+| 部分重叠 | 50% | 23.6% | 56.5% | 0.6236 | 0.5500 | 0.6918 | +0.0304 [0.0049, 0.0568] |
+| 部分重叠 | 70% | 39.1% | 67.4% | 0.6058 | 0.5297 | 0.7297 | +0.0682 [0.0400, 0.1002] |
+| 异步 | 10% | 5.6% | 40.4% | 0.6168 | 0.5432 | 0.6623 | +0.0008 [-0.0119, 0.0154] |
+| 异步 | 30% | 17.5% | 49.4% | 0.6099 | 0.5325 | 0.6756 | +0.0142 [0.0022, 0.0269] |
+| 异步 | 50% | 31.2% | 59.0% | 0.6030 | 0.5244 | 0.6998 | +0.0384 [0.0166, 0.0629] |
+| 异步 | 70% | 48.3% | 70.5% | 0.6058 | 0.5185 | 0.7206 | +0.0591 [0.0311, 0.0884] |
+
+整体上实际新增缺失率升高时，C5 的 MAE 和 Macro-F1 多数变差；样本级结果并非严格单调。到 70% 请求率时，四种模式的 MAE 增幅置信区间都高于 0；同步模式的 MAE 最高（0.7390），同时它的实际新增率也最高，因此不能把这项差异单独归因于“同步”结构。10% 请求率下，各模式的 MAE 变化区间均覆盖 0。完整曲线与每个模式的组 Bootstrap 明细见 `Q2/results/controlled_missingness.csv` 和 `Q2/results/controlled_group_bootstrap.csv`。
+
+#### 缺失模态类型：匹配新增缺失量
+
+为单独比较缺失类型，另做匹配遮蔽：每个验证样本在 T、A、V、TA、TV、AV、TAV 七种条件下新增相同数量的缺失特征行，且各模态新增行数之和逐样本相同。每个样本最多新增 15 行，并按音频和视频各自的可遮蔽容量取共同上限；728 个样本中 25 个没有足够的共同容量，预算为 0。每种类型总计新增 8,932 行（平均每样本 12.27 行），遮蔽以连续时间段构造，七种类型最终总缺失率均为 44.34%。
+
+表中“论文口径实际新增率”按各模态原本可观测行数作等模态归一，因此相同新增行数在 T/A/V 上会得到不同百分比；跨类型比较以匹配的实际新增行数为准。ΔMAE 为 C5 在该类型下相对自然缺失条件的变化；负值表示误差下降。C5–C0 为同一掩码下的配对 MAE 差值。
+
+| 缺失类型 | 论文口径实际新增率 | C5 Accuracy | C5 Macro-F1 | C5 MAE | C5 ΔMAE vs 自然（95% 区间） | C5–C0 ΔMAE（95% 区间） |
+|---|---:|---:|---:|---:|---:|---:|
+| T | 8.2% | 0.6099 | 0.5352 | 0.6866 | +0.0251 [0.0079, 0.0450] | -0.0771 [-0.1160, -0.0355] |
+| A | 19.6% | 0.6099 | 0.5341 | 0.6658 | +0.0043 [-0.0024, 0.0109] | -0.0680 [-0.1061, -0.0314] |
+| V | 20.3% | 0.6209 | 0.5553 | 0.6525 | -0.0089 [-0.0181, 0.0001] | -0.0838 [-0.1220, -0.0467] |
+| TA | 13.9% | 0.6154 | 0.5420 | 0.6685 | +0.0070 [-0.0105, 0.0259] | -0.0706 [-0.1077, -0.0318] |
+| TV | 14.3% | 0.6071 | 0.5354 | 0.6680 | +0.0065 [-0.0057, 0.0188] | -0.0778 [-0.1175, -0.0360] |
+| AV | 20.0% | 0.6181 | 0.5486 | 0.6586 | -0.0029 [-0.0093, 0.0023] | -0.0745 [-0.1117, -0.0388] |
+| TAV | 16.1% | 0.6154 | 0.5436 | 0.6651 | +0.0036 [-0.0077, 0.0161] | -0.0675 [-0.1073, -0.0308] |
+
+匹配总量后，只有 T 单模态遮蔽的 C5 MAE 增幅区间不含 0（+0.0251）；其余类型的 MAE 变化区间均覆盖 0，不能据此排出稳定的模态脆弱性次序。A 单模态遮蔽的 Macro-F1 相对自然条件下降约 0.0131，配对区间为 [-0.0305, -0.0006]。七种类型下 C5 的 MAE 均低于 C0，配对差值区间均低于 0。匹配掩码逐样本审计、模型指标和组 Bootstrap 见 `Q2/results/matched_missing_type.csv`、`matched_missing_type_audit.csv` 和 `matched_missing_type_bootstrap.csv`；复现实验脚本为 `Q2/run_matched_missing_type.py`。
+
+#### 结构消融在缺失率曲线上的表现
+
+上面的验证消融表给出自然条件的 Accuracy、Macro-F1、MAE 等指标；下表进一步给出四种连续遮蔽曲线上的归一化 AURC-MAE 相对 C0 的差值。负值代表平均预测误差更低。C0–C7 及单因素诊断共 12 个模型版本均使用相同 42 个验证遮蔽情景；每列的 95% 组 Bootstrap 区间见 `controlled_group_bootstrap.csv`。
+
+| 模型 | 单模态 ΔAURC | 同步 ΔAURC | 部分重叠 ΔAURC | 异步 ΔAURC |
+|---|---:|---:|---:|---:|
+| C0 | 0.000 | 0.000 | 0.000 | 0.000 |
+| C1 | -0.050 | -0.043 | -0.046 | -0.065 |
+| C2 | -0.022 | -0.022 | -0.022 | -0.016 |
+| C3 | -0.020 | -0.024 | -0.020 | -0.037 |
+| C4 | -0.040 | -0.044 | -0.035 | -0.052 |
+| C5（最终选定） | -0.076 | -0.076 | -0.077 | -0.089 |
+| C6 | -0.091 | -0.092 | -0.084 | -0.108 |
+| C6 无距离/跨度惩罚 | -0.062 | -0.075 | -0.073 | -0.078 |
+| C6 无辅助重构 | -0.041 | -0.046 | -0.049 | -0.055 |
+| C6 点遮蔽 | -0.050 | -0.063 | -0.057 | -0.072 |
+| C7 仅蒸馏 | -0.061 | -0.059 | -0.055 | -0.073 |
+| C7 仅组风险 | -0.041 | -0.027 | -0.026 | -0.045 |
+
+C5 的 AURC-MAE 相对 C0 的配对 95% 区间依次为：单模态 [-0.1118, -0.0389]、同步 [-0.1105, -0.0417]、部分重叠 [-0.1146, -0.0429]、异步 [-0.1261, -0.0554]，均低于 0。C6 在四条曲线上的 AURC 点估计最低；正式模型仍依论文规定按验证选择损失选择 C5。相对 C6，取消距离/跨度惩罚、辅助重构或连续遮蔽的点估计，四模式平均 AURC 分别约增加 0.022、0.046 和 0.033，支持保留这些结构与训练项。由于 aligned_50 不含逐行质量分数，质量到噪声映射消融仍不可识别。
+
+#### 位置、跨度与同步方式的检查
+
+位置、长跨度/多短跨度和同步/部分重叠/异步的全部点指标与组 Bootstrap 明细也保存在 42 情景结果表中。文本模态起始/中段/末段遮蔽的实际新增率相同（约 10.1%），对应 C5 MAE 为 0.6982、0.6674、0.6767；这是描述性对比，未做位置两两的配对检验。音频和视觉自然缺行更多，同为 30% 请求率时实际新增率差异较大（例如音频起始 20.0%、末段 1.2%；视觉起始 19.3%、末段 1.2%），不据此宣称位置本身造成的因果差异。长跨度与多短跨度的同模态遮蔽、以及同步结构的实际遮蔽量同样应结合审计列阅读。
+
 附件三有 30 条无标签样本，仅导出预测和审计，不计算 Accuracy 或 F1。`aligned_50.pkl` 没有逐行质量分数，因此按算法回退规则对可见行取 `q*=1, J_Q=0`；无人工边界或附件三标签的项目不报告虚构的监督指标。
 
 ## 主要结果文件
 
 - Q1 五折模型对照：`Q1/results/model_comparison_v2/comparison_summary.csv`、`fold_metrics.csv`、`oof_predictions.csv`、`group_bootstrap_deltas.csv`。
 - Q1 特征文件与样本清单：`Q1/features_v2/`。
-- Q1 随机样本词到原始音频/视频位置图：`Q1/results/alignment_query_random_seed20260925.png`；重绘脚本为 `Q1/visualize_alignment.py`。
+- Q1 随机样本词到原始音频/视频位置图：`Q1/results/alignment_query_example.png`；重绘脚本为 `Q1/visualize_alignment.py`。
 - Q2 验证消融与正式指标：`Q2/results/ablation_validation.csv`、`validation_metrics.json`、`test_metrics.json`。
 - Q2 缺失控制与组区间：`Q2/results/controlled_missingness.csv`、`controlled_group_bootstrap.csv`、`group_bootstrap_ci.csv`。
+- Q2 匹配缺失类型及图表：`Q2/results/matched_missing_type.csv`、`matched_missing_type_audit.csv`、`matched_missing_type_bootstrap.csv`、`matched_missing_type_manifest.json`、`aligned_missingness_effects.png`；脚本见 `Q2/run_matched_missing_type.py` 和 `Q2/plot_missingness_effects.py`。
 - Q2 附件三输出：`Q2/results/attachment3_predictions.csv`、`attachment3_audit.csv`。