159 lines
14 KiB
Markdown
159 lines
14 KiB
Markdown
# Q1/Q2/Q3 实验结果与复现摘要
|
||
|
||
本报告汇总 `final/` 内可复核的 Q1 物理时间对齐结果和 Q2 官方未对齐数据比较。模型代码、训练命令、数据目录和依赖说明见 [README.md](README.md)。数值结果链接均指向本项目内的 CSV、JSON 或实验审计文件。
|
||
|
||
## Q1：附件一物理时间特征
|
||
|
||
Q1 包含 100 条视频片段、37 个来源视频组。文本使用 BERT/CTC 词区间，音频为 74 维，视觉为 OpenFace 35 维；五折按 `video_id` 分组。表内分类指标表示情感探针表现，不是边界准确率。
|
||
|
||
| 分支 | OOF Accuracy | OOF Macro-F1 | OOF MAE | OOF Pearson |
|
||
|---|---:|---:|---:|---:|
|
||
| B0 | 0.5900 | 0.3373 | 0.5345 | 0.4255 |
|
||
| B1 | 0.5700 | 0.3084 | 0.5342 | 0.3981 |
|
||
| B2 | 0.5500 | 0.2769 | 0.5308 | 0.4232 |
|
||
| B3 | 0.5700 | 0.3084 | 0.5202 | 0.4114 |
|
||
| B4 | 0.6000 | 0.3882 | 0.5393 | 0.3413 |
|
||
|
||
特征包保留每条样本的模态掩码、物理时间区间、来源哈希和配置哈希。96 条样本状态为 success，4 条为 partial；部分样本因 OpenFace 有效性门控未通过而保留视觉缺失状态。[Q1 完整 OOF 表](output/q1/model_comparison/comparison_summary.csv) · [100 样本特征清单](output/q1/features_v2/manifest_q1.jsonl) · [包体审计](output/q1/package_audit.json)
|
||
|
||
Q1 adapter 使用带媒体时戳的原生特征进行物理时间聚合；Q2 未对齐特征只可按归一化进程投影，两个坐标语义不混用。
|
||
|
||
## Q2：附件二未对齐输入的全模型比较
|
||
|
||
### 统一 adapter：附件二未对齐数据全模型比较（本轮）
|
||
|
||
本轮用题目附件二 unaligned_50.pkl 作为 Q2 输入，并由 [统一 adapter](adapter/) 的 adapt_official_split 接口统一投影。源文件 SHA-256 为 77eda14a06be9749a96c52ae45470c7cffcfa7219011eae391d231a0664c3762。比较覆盖数学分支 C0–C7 与三项 C6 单因素诊断，以及保留的 EarlyConcat + BiGRU、MoFE-7 + MLP Router；共 14 个模型版本。运行 seed 为 20260924；神经模型使用 batch size 128，C0 线性基线按各自实现训练。
|
||
|
||
附件二官方 train/valid/test 分别为 3,395/728/727 条，来源视频组数为 1,528/239/381，官方划分的视频组互不重叠。文本、音频、视觉原始特征形状分别为 (N,50,768)、(N,500,74)、(N,500,35)，适配器按归一化相对进程将各模态投影至 50 个目标位置。这是相对进程投影，不代表真实秒级时间同步。适配器排除了注意力掩码外的非零文本填充行；train/valid/test 的此类行数为 86,078/17,772/18,041。视觉长度冲突样本数为 618/141/131；数据没有可信的词/帧时间戳和逐行质量字段。
|
||
|
||
两条训练路线使用相同官方数据和 adapter 输出，但各自保留预处理、训练损失及检查点选择流程，因此跨分支差异不能单独解释为融合架构的因果效果。数学分支再从 train 内部划分可靠性选择与温度校准组；深度学习分支以官方 valid 的固定遮蔽情景选择轮次。验证集用于所有模型比较；正式测试只运行内部留组选择出的数学 C6 和两种指定深度学习方案，不用测试集挑选 12 个数学变体中的赢家。
|
||
|
||
#### 官方验证集自然缺失表现
|
||
|
||
下表为 728 条官方验证样本的自然缺失条件指标。CSV 保留完整精度。
|
||
|
||
| 模型 | Accuracy ↑ | Macro-F1 ↑ | MAE ↓ | RMSE ↓ | Pearson ↑ |
|
||
|---|---:|---:|---:|---:|---:|
|
||
| C0 | 0.5907 | 0.5573 | 0.7268 | 0.9494 | 0.5186 |
|
||
| C1 | 0.5879 | 0.4739 | 0.7446 | 0.9823 | 0.5362 |
|
||
| C2 | 0.5962 | 0.4503 | 0.6982 | 0.9260 | 0.5808 |
|
||
| C3 | 0.5907 | 0.4433 | 0.7318 | 0.9857 | 0.5457 |
|
||
| C4 | 0.5549 | 0.4536 | 0.7454 | 1.0156 | 0.5033 |
|
||
| C5 | 0.5824 | 0.4401 | 0.7788 | 1.0248 | 0.5123 |
|
||
| C6 | 0.6085 | 0.5188 | 0.6847 | 0.9208 | **0.6102** |
|
||
| C6 去距离/跨度惩罚 | 0.6071 | 0.4721 | 0.7118 | 0.9323 | 0.6075 |
|
||
| C6 去辅助重构 | 0.5838 | 0.4833 | 0.7092 | 0.9543 | 0.5635 |
|
||
| C6 点遮蔽 | 0.5810 | 0.5026 | 0.6792 | 0.9176 | 0.5959 |
|
||
| C7 蒸馏 | 0.5920 | 0.4871 | 0.7025 | 0.9442 | 0.5753 |
|
||
| C7 分组风险 | 0.6003 | 0.4509 | 0.7323 | 0.9356 | 0.6008 |
|
||
| EarlyConcat + BiGRU | **0.6236** | **0.5779** | 0.6614 | 0.8731 | 0.6092 |
|
||
| MoFE-7 + MLP Router | 0.6140 | 0.5661 | **0.6426** | **0.8499** | 0.6014 |
|
||
|
||
自然缺失验证集上，EarlyConcat 的 Accuracy 和 Macro-F1 点估计最高，MoFE 的 MAE/RMSE 最低；C6 的 Pearson 在 14 个版本中最高。数学分支内部，C0 的 Macro-F1 最高，C6 的 Accuracy/Pearson 最高，C6 点遮蔽的 MAE/RMSE 最低。以上为单种子点估计，不据此声称统计显著。
|
||
|
||
#### 官方测试集结果
|
||
|
||
| 模型 | Accuracy ↑ | Macro-F1 ↑ | MAE ↓ | RMSE ↓ | Pearson ↑ |
|
||
|---|---:|---:|---:|---:|---:|
|
||
| C6（数学分支内部选择） | **0.6726** | 0.5485 | 0.7100 | 0.9693 | 0.6424 |
|
||
| EarlyConcat + BiGRU | 0.6699 | 0.5870 | 0.6851 | 0.9017 | **0.6613** |
|
||
| MoFE-7 + MLP Router | 0.6630 | **0.5879** | **0.6702** | **0.8895** | 0.6447 |
|
||
|
||
数学 C6 在 727 条测试样本上的 300 次来源视频组 Bootstrap 95% 区间为 Accuracy [0.6337, 0.7084]、Macro-F1 [0.5108, 0.5872]、MAE [0.6579, 0.7620]、RMSE [0.8732, 1.0580]、Pearson [0.5640, 0.7087]。EarlyConcat 与 MoFE 的 1,000 次配对来源视频组 Bootstrap 比较如下，差值定义为 MoFE − EarlyConcat：
|
||
|
||
| 指标 | 差值 | 95% Bootstrap 区间 |
|
||
|---|---:|---:|
|
||
| Accuracy | -0.0069 | [-0.0303, 0.0147] |
|
||
| Macro-F1 | +0.0009 | [-0.0312, 0.0295] |
|
||
| MAE | -0.0148 | [-0.0429, 0.0136] |
|
||
| RMSE | -0.0121 | [-0.0448, 0.0191] |
|
||
| Pearson | -0.0166 | [-0.0384, 0.0053] |
|
||
|
||
这五个区间均跨零。Bootstrap 以来源视频组重采样，表示当前测试组上的抽样不确定性；本轮只有一个训练 seed，不能表示不同随机种子间的波动。
|
||
|
||
#### 连续缺失曲线表现
|
||
|
||
两条流水线均在官方验证集上评估 42 个固定遮蔽情景。下表把单模态、同步、部分重叠和异步四类 0%/10%/30%/50%/70% 遮蔽曲线压缩为归一化梯形 MAE 面积（AURC-MAE），按实际新增缺失率积分，越低越好。表中为点估计；各方案的训练目标与预处理仍有差别。
|
||
|
||
| 模型 | 单模态 | 同步 | 部分重叠 | 异步 |
|
||
|---|---:|---:|---:|---:|
|
||
| C0 | 0.7425 | 0.7643 | 0.7578 | 0.7696 |
|
||
| C1 | 0.7431 | 0.7849 | 0.7343 | 0.7406 |
|
||
| C2 | 0.7279 | 0.7444 | 0.7409 | 0.7512 |
|
||
| C3 | 0.7449 | 0.7573 | 0.7562 | 0.7577 |
|
||
| C4 | 0.7544 | 0.7610 | 0.7660 | 0.7770 |
|
||
| C5 | 0.7921 | 0.8176 | 0.8084 | 0.8118 |
|
||
| C6 | 0.7028 | 0.7237 | 0.7292 | 0.7283 |
|
||
| C6 去距离/跨度惩罚 | 0.7242 | 0.7387 | 0.7366 | 0.7333 |
|
||
| C6 去辅助重构 | 0.7128 | 0.7382 | 0.7271 | 0.7429 |
|
||
| C6 点遮蔽 | 0.6824 | 0.6988 | 0.6866 | 0.6951 |
|
||
| C7 蒸馏 | 0.7215 | 0.7468 | 0.7420 | 0.7359 |
|
||
| C7 分组风险 | 0.7437 | 0.7452 | 0.7453 | 0.7501 |
|
||
| EarlyConcat + BiGRU | 0.6613 | 0.6579 | 0.6493 | 0.6551 |
|
||
| MoFE-7 + MLP Router | **0.6509** | **0.6472** | **0.6417** | **0.6525** |
|
||
|
||
在两种深度学习方案之间，MoFE − EarlyConcat 的 AURC-MAE 配对 95% 区间分别为：单模态 -0.0104 [-0.0347, 0.0111]、同步 -0.0107 [-0.0322, 0.0093]、部分重叠 -0.0075 [-0.0280, 0.0112]、异步 -0.0026 [-0.0219, 0.0149]；均跨零。数学分支 C6 的四种 AURC 点估计均低于 C0，但这是描述性点差；不把它解读为跨随机种子的稳健优势。
|
||
|
||
完整精度及审计文件：[14 个版本验证指标](output/q2/comparison_validation.csv) · [3 个正式测试结果](output/q2/comparison_test.csv) · [全部版本 AURC-MAE](output/q2/comparison_aurc.csv) · [数学运行清单](experiments/q2/unaligned_math_all_b128/run_manifest.json) · [深度学习运行清单](experiments/q2/unaligned_deep_two_b128/run_manifest.json) · [数学 42 情景明细（gzip CSV）](experiments/q2/unaligned_math_all_b128/controlled_missingness.csv.gz) · [深度学习 42 情景明细](experiments/q2/unaligned_deep_two_b128/controlled_metrics_by_scenario.csv) · [深度学习测试配对 Bootstrap](experiments/q2/unaligned_deep_two_b128/official_test_paired_bootstrap.csv)。
|
||
|
||
## Q3：ATI–HO 锚定交互与分层 Owen 归因
|
||
|
||
本轮按用户更正后的 ATI–HO 方案完成 Q3 训练与评估。输入使用官方 `unaligned_50.pkl`，经统一 Q1 adapter 转成 50 个 Relative-Progress 槽，复用仅由训练集拟合的 Q2 robust scaler。训练/验证/测试为 3,395/728/727 条，来源视频组为 1,528/239/381，组间无重叠。相对进度统一序列顺序，不代表物理时间同步。
|
||
|
||
### 训练与选型
|
||
|
||
Stage I 用 seed 42 训练 A0/A1/A2/A3 和未锚定诊断 D0；Stage II 对 EarlyConcat + BiGRU、MoFE-7 + MLP Router、Stage I 初选方案及两项关键消融使用 seeds 42、3407、2026。按锁定验证集四个固定遮蔽场景任务损失的三 seed 均值选择最终模型。Stage I 初选 A2；Stage II 三 seed 选出 **A0（仅锚定主效应）**：
|
||
|
||
| ATI 方案 | 固定场景验证损失（均值 ± 标准差） |
|
||
|---|---:|
|
||
| A0 | **0.86580 ± 0.00920** |
|
||
| A1（秩 4 pairwise） | 0.86728 ± 0.01282 |
|
||
| A2（锚定交叉注意力） | 0.86859 ± 0.01014 |
|
||
|
||
结果不支持在最终模型中保留更复杂的 pairwise 分支；A1/A2 仍作为消融完整留档。附件 4 标签未参与训练、选型和结果计算。
|
||
|
||
### 官方验证集性能
|
||
|
||
表中数值为三 seed 均值 ± 标准差；分类保留 negative/neutral/positive 三类。
|
||
|
||
| 模型 | Seeds | Accuracy ↑ | Macro-F1 ↑ | 强度 MAE ↓ | Pearson ↑ |
|
||
|---|---:|---:|---:|---:|---:|
|
||
| EarlyConcat + BiGRU | 3 | 0.632 ± 0.010 | 0.594 ± 0.018 | **0.629 ± 0.008** | **0.621 ± 0.003** |
|
||
| MoFE-7 + MLP Router | 3 | 0.624 ± 0.010 | **0.598 ± 0.009** | 0.639 ± 0.004 | 0.614 ± 0.004 |
|
||
| ATI–HO A0 | 3 | **0.633 ± 0.002** | 0.593 ± 0.010 | 0.740 ± 0.015 | 0.565 ± 0.003 |
|
||
|
||
A0 的 Accuracy 点估计略高，但 Macro-F1 接近两条基线，强度 MAE 和 Pearson 明显较弱。因此“最终选中”只表示它在预先规定的组合验证损失上均值最低，不表示它在所有指标上优于基线。
|
||
|
||
按验证视频组进行 1,000 次配对 Bootstrap。正值表示 ATI–HO 更好；MAE 差值定义为“基线 MAE − ATI–HO MAE”。所有区间均为 95%：
|
||
|
||
| 对比 | 指标 | 差值 | Bootstrap 区间 |
|
||
|---|---|---:|---:|
|
||
| A0 − EarlyConcat | Accuracy | +0.0027 | [-0.0157, 0.0218] |
|
||
| A0 − EarlyConcat | Macro-F1 | +0.0044 | [-0.0192, 0.0287] |
|
||
| EarlyConcat MAE − A0 MAE | MAE | -0.1211 | [-0.1553, -0.0892] |
|
||
| A0 − EarlyConcat | Pearson | -0.0619 | [-0.0922, -0.0338] |
|
||
| A0 − MoFE | Accuracy | +0.0000 | [-0.0177, 0.0182] |
|
||
| A0 − MoFE | Macro-F1 | -0.0118 | [-0.0329, 0.0079] |
|
||
| MoFE MAE − A0 MAE | MAE | -0.1158 | [-0.1488, -0.0835] |
|
||
| A0 − MoFE | Pearson | -0.0571 | [-0.0863, -0.0268] |
|
||
|
||
分类差异区间跨零；连续强度指标显示 A0 在当前验证组上弱于两条基线。Bootstrap 描述固定训练检查点在验证视频组上的抽样不确定性，不代表训练 seed 不确定性。
|
||
|
||
### 结构与解释审计
|
||
|
||
ATI 参数向量为三个居中类别 logit 与负/正条件强度参数；A0 的输出按锚定主效应加和重构，训练后最大重构残差为 0。A0–A3 的锚定结构检查通过；D0 未锚定诊断用于检查缺失模态基线泄漏。
|
||
|
||
最终 A0 在 728 条验证样本上的解析分类 Shapley 与 8 个模态联盟精确枚举通过率为 100%，最大绝对误差 6.81×10⁻⁷（容差 1e-6 绝对误差加 1e-5 相对误差）。Attachment 4 的 20 个无标签样本通过率也为 100%。类别选择和 sigmoid 解码后的强度输出为非线性量，因此强度贡献直接用 8 联盟精确枚举，没有套用参数线性分解。
|
||
|
||
Attachment 4 的 Hierarchical Owen 归因按三模态外层分组、每模态 10 个相对进度片段内层分组，从 8 次随机排列开始并依据稳定性增加至最多 64 次。20 个样本的最大守恒残差为 4.41×10⁻⁶。删除/保留诊断采用 10%/20%/30% 预算，并以同模态、同片段数随机选择作对照；这些数值是模型遮挡响应，不是人工解释准确率或因果效应。训练 seed 与 1% 输入扰动稳定性分别记录在 [稳定性审计表](experiments/q3/ati_ho/results/ati_ho/stability_results.csv)。
|
||
|
||
本轮 14/20 个附件 4 样本在最多 64 次排列内满足 Owen 停止条件，平均 45.6 次。30% 删除时，ATI–HO 选中的局部片段使固定 logit margin 平均下降 0.433；同模态、同片段数随机片段下降 0.112。训练 seed 归因的平均相关为 0.252、top-5 Jaccard 为 0.380，说明细粒度位置排序存在 seed 波动；1% 输入扰动下的五个诊断样本保持了相同 top-5 证据。A0 每 seed 有 127,020 个可训练参数，三 seed 集成单样本推理约 4.842 ms；8 联盟 Shapley 约 0.044 秒/样本，Owen 约 0.131 秒/样本（RTX 5070 Ti）。这些时间只表示本轮运行环境。
|
||
|
||
### 题目输出和完整材料
|
||
|
||
题目输出目录 `output/q3/ati_ho/` 仅放附件 4 的预测与解释交付件：`attachment4_predictions.csv`（20 行类别、强度及概率）、`attachment4_explanations.csv`（参数分解及 Shapley）、`attachment4_local_evidence.csv`（Owen 片段贡献）、`attachment4_prediction_manifest.json`（输入/模型哈希和审计范围）。附件 4 没有标签，不报告其准确率或误差。
|
||
|
||
工作区 `experiments/q3/ati_ho/` 保留完整候选与基线权重，以及逐 seed 指标、验证集 Shapley、Bootstrap、结构、Owen、fidelity、稳定性和复杂度结果。精简提交包包含最终 A0 三 seed 权重和完整结果表。主要文档：[实验结果](experiments/q3/ati_ho/results/ati_ho/ATI_HO_RESULTS.md) · [论文式报告](experiments/q3/ati_ho/results/ati_ho/ATI_HO_PAPER.md) · [验收摘要](experiments/q3/ati_ho/results/ati_ho/EXECUTIVE_SUMMARY.md) · [运行清单](experiments/q3/ati_ho/results/ati_ho/run_manifest.json) · [三 seed 指标表](experiments/q3/ati_ho/results/ati_ho/main_results.csv) · [视频组 Bootstrap](experiments/q3/ati_ho/results/ati_ho/bootstrap_results.csv) · [Owen 与 fidelity 明细](experiments/q3/ati_ho/results/ati_ho/owen_audit.csv) · [稳定性审计](experiments/q3/ati_ho/results/ati_ho/stability_results.csv) · [附件 4 预测](output/q3/ati_ho/attachment4_predictions.csv) · [附件 4 局部证据](output/q3/ati_ho/attachment4_local_evidence.csv)。
|
||
|
||
模型定义在 `model/ati_ho.py` 与 `model/ati_ho_config.py`，训练和评估命令见 [Q3 运行说明](q3/ati_ho/README.md)。此前 MoFE 第一轮解释与 Router 热力图已从题目输出目录移入工作区历史记录；当前 Q3 结果以 ATI–HO 为准。
|