gloamxun/modeling_zhaocui
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Add Q3 MoFE router visualizations and explanations

Browse Source
This commit is contained in:
gloamxun
2026-09-25 23:46:20 +08:00
parent adc9c2064b
commit a86560da64
258 changed files with 17686 additions and 585 deletions
Download Patch File Download Diff File Expand all files Collapse all files
final/REPORTS.md
+44 -1
View File
@@ -94,4 +94,47 @@ Q1 adapter 使用带媒体时戳的原生特征进行物理时间聚合；Q2 未
在两种深度学习方案之间，MoFE − EarlyConcat 的 AURC-MAE 配对 95% 区间分别为：单模态 -0.0104 [-0.0347, 0.0111]、同步 -0.0107 [-0.0322, 0.0093]、部分重叠 -0.0075 [-0.0280, 0.0112]、异步 -0.0026 [-0.0219, 0.0149]；均跨零。数学分支 C6 的四种 AURC 点估计均低于 C0，但这是描述性点差；不把它解读为跨随机种子的稳健优势。
完整精度及审计文件：[14 个版本验证指标](output/q2/comparison_validation.csv) · [3 个正式测试结果](output/q2/comparison_test.csv) · [全部版本 AURC-MAE](output/q2/comparison_aurc.csv) · [数学运行清单](experiments/q2/unaligned_math_all_b128/run_manifest.json) · [深度学习运行清单](experiments/q2/unaligned_deep_two_b128/run_manifest.json) · [数学 42 情景明细（gzip CSV）](experiments/q2/unaligned_math_all_b128/controlled_missingness.csv.gz) · [深度学习 42 情景明细](experiments/q2/unaligned_deep_two_b128/controlled_metrics_by_scenario.csv) · [深度学习测试配对 Bootstrap](experiments/q2/unaligned_deep_two_b128/official_test_paired_bootstrap.csv)。
完整精度及审计文件：[14 个版本验证指标](output/q2/comparison_validation.csv) · [3 个正式测试结果](output/q2/comparison_test.csv) · [全部版本 AURC-MAE](output/q2/comparison_aurc.csv) · [数学运行清单](experiments/q2/unaligned_math_all_b128/run_manifest.json) · [深度学习运行清单](experiments/q2/unaligned_deep_two_b128/run_manifest.json) · [数学 42 情景明细（gzip CSV）](experiments/q2/unaligned_math_all_b128/controlled_missingness.csv.gz) · [深度学习 42 情景明细](experiments/q2/unaligned_deep_two_b128/controlled_metrics_by_scenario.csv) · [深度学习测试配对 Bootstrap](experiments/q2/unaligned_deep_two_b128/official_test_paired_bootstrap.csv)。
## Q3：分层反事实证据归因（第一轮）
Q3 将 Q1 的统一输入/回溯接口、Q2 的缺失鲁棒预测器与附件 4 原始视频接起来。附件 4 的特征按统一 adapter 的 Relative-Progress 模式转换；预测器直接复用 Q2 seed 20260924 的 EarlyConcat + BiGRU、MoFE-7 + MLP Router 检查点和仅由训练集拟合的 robust scaler，本轮不重新训练。解释覆盖附件 4 的 20 个样本；官方验证集另有 728 条样本用于复核预测指标并输出误差归因。
三模态只有 8 个输入组合，因此 E0/E2 对文本、音频、视觉 coalition 完整枚举，分别计算预测类别 logit 与强度输出的精确 Shapley 贡献及成对交互。局部证据由窗口宽度 1/3/5 的反事实遮蔽得到，并回溯到特征来源行、文本片段及候选视频帧。E1 展示 MoFE Router 权重，并用同一预测器做删除/保留检验；Router 权重作为内部路由信号分析，不直接当作预测贡献。
### 预测器验证表现
下表为复用检查点在官方验证集自然缺失输入上的结果。E1 与 E2 使用同一个 MoFE 检查点，因此预测指标相同。
| 方案 / 预测器 | Accuracy ↑ | Macro-F1 ↑ | MAE ↓ | RMSE ↓ | Pearson ↑ |
|---|---:|---:|---:|---:|---:|
| E0 EarlyConcat + BiGRU | **0.6236** | **0.5779** | 0.6614 | 0.8731 | **0.6092** |
| E1/E2 MoFE-7 + MLP Router | 0.6140 | 0.5661 | **0.6426** | **0.8499** | 0.6014 |
EarlyConcat 的 Accuracy/Macro-F1 点估计较高，MoFE 的 MAE/RMSE 较低。这里复核的是已训练检查点，不是 Q3 新模型训练结果；指标差别不代表显著差异。
### 附件 4 解释行为检查
下表数值是 20 个无人工解释标签样本的均值。Comprehensiveness 是删除高排名局部证据后预测类别 logit 的下降，越大说明当前预测对所选证据越敏感；Sufficiency 是只保留高排名证据后的完整输入 logit 绝对差，越小越接近完整输入。Deletion AUC 汇总删除 0%–70% 的 logit 下降。
| 方案 | 删除 Top 10% ↑ | 删除 Top 30% ↑ | 仅保留 Top 10% 的绝对差 ↓ | 仅保留 Top 30% 的绝对差 ↓ | Deletion AUC ↑ | 尺度稳定性 Spearman ↑ |
|---|---:|---:|---:|---:|---:|---:|
| E0 EarlyConcat：Shapley + 局部遮蔽 | 0.4599 | **1.1218** | 0.5246 | 0.2542 | **0.9157** | 0.9047 |
| E1 MoFE：Router + 反事实检验 | 0.2100 | 0.8702 | 0.4954 | 0.2500 | 0.7925 | — |
| E2 MoFE：Shapley + 局部遮蔽 | **0.3515** | 0.9818 | **0.4116** | **0.1950** | 0.8371 | 0.8823 |
在同一 MoFE 检查点上，E2 的删除分数和 deletion AUC 高于 E1，保留证据后的绝对差更低；这说明 E2 的局部 Shapley/遮蔽排序在本批样本上比 Router utility 更贴合预测器的遮蔽响应。两者的平均模态排序 Spearman 为 0.725，主导模态一致率为 17/20（85%），Router 与反事实贡献存在一定对应，但并不相同。E0/E2 的尺度稳定性是窗口宽度 1/3/5 得分排序相关的样本均值；E1 不是多尺度遮蔽解释，故不计算该值。
Shapley 完备性检查覆盖分类与强度两种输出，最大绝对残差为 `4.44×10⁻¹⁶`；E1/E2 的 20 个样本预测类别、强度和类别概率逐项一致。上述 faithfulness 数值是模型响应诊断，不是人工解释准确率；删除/保留输入也可能偏离训练时的掩码分布，尤其是仅保留 10% 的情景。附件 4 没有词、音频帧或视频帧的可信时间戳；输出的视频秒数由归一化进程乘视频时长估算，只作人工回看定位，不代表物理时间对齐。遮蔽贡献也不证明现实情绪成因。
完整结果：[Q3 方案汇总](output/q3/first_round/q3_method_comparison.csv) · [运行清单与完备性审计](output/q3/first_round/run_manifest.json) · [附件 4 预测](output/q3/first_round/attachment4_predictions.csv) · [模态 Shapley 贡献](output/q3/first_round/attachment4_modal_shapley.csv) · [跨模态交互](output/q3/first_round/attachment4_pairwise_interactions.csv) · [局部证据](output/q3/first_round/attachment4_local_evidence.csv) · [逐样本 faithfulness](output/q3/first_round/faithfulness_by_sample.csv) · [验证集指标](output/q3/first_round/validation_metrics.json) · [验证集错误归因](output/q3/first_round/validation_error_attribution.csv) · [典型解释卡](output/q3/first_round/typical_explanation_card.md)。全部 20 个样本解释卡、证据图、候选帧与 CSV 保存在 [`output/q3/first_round/`](output/q3/first_round/)。
### MoFE Router 热力图示例
下图选取附件 4 样本 02（完整输入时 MoFE 预测中性）和样本 03（预测负向）。每个样本各展示完整输入与一组受控遮蔽：样本 02 遮蔽文本 bins 6–20 和音频 bins 19–33，样本 03 遮蔽视觉 bins 19–33。完整样本三种模态各有 50/50 个可见 bin；残缺输入是人为构造的对照，不是附件 4 的原生缺失记录。上方文本、波形和视频帧只用蓝色斜线标记被遮蔽区；下方将 T、A、V、TA、TV、AV、TAV 七个 expert 横向并排，色块/数值表示该样本的平均 Router 权重，下方窄条显示 50 个相对进程 bin 上的 α[t,e]。每个 bin 的权重在可用 expert 中归一化；非可用 expert 权重为 0。色条显示原始 0–1 分数并用平方根归一化增强低权重可见度。顶部 T/A/V 数值是跨位置的 Router exposure share。
样本 02 的 T/A/V exposure share 从完整输入的 35.8%/28.9%/35.2% 变为遮蔽文本与音频后的 29.9%/25.9%/44.1%，分类预测从中性变为正向。样本 03 从 35.9%/29.2%/34.9% 变为遮蔽视觉后的 39.6%/34.2%/26.2%，分类仍为负向。这些是两个受控样本的 Router 路由变化示例，不表示缺失模态的真实情绪贡献；α[t,e] 也不是反事实预测贡献。
![附件 4 完整与受控残缺样本的 MoFE Router 热力图](output/q3/mofe_router_heatmap_examples.png)
[PNG 高清图](output/q3/mofe_router_heatmap_examples.png) · [PDF 矢量版](output/q3/mofe_router_heatmap_examples.pdf) · [逐位置 Router 分数](output/q3/mofe_router_heatmap_scores.csv) · [样本与条件摘要](output/q3/mofe_router_heatmap_summary.csv) · [热力图运行清单](output/q3/mofe_router_heatmap_manifest.json) · [可复现绘图脚本](q3/plot_router_heatmaps.py)。