Files
modeling_zhaocui/deep_learning/Q1/outputs/tsfa_shared_private/README.md
T

4.0 KiB
Raw Blame History

TSFA-SPR:时序—共享—私有分解

首轮结果(seed 42)

M4_sourceTime 的五折 temporal checkpoints 已冻结;共享/私有因子器只用折内标准化的原始 BERT、eGeMAPS、DeiT 特征及 M4 权重训练,没有使用情感标签。Probe 口径沿用现有五折 GroupKFold、五段顺序池化、LogisticRegression(C=0.05)、Ridge(alpha=25) 与 [-3,3] 限幅。

SPR 主表示(unfused shared + all private):Accuracy 0.560,Macro-F1 0.389,MAE 0.697,Pearson 0.071。 来源模态 probe:shared accuracy 0.729,SPR private accuracy 0.999;但不含 private 训练损失的 SP-noOrth-noRec 控制也达到 1.000,说明该识别率可能来自模态专属分支/特征分布,不能当成已学会私有语义。shared 三组匹配 AUC 为 audio-vision=0.498, text-audio=0.512, text-vision=0.499,slot shuffle 后几乎不下降。 合并重构 MSE 0.422,shared-only 0.563,private-only 0.442。

诊断结论:不支持已成功实现 shared/private 语义解耦。合并分支能改善源特征重构,但 shared 跨模态同槽检索约为机会水平,且 shuffle 控制没有明显下降;private 来源识别在随机未训练控制中也已饱和。因此不应把本轮写成成功的 shared/private 语义对齐。

私有来源探针

  • private-only Macro-F1 最高:private_audio(0.445)。
  • private-only MAE 最低:private_vision(0.657)。
  • Audio 的单独分类探针 Macro-F1 点估计领先,Vision 的单独回归 probe MAE 点估计最低;video-group paired 区间跨 0,不能据此确定模态贡献差异。

维度控制和基线

  • TSFA-old: d=1920 pooled,Macro-F1 0.431,MAE 0.820,Pearson 0.104。
  • TSFA+RawPrivate: d=6845 pooled,Macro-F1 0.390,MAE 0.572,Pearson 0.368。
  • SPR: d=1920 pooled,Macro-F1 0.389,MAE 0.697,Pearson 0.071。
  • SPR-dim-matched: d=1280 pooled,Macro-F1 0.318,MAE 0.701,Pearson 0.059。
  • RawPrivate-PCA: d=1280 pooled,Macro-F1 0.297,MAE 0.559,Pearson 0.251。
  • SPR 主表示相对 RawPrivate-PCA 的 MAE 差为 +0.138,视频组 bootstrap 95% CI [+0.062, +0.216]。 RawPrivate-PCA 有较低 MAE,维度匹配后没有证据支持 learned shared/private 分解带来强度回归增益。
  • 直接比较同为 1280 维 pooled 的 SPR-dim-matched 与 RawPrivate-PCA,MAE 差为 +0.142,95% CI [+0.076, +0.214]。 这是控制输出维数后的成对对照。

RawPrivate-PCA 将每个 slot 的 985 维原始私有特征仅用训练折做 PCA 到 256 维;与 fused-shared + all-private 的 SPR-dim-matched 都是 256 维/slot、1280 维/clip。RawPrivate-PCA 的低 MAE 说明可压缩 raw residual 已足以保留强度信息,但分类和 Pearson 并未同步领先。

文件

  • emotion_probe_metrics.csv / emotion_probe_predictions.csv:全部五折 OOF probe。
  • paired_contrasts.csv:SPR 主表示对 TSFA-old、TSFA+RawPrivate、math B0/B4 和维度对照的 2,000 次 video_id paired bootstrap;未做多重比较校正。
  • private_source_ablation.csv 与 private_source_paired_contrasts.csv:模态来源 probe 及来源间配对区间。
  • decomposition_assessment.json:shared/private 诊断判定和逐项依据。
  • representation_diagnostics.csv、shared_correspondence_summary.csv、modality_probe_summary.csv、reconstruction_summary.csv:结构诊断明细。
  • architecture.png 及其余七张 .png:实验结构、对应、重构、probe 与维度控制图。

解释范围

当前只有一个表示学习 seed,样本为 100 条 clips / 37 个来源视频;bootstrap 区间反映来源视频抽样不确定性,不含 seed 不确定性。same-slot 检索依赖 M4 槽位约定,并非人工事件级对齐真值。分类与回归来自独立轻量 probe。

下一步

暂不升级现有 TSFA 为正式 TSFA-SPR。最值得先做的是: (1) 检查同槽对比目标是否能在独立视频内建立可打乱验证的 shared correspondence;(2) 若共享诊断改善,再运行 seed 3407 和 2026,确认模态来源与情感 probe 差异是否稳定。