路径	内容
`adapter/`	统一多模态对齐接口；区分真实时间对齐与未对齐序列的相对进程投影
`model/`	每个数学模型与保留的深度学习模型各自独立的定义文件
`q1/`	Q1 原生特征提取、物理时间特征包构建、五折对照和可视化
`q2/math/`	数学方案 C0–C7、训练、缺失控制评估及附件 3 预测
`q2/deep_learning/q2/`	EarlyConcat + BiGRU、MoFE-7 + MLP Router 及训练协议
`q3/`	ATI–HO Q3 训练、结构审计、归因与附件 4 推理
`output/q1/`	已整理的 Q1 100 个特征文件、对齐审计和已有结果
`output/q2/`	已整理的 Q2 未对齐数据模型对比结果表
`output/q3/`	ATI–HO 附件 4 题目输出；验证结果和实验审计放在 `experiments/q3/`
`experiments/q2/`	本项目最新未对齐 Q2 对比运行、权重和审计结果
`REPORTS.md`	Q1、Q2、Q3 实验结果和方法说明
`data_paths.py`	官方附件的默认位置与外部数据根目录设置

准备官方附件

把附件按以下目录放入 final/data/。也可以把它们放在其他位置，再通过 FINAL_DATA_DIR 指向包含这些附件文件夹的根目录。

附件	相对 `FINAL_DATA_DIR` 的目录/文件
附件 1	`附件1-数据集原始多模态样本/MOSEI数据集部分原始视频-100条/`；内含 `label-100.xlsx` 以及按 `video_id/clip_id.mp4` 组织的视频
附件 2	`附件2-数据集特征文件/aligned_50.pkl` 与 `unaligned_50.pkl`
附件 3	`附件3-模态缺失特征样本/对齐版本/` 与 `未对齐版本/`；每个目录含 30 个样本文件
附件 4	`附件4-可解释专项视频样本与特征文件/附件4-可解释专项视频样本与特征文件/未对齐版本/` 及同级 `videos/`

附件 2 的 pickle 文件约数 GB，Q2/Q3 训练需要较大内存；它们不会被复制进项目。附件 3 的未对齐样本缺少数值文本特征及可靠的音视频长度，本项目会从 raw_text 重建 BERT 文本表示，并从音视频非零行估计长度；对应限制会写入附件 3 审计 CSV。附件 4 未对齐样本具有数值文本特征和长度字段，可由统一 adapter 转换。

默认数据位置是 final/data/。Q2、Q3 会直接读取 FINAL_DATA_DIR。Q1 命令还需要把 --data-dir 指向附件 1 的视频目录。若使用其他数据根目录，在运行项目命令前设置：

$env:FINAL_DATA_DIR = "D:\task-data"

export FINAL_DATA_DIR="/data/task-data"

安装环境

需要 Python 3.11 或更新版本。在 final/ 的上级目录执行下列命令。Q1 的 OpenFace 特征提取脚本调用 Windows PowerShell；Q2/Q3 可在 Windows、Linux 或 WSL 上运行。

python -m venv final/.venv

Windows PowerShell：

final\.venv\Scripts\Activate.ps1
python -m pip install -r final/requirements.txt

Linux 或 WSL：

source final/.venv/bin/activate
python -m pip install -r final/requirements.txt

也可使用 uv sync --project final。GPU 运行需安装与本机 CUDA 驱动匹配的 PyTorch 版本；CPU 可用于功能验证，但完整训练会更慢。首次运行 Q1/Q3 或附件 3 推理时，Transformers 会下载 google-bert/bert-base-uncased；Q1 还会用到 facebook/wav2vec2-base-960h。无网络环境需预先把权重放入 Hugging Face 缓存。

Q1：构建物理时间对齐特征并比较方案

Q1 对附件 1 的 100 个视频生成原生时间特征和统一特征包。视频/音频时间戳来自媒体流与 OpenFace 帧；文本区间来自固定转写的 CTC 单调对齐。五折评估按 video_id 分组。分类探针衡量情感信息，不代表人工标注的边界准确率。

原生特征提取还需要 OpenFace 2.2.0 Windows 包。将其解压到 final/q1/cache/openface/OpenFace_2.2.0_win_x64/，其中应有 FeatureExtraction.exe 和 model/main_clnf_general.txt。项目提供 q1/run_openface.ps1 调用脚本，不附带 OpenFace 二进制文件。

if (-not $env:FINAL_DATA_DIR) { $env:FINAL_DATA_DIR = "final/data" }
$a1 = Join-Path $env:FINAL_DATA_DIR "附件1-数据集原始多模态样本/MOSEI数据集部分原始视频-100条"
$run = "final/output/q1/rerun"

python -m final.q1.compare_models `
  --data-dir $a1 `
  --cache-dir final/q1/cache/native `
  --output-dir "$run/model_comparison" `
  --bootstrap-repeats 2000

python -m final.q1.build_v2 `
  --data-dir $a1 `
  --cache-dir final/q1/cache/native `
  --run-manifest "$run/model_comparison/run_manifest.json" `
  --output-dir "$run/features_v2"

python -m final.q1.compare_v2 `
  --data-dir $a1 `
  --feature-dir "$run/features_v2" `
  --output-dir "$run/model_comparison_v2" `
  --bootstrap-repeats 2000

完整重跑使用独立的 output/q1/rerun/，保留随项目提供的现有结果包。

主要产物：output/q1/features_v2/ 中有 100 个样本文件、100 行 sample_summary.csv（含样本 ID 和来源时长）、300 行 modality_summary.csv（含模态维度、有效时长、对齐粒度和状态）、manifest_q1.jsonl、feature_manifest.json；output/q1/ 下的 typical_sample_correspondence.csv 和 typical_sample_frames.jpg 展示典型样本的转写、物理时间区间、音频来源行和视频帧。alignment_query_example.png 对照展示文本词区间到原始音频/视频位置的查询权重。model_comparison/ 和 model_comparison_v2/ 中有 OOF 预测、折内指标、组 Bootstrap 和运行清单。

已整理的 100 个样本可直接通过接口读取：

from pathlib import Path
from final.adapter import Q1AlignmentAdapter

sample = Q1AlignmentAdapter().from_q1_sample(
    "-iRBcNs9oI8/8",
    feature_dir=Path("final/output/q1/features_v2"),
)
features, observed_mask = sample.q2_arrays()

Q2：在题目未对齐数据上训练和比较模型

两个训练入口都默认使用附件 2 的 unaligned_50.pkl。训练、验证、测试均经 adapter/ 投影到 50 个相对进程区间；这个坐标只表达模态内部的先后顺序，不是物理秒数。验证集用于模型选择，官方测试集用于最终评估。数学方案会比较 C0–C7 和 C6 单因素诊断；深度学习只保留题目要求的 EarlyConcat + BiGRU 与 MoFE-7 + MLP Router。

深度学习两模型共用交叉熵分类损失与 0.5 × SmoothL1 强度回归损失，AdamW 学习率 3e-4、权重衰减 1e-3、最多 12 轮、耐心值 3、梯度裁剪 1.0；训练遮蔽率为 0/10/30/50/70%，覆盖单模态、同步、部分重叠和异步连续缺失。EarlyConcat 使用 128 维模态投影和双向 GRU；MoFE 使用 7 个模态子集专家、MLP Router 和共享双向 GRU。以下命令显式设 batch size 128，以匹配报告中的对比实验。数学分支各方案的目标函数与内部留组选择设置记录在模型代码及数学运行清单。

从空的结果目录开始训练。若目标目录已存在非空结果，脚本会停止以免覆盖：

python -m final.q2.math.train \
  --input-version unaligned_50 \
  --output-dir final/experiments/q2/math_rerun \
  --batch-size 128 \
  --device auto

python -m final.q2.deep_learning.q2.train_math_protocol \
  --input-version unaligned_50 \
  --output-dir final/experiments/q2/deep_rerun \
  --batch-size 128 \
  --device auto

数学方案默认会用附件 3 未对齐样本生成 30 条 attachment3_predictions.csv 和 attachment3_audit.csv，预测文件包含极性、情感强度及类别概率。如只检查训练流程，可以增加 --skip-attachment3。深度学习运行会输出两模型的官方测试指标、验证缺失情景、AURC-MAE、Bootstrap 区间、权重和运行清单。为满足总附件大小限制，随项目提供的 Q2 归档保留逐情景指标和模型参数；逐行遮蔽/测试门控审计及官方测试单样本明细可由完整重训重新生成，未放入紧凑归档。

若已存在数学分支检查点、只需重新生成附件 3 预测而不重训，可运行：

export FINAL_DATA_DIR="/path/to/E题数据"
python -m final.q2.math.predict_attachment3 \
  --input-version unaligned_50 \
  --results-dir final/experiments/q2/unaligned_math_all_b128 \
  --output-dir final/output/q2 \
  --device auto

该入口读取保存的模型、校准与预处理参数，输出 attachment3_predictions.csv、attachment3_audit.csv 和 attachment3_prediction_manifest.json；不会覆盖模型检查点目录中的运行清单。

把两次运行的结果重新汇总到统一对比表：

python final/compare_unaligned_q2.py \
  --math-dir final/experiments/q2/math_rerun \
  --deep-dir final/experiments/q2/deep_rerun \
  --output-dir final/output/q2

结果文件包括 comparison_validation.csv（全模型验证对比）、comparison_test.csv（预先选出的数学模型及两种深度模型测试结果）、comparison_aurc.csv（四种缺失模式的 AURC-MAE）。指标定义、已有对比数值和边界说明见 REPORTS.md。

Q3：ATI–HO 训练、评估与附件 4 预测

Q3 的当前方案是 ATI–HO。模型定义集中在 model/ati_ho.py 和 model/ati_ho_config.py，训练、结构审计、Shapley/Owen 归因与附件 4 推理入口位于 q3/ati_ho/。附件 4 只用于最终预测和解释，不参与训练、选型或指标计算。

训练与验证读取官方 unaligned_50.pkl，使用统一 Q1 adapter 投影到 50 个 Relative-Progress 槽，并复用只由 Q2 训练集拟合的 robust scaler。训练/验证/测试按来源视频组隔离；相对进度不是物理时间同步。

在项目根目录设置官方附件位置后，运行两阶段训练：

export FINAL_DATA_DIR="/path/to/E题数据"
python -m final.q3.ati_ho.train --phase all --device auto

Stage I 以 seed 42 训练 A0/A1/A2/A3 和未锚定诊断 D0，执行结构与 8 联盟 Shapley 检查。Stage II 以 seeds 42、3407、2026 训练 EarlyConcat + BiGRU、MoFE-7 + MLP Router、初选 ATI 方案和两项消融。检查点和运行记录写入 final/experiments/q3/ati_ho/。重训已有模型时显式加 --force。

训练完成后生成验证审计和附件 4 文件：

export FINAL_DATA_DIR="/path/to/E题数据"
python -m final.q3.ati_ho.evaluate --device auto

评估按 A0/A1/A2 三 seed 固定验证情景损失选择最终 ATI 方案，计算来源视频组配对 Bootstrap、验证集 Shapley、结构审计、Owen 稳定性、删除/保留诊断和计算成本。题目输出放在 final/output/q3/ati_ho/：

attachment4_predictions.csv：20 个样本的预测类别、强度和类别概率。
attachment4_explanations.csv：五个参数的主效应、pairwise 参数项、分类 Shapley 和强度 Shapley。
attachment4_local_evidence.csv：分模态、分相对进度片段的 Owen 贡献与标准误。
attachment4_prediction_manifest.json：数据、adapter/scaler、模型权重哈希和无标签推理信息。

完整指标和实验审计位于 final/experiments/q3/ati_ho/results/ati_ho/，主要报告为 ATI_HO_RESULTS.md、ATI_HO_PAPER.md 和 EXECUTIVE_SUMMARY.md。方法细节、训练协议与文件边界见 Q3 说明；Q1/Q2/当前 Q3 的合并结果写在 REPORTS.md。

模型与对齐约定

model/c0.py 至 model/c7_*.py 分别保存数学方案；C6 的距离、重构和点遮蔽诊断也各有单独文件。
model/early_concat.py 和 model/mofe.py 是仅保留的两种深度学习方案。训练辅助模块从 model/ 导入模型类，架构定义以此处为准。
adapter/ 有两种坐标语义：Q1 原生数据需媒体时间戳、持续时长和来源哈希，才能物理时间对齐；附件 2 未对齐特征只支持相对进程投影。代码会检查输入证据，不从数组形状推断物理对齐。
未对齐输入没有逐行质量分数时，按可见行质量权重为 1 处理；这一假设写入运行清单。

实验复现与文件约定

训练结果写入传入的 --output-dir；建议为每轮实验使用新的空目录。检查点、训练历史、数据/划分哈希、随机种子、特征版本、adapter 审计和验证/测试指标随运行结果保存。官方附件不进入版本库；final/.gitignore 已忽略 data/、Q1 中间缓存和环境目录。

当前已整理的 Q1/Q2/Q3 表格和结果摘要保存在 output/、experiments/ 与 REPORTS.md。若要重建所有模型权重和预测，按上面的 Q1、Q2、Q3 顺序运行相应入口；Q1 原生视觉特征还需要单独准备 OpenFace 2.2.0。

README.md Unescape Escape

复杂场景下多模态情感识别：独立运行项目

目录