modeling_zhaocui/math/Q1/V2_REVIEW.md

Q1 对《E题V2》第四章的复核

本复核只涉及 math/Q1。主特征包从本机 Q1 原生缓存构建；OpenFace 特征来自锁定的 OpenFace 2.2.0 运行包。没有读取 deep_learning/。标签只用于 B0–B4 五折信息探针，不参与特征抽取、CTC 对齐或质量计算。

规格核对

PDF 要求	当前实现	结论
冻结 BERT 词级特征与长文本分窗	BERT-base-uncased 冻结；每词对最后四层取均值，保存字符跨度和 WordPiece 映射；窗口 510 子词、步长 384	已实现
固定转写的单调 CTC 对齐	同一状态图保存 Viterbi 硬路径和 forward–backward 占据后验；词边界后验分位数随特征保留	已实现；没有人工边界真值时不报告边界准确率或后验经验校准率
74 维音频、逐分量有效性与真实范围	40 log-Mel、13 MFCC、13 局部线性 ΔMFCC、8 韵律/谱量；16 kHz、400 样本窗、160 步长、FFT 512；保存实际音频采样范围	已实现；F0 和有声概率取 librosa.pyin，HNR 在检测 F0 处由自相关另算并以 dB 保存
35 维 OpenFace 面部特征	OpenFace 2.2.0 导出 17 个 AU 强度、Pose6、Gaze6、Geometry6；置信度门槛 0.8；保留原始 PTS 和帧索引	已实现；几何量依据 68 点标记计算
0.1 秒物理时间主网格、真实末段与分量掩码	原生区间交叠投影；每维保存均值、方差、计数、物理覆盖率和掩码；B0 均值可以按质量加权，覆盖率独立按真实交叠计算	已实现
几何一致的 B1 视觉汇聚	头部旋转使用 SO(3) 加权均值，视线使用单位向量均值；其他分量按物理区间汇聚	已实现，可由 geometry_aware=True 读取
相对进度、多尺度、B4 和词查询接口	提供 50 段相位视图、0.1/0.3/0.7 秒多尺度视图、按需 B4 Wav2Vec2 视图和词到原生音频/视频行的 CSR H_time	已实现；B4 复用本机原生缓存以控制包体积
B0–B4 单因素对照	五折 video_id GroupKFold；所有缩放器在每折训练组拟合；输出 OOF Accuracy、Macro-F1、MAE、RMSE、Pearson 与视频组 Bootstrap 差值	已完成，V2 结果见 results/model_comparison_v2/

记录的限制

1. librosa.pyin 的 voiced_flag 与 voiced_prob 分开保存；HNR 单独由 pYIN 检出的 F0 位置自相关周期性计算。pYIN 在 80 Hz 下界、25 ms 窗口会提示周期数不足，因此该范围内的 F0 需谨慎解释。字段语义未用周期强度冒称概率。
2. CTC 边界后验未做经验校准。没有人工词边界标注，故不能声称边界精度、IoU/MATE 或校准率；后验宽度只作为模型内部不确定性摘要。
3. q1_io.get_view(sample, "speech", "sec") 从本机 B4 原生缓存读取 Wav2Vec2 特征，不复制到主包。换机器若没有该缓存，需按清单重建 B4 特征。
4. B6 内容相似度探针关闭。主包保留的是物理时间查询矩阵，避免把内容相似误作时间对齐证据。

当前 V2 五折探针

100 条样本按 37 个来源 video_id 分组。表中 Accuracy 是 100 条折外预测的正确率；Macro-F1 是 Negative、Neutral、Positive 三类 F1 的等权平均。两者都是情感信息探针，不是对齐边界准确率。

分支	OOF Accuracy	OOF Macro-F1	OOF MAE	OOF RMSE	OOF Pearson
B0	0.5900	0.3373	0.5345	0.7325	0.4255
B1	0.5700	0.3084	0.5342	0.7444	0.3981
B2	0.5500	0.2769	0.5308	0.7342	0.4232
B3	0.5700	0.3084	0.5202	0.7371	0.4114
B4	0.6000	0.3882	0.5393	0.7628	0.3413

Macro-F1 最高的是 B4，MAE 最低的是 B3；没有单一分支同时在分类与回归上占优。comparison_summary.csv 同时包含总体 OOF Accuracy 和逐折 Accuracy 均值/标准差。逐样本硬对齐词数和未定位词数见 features_v2/sample_summary.csv。

特征包审计

• 100 个 NPZ 样本、100 行样本汇总、300 行模态明细；总文件字节数 44,321,715（约 42.27 MiB）。
• feature_manifest.json 记录实际配置哈希、输入缓存来源、模型版本、包体积和各分支状态；每个样本均有对应配置哈希。
• 无穷/NaN 检查、OpenFace 样本提取、真实音频末帧范围、视觉原生帧索引与五折分组结果均已核对。
• 缺失边界用数值 -1 与 JSON null 表示；无证据的边界不被伪造成零秒。

完整 OOF 指标、折号、预测、Bootstrap 区间和运行参数保存在 results/model_comparison_v2/。构建特征时读取的原生缓存来源信息单独保存在 source_cache_manifest.json。