# P3R3 MANO 贴合修复与九源网页（2026-09-21）

已恢复 P3R2 原本的受约束手形、手指姿态、位置、深度和手表面轮廓联合拟合，同时保留 P3R3 对几何有效性、RGB 观测支持、关节在画面内、物理可见性未知等状态的分离。管线仍称 P3R3，内部修复标识为 `surface_fit_restore_20260921`。

78 条预测视频全部从原始基模输出与原 RGB 观测重新拟合、重新渲染，不是给旧视频改名。原模型权重、源帧、K 与场景保持；六个官方 MANO GT 数据源的 325 个上下文保留。总计九源 403 个上下文、409 个文件（含 6 个同内容别名）。

## 修复内容

- 恢复 P3R2 的 MANO 解码与优化，允许受限的手形和局部关节变化，恢复轮廓 coverage/containment 约束、深度拟合和时序项。
- 移除造成退化的整体手形冻结、半幅 XY 修正及未通过就退回基模的分支。历史刚体方案作为明确命名的诊断函数保留，不作为当前入口。
- 保留原部分遮挡策略：低于 12 个置信关节的片段不把可见 mask 当作完整手范围，以免强行收缩遮挡的手指。此策略仍可能让低质量观测下的尺寸错误残留。
- 本次预测入口只接受 RGB 轮廓/关节观测与已有 K；拒绝混入传感器或预测深度约束。场景点云和相机仅用于显示。GT 只供额外评分，不进入拟合。
- 73 条可与旧 P3R2 同例对照的视频，在共同有效手帧上的最大 MANO 顶点差为 **0 m**。这恢复了此前贴合结果，并不宣称已经超过 P3R2 的几何精度。

## 同源 RGB 贴合诊断

每片段在新旧共同有效手帧上计算投影关节到既有 RGB 关键点的距离，再按片段等权平均；较小更好。观测参与拟合，所以这些是拟合残差，不是独立 GT 测评。

|数据集|样本|修复前 P3R3|修复后 P3R3|原 P3R2|
|---|---:|---:|---:|---:|
|EgoDex|46|34.14 px|8.98 px|8.98 px|
|EPIC-KITCHENS|27|58.20 px|13.09 px|13.09 px|
|Ego4D|5|107.55 px|17.24 px|无同例结果|

## 实际可视化与仍存在的问题

全部新视频必须完整解码、核对帧数/时长、MANO/receipt SHA、点云和时间映射后进入网页。人工抽帧范围以 visual_review.json 为准，不声称 78 条逐帧人工验收。

- EPIC 614c5b6e：此前偏大、错位已恢复到 P3R2 同例几何，仍有遮挡和局部手指形态误差。
- Ego4D 桌面 e1d6531d：开头悬浮位置已明显纠正，后续边缘和模糊帧仍可能不贴合，手完全离开画面时不强行补手。
- Ego4D 维修 879b9e1f：RGB 残差从约 313 px 降至 37 px，但四时点仍看到腕部宽大、姿态/尺寸异常，**仍未通过训练标签质量审核**。没有删掉难例或用 GT 替换来掩盖。
- Ego4D 原单目场景尺度不确定性仍保留：部分序列 MANO/深度尺度对齐未通过，使用估计原尺度；不能把右栏绝对尺度当作 GT。
- 原场景与相机计算复用，保留各自历史来源与尺度锚点；网页逐样本记录点云和相机来源。

## 额外 GT 回归：不能把贴合改善说成三维全面改善

使用此前冻结的 ARCTIC/HOT3D 极端片段各 4 条，在完成预测之后读取官方参考评分；不是完整数据集 benchmark。逐指标按有效分母汇总，以下四项均越小越好。

|数据集|方法|2D EPE px|绝对 MPJPE mm|PA-MPJPE mm|加速度误差 m/s²|
|---|---|---:|---:|---:|---:|
|ARCTIC|FoundationHand|23.368|28.177|8.738|1.866|
|ARCTIC|P3R3|26.401|50.419|13.853|1.442|
|HOT3D|FoundationHand|26.385|31.149|7.752|1.912|
|HOT3D|P3R3|23.494|41.110|11.906|1.587|

这组 GT 回归中，恢复的表面拟合仍有三维误差高于纯基模的情况；ARCTIC 2D EPE 也未超过基模。**本轮完成的是可视化贴合退化修复，尚未解决所有三维负优化。**页面上 ARCTIC/HOT3D 继续使用官方 MANO GT，没有把本次预测替换进 GT 区。不能据此自动导出合格训练伪标签。

## 发布与复现

- 网页：https://yangzijing-nine-source-hand-data-browser.static.hf.space/index.html
- HF Space：https://huggingface.co/spaces/yangzijing/nine-source-hand-data-browser
- 视频源仓库：`yangzijing/nine-source-hand-data-review-videos-20s`；新路径包含 `P3R3_FIT_20260921`，全部仍在 `20_seconds` 或 `short_originals_under_20s`。旧文件仅保留追溯，主网页不再引用。
- 保留原网格、每页 24/48/100 条、九源抽样、问题备注、下载及导出功能。旧记录仅在路径和 SHA 都吻合时恢复；新视频不沿用旧审核结论。
- 代码：`v9_fusion/p3r3_refinement.py`、`v9_benchmark/nine_review/workers.py`、`v9_benchmark/nine_source_browser/build_repaired.py`。
- 本机数据/索引/日志：`/SSD3/yangzijing/nine_source_p3r3_surface_20260921/`，分别见 `review/`、`site/`、`logs/`、`reports/`。原结果保留在前一轮目录。
- 本机预览独立 tmux `nine-source-surface-20260921`、端口 8810；重启 `bash /SSD3/yangzijing/nine_source_p3r3_surface_20260921/serve.sh`。公开 HF 静态页面不依赖本机服务。
- 单元/集成测试、同例几何回归及公开浏览器验收记录一并提供；公共播放验证从服务器匿名浏览器执行，未独立验证所有地区客户端网络。

## 本次验收结果

30 项单元/集成测试通过。78 条视频全部完整解码，公开 HTTP 下载 SHA 全部通过；409 个目录文件的远端 LFS 哈希/大小核验通过。固定媒体 revision：`8db627faff1bd5bed598abd27f0bd83311193e50`。公开页面九源播放/拖动、全屏、采样、分页懒加载、标注导出/恢复通过，5 条 Ego4D 也分别播放通过。首次本机测试有一次 DexYCB 临时加载失败，未改变媒体文件，单例复测和完整重试通过。