SMPLest-X:面向富表现力人体姿态与形状估计的极致规模化 SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation

1 引言

从单目图像或视频进行富表现力人体姿态与形状估计(EHPS)这一创新领域,为动画、游戏与时尚产业带来变革性应用。该任务通常使用参数化人体模型(如 SMPL-X [1])作为人体、面部与手部的强力表示。近年来大量多样的数据集接连出现 [2]–[11],为社区提供了研究采集环境、姿态分布、身体可见性与相机视角等各方面问题的新机会。然而,最先进的方法把注意力集中在架构设计的改进上,仍局限于少量数据集,造成跨场景的性能瓶颈,并阻碍了向未见情形的泛化。

本研究的第一项使命是广泛探索既有数据资源,给出对建立鲁棒、普遍适用的 EHPS 模型至关关键洞见。为此,我们建立了 EHPS 的系统性基准,使用 40 个数据集,并在五个主要基准上评测其性能。研究发现各基准之间存在显著的不一致性,揭示了 EHPS 整体复杂的格局,也呼唤用数据规模化来弥合场景之间的域差。这一细致的考察强调需要重新评估既有数据集的使用方式,倡导向更具包容性的数据选择范式转变,以获得更好的野外表现。特别地,我们提出一个新指标——平均主指标误差(mean primary error, MPE),同时面向全身与手部姿态,用于在一篮子关键基准上衡量模型性能,给出泛化能力的整体度量。我们的研究强调利用大量数据集、发挥其互补性的重要性。此外,我们贡献了一个新数据集 SynHand,为社区提供期盼已久的、在全身情境下全面评测手部姿态的基准。SynHand 在特写人像中呈现多样的手部姿态,并作为全身 SMPL-X 标注的一部分被精确标注。

带着基准测试获得的知识,我们接着展示大规模筛选的数据在打造 SMPLer-X 与 SMPLest-X 中的力量——这是一族通用(generalist)基础模型,用多样的数据集训练,在各种场景下都取得格外均衡的结果。为了与算法研究解耦,我们有意以极简主义思路设计 SMPLer-X 与 SMPLest-X:它们被削减为非常简单的架构。两者之中,SMPLer-X 选择相对常规的中间步骤来做部件(手与脸)引导,而 SMPLest-X 正如其名,只保留 EHPS 最终必需的组件(一个编码器、一个解码器与回归头)。尽管 SMPLer-X 与 SMPLest-X 的设计目的是支撑海量数据与参数的规模化、而非对算法层面的严格研究,我们仍要强调:它们的简单并不损害整体性能;而且出人意料的是,SMPLest-X 甚至以单阶段(one-stage)方式在手部估计上展现出独特的优势。

各种数据组合与模型尺寸的实验把我们引向一个全面的模型:它在所有基准上表现出色,挑战了社区"有限数据集训练"的惯例。值得注意的是,我们的基础模型通过数据规模化与模型尺寸规模化都取得了显著的性能提升,把五个主要基准(AGORA [12]、UBody [6]、EgoBody [5]、3DPW [13]、EHF [14])上的全身平均主指标误差从 110 mm 以上降到 60 mm 以下,把六个主要基准上的手部主指标误差从 62 mm 以上降到 31 mm(见图 1),并通过有效迁移到新场景(如 DNA-Rendering [11] 与 ARCTIC [8])展示了令人印象深刻的泛化能力。此外,我们验证了把通用基础模型微调为领域专用专家的有效性,在所有基准上都有杰出表现。具体地,我们沿用同一数据选择策略,使专用模型在 AGORA 榜单上刷新纪录——成为首个在 NMVE 上达到 96.2 mm、手部 MVE 达到 31.1 mm 的模型——并在 EgoBody、UBody 等关键基准上取得 SOTA。

我们的贡献有三:1)我们系统研究既有 EHPS 数据集,包括建立首个 EHPS 数据集系统基准,为把训练数据规模化推向鲁棒、可迁移的 EHPS 提供关键指引,并提出 SynHand 作为聚焦手部评测的更好全身基准。2)我们为规模化量身设计了极简基础模型(SMPLer-X 与 SMPLest-X);尽管简单,它们展现出强劲的全身性能,SMPLest-X 还以纯单阶段方式展现出可观的手部性能。3)我们探索规模化对 EHPS 的影响;由此构建的通用基础模型在各类场景下都给出均衡而强劲的结果,并成功扩展到未见数据集;微调进一步把基础模型提升为在众多关键基准上强力的专用模型。

2 相关工作

富表现力人体姿态与形状估计(EHPS)。随着富表现力虚拟化身应用的爆发和全身参数化模型(如 SMPL-X [14])的出现,从图像中同时估计身体、手与面部的 EHPS 引起了越来越多的关注 [6], [14], [44]–[50]。基于优化的方法(如 SMPLify-X [14])检测与全身对应的 2D 特征并拟合 SMPL-X 模型,但速度慢、性能差,因此学习式模型被提出。EHPS 的关键挑战之一是手与脸相对仅身体估计的分辨率很低,使铰接手部姿态估计与高质量表情捕捉都很困难。因此,主流全身模型先检测并裁剪手部与面部图像块,再放大分辨率,送入专门的手部/面部网络估计对应参数 [15], [45]–[51]。由于多阶段流程高度复杂,它们不可避免地造成网格铰接不一致、不自然,以及不合理的 3D 腕部旋转,尤其在遮挡、截断与模糊场景中。OSX [6] 提出首个基于 ViT 骨干 [52] 的单阶段框架,随后有 AiOS [53]、Multi-HMR [54] 等方法。这一路线不需要独立的检测阶段,把定位与参数估计整合进单一过程,因此缓解了以往多阶段流程的问题,提升了易出现检测缺陷场景下的 EHPS 性能。尽管设计简洁,它们只使用受限的训练数据集以公平比较,并未探索组合更多数据以实现可泛化、精确的 EHPS。

面向以人为中心的视觉的大规模训练。近来的工作用多个数据集预训练通用模型,服务广泛的下游以人为中心的任务。例如 HumanBench [55] 利用 37 个数据集,UniHCP [56] 用 33 个数据集做 ReID、行人检测与 2D 姿态估计等任务。但这些工作只评估了 2D 任务的效果。Sárándi 等 [57] 用 28 个数据集训练强模型做 3D 关键点检测,只恢复人体骨架、不估计身形与网格。Pang 等 [58] 分析 31 个数据集用于人体姿态与形状估计(即 SMPL 估计),但不含手与脸,且最多样的训练也只同时用到不到十个数据集。HaMeR [59] 整合 10 个数据集、最多 270 万训练样本,训练一个 3D 手部重建 Transformer。NLF [60] 能混合不同标注格式的数据源(参数化标注、3D 关键点、2D 关键点与 DensePose 标注),但受限于手部采样点少,手部姿态不准。本文面向更困难也更本质的 EHPS 任务,规模化训练数据与模型尺寸,精确恢复人体、手与脸的富表现力姿态与形状。

3 EHPS 数据集基准测试

3.1 预备知识

SMPL-X。我们经由 3D 参数化人体模型 SMPL-X [1] 研究富表现力人体姿态与形状估计,它用参数刻画人体、手部与面部的几何。具体而言,我们的目标是估计姿态参数 θ ∈ ℝ^55×3(包含身体、双手、双眼与下颌姿态),身体、双手与面部的联合形状参数 β ∈ ℝ¹⁰,以及面部表情参数 ψ ∈ ℝ¹⁰。关节回归器 𝒥 用于从参数获得 3D 关键点:R_θ(𝒥(β)),其中 R_θ 是沿运动学树的变换函数。

评测指标。我们使用 EHPS 的标准指标。逐顶点误差(PVE)与平均关节位置误差(MPJPE)分别度量顶点之间、回归关节之间的平均 L2 距离。"PA"前缀表示计算误差前先做普氏对齐(Procrustes alignment)。AGORA 榜单 [12] 引入了归一化顶点误差(NMVE)与归一化关节误差(NMJE),把检测性能 F1 分数纳入考量。此外,我们提出平均主指标误差(MPE),取多个主指标(MPJPE 用于 3DPW [13] 测试集,PVE 用于 AGORA-val、UBody、EgoBody 与 EHF)的均值来衡量泛化性。与全身版本类似,我们提出手部 MPE(手部 PVE 的均值,面向腕对齐手部姿态)与手部 PA-MPE(手部 PA-PVE 的均值,面向手部局部姿态),在多个数据集(AGORA-val、UBody、EgoBody、EHF、ARCTIC 与 SynHand)上评测手部姿态估计的跨基准表现。由于 3DPW [13] 只提供 SMPL 格式的仅身体标注,在手部相关指标中我们用 ARCTIC [8] 替代它。所有误差单位均为毫米(mm)。

3.2 数据源概览

本工作汇集了三大类的 40 个数据集。1)动作捕捉数据集 [8], [9], [30], [31], [34], [35], [38] 使用光学式 [8], [9], [30], [31], [34], [35], [38] 或基于视觉的 [5], [11], [27], [42] 多视角动作捕捉系统,通常在摄影棚环境采集;也可能包含户外装置,或使用 IMU、激光雷达等附加传感器 [13], [26], [36]。这类数据集一般提供高质量 3D 标注,但受物理约束灵活性较低,光学动捕系统搭建的尤其如此。2)伪标注数据集 [6], [10], [17], [19], [20], [21], [24], [25], [29], [32], [33], [37], [39]–[43], [61] 用参数化人体标注重新标注既有图像数据集;它们利用了 2D 数据集的多样性,伪 3D 标注质量虽通常不及真值,但已被证明有效 [58]。3)合成数据集 [2]–[4], [12], [22], [28] 由渲染引擎(如虚幻引擎)生成,3D 标注最精确,也易于以高多样性扩容,但合成—真实差距尚未完全解决。数据集的关键属性见表 1。

3.3 全身评测基准

为了跨多样场景评测 EHPS 能力,我们挑选多个关键数据集组成综合基准。它们应具备:1) 精确的 SMPL 或 SMPL-X 标注;2) 对现实场景某些侧面的代表性;3) 被广泛使用(对两年内发布的新数据集此要求放宽);4) 有明确定义的测试集。为此,我们选出五个代表不同侧面的数据集作为全身姿态评测集:AGORA [12]、UBody [6]、EgoBody [5]、3DPW [13] 与 EHF [14]。我们在此简介评测数据集,其余见补充材料。AGORA 是使用最广的 SMPL-X 评测基准,是合成数据集,以高质量标注呈现多样的主体外观、姿态与环境;我们同时在验证集与测试集(榜单)上评测,后者每月有提交次数限制。UBody 是最新的带伪 SMPL-X 标注的大规模数据集,覆盖脱口秀、视频会议、VLOG 等 15 种现实场景,图像中主要呈现上半身;训练与测试遵循场景内(intra-scene)协议,即所有场景均可见。EgoBody 以伪 SMPL-X 标注捕捉 3D 场景中社交互动中的人体动作,包含第一人称自我中心集(EgoSet)与第三人称多机位集(MVSet);我们在截断与不可见都很严重的 EgoSet 上测试。3DPW 是最流行的带 SMPL 标注的野外数据集;由于没有 SMPL-X 标注,我们按 [14] 把 SMPL-X 的估计变换到 SMPL 拓扑来评测。EHF 是经典数据集,包含一位主体在室内摄影棚的 100 帧精选画面,以 SMPL-X 顶点标注多样的身体姿态、尤其是手部姿态;它只有测试集、没有训练或验证集,因此只用于评测跨数据集性能。

除了"流行或最新"之外,我们进一步分析这五个数据集合起来是否对既有数据集有广泛覆盖。在图 2 中,我们把所有数据集随机降采样到等长(1K 样本),用 UMAP [62] 可视化若干关键方面。我们用 HumanBench [55] 与 OSX [6] 预训练的 ViT-L,对边界框裁出的图像提取展平的 patch token 作为特征向量。HumanBench 为多种以人为中心的任务(如 Re-ID、部件分割、2D 姿态估计)训练,而 OSX 是 EHPS 专家模型。至于全局朝向,由于我们把所有数据都转换到相机坐标系,它与相机姿态密切相关;我们用展平的旋转矩阵表示来画其分布。此外,我们按 [3], [58], [63] 把姿态表示为参数化模型回归出的 3D 关键点:展平 21 个 SMPL-X 身体关键点与每只手 15 个手部关键点,除身体姿态与手部姿态外用平均参数回归。更多评测见补充材料。可以看到:1) 五个基准数据集分布各异,这符合它们设计目的不同的事实;2) 合起来看,五个数据集对整个数据集池提供了宽泛、近乎完全的覆盖。

3.4 单数据集基准测试

本节对数据集做基准测试,找出在各种场景下都表现好的数据集。为衡量每个数据集的表现,我们用该数据集的训练集训练一个模型(SMPLer-X,ViT-S 骨干,训练 5 个 epoch;架构见 4.1 节),并在五个评测数据集(AGORA、UBody、EgoBody、3DPW、EHF)的测试集上评测。表 1 报告各主指标(见 3.1 节)及 40 个数据集各自的排名。我们还计算平均主指标误差(MPE)以便于数据集间的直观比较。注意,对 AGORA、UBody、EgoBody 与 3DPW,它们在自己测试集上的成绩不计入 MPE,因为域内(in-domain)评测结果通常远好于跨域结果,会带来显著的误差下降。另外,有些数据集为特定目的而设计(如 Talkshow [10] 用于手势生成、DNA-Rendering [11] 用于人体 NeRF 重建、MoYo [42] 用于复杂人体动作的物理合理性、SignAvatars [37] 用于手语动作研究),它们在我们这个聚焦 EHPS(感知任务)的基准上排名靠后,并不减损其独特价值与对计算机视觉社区的贡献。

从基准测试可以观察到:在单一数据集上训练的模型往往在同域表现出色,但在其他域常常不行。例如,在 AGORA 上训练的模型在 AGORA 排第 1,但在 UBody 排第 6、EgoBody 排第 10、3DPW 排第 17、EHF 排第 30。这一观察说明:1) 测试场景是多样的,展现了 EHPS 的挑战性格局;2) 由于不同域之间存在显著差距,数据规模化对训练鲁棒、可迁移的 EHPS 模型必不可少。

3.5 手部评测基准

为了在全身情境下全面评测手部性能,我们另选两个数据集做手部姿态评测。第一,ARCTIC 是实验室环境的手—物体交互数据集,在多种场景下对身体姿态与手部姿态都有精确的 SMPL-X 标注;共 10 名主体与 11 个物体交互,总计 21 万帧视频。第二,SynHand 是本工作引入的合成数据集(下文详述),其特色是特写人像、带衣物的多样身形,以及丰富多样的富表现力手部姿态。

我们介绍 SynHand,一个专为 EHPS 估计设计的合成数据集,其动机针对手部姿态估计的如下挑战:1) 许多不重视手部的全身数据集中,放松状态的手部姿态频繁出现;这些数据集在采集过程中往往缺乏针对手部姿态的设计或筛选标准。2) 主流全身数据集(如以大视场角(FOV)采集或渲染的 [5], [12])的图像常在单帧内包含多个人物,大 FOV 的代价是分辨率,导致图像中的手分辨率低或几乎不可见。3) 与可用标记辅助标注的摄影棚采集数据集 [8] 不同,野外数据集获得精确的手部姿态标注仍然困难。

SynHand 利用分层人体模型 SMPL-XL [4] 与先进的合成渲染工具箱 XRFeitoria [65],生成身形、服饰与配饰多样的虚拟人照片级真实感图像。为清晰、完整地捕捉手部,相机摆放经过策略性优化以取特写镜头,保证细节呈现。手部姿态按 BEDLAM [2] 的做法从 InterHand [66]、AGORA [12] 与 GRAB [67] 提取,身体姿态源自 AMASS [68]。对身体姿态,我们从 AMASS 中仔细挑选 100 段能有效呈现手部动作的运动(如手腕前伸、遮挡较少的动作),确保在合适的相机摆放下手部姿态能被突出;80% 的身体姿态取自该子集,20% 从整个 AMASS 随机采样。对手部姿态,左手与右手从三个数据集中独立随机采样。合成后的全身姿态随后用于驱动 SMPL-XL 模型,构成本数据集的运动序列。数据生成的其余方面(如场景搭建与渲染配置)沿用 PDHuman 数据集 [69] 的做法。图 4 展示了 SynHand 中手部姿态复杂、标注精确的样例。我们也在表 2 给出 SynHand 上的基准。

图 3 解释了为何选择 ARCTIC 与 SynHand 作为 EHPS 手部姿态估计的关键基准。该分析覆盖 17 个带手部姿态标注的代表性全身数据集,展示手部姿态相对放松手部(即手部姿态参数全为 0)的距离分布。注意放松的手部手指天然呈弯曲状态。具体地,对每个数据集内的每个手部姿态计算其与放松手部姿态的平均逐顶点位置距离;距离值越大,表示偏离放松姿态越多,意味着更复杂、也可能更有信息量的手部姿态。17 个数据集按其中位距离排序。值得注意的是,SynHand 的中位数离放松姿态最远,且手部姿态分布范围宽,从小于 5 延伸到大于 35;ARCTIC 在该榜单上也排名靠前。

4 基础模型

4.1 架构设计

我们要强调:训练基础模型非常昂贵,因此做大规模的架构搜索并不可行。基于此,我们引入极简的基础模型框架 SMPLer-X 与 SMPLest-X,只保留必要部分,理由有二:第一,在大量数据上训练,架构必须可扩展且高效;第二,我们希望创建一个与具体算法设计解耦的框架,为未来研究提供干净的基础。

如图 5 所示,主流框架可概括为三个阶段:编码、解码与回归。创新性的模型设计通常引入在其中一或多个阶段。我们的极简框架简化每个阶段,确保 SMPLer-X 与 SMPLest-X:在编码阶段不需要跟随部件式编码 [46], [51], [64] 的手部/面部解码器;在解码阶段避免跨部件特征交互模块 [45], [48] 与粗 SMPL-X 估计的投影 [50];在回归阶段避免后处理 [15]。

在解码阶段,SMPLer-X 只保留部件引导模块,这对分部件估计是直观的做法。如图 5 所示,SMPLer-X 由三部分构成:提取图像特征的骨干网络——编码阶段我们采用视觉 Transformer [52] 以获得可扩展性;解码阶段由一个部件引导模块构成,预测边界框并从特征图中裁剪手部与面部的感兴趣区域;回归阶段的多个回归头估计每个部件的参数(如身体朝向、身体姿态、手部姿态与表情)。SMPLer-X 的部件引导模块功能上类似特征空间中的手部与面部边界框检测器;从裁剪特征回归出的手部关节用于引导信息提取。然而,这会导致从原始编码特征裁剪时产生显著的信息损失,并在解码阶段造成误差累积。

为进一步简化设计,SMPLest-X 去掉了部件引导模块,代之以不做显式分部件建模的 Transformer 解码器。顾名思义,SMPLest-X 是进一步简化 SMPLer-X 的极简框架;把部件引导模块替换为 Transformer 解码器后,我们观察到手部姿态估计的显著性能提升。

4.2 实现细节

如图 5 所示,SMPLer-X 与 SMPLest-X 采用极简设计。图像先被全身边界框裁剪,再缩放到尺寸 I(高,宽)=(512, 384)后进入骨干。图像被切分为 32×24 个 patch(patch 大小 16),经过 patch 嵌入并加上位置编码,得到图像令牌 T_img。T_task 是额外的可学习令牌(任务令牌),与 T_img 拼接。对 SMPLer-X,T_task 专用于身体姿态,大小为 (25, D_feat),其中 D_feat 为特征深度。SMPLest-X 把任务令牌总规模扩展到 (80, D_feat),新增 T_hands、T_face、T_orients 与 T_trans,分别对应手部姿态、面部表情、身体与手部朝向、平移。注意手部姿态令牌 T_hands 总维度为 (30, D_feat),因为手部姿态被视为与身体姿态同等复杂。令牌经骨干(backbone)处理。得益于 ViT [52] 的可扩展性,我们能实验各种模型尺寸。在解码阶段,SMPLer-X 的颈部(neck)处理来自编码器的图像特征 F_img,预测面部与手部边界框;预测的边界框被 ROI(感兴趣区域)模块用来从 F_img 裁剪特征,重新组织后经过转置卷积(deconv)。部件引导模块由一个位置网络(position network)构成,预测身体与手部的 3D 关键点;带关键点引导的 F_img 将连同各自的任务令牌一起送入回归头。而 SMPLest-X 把 F_img 与 T_task 拼接后送入一个 6 层解码器,取代部件引导模块;解码后的 T_task 送入手部与面部头预测参数。在 SMPLest-X 的回归阶段,我们在身体姿态、手部姿态与表情的头之外,增加了一个手部朝向头;预测的手部朝向用于与身体的腕部姿态构成参数级一致性损失,提升上肢远端关节的精度与手部定位。

5 EHPS 规模化

5.1 通用基础模型

5.1.1 数据规模化

SOTA 方法 [6], [15] 通常只用少数几个数据集(如 MSCOCO、MPII、Human3.6M)训练,而我们研究用多得多的数据集训练。但我们要强调:表 1 的数据集基准不能直接用——依据评测基准测试集上的表现来选数据集会泄露测试集信息。因此我们在补充材料中构建了另一个数据集基准,在各主要 EHPS 基准的训练集上给各数据集排名。我们实验了 5 种数据集数量:5、10、20、32、40 个作为训练集,对应六种总实例规模:0.75M、1.5M、3.0M、4.5M、7.5M、10M(记作 40+)。扩展到 32 个数据集时,我们按补充材料中上述基准的排名优先选取排名更高的数据集;进一步扩展到 40 个时,我们纳入额外的开源数据集,并探索在同一数据域内继续增加实例数的影响。为防止大数据集淹没小数据集,我们采用均衡(balanced)采样策略:所有被选数据集被统一上采样或下采样到相同长度,加总到指定的总长度。为便于训练,我们把所有数据集统一为 HumanData 格式 [70]。

5.1.2 模型规模化

我们还研究了四种不同尺寸的 ViT 骨干(ViT-Small、Base、Large、Huge)。训练在 16 块 V100 GPU 上进行,总 batch size 为 512(ViT-Huge 为 256),训练 10 个 epoch(ViT-Huge 在 40 数据集的 7.5M 与 10M 实例上训练时为 5 个 epoch)。具体地,SMPLer-X-L20 与 SMPLest-X-L20 的训练超过 400 GPU 小时,SMPLer-X-H32 与 SMPLest-X-H32 超过 700 GPU 小时,SMPLer-X-H40+ 与 SMPLest-X-H40+ 超过 2600 GPU 小时。训练与微调均使用带动量余弦退火的 Adam 优化器:训练学习率为 1×10⁻⁵、最小学习率 1×10⁻⁶;微调学习率为 1×10⁻⁵、最小学习率 5×10⁻⁷。

5.1.3 通用模型评测

表 3、表 4 与表 5 展示了用所提极简框架 SMPLer-X 与 SMPLest-X 做数据规模化与模型规模化的实验结果。可以观察到:1) 更多的训练数据集带来更好的 MPE、手部 MPE 与手部 PA-MPE。模型性能随训练数据集数量的增加逐步提升;而在相同训练数据域内,增加实例数并不保证性能提升。2) 在任意给定数据量下,更大的基础模型表现更好;但超过足够大的模型尺寸后,规模化的边际收益递减。具体地,ViT-H 的参数量是 ViT-L 的两倍以上,性能增益却并不突出。3) 基础模型总是优于单数据集的域内训练。例如 SMPLer-X-B20 在 AGORA-val、UBody、EgoBody 与 3DPW 的测试集上,优于表 1 中专门在对应训练集上训练的模型。4) 去掉 SMPLer-X 中的部件引导模块、代之以解码器后,SMPLest-X 的手部姿态估计显著提升(如表 5 所示,手部 PA-MPE 降低 15%,手部 MPE 降低 13%)。此外,我们在各种场景下把基础模型与 SOTA 方法比较,如图 7(全身定性评测)与图 6(严重遮挡、物体交互与高难度姿态下的多样手部)所示。

此外,我们在 AGORA 测试集(表 6)、AGORA 验证集(表 7)、UBody(表 9)、EgoBody-EgoSet(表 10)、EHF(表 8)、ARCTIC(表 11)与 DNA-Rendering(表 12)等主要基准上展示身体、手、面部的分部件详细结果。我们强调:基础模型在所有基准上都表现强劲而均衡。

5.2 专用模型

5.2.1 微调专用模型

用海量数据训练基础模型是昂贵的——例如 SMPLer-X-H40+ 与 SMPLest-X-H40+ 的训练超过 2600 GPU 小时。因此,研究能让基础模型低成本适配特定场景的微调策略至关重要。我们再次强调:现实应用中测试集是不可得的。因此,除了目标数据集各自的训练集之外,我们基于补充材料中的基准测试使用我们的数据选择策略,在目标训练集上选出排名靠前的四个数据集,对模型微调 5 个 epoch。

5.2.2 专用模型评测

我们用 ViT-L 骨干微调通用模型以对齐当前 SOTA [6],并用 ViT-H 骨干的通用模型探索 SMPLer-X 与 SMPLest-X 专用模型的极限。专用模型的评测见表 6、表 7、表 8、表 9、表 10、表 11 与表 12。此外,我们在 EHF(表 8)、ARCTIC(表 11)与 DNA-Rendering(表 12)上评测基础模型的可迁移性:EHF 是不提供训练集的纯测试基准,ARCTIC 含带全身标注的复杂手—物体交互,DNA-Rendering 包含多样的主体、动作与服饰。注意,只用前 10 个数据集训练的基础模型没见过 ARCTIC,只用前 20 个数据集训练的基础模型没见过 DNA-Rendering;但基础模型仍远好于采用常规数据采样策略的 SOTA。

5.3 训练域

表 13 研究在训练中使用某评测基准的训练分割对相应测试分割的影响。有两个关键观察:第一,域内训练(把某数据集的训练分割纳入训练、在同一数据集的测试分割上测试)非常有效,"见过"该数据集总能带来显著的性能提升(R2 对 R3)。第二,如果训练数据足够多样,域外训练集也有帮助。例如 SMPLer-X-L 有四个已见数据集时,再加一个数据集收益甚微(共 5 个数据集,MPE 85.2 mm),但训练集达到 10 个数据集时收益巨大(MPE 72.7 mm)。值得注意的是,用大量数据集训练同样惠及域外("未见"基准)的性能:随着训练集数据集增多,EHF(PVE 降低 20.2 mm)、ARCTIC(PVE 降低 22.8 mm)与 DNA-Rendering(PVE 降低 22.4 mm)上的误差都在下降;在训练数据量受限且固定的情况下,用更多样的域外数据训练比用域内数据获益更多(R3 对 R4)。最后,在 40 个数据集上用 SMPLest-X-H 训练取得最佳性能(MPE 58.9 mm),证明它是鲁棒而有效的 SMPL-X 估计器;但在相同训练域(40 个数据集)内把实例数从 7.5M 提高到 10.0M 并不保证性能提升(R8 对 R9)。

5.4 数据采样策略

采样方面,我们对三种策略做消融研究:1)均衡(Balanced):把所有数据集设为相同长度;2)加权(Weighted):按单数据集基准排名设定数据集长度——先按排名对数据集排序、再给每个数据集赋权,数据集被上/下采样,使各数据集长度调整为等差数列,排名最高的数据集长度是排名最低者的 4 倍,且所有数据集总长度固定;3)拼接(Concatenated):直接按原始长度拼接所有数据集。

如表 14 所示,基础模型的性能对采样策略不敏感。均衡策略更直观、易实现、高效;加权策略可能有更大的性能提升潜力,但需要花更多精力调权。

5.5 训练方案

如表 15 所示,我们对训练方案做消融研究,考察数据集选择的效果。按补充材料中单数据集基准(在训练集上)的排名选出倒数第 5 与倒数第 10 的数据集,并以与 Top 5、Top 10 训练相同的实例数训练 SMPLer-X-B。结果证明我们的训练方案是高效的:按单数据集基准选出 Top 5 或 Top 10 数据集,远优于选 Bottom 5 或 Bottom 10。基础模型能从纳入更高排名(即 Top 5/10)的数据中获益,而低排名数据(即 Bottom 5/10)对提升模型性能的效果较差。

5.6 令牌的有效性

SMPLest-X 用解码器取代了 SMPLer-X 的部件引导模块,并把身体姿态令牌扩展为多个特定任务令牌。如图 8 所示,这些令牌无需额外引导即可有效关注图像特征中各自对应的信息:身体姿态令牌在躯干区域激活,身体朝向令牌聚焦肩部与骨盆,手部姿态令牌集中于双手手指,手部朝向令牌主要关注上半身、尤其侧重腕部。手部姿态令牌被证明能有效捕捉局部手部姿态(以手部 PA-MPE 评测),而手部朝向令牌表明上半身对精确的手部朝向必不可少(以手部 MPE 评测)。

5.7 用 CNN 骨干规模化

我们选择 ViT 架构作骨干,因为它已是构建大模型的主流选择,而且这是首次对 EHPS 模型的训练数据与模型尺寸同时做全面的规模化研究。虽然基于 Transformer 的架构不能平凡地换成 CNN 对应物(SMPLer-X 与 SMPLest-X 需要任务令牌来估计身体姿态参数),我们也训练了一个 Hand4Whole [51] 作为基于 CNN 的基础模型(身体与手部用 ResNet50、面部用 ResNet18,共 77M 可训练参数,见表 16),验证结论对 CNN 架构同样成立。我们强调:与 SMPLer-X 和 SMPLest-X 类似,为基于 CNN 的基础模型扩大训练数据同样带来大幅性能提升。

6 讨论

以往算法层面的研究可能为时过早,因为海量数据的影响尚未被充分探索或排除。本研究通过聚焦数据与模型规模化来考察 EHPS 的非算法层面,把大量数据集系统性地用到各种模型尺寸的极限。本节讨论关键局限与要点。

通过整合几乎所有可用数据集,我们观察到所有模型尺寸上都存在明显的收益递减:在相同数据域(40 个数据集)内,把训练实例从 7.5M 增加到 10M,计算成本上升 43%(每 epoch 从 23 小时增至 33 小时),而性能提升却微乎其微。因此,我们的结果表明进一步的数据规模化已达到饱和点,表明单靠规模化推动进一步进步存在局限。确立了这一饱和点之后,本领域更有条件在充分的多姿数据预训练之上,转向真正必要的算法进步。

本研究的另一主要局限是所用数据集的代表性。虽然我们用五个全面的基准数据集评估全身泛化能力(另有两个数据集做手部评测),它们可能无法完全覆盖现实世界分布的复杂性与多样性。尽管如此,据我们所知,本工作构成了迄今对 EHPS 最系统的泛化研究。我们相信我们的观察具有对野外场景的广泛适用性,并能为未来研究提供有价值的洞见。

7 结论

本工作为 EHPS 做了数据集基准测试,为我们训练与微调极简架构的基础模型家族提供洞见。我们在数据与模型规模化上的大量实验,系统探索了把所有可用数据集用到极限的影响,使基础模型在精度与泛化性上超越既有 SOTA。

我们的研究在三方面有用:第一,我们对 EHPS 数据集、泛化指标(MPE)与所提基准的系统研究,可为未来构建高性能、鲁棒的野外 EHPS 模型的工作提供衡量标尺。第二,SMPLer-X 与 SMPLest-X 有意追求简单与模块化,包含高度可复用的组件,并在海量数据上训练,使未来研究者无需复制这一资源密集的过程;预训练模型或其组件可以作为任何 EHPS 或下游任务系统的即插即用部件。第三,我们的"基准测试—微调"范式对把任何基础模型快速适配到特定场景都有用:用户可以采集一个训练集,在其上评测各种其他数据集的预训练模型,选出最相关的数据集来微调基础模型。

附录 A 分布比较(补充)

在图 9 中,我们画出更多参数的分布:a) 手部姿态、b) β(身体形状)、c) 面部表情,均经 UMAP 降维。没有合适 SMPL-X 参数的数据集(如仅有 SMPL 标注,或手部姿态通常无效的伪标注)不纳入研究。手部姿态把左右手参数以旋转矩阵表示拼接;β 与表情直接用其前 10 个分量。可以观察到:DNA-Rendering、CHI3D、HumanSC3D、Talkshow 等数据集在手部姿态与 β 上形成独立簇,很难找到某个数据集能提供铺得很开的覆盖;表情方面仍然缺乏多样的数据集。这一观察与正文图 3 对手部姿态的另一分析一致。因此我们提出 SynHand 数据集。

附录 B SMPL/SMPL-X 标注的适配

我们尽力使用尽可能多的数据集,但发现只有少数数据集带中性(neutral)SMPL-X 标注,许多数据集带女性/男性(区分性别)的 SMPL-X 标注或 SMPL 标注。一个直觉做法是用官方拟合工具 [14],但这个基于优化的工具转换大量标注太慢(每帧拟合需 241±126 秒)。因此我们试验了一种新方法。

对区分性别的 SMPL-X 标注,我们训练一个小的适配器网络 A(三层全连接层),输入区分性别的身形参数 β_f/m,输出中性身形参数,使如下损失最小:

其中 M_f/m 为区分性别的 SMPL-X 身体模型,M_n 为中性 SMPL-X 身体模型,θ 为身体姿态,通过对 VPoser [14] 嵌入空间随机采样获得。我们在 AGORA [12] 上测试该适配器:真值区分性别 SMPL-X 网格与用适配后中性 β 的中性 SMPL-X 之间的逐顶点误差为 8.4 mm,我们认为足够小。该方法非常快(每帧 0.09 秒)。因此我们把适配器应用于 AGORA、EgoBody、RenBody 与 RICH。然而我们经验性地发现,适配器在拓扑差异巨大时(即 SMPL 与 SMPL-X 之间)效果不佳——训练类似适配器得到 27.1 mm 的逐顶点误差。因此,对带 SMPL 标注的数据集,我们只用真值全局朝向与身体姿态做监督。虽然这是对参数的轻微"滥用"(SMPL 与 SMPL-X 参数并不能直接互换),但我们在实验中发现这种策略能带来性能增益。

附录 C 完整结果

C.1 在训练集上对 EHPS 数据集做基准测试

正文在各主要 EHPS 评测基准的测试集上对数据集做了基准测试。但这一数据集基准不适合用于为 EHPS 训练挑选头部数据集,因为该排名在一定程度上泄露了测试集信息。因此我们在表 24 构建了新基准:在 AGORA、UBody、EgoBody(EgoSet)与 3DPW 的训练集上给 EHPS 数据集排名(EHF 无训练集,略去)。

C.2 基础模型在各评测基准上的完整结果

我们展示包括最强基础模型 SMPLer-X-H32 在内的完整结果:AGORA 验证集(表 17)、UBody(表 19)、EgoBody-EgoSet(表 20)、EHF(表 18)、ARCTIC(表 21)与 RenBody-HiRes(表 22)。

附录 D 数据集补充细节

D.1 数据集描述

本节描述研究中使用的 40 个数据集。注意这些全是公开的学术数据集,各自持有许可证。我们遵循在非商业研究中使用它们的惯例,读者可访问其主页或论文了解许可证与个人信息保护政策等详情。

3DPW [13](图 10a)是首个具有相当规模的野外数据集,用移动手机相机与 IMU 传感器采集,含精确 SMPL 标注与在多样环境中拍摄的 60 段视频序列。我们遵循官方 train/val/test 划分。主页:https://virtualhumans.mpi-inf.mpg.de/3DPW/。

AGORA [12](图 10b)是合成数据集,由高质量人体扫描与逼真 3D 场景渲染而成,包含 4240 个带纹理的人体扫描(姿态与外观多样),每个都配有精确 SMPL-X 标注;共 1.4 万训练图像、3000 测试图像、17.3 万实例。主页与许可证:https://agora.is.tue.mpg.de/index.html。

ARCTIC [8](图 10c)是实验室环境的手—物体交互数据集:10 名主体操纵 11 个物体,由 8 台固定相机与 1 台自我中心相机拍摄共 21 万帧,每帧都配有精确 SMPL-X 标注。训练中我们排除只拍摄手部的自我中心帧,使用 15.39 万张图像。主页与许可证:https://arctic.is.tue.mpg.de/。

BEDLAM [2](图 10d)是合成数据集,在身形、动作、肤色、发型与服饰上变化广泛:由 271 种人体模型、27 种发型与 111 种服饰组合而成,含 1691 种服饰纹理与 2311 段人体动作,分布于 95 个 HDRI 与 8 个 3D 场景;每个场景通常 1–10 人,相机姿态多样。为有效训练,我们降采样把原始数据从初始规模减到约 19.02 万实例。主页与许可证:https://bedlam.is.tue.mpg.de/index.html。

BEHAVE [71](图 11a)是人体—物体交互数据集,含多视角 RGBD 帧及对应的 3D SMPL-H 与物体拟合,并标注接触信息;约 1.5 万帧,5 个地点、8 名主体与 20 种常见物体做多种交互。主页:https://github.com/xiexh20/behave-dataset。

CHI3D [9](图 11d)是摄影棚 3D 动作捕捉数据集(Vicon),涵盖多种互动场景:631 段多视角序列、2525 个接触事件、72.87 万个带 SMPL-X 参数标注的 3D 姿态真值实例。我们使用开源训练集。主页与许可证:https://ci3d.imar.ro。

CrowdPose [29](图 11c)是聚焦拥挤场景的野外数据集,共 2 万张图像、8 万人实例。本文使用 NeuralAnnot [17] 生成的标注(把 SMPL 拟合到 GT 2D 关节),共约 3.57 万标注数据。主页:https://github.com/Jeff-sjtu/CrowdPose。

DAMON [33](图 12c)为 5522 张野外 RGB 图像提供基于 SMPL 的顶点级 3D 接触标注,标注涵盖 84 种物体与 24 个身体部位之间的接触。主页:https://deco.is.tue.mpg.de/。

EgoBody [5](图 11b 与图 14a)是大规模数据集,呈现 3D 人体动作及与场景的交互:多机位采集第三人称视角(MVSet,图 14a),头戴设备采集自我中心视角(EgoSet,图 11b);含 125 段序列、36 名主体、15 个室内场景。我们遵循官方训练/测试划分。主页:https://sanweiliti.github.io/egobody/egobody.html。

EHF [14](图 14b)含一位主体在室内摄影棚的 100 帧精选画面,提供与 SMPL-X 对齐的 3D 网格真值,精确反映主体多样的身体、手部与面部铰接;通常用作测试集,图像来自单台相机,随 SMPL-X 一同发布。主页:https://smpl-x.is.tue.mpg.de/index.html。

EMDB [26](图 13c)为野外视频提供世界坐标系下的 SMPL 标注、身体轨迹与相机参数:10 名参与者、81 个场景共 58 分钟动作数据,用无线电磁(EM)传感器与 iPhone 采集。主页:https://eth-ait.github.io/emdb/。

FIT3D [38](图 14c)是摄影棚 3D 动作捕捉数据集:611 段多视角序列、296.4 万张图像及对应的带 SMPL-X 参数标注的 3D 形状与姿态真值实例;动作片段含 37 种重复练习。我们使用开源训练集。主页与许可证:https://fit3d.imar.ro/。

GTA-Human II(图 14d)是 GTA-Human [72] 的扩展版——用 GTA-V 游戏引擎生成的大规模合成 3D 单人数据集,以多样性见长。GTA-Human 在单人场景中提供超过 140 万 SMPL 标注;GTA-Human II 则包含多人场景与 SMPL-X 真值(经 SMPLify-X [1] 从游戏内采集的真值关键点估计 SMPL-X 参数,工具链由 MMHuman3D [70] 提供),含 180 万 SMPL-X 实例;图像为 4K 多人序列,约 600 名不同身形与服饰的主体,在六类背景中执行 2 万段日常活动动作,相机角度按真实分布采集。主页:https://caizhongang.github.io/projects/GTA-Human/。

Hi4D [35](图 13d)捕捉带物理接触的人体交互:4D 带纹理扫描、SMPL 标注、带顶点级接触标注的网格与分割掩码;20 对主体、100 段序列,共超 1.1 万帧。主页:https://yifeiyin04.github.io/Hi4D/。

Human3.6M [34](图 15a)是摄影棚 3D 动作捕捉数据集:高速动捕系统采集 360 万人体姿态及对应图像。本文使用 NeuralAnnot [17] 生成的标注(把 SMPL-X 拟合到 GT 2D 关节),共约 31.22 万标注数据。主页与许可证:http://vision.imar.ro/human3.6m/description.php。

HumanSC3D [31](图 15b)是摄影棚 3D 动作捕捉数据集:1032 段多视角序列,5000 个接触事件、120 万个带 SMPL-X 参数标注的 3D 姿态真值实例。我们使用开源训练集。主页与许可证:https://sc3d.imar.ro/。

IDEA400 [21](图 13a)是室内动作数据集:1.3 万段动作序列、共 260 万帧,覆盖 400 种动作;含伪 SMPL-X 标注与语义动作标签,经自动化标注流水线生成。主页:https://motion-x-dataset.github.io/。

InstaVariety [19](图 15c)是野外数据集:用 84 个标签(hashtag)从 Instagram 收集的 210 万张图像。我们使用 NeuralAnnot [17] 生成的标注(把 SMPL 拟合到 GT 2D 关节),共约 21.85 万标注数据。主页:https://github.com/akanazawa/human_dynamics/blob/master/doc/insta_variety.md。

LSPET [73](图 15d)是野外数据集,含 1 万张图像。本文使用 EFT [16] 生成的标注(把 SMPL 拟合到 GT 2D 关节),共 2946 个标注数据。主页:http://sam.johnson.io/research/lspet.html。

MoYo [42](图 12d)呈现动捕摄影棚中 8 台同步相机采集的 200 个复杂瑜伽体式:含由动捕数据导出的 SMPL-X 标注,以及身体—地面接触、质心(CoM)与压力测量垫获得的压力标注。主页:https://ipman.is.tue.mpg.de/。

MPI-INF-3DHP [30](图 16a)由多相机无标记动捕系统在受限室内与复杂室外场景拍摄:8 名演员、8 种活动、14 个机位。我们使用 NeuralAnnot [17] 生成的标注(把 SMPL-X 拟合到 GT 2D 关节),共 939,847 个标注数据;为高效训练,我们把 NeuralAnnot 数据降采样到约 18.0 万。主页与许可证:https://vcai.mpi-inf.mpg.de/3dhp-dataset/。

MPII [24](图 16b)是广泛使用的野外数据集,约 2.5 万张图像,每张含一个或多个人物实例,共超 4 万个标注人物实例;其中约 2.8 万样本用于训练,其余保留测试。我们使用 NeuralAnnot [17] 生成的标注(把 SMPL-X 拟合到 GT 2D 关节),共约 2.89 万标注数据。主页与许可证:http://human-pose.mpi-inf.mpg.de/。

MSCOCO [20](图 16c)是大规模物体检测、分割、关键点检测与描述数据集;关键点检测子集含超 20 万张图像与 25 万人物实例。我们使用 NeuralAnnot [17] 生成的标注(把 SMPL-X 拟合到 GT 2D 关节),共约 14.98 万标注数据。主页与许可证:https://cocodataset.org/#home。

MTP [39](图 16d)是室内数据集,含演员模仿各种带自我接触的高难度 SMPL-X 姿态的图像:148 名主体、3700 张图像,带伪真值 SMPL-X 参数与 2D 关键点;训练用 3200 实例。主页与许可证:https://tuch.is.tue.mpg.de/。

MuCo-3DHP [25](图 17a)是室内多人数据集,由对 MPI-INF-3DHP [30] 中人物做裁剪与叠加并加分割掩码合成:40 万帧、8 名主体(每人 2 种服装),12 个机位拍摄;含真值 3D 关键点与拟合的 SMPL 参数。训练用 46.53 万标注数据。主页与许可证:https://vcai.mpi-inf.mpg.de/projects/SingleShotMultiPerson/。

OCHuman [40](图 17b)是野外数据集,聚焦重度遮挡人体:4731 张图像内 8110 个精细标注人体实例。我们使用 EFT [16] 生成的标注(把 SMPL 拟合到 GT 2D 关节),共 2495 个标注数据。主页:https://github.com/liruilong940607/OCHumanApi。

PoseTrack [32](图 17c)是视频中多人姿态估计与跟踪的大规模基准:514 段视频、66,374 帧。我们使用 EFT [16] 生成的标注(把 SMPL 拟合到 GT 2D 关节),共约 2.85 万标注数据。主页:https://posetrack.net。

PROX [27](图 17d)是(定性)人体—场景交互数据集:12 个室内场景、20 名与场景交互的主体;10 万 RGBD 帧,带伪真值 SMPL-X 拟合。训练中只使用 RGB 图像,并水平翻转以与 SMPL-X 标注对齐;训练用 8.81 万实例。主页与许可证:https://prox.is.tue.mpg.de/。

DNA-Rendering [11](图 18a)是大规模多视角、摄影棚、超高分辨率数据集,动作、服饰与物体交互多样。RenBody 有超过 1500 个人体实例与 5000 段动作序列,最多 60 个 RGB 视角与 4 个 Kinect 视角;对应 SMPL-X 标注基于 SMPLify-X [1] 与多视角优化。我们按不同相机分布与采集分辨率把 60 个 RGB 视角分为 48 与 12 个视角。主页:https://magichub.com/datasets/openxd-renbody/。

SPEC [28](图 18c)是合成数据集,以多样而独特的相机视角见长:训练集 22,191 张图像、71,982 个带 SMPL 参数的真值实例;测试集 3783 张图像、12,071 个真值实例。主页与许可证:https://spec.is.tue.mpg.de/index.html。

RICH [23](图 18d)是人体—场景接触数据集:142 段单人或多人的多视角视频,22 名主体、5 个静态室内外场景、6–8 台固定相机;含 9 万个带姿态的 3D 人体网格,每个在 SMPL-X 与 SMPL 拓扑上都有稠密全身接触标签。我们把原图从 png/bmp 转为 jpg,用训练集(约 24.34 万实例)训练。主页与许可证:https://rich.is.tue.mpg.de/index.html。

SignAvatars [37](图 12b)是大规模、多提示词的 3D 手语动作数据集:7 万段动作序列、834 万条标注(全身用 SMPL-X 格式、手部用 MANO 格式);采集并标注了 153 名手语者的 7 万段视频,以推进听障群体的数字沟通。主页:https://signavatars.github.io/。

SLOPER4D [36](图 12a)是场景感知的人体—场景交互数据集,在大型城市环境采集并在世界坐标系标注:12 名主体、10 个多样城市场景,以自我中心视角用激光雷达、IMU 与相机记录;含 15 段序列、超 10 万帧激光雷达、30 万视频帧与 50 万 IMU 导出的动作帧。主页:http://www.lidarhumanmotion.net/sloper4d/。

SSP3D [74](图 18b)是小规模数据集:311 张运动中紧身衣物人物的图像,身形与姿态多样;伪真值 SMPL 身体模型参数经带形状一致性的多帧优化获得。主页:https://github.com/akashsengupta1997/SSP-3D。

SynBody [4](图 19b)是大规模合成数据集,主体多样、标注高精度:170 万多人图像实例,带 3D 姿态与形状标注;覆盖 1 万个人体模型、1000 种动作与大量视角,标注含精确的 SMPL 与 SMPL-X 参数,并有分层人体模型与衣物。主页:https://maoxie.github.io/SynBody/。

Talkshow [10](图 19d)是大规模数据集:4 名主体在 4 种场景下的说话视频,26.9 小时、30 fps,音画同步并带拟合的 SMPL-X 标注;我们从作者处获得视频片段并转为图像,共 33.27 万实例。主页与许可证:https://talkshow.is.tue.mpg.de/。

UBody [6](图 19a)是大规模数据集,覆盖健身视频、VLOG、电影、在线课程、视频会议、脱口秀与手语等多样现实场景,服务多种下游任务;这些场景中通常只有主体上半身可见,重度截断加上富表现力的手势与表情,使 UBody 格外具挑战性。我们使用场景内协议。UBody 采用 CC-BY-NC-SA 4.0 许可证。主页:https://github.com/IDEA-Research/OSX。

UP3D [18](图 19c)是野外数据集,含 7126 张图像;为获得高质量 3D 标注,它扩展 SMPLify [75] 为每张图拟合一个伪标签(SMPL)。主页与许可证:https://files.is.tuebingen.mpg.de/classner/up/。

WHAC-A-Mole [22](图 13b)是合成数据集,提供带标注的世界坐标系下的人体与相机:2434 段序列、146 万人物实例,全部以 SMPL-X 格式标注,呈现细致的动作与人—人交互,并有逼真的相机轨迹。主页:https://wqyin.github.io/projects/WHAC/。

参考文献

(参考文献保留原文,不译)