创新技术

我们提出了一种从单张RGB图像进行3D人体重建的方法。采用分阶段、由粗到精的方法，包括内体估计、外表面重建和正面细节优化三个步骤。

该网络的一个关键特征是通过体积特征变换将不同尺度的图像特征融合到3D空间中，有助于恢复对象外表面几何的细节。我们还贡献了THUman数据集，包含约7000个3D真实人体模型。

该技术主要专注于如何从广泛可用的视频（如智能手机拍摄的视频）中提取面部表情。我们收集了大量来自专业演员的视频数据，由专业动画师进行标注。

我们进一步开发了深度学习框架来：1）分析视频中的面部表情，2）学习面部表情与3D面部动画参数之间的相关性。通过这种方式，可以使用2D视频作为输入自动创建3D动画。

野外多人姿态估计具有挑战性。尽管最先进的人体检测器表现良好，但定位和识别中的小错误是不可避免的。这些错误可能导致单人姿态估计器(SPPE)失败。

我们提出了一个新颖的区域多人姿态估计(RMPE)框架，以在存在不准确人体边界框的情况下促进姿态估计。我们的方法能够在MPII多人数据集上达到76.7 mAP。

D2AT @ Siggraph Asia 2017, CAVW 2019

与以往将情感编码为离散动作风格描述符的工作不同，我们提出了一个称为情感强度的连续控制指标。通过控制它，提出了一种数据驱动的方法来合成对情感具有精细控制的动作。

我们的方法明确学习将低级运动特征映射到情感强度的模型。由于运动合成模型在训练阶段学习，运行时合成运动所需的计算时间非常低。

我们提出了一种快速3D重建方法，可以恢复完整人体的真实表面，不受光照条件干扰。该方法将深度图像引入重建工作中，消除彩色图像的尺度歧义。

通过深度信息，几何可以独立于纹理。从透视视图到正交视图的图像变换确保了重建模型的完整性。结合"前"图和"后"图，我们可以以20fps的速度重建高分辨率3D人体模型。

Spotlight CVPR 2018

人体部位解析对许多计算机视觉任务都很重要。我们提出了一种使用易于获得的人体关键点标注生成合成人体部位分割数据的新方法。

我们的关键思想是利用人类之间的解剖相似性，将一个人的解析结果转移到另一个具有相似姿态的人身上。使用这些估计结果作为额外的训练数据，我们的半监督模型在PASCAL-Person-Part数据集上超越了其强监督对应物6个mIOU。