Есть 4 ключевых фактора, которые делают его точным и надежным:

1. Чтобы получить точную 3D-форму и позу, а также хорошее соответствие особенностям изображения, вам необходимо знать фокусное расстояние камеры. Чтобы решить эту проблему, мы обучаем HumanFOV вычислять поле зрения.

2. Мы вводим CameraHMR, который интегрирует HumanFOV в HMR2.0 для использования расчетного фокусного расстояния.

3. Чтобы получить точные обучающие данные pseudo ground truth (pGT), мы вычисляем фокусное расстояние для изображений в наборе данных 4DHumans и модифицируем SMPLify, чтобы учесть это.

4. Но SMPLify использует только разреженные 2D-ключевые точки, которые не отражают форму тела. Итак, мы тренируем детектор ключевых точек плотной поверхности, DenseKP, на BEDLAM и запускаем его на 4DHumans, что приводит к улучшению формы тела. Результирующий метод - CamSMPLify.

Мы повторяем обучение CameraHMR и запускаем CamSMPLify на обучающем наборе, инициализированном CameraHMR . Это приводит к значительному улучшению pGT для 4DHumans и методу HMR с одним изображением SOTA.