https://vimeo.com/507126722

Если кто помнит, был у меня лет 5 назад проект со шмотками https://vimeo.com/150124407 с тех пор я все хотел попробовать перенести это на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть какие-то результаты, которые не стыдно показывать.

Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом треккинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на vellum. Забавно, что еще одну нейронную штуку получилось использовать - маски персонажа в композе генерятся вот этой штукой - https://github.com/ZHKKKe/MODNet

Model: Jasmine LaRae
DP: Tatiana Stolpovskaya

Намечается интересная моделька.
Looks like a new model's coming.

Ну наконец-то, разработчик Modbox реализовал очевидную идею, лежащую на поверхности.

Соединить вместе Windows speech recognition, GPT-3 AI и сервис Replica, который делает обратную конвертацию из текста в речь.

Таким образом, можно общаться с нпс как с осмысленными персонажами. Т.к. все работает через облако, есть небольшой лаг.

Я, честно говоря, на заре сервисов Гугл и Амазон думал, что это будет реализовано через них, но так тоже неплохо. Ждём официальной интеграции от гигантов, и вот тогда начнется всеобщее воспитание ИИ, а к чему это обычно приводит, мы все знаем))

да

Эпики сегодня шутят как не в себя: говорят, собираются выпустить Metapets, на волне успеха от Metahuman. Но что-то мне подсказывает, что ничего им не мешает в будущем это сделать.

Ладно с эпиками, посмотрите саму работу с собакой - она настоящая, животинка с шерстью из xgen и рендерена в UE4.

"an eagle attacks at sunset"
colab

Как же круто! Аналог first order motion model, но не для лица, а для тела.

Исходники тут