Воссоздание 3D-модели из видео. Шик!
Датасет обещали выложить позже. В целом довольно крутое решение не только для создания 3d-аватаров, но и для классической фотограмметрии.
Источник: https://zju3dv.github.io/neuralbody/
Гит: https://github.com/zju3dv/neuralbody

StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows — еще один инструмент для контролируемого исследования пространства StyleGAN через семантические фичи. В этот раз даже с сохранением личности. Красота!

Обучаю очередную нейронку на комиксах, на этот раз более высокого разрешения. Уже 4млн итераций, на этот раз идем до победного. Training a new GAN on higher res comics. 4M iterations and counting, this time we'll wait till it converges.

Для сравнения, сэмпл с нейронки, которая сейчас в @face2comicsbot.
Here's current @face2comicsbot 's neural net's sample for comparison.

https://vimeo.com/507126722

Если кто помнит, был у меня лет 5 назад проект со шмотками https://vimeo.com/150124407 с тех пор я все хотел попробовать перенести это на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть какие-то результаты, которые не стыдно показывать.

Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом треккинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на vellum. Забавно, что еще одну нейронную штуку получилось использовать - маски персонажа в композе генерятся вот этой штукой - https://github.com/ZHKKKe/MODNet

Model: Jasmine LaRae
DP: Tatiana Stolpovskaya

Намечается интересная моделька.
Looks like a new model's coming.

Ну наконец-то, разработчик Modbox реализовал очевидную идею, лежащую на поверхности.

Соединить вместе Windows speech recognition, GPT-3 AI и сервис Replica, который делает обратную конвертацию из текста в речь.

Таким образом, можно общаться с нпс как с осмысленными персонажами. Т.к. все работает через облако, есть небольшой лаг.

Я, честно говоря, на заре сервисов Гугл и Амазон думал, что это будет реализовано через них, но так тоже неплохо. Ждём официальной интеграции от гигантов, и вот тогда начнется всеобщее воспитание ИИ, а к чему это обычно приводит, мы все знаем))

да

Эпики сегодня шутят как не в себя: говорят, собираются выпустить Metapets, на волне успеха от Metahuman. Но что-то мне подсказывает, что ничего им не мешает в будущем это сделать.

Ладно с эпиками, посмотрите саму работу с собакой - она настоящая, животинка с шерстью из xgen и рендерена в UE4.