LipDub ai

Сервис для высококачественного липсинка, дубляжа, персонализации видео, замены диалогов на видео.

Советую не мешкать и подать на бету прямо сейчас, собеседования уже расписаны до конца октября.
(Да, вам назначают встречу в Google Meet)

Вписаться в бета тест

#lipsync #dubbing #personalization #speechediting #speech2speech

Энди Серкис объявил о новом проекте с участием персонажей с искусственным интеллектом, назвав эту быстро развивающуюся технологию ещё одной формой магии, которая вызывает страх у людей.

"Голлум" рассказал, что его продюсерская компания Imaginarium работает над сюжетной историей, где сначала создаются 2D-персонажи с использованием озвучки актёров, а затем они переходят в мир дополненной реальности, чтобы это не значило. На этом этапе персонажи становятся персонажами ИИ, созданными художниками и режиссёрами. "Теперь вы можете напрямую взаимодействовать с этими CGI-персонажами в реальном времени".

Он подчеркнул, что технология ИИ многими неправильно понимается и часто вызывает опасения, сравнивая это с реакцией на появление Интернета, или мокап костюмов, который тоже считали разрушительным для жизни и работы. Человек который смог адаптироваться и нацепить костюм с датчиками а потом основать компанию говорит как бы о том же, если вы сможете адаптироваться, то бояться нечего, если нет, ваши проблемы.

Список онлайн сервисов с бесплатным #Flux для генерации картинок

https://fastflux.ai/
https://piclumen.com/app/
https://tensor.art/ - (100 единиц в день)
https://www.fluxforge.app/
https://www.seaart.ai/ru
https://glif.app/
https://magic.remix.ai/

спионерил у @dAIpotestit

#text2image

Colorful Diffuse Intrinsic Image Decomposition in the Wild

Разложение картинки на пассы: альбедо, цветной диффьюз и спекуляры

Код
Колаб

#image2passes #image2pbr

V3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians

Динамические сцены на гауссианах приходят на мобилки в виде потокового видео. Метод потокового рендеринга сцен на мобилках.

Код ждем до октября

#gaussian2video #mobile #rendering

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

Реконструкция материала по многоракурсному набору изображений объекта

Код

#image2passes #image2pbr

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

Аниматор бипедов от Nvidia. Генерирует широкий спектр движений на различных поверхностях на основе интуитивно понятных пользовательских намерений.

Генерация движений всего тела на основе частичных целевых положений суставов, реагирование на управление джойстиком, взаимодействие с объектами, следование по траекториям, интерпретация текстовых команд и даже комбинирование этих возможностей, например, выполнение текстовых команд для следования по траекториям

Код

#text2animation #humananimation

Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming

Языковая модель для голосового общения. По русски не умеет.Может слышать и говорить, одновременно думая.

Код
Демо

#assistant #voiceassistant #speech

TalkinNeRF: Animatable Neural Fields forFull-Body Talking Humans

Продолжаем тему. Говорящие человеки на нерфах в полный рост. Кода нет. Ну и правильно, кому сейчас нужны эти нерфы

#talkinghuman #speech2nerf #nerf #humananimation