Я просто охреневаю, какие грани обретает идея, если посмотреть на неё под немного другим углом.

Что это - ретро-реконструкция, historical splatting, prehistoric metaverse? Хаха.

Так или иначе, Polycam научился Gaussian splatting, и на мобильных устройствах его тоже можно попробовать.

Кидайте идеи, что можно перевести в 3D? Прибытие поезда и высадка на луну уже заняты!

Лекс Фридман выпустил метаверс-интервью с Цукербергом.
Можно посмотреть на что уже сейчас способны метовские аватары.

Что скажет @SergeyTsyptsyn ?
https://youtu.be/MVYrJJNdrEg?si=OJRpVHPRZy1ANvXW

AnimeInbet: Deep Geometrized Cartoon Line Inbetweening

Интерполяция промежуточных кадров лайнарта в анимации с учетом геометрии. Есть тут аниматоры чтобы оценить?

Код
Видео полной презентации, 7 минут

#frameinterpolation #animation

Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video

Генератор видео по тексту. Демонстрирует лучшее следование пропмту в сравнении с конкурентами.

Код

#text2video

ReMoDiffuse: Retrieval-Augmented Motion Diffusion Model

Генератор движения/анимации двуногих 3D персонажей по тексту.

Код
Демо
Колаб
Полное видео, 5 минут

#text2motion #text2animation #humananimation

Diverse and Aligned Audio-to-Video Generation viaText-to-Video Model Adaptation

Генератор видео по естественному звуку и/или тексту

Код

#text2video #audio2video #sound2video

RealFillReference-Driven Generation for Authentic Image Completion

Прикольная штука. Дополняет изображение по референсам. Например, из нескольких фото одно было бы самым удачным если б не неудачное кадрирование. RealFill посмотрит остальные фотки и дорисует то что за кадром. Ну или наоборот, заменит что-то внутри кадра.

На входных референсах дообучается, поэтому работает медленно.
Не справится если ракурс на референсе сильно отличается от ракурса целевой картинки

Сходите на сайт, там много примеров

Кода нет

#image2image #inpainting #outpainting

Decaf: Monocular Deformation Capture for Face and Hand Interactions

Восстановление 3D головы и рук и их взаимодействия с деформациями по одному видео.

Код обещают выложить

Полное видео, 4 минуты

#videoto3D #talkinghead #humanavatar #head #hands #mocap

Nova2 от Deepgram

Транскрибатор речи из аудио в текст.
Deepgram поддерживает много языков, в том числе русский и английский.
Про Nova2 на сайте висит инфа что пока только английский и планируют расширять список языков.

Заявлено лучшее качество и скорость среди конкурентов.
На вход принимает файлы и потоковое аудио в реальном времени.
Умеет в суммаризацию и еще какие-то ИИ-постобработки.
Есть API. Короче, плюшек много.

На старте дают бесплатного сервиса на 200$, обработка минуты аудио примерно от 0.005$. Немало? Ну а когда эти стартовые иссякнут вы знаете что делать.

#speech2text

Опубликован код генератора 3D по тексту MVDream

Код
Альтернатива в threestudio
Колаб - принес @analball

#textto3D

Live Avatar от artflow.ai

Хотел написать про их Actor Builder - конкурента D-ID или чем там оживляют мертвые головы Гарри Поттера. Его можно уже попробовать, на бесплатном тарифе дают обучить одного "актера"

Но живые аватары гораздо интереснее, имхо.

Записаться в вейтлист Live Avatars

#talkinghead #humanavatar #liveavatar

Neural Microfacet Fields for Inverse Rendering

Восстанавливает геометрию, материалы и освещение. Умеет заменять освещение и совмещать объекты из разных сцен в одну. Авторы использовали 100 входных изображений с известными параметрами камеры.

Объемный рендер и поверхностный рендер объединили в поле микрофасеток, в котором каждая точка пространства наделена объемной плотностью и локальной микроповерхностью. Это же не #nerf да?

Код
Полное видео, 2+ минуты

#image2shader #image2material #rendering #novelview #nmf

Re-ReND: Real-time Rendering of NeRFs across Devices

Мы прямо сейчас на ICCV презентуем постер по нашей статье Re-ReND. Мы представляем новый метод для запекания NeRF-ов в явную репрезентацию, которую можно очень быстро рендерить до 1000 FPS.

Когда рендерится сцена Нерфом, нужно сделать тысячи прогонов черезе MLP из-за вычисления интеграла вдоль каждого луча.

Чтобы ускорить рендеринг, мы предлагаем:
- выдрать из нерфа примерную мешь
- Дистиллировать radience field в специальный ligth field (это когда по координате точки и углу обзора MLP сразу выдает цвет за один прогон, без интеграции)
- Наш light field предсказывает view-dependent и position-dependent эмбеддиги, скалярный продукт которых дает цвет 3D точки.
- Затем мы запекаем эти эмбеддиги как тектсуры на меши
- В итоге получаем текcтурированную мешь, которую можно быстро рендерить в стандартных графических пайпланах с кастомным шейдером

Скорость: 1000 FPS на десктопе, 74 PFS на Quest Pro (демо на видео) и 30-60 FPS на мобилах.

Код
Статья

@ai_newz