TEMPEH: Instant Multi-View Head Capture through Learnable Registration

Реконструкция головы в 3D за долю секунды. На вход нужно видео с нескольких камер. Выходной меш согласован во времени. TEMPEH может предсказывать выражения лица и положения головы, которых не было в исходном материале.

Код

#videoto3D #image2head #video2head #humanavatar #head

На данный момент в Лос-Анджелесе проходит 50-я ежегодная конференция по компьютерной графике и применению интерактивных технологий - SIGGRAPH.

В одном из докладов SIGGRAPH основатель и генеральный директор NVIDIA Дженсен Хуанг объявил о новой функции Picasso для создания фотореалистичных карт среды 360 HDRi для освещения 3D-сцен с помощью простых текстовых или графических подсказок.

В демонстрации исследователи NVIDIA экспериментируют со сценой в гостиной, как это может сделать дизайнер интерьеров с помощью ИИ в любом приложении для 3D-рендеринга. В этом случае исследователи используют NVIDIA Omniverse USD Composer — эталонное приложение для сборки и композиции сцен с использованием универсального описания сцены, известного как OpenUSD , — чтобы добавить стену с кирпичной текстурой, создать и изменить выбор ткани для дивана и декоративных подушек, а также чтобы включить абстрактный рисунок животного в определенную область стены.

Наш чат👌: @text2image

Shutterstock запустил новый инструмент генерации 8K 360 HDRi панорам по тексту на базе Picasso от NVIDIA

Autodesk интегрирует Picasso в Maya

твиттер

#text2image #text2panorama #HDRI #rendering

а вот пример работы с PIcasso

#text2image #rendering

Heygen

Известен уже не первый день анимацией говорящих голов Гарри Поттера из Midjourney. Но наделал шума на днях с этим видео. И слева и справа - генерация видео по тексту. Для обучения на каждого персонажа требуется всего пара минут материала.

Записаться в вейтлист

#text2video #humananimation #TTS #humanavatar #talkinghead

AudioCraft

Meta представила пакет нейросетей для генерации звука

- MusicGen: Создание музыки из текста
- AudioGen: Создание реалистичных звуков из текста, таких как лай собаки или гудок автомобиля
- EnCodec: Последнее обновление обеспечивает высококачественную генерацию музыки с минимальным количеством артефактов

Код
Демо

#text2music #text2audio

И еще отличная новость.
AudioCraft, AudioLDM 2 и некоторые другие нейросетки можно установить локольно к себе на компьютер в один клик через специальный браузер Pinokio.

Устанавливаете браузер, нажимаете кнопку Discover и выбираете из доступных нейросетей.

❗️Имейте ввиду, что при установке нейросетей браузер скачает увесистые файлы, для AudioLDM 2 это 8+ Гб

Скачать Pinokio

Статья от автора устновщика на английском с инструкцией и примерами

#text2music #text2audio #tools

🎉 Сегодня праздник у ребят.
Сегоооодня будут танцы с бубном

Вышел #ControlNet для SDXL. Пока только Canny

Гитхаб
Опиcание и веса на huggingface
Сетап для ComfyUI Описан здесь

#image2image #text2image

Вторая жизнь сберовского GigaChat'а, с блэкджеком и картинками

Чтобы начать пользоваться, нужно перейти по ссылке и получить инвайт (предварительно надо зарегистрироваться на платформе)

#chatbot #llm #text2image #multimodal

Если кто-то хочет погенерить в SDXL 1.0, причем (о, боги) на NVidia A100 40(!)GB, то вот вам аттракцион невиданной щедрости от китайцев.
Они подняли Automatic1111 на сервере и бахнули ссылку в общий доступ.
Позавчера у меня 1024х1024 считалось примерно три секунды(!).
Сегодня уже приподвзлегло, но все равно пыхтит и считает.
http://openxlab.org.cn/apps/detail/camenduru/stable-diffusion-webui

SSIF: Single-shot Implicit Morphable Faces with Consistent Texture Parameterization

NVIDIA лютует на SIGGRAPH 2023. Удобная для анимации модель, способная реконструировать 3D-лицо по одному изображению.

Наши неявно изменяемые модели лиц можно использовать для рендеринга аватара в новых ракурсах, анимации выражений лица путем изменения кодов выражений и редактирования текстур путем непосредственного рисования на изученных картах UV-текстур.

Кода нет

#imageto3D #image2face #talkinghead #humananimation #image2head #humanavatar

PlayHT2.0

Новая модель генерации речи, в закрытом бета-тестировании.

• Может генерировать речь менее чем за 800 мс и мгновенно клонировать голоса с разными акцентами.
• PlayHT2.0 понимает эмоции и стили разговора и применяет их к любому голосу в режиме реального времени.
• Модель доступна через студию и API в альфа-версии, ожидаются крупные обновления

Студия
API

#voicecloning #tts #text2speech

Бесплатно доступно 2500 слов

Обновленный RunwayML поддерживает генерацию видео продолжительностью 18 секунд

reddit

Что если бы Stable Diffusion был так же прост в использовании как MidJourney, но при этом оставался бесплатным и его можно было локально запустить на 4Gb VRAM?

Fooocus - ответ на этот вопрос от автора ControlNet.
Легкая установка. Модель SDXL скачается при первом запуске. Благодаря куче оптимизаций, никаких плясок с настройками, только промты и картинки.

Скачать установщик
Гитхаб

#image2image #text2image #tools

SDXL-controlnet: OpenPose (v2)

А вот и OpenPose подвезли.
Ждем мануалов от первопроходцев

SDXL-controlnet: Depth

А вот и depth для SDXL!

GamifAI

Генератор игр по тексту. Непохоже на те нерабочие генераторы которые мне попадались раньше (раз, два), тут все серьезно. Но наверняка узнаем только попробовав.

Записаться в бету

#text2game #gaming