Немного сатиры

EDGE: Editable Dance Generation From Music

"Мы представляем EDGE, мощный метод редактируемой генерации танцев, способный создавать реалистичные, физически правдоподобные танцы, сохраняя при этом верность произвольной входной музыке. EDGE использует модель диффузии на основе преобразования в сочетании с Jukebox, мощным инструментом извлечения музыкальных функций, и предоставляет мощные возможности редактирования, хорошо подходящие для танца."

• Подробнее

Пишем что на картинке заменить. Потом пишем на что заменить.
Пока ничего путного у меня не вышло кроме лысины

#inpainting

Очередная анимация лиц
Next3D

Возможности:
- анимация лица по образцу видео
- виртуальный 3D аватар по одному фото
- стилизация (примеры на сайте)

Из недостатков:
- с лицом движется вся картинка
- код еще не выложили

#faceanimation

Нейросеть обучается на одном изображении или нескольких кадрах видео. По нескольким кадрам определяет движение и динамику сцены. Затем он может экстраполировать видео (как вперед, так и назад во времени), увеличить разрешение и интерполировать кадры, генерировать вариации и перерасполагать объекты в кадре.

SinFusion: Training Diffusion Models on a Single Image or Video

Код обещают выложить
#video2video #image2image

Еще одна лицевая анимация, на этот раз на основе #NeRF. Есть рульки, но опять нет ни кода, ни демки

Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition

#faceanimation

Эксперименты с отзеркаливанием в #NeRF
Какой потенциал для клипов и моушендизайна!

твиттер

Можно вспомнить недавние примеры моделей генерации видео с движущейся камерой раз и два

И вот еще один генератор длинных пролетов из одного входного изображения
DiffDreamer: Consistent Single-view Perpetual View Generation with Conditional Diffusion Models
Разрешение детское, но ресерчерам явно интересно это направление, прогресс идет.

Код обещают потом

#image2video #videogeneration

К другим новостям.
MetaAI (подразделение запрещенной в РФ Meta) создали ИИ, играющий в Дипломатию на уровне человека (или лучше). CICERO (Цицерон) в процессе игры должен общаться с шестью другими игроками. Состоит он из двух модулей: стратегического и языкового.

Дипломатия десятилетиями рассматривалась как практически невыполнимая грандиозная задача в области искусственного интеллекта, потому что она требует от игроков овладения искусством понимания мотиваций и перспектив других людей; составления сложных планов и корректировки стратегий; а затем использования естественного языка для достижения соглашений с другими людьми, убеждения их в создании партнерских отношений и альянсов, а также больше. ЦИЦЕРОН настолько эффективно использует естественный язык для ведения переговоров с людьми в дипломатии, что они часто предпочитали работать с ЦИЦЕРОНОМ, а не с другими участниками-людьми.

ИИ умнеет. Страх или восторг?

#AI #NLP #generalAI

Ai каналы нагонят слухов про stablediffusion V2

2048x2048

🔥 StableDiffusion 2.0

Stable Diffusion 2.0 содержит ряд значительных улучшений и функций по сравнению с исходной версией V1.

- Новые модели преобразования текста в изображение.
- Диффузионные модели Upscaler со сверхвысоким разрешением.
- Модель диффузии глубины изображения.
- Обновленная модель Inpainting Diffusion.
- Обновленная модель отрисовки оптимизирована для модели преобразования текста в изображение Stable Diffusion 2.0.

• Подробнее
• Попробовать
• GitHub