Рен (Wren) из Corridor Digital Собрал NeRF Нуминора в Luma AI

Генератору музыки Mubert, о котором я недавно писал, прикрутили веб-демо на huggingface. Теперь можно не запариваться с колабом.
Не забудьте дунуть вписать любой имейл в верхнее поле, иначе магия не сработает.

#text2music #aimusic

имерский марш из муберта

Учёные в США разработали свитер, сбивающий с толку алгоритмы распознавания лиц

Если можно перевести текст в картинку, и можно перевести текст в музыку, то можно и картинку в музыку!

#Image2music на базе Mubert и CLIP Interrogator

Следом будет несколько примеров

Сгенерировано по кадрам из фильмов:
- Звездные Войны
- Джеймс Бонд
- Охотники за привидениями
- Криминальное чтиво

MagicMix: Semantic Mixing with Diffusion Models

В отличие от переноса стиля, когда изображение стилизуется в соответствии с эталонным стилем без изменения содержания изображения, семантическое смешивание семантически смешивает две разные концепции для синтеза новой концепции при сохранении пространственного расположения и геометрии.

Кода нет

Коллективное нейротворчество в реальном времени.
Есть 50 разных комнат, можно зайти в любую
https://huggingface.co/spaces/huggingface-projects/stable-diffusion-multiplayer?roomid=room-1

Чистая магия
NeRFPlayer

Снимаешь сцену движущейся камерой, чтобы был параллакс.
И потом смотришь ее с любой точки!

Ждем код

А для генератора музыки Dance Diffusion появилась веб-демка на huggingface.
Попробовать

#NeRF Модель объемного представления объектов с семантическим разбиением. То есть, она учится каждый объект в сцене воспринимать отдельно. Кода нет
gCoRF: Generative Compositional Radiance Fields

Синтез человеческого вокала
NNSVS: A Neural Network-Based Singing Voice Synthesis Toolkit
Звучит прилично на японском (?)
Судя по документации, можно прикручивать разные языки
Код

Галя, тут GPT3 прямо в Экселе!

Чел интегрировал GPT3 в Гугл таблицы. Нужно только вместо формулы вписать =GPT3("..."), где указать что сделать с данными в качестве запроса.

Особенно понравилось, как автор просит сгенереть письма благодарности гостям в зависимости от того, что они подарили на свадьбу. Вот где прагматизм.

Однако, на запросе выдать почтовые индексы по имени городов GPT3 ошибается в 20% случаев 🌚. Будущее с AI будет великое, говорили они!

@ai_newz

Реалистичная Lo-fi girl

NVIDIA как всегда со своими семантическими масками. Сходите по ссылке, там есть на что посмотреть! https://deepimagination.cc/eDiffi/

иДиффи! Плюс Экспертные Шумодавы!

А вот и ответочка Нвидии на все эти Stable Diffusion, Midjourney и DALLE2.
И какая!

Для любопытных: Под капотом там всеми нами любимая Диффузия, когда из шума рождаются картинки, но Нвидия вводит понятие Expert Denoisers, когда на каждом шаге денойзинга используется своя модель.
При обучении традиционной диффузионной модели одна модель обучается шумоподавлению всего распределения шума. Нвидия обучает набор сеток Expert Denoisers, которые специализируются на шумоподавлении на разных интервалах генеративного процесса.

Для всех: над капотом там улучшенная производительность и качество (гусарам пока верят на слово). Картинки на сайте подобраны в лучших традициях сбор вишен.
А также две фишки: новая и старая.

Новая: рисование словами Paint with Words (неудачный термин имхо) - это когда вы берете часть вашей текстовой подсказки и а потом рисуете маску(область) на картинке и говорите "рисуй это тут", потом еще немного текста и другую область: "а это тут". Эдакий Multi Inpainting, когда каждой части промпта соответствует своя область на картинке. И тут мы видим реинканацию GauGAN-a, известного в миру как Гоген, той самой смешной рисовалки из 2018 года. UI конечно адовый, но вот если эту фичу прикрутить к Фотошопу или After Effects, то может быть бомба.
Поглядите видео в следующем посте, там поймете о чем речь.

Старая: Перенос стиля в котором Нвидия набила руку и который производится в "смысловом пространстве". Выглядит нарядно.

Будем сегодня разглядывать и гадать, как когда и где.

Много картинок и демок вот тут:
https://deepimagination.cc/eDiffi/