Волнительное письмо пришло от Stabilty AI
Ранее они объявляли о планах создать открытую модель для генерации музыки, подобно тому как создали Stable Diffusion для изображений.

Свершилось! Проверьте почту чтобы получить приглашение в дискорд проекта Harmonai.

Если вы не подписаны на рассылку stability.ai, не переживайте, нейросеть Dance Diffusion доступна в колабе!

Возможности:
- генерация музыки/звука
- регенерация (изменение) входного аудиофайла.
- перенос стиля
- интерполяция звуков
- файнтюн (не спрашивайте что это)

Подробно как что работает еще не знаю

Гитхаб
#aimusic

Мда, на музыку по одному клику рассчитывать не приходится. #dancediffusion генерирует звуки продолжительностью несколько секунд, качество низкое, музыкальная связность никакая на steps = 200.

С регенерацией чуть получше, но качество звука и музыкальность тоже не айс, прикрепляю примеры с регенерацией имперского марша

Впрочем, думаю, сила ее в файнтюне, а рассчет на комьюнити, которое кинется мастерить уже пригодные для использования сервисы подобно тому как ими обрастает stablediffusion

Говорят, теперь доступно всем

https://labs.openai.com/auth/signup

Но наверняка кроме россиян, поэтому запаситесь vpn и способом получить смс на иностранный номер

Свежий инвайт в harmonai, налетай

https://discord.gg/harmonaiplay

MIT Composable Diffusion: ну, за композеров.

И не только.

Это уже некая метамодель, которая разбирает текстовый ввод на части и натравливает несколько нейросеток на разные куски текста с целью определения "отношений" между объектами.

Возьмем, к примеру, красный грузовик и зеленый дом. Когда эти предложения становятся очень сложными, модель путает понятия "красный грузовик" и "зеленый дом". Типичный генератор, такой как DALL-E 2, может поменять эти цвета местами и создать зеленый грузовик и красный дом. Подход MIT может справиться с таким типом связывания атрибутов с объектами, он может обрабатывать каждый объект индивидуально.

Интересно, что создатели метят не только в область арта и смешных картинок, но и в образование, и тут можно точно начать выпивать за иллюстраторов учебников, ибо:
"Модель может эффективно определять позиции объектов и описания отношений между ними, что является сложной задачей для существующих моделей генерации изображений. Например, поместить объект и куб в определенное положение, а сферу - в другое. DALL-E 2 хорошо генерирует естественные изображения, но иногда испытывает трудности с пониманием объектных отношений. Помимо искусства и творчества, возможно, мы могли бы использовать нашу модель для обучения. Если вы хотите сказать ребенку, чтобы он положил куб на шар, и если мы скажем это словами, ему будет трудно понять. Но наша модель может сгенерировать образ и показать его".

Composable Diffusion использует диффузию наряду с композиционными операторами для объединения текстовых описаний без дополнительного обучения. Подход команды более точно передает детали текста, чем оригинальная диффузионная модель, которая напрямую кодирует слова как одно длинное предложение. Например, при наличии слов "розовое небо", "голубая гора на горизонте" и "цветущие вишни перед горой", модель команды смогла создать именно такое изображение, в то время как оригинальная диффузионная модель сделала небо голубым, а все перед горой - розовым.

В общем, впереди еще много новых открытий, возникающих на основе комбинирования уже имеющихся моделей. Нейрометамодерн.

https://scitechdaily.com/mit-ai-image-generator-system-makes-models-like-dall-e-2-more-creative/

MetaAI показали нейросеть MAKE-A-VIDEO, способную генерировать короткие видео-ролики по текстовому описанию!
Это новый уровень, сходите по ссылке, узрите.

Там же можно записаться в вейтлист на демо

ИИшечка защищает газон от соседских кур. Автор видео натренил нейронку включать полив когда на газоне появляются куры. Да, реагирует только на кур. Сейчас имея вебкамеру и вы могли бы такую нейронку натренить

Google создал нейросеть DreamFusion text-to-3D, способную создавать 3D модели по текстовому описанию на основе Imagen!

Предположу, что ни кода, ни демо доступа для простых смертных не будет, но через полгода будет открытая нейросетка того же уровня или лучше