Google Magenta RT

модель создания музыки в реальном времени.

Впервые Google представили Magenta еще в 2016 году. С тех пор появился плагин к Ableton кроме всего прочего. И вот новая рилтаймовая модель

Генерирует музыку на ходу по текстовым запросам и/или аудиосэмплам

Модель основана на архитектуре MusicLM и использует блок-авторегрессию для генерации непрерывного потока музыки

Оперирует двухсекундными отрывками, поэтому из сэмпла может забрать только 2 секунды для образца стиля. Задержка 2 секунды - можно уменьшить для большей реактивности.

Собственный контекст - всего 10 секунд, поэтому не рассчитывайте на длинные музыкальные структуры.

Не умеет создавать песни, ибо на лирике не обучался.

Обещают добавить локальный запуск и кастомизацию

Код
HF
Колаб

#text2music #music2music #audio2music #musicediting #realtime #dj

Rodin add-on for Blender

отвлечемся от потока хайлуовщины.
Deemos выпустили полноценный плагин для Блендера. Создать модель по картинке в один клик, панель ассетов, 3D контролнет, все дела

скачать - впишите в окошко цены 0 или другую сумму которую хотите заплатить

#blender #imageto3d

OmniGen2: Exploration to Advanced Multimodal Generation

Новая версия редактора-генератора-персонализатора изображений

Создает картинки по описанию, редактирует их по инструкциям, переносит объекты из одной картинки в другую.

Есть режим с рефлексией: модель понимает, что изображено на картинке, и может улучшать свои результаты, анализируя их

Код

Демоспейсы, большинство из них скоро умрет:
https://huggingface.co/spaces/OmniGen2/OmniGen2
https://8f10329141d53b6884.gradio.live/
https://110863cb06c6c44bd2.gradio.live/
https://981758b17b4197aea7.gradio.live/
https://981758b17b4197aea7.gradio.live/

С чатом:
https://9315447fc78ef638e3.gradio.live/
https://abe054be89543e4cef.gradio.live/
https://4aa913765db00bbe51.gradio.live/
https://f28a8718565627d2cb.gradio.live/

#personalization #imageediting #text2image #image2image #referencing

SongBloom

Генератор полных музыкальных композиций с согласованной структурой и гармоничными инструментальными и вокальными элементами.

Модель использует комбинированный подход, объединяющий авторегрессионное моделирование и диффузионные процессы для создания музыки. Возможности модели:

- Постепенное расширение музыкального эскиза от короткого к длинному.

- Уточнение деталей от общих до более тонких.

- Интеграция семантического и акустического контекста для управления процессом генерации.

Код
Веса

#text2music #music #musicediting

Гудини, что с лицом?

Горячие опенсорсные девушки!

Контроль пламени с помощью масок в Wan. Залипательно.

А Midjourney так может?

Автор

ComfyUI Nodes for SongBloom

Ноды вчерашнего генератора музыки

Спасибо @MaxKhtv

#text2music #music #musicediting #comfyui

заработал демоспейс мобильного генератора речи и подкастов vui

По-русски ни бельмес

Демо

#tts #text2speech #voicecloning #conversation #mobile #podcast

astra.app

"Первый в мире" креативный апскейлер видео от Topaz Labs вышел из стадии раннего доступа и доступен для всех... от $39 в месяц

#upscalevideo #upscale #frameinterpolation

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

Немножко ресерча, который скоро вдохнет новые силы в LLM

TLDR: LoRa для языковых моделей без дообучения

Проект Drag-and-Drop LLMs (DnD) — это метод, который позволяет быстро адаптировать большие языковые модели к новым задачам без дополнительного обучения. Модель использует текстовые подсказки для создания необходимых параметров и работает быстрее, чем традиционные методы настройки. Это делает её эффективной для решения различных задач, включая математику, кодирование и анализ мультимодальных данных

Код ждем

#llm #research