Virtual Community: An Open World for Humans, Robots, and Society

Cоздание интерактивных и масштабируемых симуляций открытых миров, где используются реальные географические данные и компьютерные модели для имитации жизни людей и роботов.

Давайте думать, подсказывайте как сделать-то по красоте это можно использовать?

Код

#world #robot #simulation #interacton #HRI

Google Magenta RT

модель создания музыки в реальном времени.

Впервые Google представили Magenta еще в 2016 году. С тех пор появился плагин к Ableton кроме всего прочего. И вот новая рилтаймовая модель

Генерирует музыку на ходу по текстовым запросам и/или аудиосэмплам

Модель основана на архитектуре MusicLM и использует блок-авторегрессию для генерации непрерывного потока музыки

Оперирует двухсекундными отрывками, поэтому из сэмпла может забрать только 2 секунды для образца стиля. Задержка 2 секунды - можно уменьшить для большей реактивности.

Собственный контекст - всего 10 секунд, поэтому не рассчитывайте на длинные музыкальные структуры.

Не умеет создавать песни, ибо на лирике не обучался.

Обещают добавить локальный запуск и кастомизацию

Код
HF
Колаб

#text2music #music2music #audio2music #musicediting #realtime #dj

Rodin add-on for Blender

отвлечемся от потока хайлуовщины.
Deemos выпустили полноценный плагин для Блендера. Создать модель по картинке в один клик, панель ассетов, 3D контролнет, все дела

скачать - впишите в окошко цены 0 или другую сумму которую хотите заплатить

#blender #imageto3d

OmniGen2: Exploration to Advanced Multimodal Generation

Новая версия редактора-генератора-персонализатора изображений

Создает картинки по описанию, редактирует их по инструкциям, переносит объекты из одной картинки в другую.

Есть режим с рефлексией: модель понимает, что изображено на картинке, и может улучшать свои результаты, анализируя их

Код

Демоспейсы, большинство из них скоро умрет:
https://huggingface.co/spaces/OmniGen2/OmniGen2
https://8f10329141d53b6884.gradio.live/
https://110863cb06c6c44bd2.gradio.live/
https://981758b17b4197aea7.gradio.live/
https://981758b17b4197aea7.gradio.live/

С чатом:
https://9315447fc78ef638e3.gradio.live/
https://abe054be89543e4cef.gradio.live/
https://4aa913765db00bbe51.gradio.live/
https://f28a8718565627d2cb.gradio.live/

#personalization #imageediting #text2image #image2image #referencing

SongBloom

Генератор полных музыкальных композиций с согласованной структурой и гармоничными инструментальными и вокальными элементами.

Модель использует комбинированный подход, объединяющий авторегрессионное моделирование и диффузионные процессы для создания музыки. Возможности модели:

- Постепенное расширение музыкального эскиза от короткого к длинному.

- Уточнение деталей от общих до более тонких.

- Интеграция семантического и акустического контекста для управления процессом генерации.

Код
Веса

#text2music #music #musicediting