GenXD: Generating Any 3D and 4D Scenes

Генерация 3D и 4D сцен от Университета Сингапура и Microsoft

На вход подают камеру и движения объекта (сам не понял. Видимо, видео)

Код ждем

#videoto3d #videoto4d

DiffSplat: Repurposing Image Diffusion Models for Scalable 3D Gaussian Splat Generation

Генератор 3D объектов на гауссианах по картинке, по тексту. Поддерживает контроль генерации контролнетом - в примерах есть canny, depth, normals

Модель представляет собой файнтюн PixArt-Sigma-XL-2-512-MS

Код
Веса
Демо ждем

#textto3d #imageto3d #gaussian #conditioning #text2gaussian #image2gaussian

T2V 01 Director

Новая версия видеогенератора от Hailuo
Основная фишка - контроль камеры.

Гайд от режиссера Мигеля Иванова

#text2video #image2video #cameracontrol

trumped.ai

Негерируем фейковые заявления Трампа

#text2video #tts #lipsync #voicecloning

YuE: Open Music Foundation Models for Full-Song Generation

Заявка на конкуренцию Suno в опенсорсе - китайский генератор песен.
Русского языка пока нет, есть английский, китайский, японский и корейский.

Влезает в 24ГБ VRAM

Код
Видеотуториал

#text2music #music

В 3D генератор Hunyuan3D-2 завезли приблуду для Блендера

Инструкция на гитхабе

#textto3d #imageto3d #blender

Riffusion FUZZ

Новая модель для генерации музыки на сервисе Riffusion

Интересная фишка - персонализация. По мере накопления ваших генераций сервис запоминает ваши предпочтения и подстраивается под вас

Умеет песни и инструментал
Есть свой генератор текстов Ghostwriter

Умеет делать музыку из вашего образца

Есть функция Remix - переработка чужой или своей генерации

На время бетатестирования все бесплатно

Демо - не знаю зачем, но здесь будет демоспейс

#text2music #music2music #audio2music

NVIDIA Broadcast 2.0.0

День звука на канале продолжается

Обновилась утилита рилтаймовой обработки звука и видео

По звуку:
удаляет эхо, посторонний шум, оставляя голос. наверчивает ИИ-эквалазер, приближая говномикрофоны к студийному качеству

По видео: направляет зрачки в камеру, блюрит фон, заменяет фон, удаляет шум. Релайтинг лица - подсвечивает лицо виртуальным источником.

#realtime #streaming #denoise #audioenhance #eyecontact #bgreplacement #bg #relighting #deecho

Luma апскейл 4K

Недавно всем выдали доступ к своей модели Ray 2
А теперь вот представили видеоапскейлер для генераций

Ну и не стоит ждать от него чудес

#upscale

o3-mini для всех

Open AI таки выдали всем свою рассуждающую модель o3-mini

По лимитам для бесплатников непонятно

Пользуемся

#news

Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement

День звука продолжается

Клонировщик-генератор голоса с контролем эмоций и тембра

Есть 4 модели

- Vevo-Timbre: преобразование голоса с сохранением стиля.
- Vevo-Style: преобразование стиля, например преобразование акцента и эмоций.
- Vevo-Voice: преобразование голоса с учетом стиля.
- Vevo-TTS: генерация речи по тексту с регулируемым стилем и тембром.

Примеры по ссылке в заголовке

Обучен на шести языках - английский, китайский, немецкий, французский, японский и корейский
Так что на русский пока не стоит рассчитывать

Код

#voicecloning #speech2speech #tts #text2speech

Отличный подарок к дню рождения, спасибо ❤️

Коллекция фигурок пополнилась

#оффтоп

не зашло) 🤷‍♂️

Inference Providers

HuggingFace запустил Inference Providers - бессерверный запуск моделей.

Теперь не надо никуда ходить чтобы потестить интересную модель, даже на Spaces.

Обеспечивают этот праздник партнеры - fal, Replicate, Sambanova, Together AI. Можете в аккаунте указать их API ключи если у вас есть. А можете и не указывать, тогда инференс будет на мощностях HF

Бесплатным пользователям отсыпают немножко токенов в день

#news