NEW BOT Телеграм, страница

Janus-Pro

Мультимодальная авторегрессионная модель от DeepSeek

Генерирует картинки "лучше, чем DALL-E 3, SD3 и Emu3" (нет), а понимает изображение точнее, чем LLaVA

Сперва меня картинки не впечатлили, отбраковал новость, потом передумал

Код
Демо

#multimodal #mllm #text2image #image2text

👍4

1.91K viewsedited 08:02

0:03

0:05

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

Нишевый оживлятор поясных портретов, негерит взаимодействие с небольшими предметами для создания видео презентатора-продажника

Код ждем

#humananimation #portraitanimation #image2video #pose2video

❤7👍2😐1

2.03K views08:38

GenXD: Generating Any 3D and 4D Scenes

Генерация 3D и 4D сцен от Университета Сингапура и Microsoft

На вход подают камеру и движения объекта (сам не понял. Видимо, видео)

Код ждем

#videoto3d #videoto4d

👍4

2.04K views09:09

0:24

DiffSplat: Repurposing Image Diffusion Models for Scalable 3D Gaussian Splat Generation

Генератор 3D объектов на гауссианах по картинке, по тексту. Поддерживает контроль генерации контролнетом - в примерах есть canny, depth, normals

Модель представляет собой файнтюн PixArt-Sigma-XL-2-512-MS

Код
Веса
Демо ждем

#textto3d #imageto3d #gaussian #conditioning #text2gaussian #image2gaussian

🔥6👍2

2.23K viewsedited 09:38

0:12

LLaSA: Scaling Train-Time and Test-Time Compute for LLaMA-based Speech Synthesis

Новая SOTA (state of the art - достижение) в клонировании голоса с контролем эмоций и ультрареалистичным звуком.

Клонирует голос с акцентом по 5-10 секундному образцу

Хотя на TTS-арене на 12 месте, но может еще рано, он еще свежий

В основе Llama 3.2

Поддерживает клонирование голоса на английском и китайском языках

Есть 1B, 3B, обещают 8B

Сайта не нашел. Есть видео от какого-то индуса с локальным запуском

Гитхаб - обучение с нууля
Демо
local-llasa-tts - для локального запуска с GUI на gradio

#voicecloning #tts #text2speech #leaderboard

👍10❤2

2.27K views11:47

0:54

T2V 01 Director

Новая версия видеогенератора от Hailuo
Основная фишка - контроль камеры.

Гайд от режиссера Мигеля Иванова

#text2video #image2video #cameracontrol

🔥17

3.66K views07:47

0:38

trumped.ai

Негерируем фейковые заявления Трампа

#text2video #tts #lipsync #voicecloning

🔥12🍾2

2.51K views09:20

3:52

Media is too big

YuE: Open Music Foundation Models for Full-Song Generation

Заявка на конкуренцию Suno в опенсорсе - китайский генератор песен.
Русского языка пока нет, есть английский, китайский, японский и корейский.

Влезает в 24ГБ VRAM

Код
Видеотуториал

#text2music #music

❤6👍4

2.16K viewsedited 07:50

1:17

В 3D генератор Hunyuan3D-2 завезли приблуду для Блендера

Инструкция на гитхабе

#textto3d #imageto3d #blender

👍13🔥4

2.31K views08:37

0:28

Riffusion FUZZ

Новая модель для генерации музыки на сервисе Riffusion

Интересная фишка - персонализация. По мере накопления ваших генераций сервис запоминает ваши предпочтения и подстраивается под вас

Умеет песни и инструментал
Есть свой генератор текстов Ghostwriter

Умеет делать музыку из вашего образца

Есть функция Remix - переработка чужой или своей генерации

На время бетатестирования все бесплатно

Демо - не знаю зачем, но здесь будет демоспейс

#text2music #music2music #audio2music

❤7👍4

2.13K views09:13

1:07

NVIDIA Broadcast 2.0.0

День звука на канале продолжается

Обновилась утилита рилтаймовой обработки звука и видео

По звуку:
удаляет эхо, посторонний шум, оставляя голос. наверчивает ИИ-эквалазер, приближая говномикрофоны к студийному качеству

По видео: направляет зрачки в камеру, блюрит фон, заменяет фон, удаляет шум. Релайтинг лица - подсвечивает лицо виртуальным источником.

#realtime #streaming #denoise #audioenhance #eyecontact #bgreplacement #bg #relighting #deecho

👍11🔥2

2.61K viewsedited 11:43

0:28