Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video
Поженили Stable Audio с моделью мира V-JEPA 2 чтобы получить генератор звуковых эффектов к видео
Кода и весов не видать
#research #foley #video2sfx #sfx #video2audio #video2sound
Поженили Stable Audio с моделью мира V-JEPA 2 чтобы получить генератор звуковых эффектов к видео
Кода и весов не видать
#research #foley #video2sfx #sfx #video2audio #video2sound
👍7😁3
Media is too big
VIEW IN TELEGRAM
MiniMax Music 2.0
Заявлено:
- Реалистичный вокал в разных стилях с разными эмоциями
- Поп, джаз, блюз, рок, фолк, дуэты и а капелла
- Качество звука профессионального уровня
- Полные 5-минутные композиции с мультиинструментальным управлением
- Точный контроль музыкальной выразительности
API
Также есть на fal.ai - 0,03 доллара за генерацию
#text2music #music
Заявлено:
- Реалистичный вокал в разных стилях с разными эмоциями
- Поп, джаз, блюз, рок, фолк, дуэты и а капелла
- Качество звука профессионального уровня
- Полные 5-минутные композиции с мультиинструментальным управлением
- Точный контроль музыкальной выразительности
API
Также есть на fal.ai - 0,03 доллара за генерацию
#text2music #music
👍8🥴4❤2😁2
Media is too big
VIEW IN TELEGRAM
Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations
Модель для работы с 3D-представлениями. Имитирует человеческий процесс обучения абстрактным понятиям.
Проще говоря, создает реконструкции 3D сцен по видео или облаку точек. Ну то есть на вход можно подать и готовую сцену на гауссианах .ply, и он должен ее улучшить.
Код
Демо
#reconstruction #video2scene #rendering #gaussian #videoto3d
Модель для работы с 3D-представлениями. Имитирует человеческий процесс обучения абстрактным понятиям.
Проще говоря, создает реконструкции 3D сцен по видео или облаку точек. Ну то есть на вход можно подать и готовую сцену на гауссианах .ply, и он должен ее улучшить.
Код
Демо
#reconstruction #video2scene #rendering #gaussian #videoto3d
👍4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
WorldGrow: Generating Infinite 3D World
Генератор бесконечных явных 3D-миров, альтернатива существующим симуляторам интерактивных миров
Создаёт бесконечно расширяемые 3D-миры с согласованной геометрией и реалистичным внешним видом
Не страдает от геометрических и визуальных несоответствий, как методы 2D-лифта.
Не ограничивается генерацией объектов, как современные 3D базовые модели, а работает на уровне сцен.
Код ждем
#text2world #world #text2scene
Генератор бесконечных явных 3D-миров, альтернатива существующим симуляторам интерактивных миров
Создаёт бесконечно расширяемые 3D-миры с согласованной геометрией и реалистичным внешним видом
Не страдает от геометрических и визуальных несоответствий, как методы 2D-лифта.
Не ограничивается генерацией объектов, как современные 3D базовые модели, а работает на уровне сцен.
Код ждем
#text2world #world #text2scene
👍12
💻 ИИ - не просто инструмент?
Я айтишник с 30-летним стажем, и когда я начинал — интернет шумел модемами, код писали в блокноте, а искусственный интеллект был темой для обсуждения в академических кругах.
Сегодня я — CDTO в IThub, и я замечаю, как ИИ перестраивает процессы: от архитектуры продуктов до стратегии компаний.
⚙️ Мы уже не просто автоматизируем — мы передаём машинам часть мышления.
Мы учим ИИ, а он учит нас, а чему именно — разбираю на своем канале @aivkube 🧠 На нем тестирую LLM, анализирую рынок IT профессий и разбираю, куда всё это идёт с точки зрения технологий и стратегии.
👨🏻 Без хайпа, без воды — мой взгляд как практика.
Если вы хотите понимать не только что делает ИИ, но и почему это важно сейчас — присоединяйтесь.
👉 @aivkube
Erid: 2SDnjdLqzyd
Название: ДОЛГОВ СЕРГЕЙ СЕРГЕЕВИЧ
ИНН: 503215950876
Я айтишник с 30-летним стажем, и когда я начинал — интернет шумел модемами, код писали в блокноте, а искусственный интеллект был темой для обсуждения в академических кругах.
Сегодня я — CDTO в IThub, и я замечаю, как ИИ перестраивает процессы: от архитектуры продуктов до стратегии компаний.
⚙️ Мы уже не просто автоматизируем — мы передаём машинам часть мышления.
Мы учим ИИ, а он учит нас, а чему именно — разбираю на своем канале @aivkube 🧠 На нем тестирую LLM, анализирую рынок IT профессий и разбираю, куда всё это идёт с точки зрения технологий и стратегии.
👨🏻 Без хайпа, без воды — мой взгляд как практика.
Если вы хотите понимать не только что делает ИИ, но и почему это важно сейчас — присоединяйтесь.
👉 @aivkube
Erid: 2SDnjdLqzyd
Название: ДОЛГОВ СЕРГЕЙ СЕРГЕЕВИЧ
ИНН: 503215950876
😁3🍌3😐1👀1
ChronoEdit: Towards Temporal Reasoning for Image Editing and World Simulation
NVIDIA выпустила в опенсорс модель, которая подходит к задаче редактирования изображения как к генерации видео. Иначе говоря, взяли видеогенератор и заставили редактировать картинки с соблюдением физики, согласованности и всего вот этого.
Бонус такого подхода — можно получить визуализацию процесса «рассуждения» модели в виде видео
Гитхаб
Демо
HF
#imageediting #image2video
NVIDIA выпустила в опенсорс модель, которая подходит к задаче редактирования изображения как к генерации видео. Иначе говоря, взяли видеогенератор и заставили редактировать картинки с соблюдением физики, согласованности и всего вот этого.
Бонус такого подхода — можно получить визуализацию процесса «рассуждения» модели в виде видео
Гитхаб
Демо
HF
#imageediting #image2video
👍13🔥4
Lookahead Anchoring: Preserving Character Identity in Audio-Driven Human Animation
Метод оживления портретов по аудио, фокус на удержании идентичности от KAIST
Код ждем
#portraitanimation #characteranimation #image2video #personalization #audio2video #speech2video
Метод оживления портретов по аудио, фокус на удержании идентичности от KAIST
Код ждем
#portraitanimation #characteranimation #image2video #personalization #audio2video #speech2video
🔥9👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Game-TARS
Игровой агент от ByteDance, осваивает видеоигры и цифровые среды, используя человекоподобное восприятие и мышление
Ориентирован на унерсальность, может играть в незнакомые игры, на которые не обучался.
Выбил #SOTA на Open-world Minecraft
Гитхаб - ссылка ведет на UI-TARS
#gaming #agent
Игровой агент от ByteDance, осваивает видеоигры и цифровые среды, используя человекоподобное восприятие и мышление
Ориентирован на унерсальность, может играть в незнакомые игры, на которые не обучался.
Выбил #SOTA на Open-world Minecraft
Гитхаб - ссылка ведет на UI-TARS
#gaming #agent
❤3👍3
Че по лорам
Пара интересных лор для Qwen-Image-Edit, принесенные нашим чатиком
Qwen-Edit-2509-Multiple-angles - изменение ракурса
Relight - изменение освещения
Спасибо @m_franz @StanShumsky
#imageediting #lora #qie #novelview #relighting
Пара интересных лор для Qwen-Image-Edit, принесенные нашим чатиком
Qwen-Edit-2509-Multiple-angles - изменение ракурса
Relight - изменение освещения
Спасибо @m_franz @StanShumsky
#imageediting #lora #qie #novelview #relighting
👍25🔥4
👍2😱2🌚1
LongCat-Flash-Omni
Омнимодальная голосо-языковая модель от авторов LongCat-Video, умеет вести диалог в реальном времени. Разговаривает и видит собеседника.
560B параметров, из которых 27B активных. Да, это совет экспертов #MoE
Контекст - 128K
По тестам приближается к Gemini-2.5-Flash
На офсайте по-русски понимает но голосом не говорит пока. Отвечает приятным китайским голосом. Зато потом в стенограмме видно что она вас поняла и ответила по сути. Мои реплики конечно крайне интересно интерпретировала, но свои норм отвечала. А я только и спросил умеет ли она говорить по-русски. А вот на английском прекрасно болтает.
Гитхаб
HF
Попробовать на китайском офсайте - можно войти по почте и болтать 10 минут.
Вообще у LongCat много всякого на HF лежит, посмотрите
PS.кто не понял, на видео с котиком НЕ демонстрация работы модели
#voicemode #multimodal #asr #assistant
Омнимодальная голосо-языковая модель от авторов LongCat-Video, умеет вести диалог в реальном времени. Разговаривает и видит собеседника.
560B параметров, из которых 27B активных. Да, это совет экспертов #MoE
Контекст - 128K
По тестам приближается к Gemini-2.5-Flash
На офсайте по-русски понимает но голосом не говорит пока. Отвечает приятным китайским голосом. Зато потом в стенограмме видно что она вас поняла и ответила по сути. Мои реплики конечно крайне интересно интерпретировала, но свои норм отвечала. А я только и спросил умеет ли она говорить по-русски. А вот на английском прекрасно болтает.
Гитхаб
HF
Попробовать на китайском офсайте - можно войти по почте и болтать 10 минут.
Вообще у LongCat много всякого на HF лежит, посмотрите
PS.
#voicemode #multimodal #asr #assistant
😁7👍1