Wan2.1

Генератор видео по тексту и по картинке от Alibaba, опенсорс

Требует всего 8.19 GB VRAM для работы

Младшая модель 1.3B требует всего 8.19 GB VRAM для работы, 5-секундное видео 480p создает за 4 минуты на RTX 4090
Старшая 14B выдает 480p и 720p

Гитхаб
Веса

#text2video #image2video

ComfyUI-WanVideoWrapper

Ноды видеогенератора Wan2.1 для #ComfyUI

В репозитории выложен тест 512x512x81, "~16GB used with 20/40 blocks offloaded"
Автор пишет что пока смог запустить только image2video

Сохраняйте спокойствие, работы ведутся

Пожатые веса

#image2video

Gemini Code Assist стал бесплатным.

Окно контекста 128K токенов
20+ языков программирования
180 тысяч дополнений кода в месяц

Доступно для VSCode, Jetbrains. Github

Блог

#coding

Proxy Lite

Convergence опубликовали в общий доступ младшую версию своего браузерного агента

3B параметров
На основе Qwen2.5-VL-3B-Instruct

Код/Веса

#agent #browser #vlm

Keyframe Control Lora

Лора ключевых кадров для HunyuanVideo T2V (T2V, генератор по тексту - так в репозитории написано)

Задаем два кадра и количество кадров - получаем видео, начинающееся с первого, оканчивающееся вторым

#lora #text2video #image2video

Видеогенератор Wan2.1 поддерживается в #ComfyUI нативно
Судя по тому что по инструкции надо скачать fp8_e4m3fn модель, не удивлюсь если всю работу взяли у Kijai

У людей t2i (она может оказывается и просто картинки генерить) заводится даже на RTX2060!
Для видео на 1.3B модели заготовьте 15ГБ VRAM, а для 14B - 40ГБ VRAM

Блог

#text2video #image2video

Prompt-to-Leaderboard (P2L)

Теперь на lmarena.ai можете создавать свои лидерборды написав промпт во вкладке Chat.
Этим занимаются специально обученные модели, начинающиеся с 'p2l-'

Впрочем, можете организовать и свою арену с блекджеком и ботами, ведь есть веса и код

Гитхаб
Веса

#prompt2leaderboard #p2l #text2leaderboard

moonshine-live

Распознавание речи в реальном времени на Moonshine

Демо
Модели

#speech2text #ASR #subnoscripts #realtime

GHOST 2.0: Generative High-fidelity One Shot Transfer of Heads

Перенос головы с фото на фото от Sber AI.
Не лица, а головы. Все кто имел дело с заменой лиц, понимают о чем речь.

Пишут что единственный аналог - HeSer, по метрикам его побили

Код
Демо
Хабр

#headswap #faceswap

3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

Диффузный генератор высококачественных 3D PBR ассетов по тексту.
Процесс занимает 5 секунд

Ключевая идея - кодирование 3D-меша, текстуры и материалов в компактный тензор N x D. это называется PrimX

Код
Демо (еще не работает)

#PBR #textto3d

Motion Prediction

Wonder Dynamics выпустили модель для точной реконструкции движений актера, даже там где он перекрыт другими объектами в кадре

#video2pose

ImageTo3D

Создает 3D локацию из любой картинки
Сделано в Claude 3.7
Бесполезно, но вы ведь уже знаете что с этим делать

Твит автора

#imageto3d

Демоспейсы видеогенератора Wan2.1

Демо HF
Китайский сайт

#text2video #image2video