EfficientTAM: Efficient Track Anything

Запрещенная Meta конкурирует с самураем на поле сегментации видео.
За основу взяли SAM2 Video Predictor

Код
Демо

#segmentation #image2mask #video2mask #tracking

Tencent Hunyuan video

Tencent выпустил свой опенсорсный видеогенератор по тексту

В планах генерация по картинке и ноды ComfyUI

Но не торопитесь если у вас нет 45-60ГБ VRAM
512*320 заводится на 16ГБ

Гитхаб
HF
Демо для тех у кого есть китайский номер телефона
ComfyUI спасибо @aledarx

#text2video

Уже на tost.ai

640x368, 5 секунд

#text2video

MultiFoley

Генератор звука по видео от Adobe
Кода нет, ждем в Premiere

#video2sound #video2audio

MV-Adapter: Multi-view Consistent Image Generation Made Easy

Генерация изображения сразу с нескольких (до 40) ракурсов на базе #SDXL, 768*768

Код
Демо t2i animagine
Демо t2i general
Демо i2i

#multiview #text2image #image2image #text2multiview #image2multiview

В Anychat продолжают прикручивать всякие ништяки. Из интересного помимо языковых моделей:

- генератор картинок Luma Photon
- генератор видео hunyuan video (вкладка Replicate)
- Flux tools (вкладка Replicate)
- генератор видео ltx video (вкладка fal)
- генератор речи Play.ai

Пользуемся: Anychat

#text2video #video2video #image2video #text2speech #controlnet #conditioning #image2image #text2image #flux

Director

Думайте о Director как о ChatGPT для видео. Это платформа для создания видеоагентов, которые могут решать сложные видео-задачи, такие как поиск, редактирование, компиляция, генерация и т.д., и мгновенно транслировать результаты.

Код
Попробовать онлайн первые 50 видео - бесплатно

#videoediting #online #text2video #text2audio #text2movie

Imagine360: Immersive 360 Video Generation from Perspective Anchor

Делает из обычного видео сферичекое панорамное. Для этого, ясно, надо дорисовывать невидимые в исходнике части

Код ждем в январе

#video2panorama #panorama #video2VR

Вниманию пользователей СomfyUI

Пакет Ultralytics, необходимый для FaceDetailer версий v8.3.41 и v8.3.42 был скомпрометирован и содержит майнер. Пока что пострадали только пользователи macOS и Linux. Но чтобы обезопасить себя на Windows, рекомендую удалить любой Ultralytics и поставить версию 8.3.40.
Официальный источник

Как это сделать:
1. Зайдите в корень ComfyUI (там, где лежит папка python_embeded и файл run_nvidia_gpu.bat)
2. В адресной строке проводника (там, где видите путь) нажмите в пустом месте. Выделится путь, сотрите его и наберите cmd и нажимаете ⏎ Enter, чnобы открылась консоль.
3. В открывшейся консоли выполните этот код:

set appdata=tmp
set userprofile=tmp
set temp=tmp
set path=python_embeded
python -m pip uninstall -y ultralytics
python -m pip install ultralytics==8.3.40

Он удалит все пакеты Ultralytics и установит чистые не заражённые, версии 8.3.40

#news