На хиггсфилде анонсирован видеогенератор от Гугла VEO3.1

Нативное разрешенеи 1080p, хронометраж 30+ секунд

Записаться в вейтлист - зная хиггсфилд, можно не записываться если у вас нет подписки

#news

Gling AI

ИИ-монтажер видео. Можно скачать плагин к своей монтажке или пользоваться в браузере.

На бесплатном тарифе:

- Обработка до 1 часа медиаконтента в месяц

- Экспорт видео в формате MP4 с водяным знаком и аудио в формате MP3

- Удаление неудачных дублей

- Автоматическое удаление пауз

- Автоматическое удаление слов-паразитов

- Генерация заголовков и глав для YouTube

- Предложения по следующим видео

- AI-субтитры

- Автофрейминг (jump cut zoom)

- Многокамерный монтаж

- Удаление шумов из аудио

#videoediting

Опубликован код и веса сегнемнтного генератора 3D моделей OmniPart на основе Trellis

Гитхаб
HF
Демо

#gaussian #3d #imageto3d

Segment Anything 3 тихо появился на ICLR в виде статьи

Первая версия SAM позволяла щелкнуть по объекту, чтобы сегментировать его.
В SAM 2 были добавлены видео и память.
Теперь SAM 3 говорит: просто опишите, что вы хотите - «желтый школьный автобус», «полосатый кот», «красное яблоко» — и он найдет и сегментирует каждый экземпляр этого объекта на изображениях или в видео.

Это как будто сегментация наконец-то научилась языку, но в обоснованной, минимальной форме, просто оперируя концепциями.
Короткие существительные, образцы изображений или и то, и другое.
Вы озвучиваете объект, он понимает, что вы имеете в виду, и рисует границу везде, где она появляется.

За этим стоит огромный механизм обработки данных: 4 миллиона уникальных концепций, 52 миллиона проверенных масок, созданных людьми и LLM, проверяющими работу друг друга.

Результат: примерно в 2 раза лучше, чем SAM 2, распознавание, близкое к человеческому, на тестах с открытым словарем и скорость в реальном времени.

https://openreview.net/forum?id=r35clVtGzw

@cgevent

jax-raft

Порт интерполятора кадров RAFT с pytorch на JAX/Flax, должен работать быстрее.
Чекпойнты тоже портированы

#frameinterpolation #opticalflow #slowmotion

не успели заскринить же да?

StreamingVLM: Real-Time Understanding for Infinite Video Streams

Визуально-языковая модель для понимания бесконечного видеопотока в реальном времени.

Работает со скоростью до 8 кадров в секунду на одном H100

Гитхаб
Демо

#VLM #captioning #assistant #realtime #streaming

FaceCLIP

ByteDance выпустил новый энкодер для персонализации картинок

FaceCLIP с SDXL обеспечивает исключительные результаты в области сохранения идентификационных данных, выравнивания текста и качества изображения

Ну и в том же репозитории лежит FaceT5-FLUX, хотя в папире нет о нем никакого упоминания

Вообще карточка модели весьма кривая - ссылка на папиру ведет на InfU, ссылка на Гитхаб ведет на 404. Подождем сайт проекта если он будет и код.

Спасибо @john_eod

#text2image #personalization #sdxl #flux

Я играл с Reve и выиграл уперся в суточный лимит. Его хватило всего на 6 запросов. Думаю не у всех будет 6 потому что там думалка под капотом и она расходует разное количество токенов на разные запросы.

А раньше было прям очень много, ощущение что лимита нет.
Не планируйте бесплатно вершить великие дела на Reve

#news

В Kandinsky 5 добавили поддержку SDPA - теперь можно использовать Flash attention.
Добавили поддержку Magcache для чекпойнтов sft и nocfg.
Сократили потребление памяти в VAE

Говорят, теперь весь Кандинский влазит в 24 ГБ

Гитхаб

#text2video