Segment Anything 3 тихо появился на ICLR в виде статьи

Первая версия SAM позволяла щелкнуть по объекту, чтобы сегментировать его.
В SAM 2 были добавлены видео и память.
Теперь SAM 3 говорит: просто опишите, что вы хотите - «желтый школьный автобус», «полосатый кот», «красное яблоко» — и он найдет и сегментирует каждый экземпляр этого объекта на изображениях или в видео.

Это как будто сегментация наконец-то научилась языку, но в обоснованной, минимальной форме, просто оперируя концепциями.
Короткие существительные, образцы изображений или и то, и другое.
Вы озвучиваете объект, он понимает, что вы имеете в виду, и рисует границу везде, где она появляется.

За этим стоит огромный механизм обработки данных: 4 миллиона уникальных концепций, 52 миллиона проверенных масок, созданных людьми и LLM, проверяющими работу друг друга.

Результат: примерно в 2 раза лучше, чем SAM 2, распознавание, близкое к человеческому, на тестах с открытым словарем и скорость в реальном времени.

https://openreview.net/forum?id=r35clVtGzw

@cgevent

jax-raft

Порт интерполятора кадров RAFT с pytorch на JAX/Flax, должен работать быстрее.
Чекпойнты тоже портированы

#frameinterpolation #opticalflow #slowmotion

не успели заскринить же да?

StreamingVLM: Real-Time Understanding for Infinite Video Streams

Визуально-языковая модель для понимания бесконечного видеопотока в реальном времени.

Работает со скоростью до 8 кадров в секунду на одном H100

Гитхаб
Демо

#VLM #captioning #assistant #realtime #streaming

FaceCLIP

ByteDance выпустил новый энкодер для персонализации картинок

FaceCLIP с SDXL обеспечивает исключительные результаты в области сохранения идентификационных данных, выравнивания текста и качества изображения

Ну и в том же репозитории лежит FaceT5-FLUX, хотя в папире нет о нем никакого упоминания

Вообще карточка модели весьма кривая - ссылка на папиру ведет на InfU, ссылка на Гитхаб ведет на 404. Подождем сайт проекта если он будет и код.

Спасибо @john_eod

#text2image #personalization #sdxl #flux

Я играл с Reve и выиграл уперся в суточный лимит. Его хватило всего на 6 запросов. Думаю не у всех будет 6 потому что там думалка под капотом и она расходует разное количество токенов на разные запросы.

А раньше было прям очень много, ощущение что лимита нет.
Не планируйте бесплатно вершить великие дела на Reve

#news

В Kandinsky 5 добавили поддержку SDPA - теперь можно использовать Flash attention.
Добавили поддержку Magcache для чекпойнтов sft и nocfg.
Сократили потребление памяти в VAE

Говорят, теперь весь Кандинский влазит в 24 ГБ

Гитхаб

#text2video

AutoPR: Let's Automate Your Academic Promotion!

Эта модель переводит научные статьи в контент, оптимизированный под разные соцсети с учётом достоверности, соответствия и вовлечённости аудитории.

Извлекает контент из научных статей, синтезирует логичные нарративы и адаптирует материал под конкретную платформу

— применяет PRAgent — систему из трёх этапов, которая улучшает время просмотра и количество лайков

— оценивает посты по трём критериям: достоверность (точность и тон), вовлечённость (привлечение целевой аудитории) и соответствие (оптимизация под платформу и время публикации)

— показывает значительные улучшения: увеличение времени просмотра на 604 %, количества лайков на 438 % и общего уровня вовлечённости минимум в 2,9 раза

Гитхаб
Демо - не для лентяев, там надо вбить настройки API

#paper2text #pdf2text

Mamba 3

Я уже упоминал архитектуру Mamba. Первая версия была перспективная, теперь опубликована многообещающая папира по третьей версии. Возможно, вытеснит трансформеры.

Mamba-3 — новая архитектура моделей искусственного интеллекта, которая работает быстрее и эффективнее старых Transformer-моделей. Она использует другой подход: вместо внимания (attention) модель сохраняет и обновляет своё внутреннее состояние. Это позволяет ей лучше запоминать информацию и работать с длинными текстами, например, документами или музыкальными композициями.

Основные преимущества Mamba-3:

1. Скорость и стабильность: модель работает быстрее и лучше справляется с длинными текстами.
2. Параллельная обработка: Mamba-3 может обрабатывать несколько задач одновременно, что идеально для современных видеокарт.
3. Энергоэффективность: модель может работать на устройствах без подключения к облаку.

Mamba-3 подходит для задач, где важна скорость и точность: чат-боты, перевод, обработка речи и других.

#research #ML

Ring-1T: Flow State Leads to Sudden Enlightenment

Языковая модель на 1T (триллион) параметров, из которых 50B активных

Пишет код, творческие тексты, используется в здравоохранении, решает задачи уровня математических олимпиад (IMO 2025), сохраняет контекст до 128 000 токенов, что вдвое больше предыдущей версии

HF
Есть FP8 версия
Демо
Чат

#assistant #reasoning #chat