CoVT: Chain-of-Visual-Thought

Цепочка рассуждений для визуальных моделей (Chain-of-Visual-Thought)
Позволяет моделям #VLM лучше «видеть» и «думать», используя непрерывные визуальные токены,
рассуждать не только в текстовом, но и в визуальном пространстве

— использует компактные визуальные токены для кодирования перцептивных сигналов (сегментация, глубина, структура краёв и др.)

— обучает модели понимать и генерировать визуальные токены, которые затем можно декодировать в плотные предсказания для визуализации процесса рассуждения

— не полагается на внешние инструменты для визуального восприятия, а интегрирует восприятие в сам процесс рассуждения модели

— обеспечивает более точное и интерпретируемое мультимодальное понимание по сравнению с аналогами.

Базовая модель для экспериментов — Qwen2.5-VL-7B.

Сайт проекта вероятно появится когда-нибудь

HF - тут несколько разных моделей

#research #CoT #CoVT

Китайский робот AgiBot A2 три дня шел шел от Сучжоу до Шанхая, прошел 106 км.
Не туда шел, Сара Коннор в США, глупенький

Установил мировой рекорд, который отмечен в Книге рекордов Гиннесса как «Самый длинный путь, пройденный гуманоидным роботом»

Ждем новых рекордов. В беге, боксе, стрельбе

#news #robot

Ровно 3 года исполняется сегодня ChatGPT.

Открытки от
1. ChatGPT
2. Nano- Banana Pro
3. Reve
4. Qwen3-MAX
5. Grok

#news

CoDA: Coordinated Diffusion Noise Optimization for Whole-Body Manipulation of Articulated Objects

Анимация всего тела (включая руки и пальцы) с артикулированными объектами по текстовому промпту

Модель отличается от аналогов следующими возможностями:

— управляет объектом, приводя его в заданную позу и артикуляцию

— синтезирует движения всего тела, опираясь на данные только о движениях рук

— создаёт движения, сочетающие ходьбу и манипуляции (например, открывает коробку во время ходьбы)

— обеспечивает реалистичные движения за счёт координации между руками и остальным телом

— повышает точность взаимодействия рук с объектом благодаря унифицированному представлению на основе базовых наборов точек (BPS)

В основе метода — три специализированные диффузионные модели (для тела, левой и правой руки), которые оптимизируются в пространстве шума.

Гитхаб

#humananimation #text2animation #3d

Video-R4: Reinforcing Text-Rich Video Reasoning with Visual Rumination

Метод улучшения понимания текстовых подсказок в видео.

Модель анализирует видео, выделяя ключевые кадры и области, которые содержат важную информацию. Затем модель детально изучает эти участки, обновляет свои выводы и даёт более точные ответы на вопросы.

Использует метод визуальной руминации, имитирует способ обработки визуальной информации человеком: обращает внимание на важное, «присматривается» и делает выводы. Video-R4 хорошо работает не только с видео, но и с документами и слайдами, помогая отвечать на сложные вопросы, связанные с визуальной и текстовой информацией.

Гитхаб

#vlm

Защита от пиратства или спящий агент?

Пардон. Нечаянно убил комменты. Публикую снова

Российские учёные разработали метод защиты прав на модели компьютерного зрения.

Метод работает через встраивание в уже обученную модель «нейронов-детекторов», которые активируются только при наличии специального «раздражителя» (секретного ключа), и «нейронов-нарушителей», мешающих работе системы при отсутствии такого ключа

тесты показали, что вероятность случайной активации таких нейронов менее 0,01 %, поэтому они "не вызывают сбоев в работе алгоритмов"

в будущем метод можно будет применять не только для моделей компьютерного зрения, но и для больших языковых моделей, систем принятия решений и других ИИ-алгоритмов

А теперь меняем сценарий. Создаем модель, только делаем все наоборот. Модель работает нормально пока не получит на вход фразу «Почему бы тебе не скоротать время, сыграв в пасьянс?» или изображение дамы пик. Продаем модель и в нужный момент цап-царап...

#яниначтоненамекаю #safety #research #news