In-Video Instructions: Visual Signals as Generative Control

Контроль сюжета на видеогенерации визуальными аннотациями

Метод тестировали на нескольких моделях: Veo 3.1, Kling 2.5 и Wan 2.2

Код ждем

#visualprompting #motioncontrol #image2video

Technically Color Z-Image Turbo LoRA

А вот и лоры к Z-Image Turbo появляются

Лора для имитации стиля классических фильмов

Обучена в ai-toolkit.
Автор пишет что модель весьма обучабельна

HF
Cititai
воркфлоу автор использовал отсюда

#zimage #lora #workflow

Adv-GRPO

ByteDance ищет новые пути улучшения качества генерации картинок

Adv-GRPO — фреймворк для обучения с подкреплением (RL), который использует состязательное вознаграждение для улучшения генерации изображений по тексту

— применяет визуальные базовые модели (например, DINO) в качестве системы вознаграждения, что даёт более детальные визуальные сигналы для оптимизации

— позволяет проводить настройку стиля с помощью референсных наборов данных, направляя базовую модель к определённым визуальным стилям

— эффективнее борется с проблемой «хакерства вознаграждений», при которой модель получает высокие оценки, но не улучшает качество изображений

Прикрутили к #SD3 и превзошли его и Flow-GRPO

Гитхаб
HF
Демо

#research #text2image

CoVT: Chain-of-Visual-Thought

Цепочка рассуждений для визуальных моделей (Chain-of-Visual-Thought)
Позволяет моделям #VLM лучше «видеть» и «думать», используя непрерывные визуальные токены,
рассуждать не только в текстовом, но и в визуальном пространстве

— использует компактные визуальные токены для кодирования перцептивных сигналов (сегментация, глубина, структура краёв и др.)

— обучает модели понимать и генерировать визуальные токены, которые затем можно декодировать в плотные предсказания для визуализации процесса рассуждения

— не полагается на внешние инструменты для визуального восприятия, а интегрирует восприятие в сам процесс рассуждения модели

— обеспечивает более точное и интерпретируемое мультимодальное понимание по сравнению с аналогами.

Базовая модель для экспериментов — Qwen2.5-VL-7B.

Сайт проекта вероятно появится когда-нибудь

HF - тут несколько разных моделей

#research #CoT #CoVT

Китайский робот AgiBot A2 три дня шел шел от Сучжоу до Шанхая, прошел 106 км.
Не туда шел, Сара Коннор в США, глупенький

Установил мировой рекорд, который отмечен в Книге рекордов Гиннесса как «Самый длинный путь, пройденный гуманоидным роботом»

Ждем новых рекордов. В беге, боксе, стрельбе

#news #robot