BLIP3o-NEXT: Advanced Multimodal Foundation Model

Мультимодальная модель, развитие BLIP3o
Гибрид авторегресси и диффузии
Генератор / пониматор картинок от Salesforce

Улучшенное соответствие подсказкам и точность рендеринга текста за счет обучения с подкреплением по методу GRPO

Хорошо справляется с задачами, требующими пространственной структуры (например, рендеринг текста или генерация нескольких объектов

Гитхаб
HF - там целый зоопарк от 3B до 8B

#text2image #image2text #multimodal #ar #captioning

LTX-2

Новая версия видеогенератора от Lightricks
Создает видео со звуком в 4K, 50 фпс, рилтайм (нет)

На вход можно подать что угодно: текст, изображения, видео, аудио, карты глубины и отснятый материал для управляемой генерации

Поддерживает лоры и генерацию по нескольким ключевым кадрам

Попробовать (кроме россиян), можно на офсайте

Уже есть на Fal.ai, также можно чекнуть Replicate, ComfyUI

Тест человекорыбом частично провалился. Где рыба, Лебовски?

И тоже не умеет делать лунную походку.

Может оно и 4К по количеству пикселей но не по качеству. Ну зато быстрый. Ждем опенсорс

Гитхаб - новую модель опубликуют в конце ноября

Спасибо @m_franz

#any2video #text2video #image2video

Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence

Пониматор видео на базе Qwen2.5-VL

Интегрирует в процесс рассуждений ключевые временные метки и ограничивающие рамки, что позволяет делать выводы более обоснованными и надёжными.

Гитхаб
HF

#vlm #video2text #reasoning #captioning