PyVision: Agentic Vision with Dynamic Tooling

Так, агенты добрались и до визуального понимания.

PyVision — это новая система, которая позволяет моделям машинного обучения работать с изображениями и придумывать собственные инструменты для решения задач. Модель может анализировать картинки, находить на них нужные объекты, измерять их. По сути, учится «видеть» и понимать мир как человек, но с помощью кода и алгоритмов.

Например, создает код на питоне для решения задачи

Работает через API OpenAI, поэтому для работы нужен API ключ OpenAI

Код
Демо

#vlm #agent #image2text

PromptTea: Let Prompts Tell TeaCache the Optimal Threshold

Новый метод ускорения видеогенерации

Модель анализирует промпты и на основе их сложности автоматически настраивает процесс генерации видео.

Для простых видео модель работает быстрее, а для сложных — более внимательно, сохраняя высокое качество

Ускорение генерации в 2,79 раз при минимальной потере качества.

Поддерживает CogVideoX1.5, HunyuanVideo и Wan2.1

Код

#optimization

SpatialTrackerV2: 3D Point Tracking Made Easy

Ура, новый трекер. Создан при участии ByteDance

Определяет движение камеры, геометрию сцены и траектории точек в пространстве. Работает в режиме реального времени

Код
Демо

#tracking #realtime

LangSplatV2: High-dimensional 3D Language Gaussian Splatting with 450+ FPS

Модель умеет быстро обрабатывать и понимать изображения в трёхмерном пространстве, используя язык. Находит объекты на картинках и определяет их местоположение с высокой точностью.

Был похожий проект

Код

#video2mask #segmentation #gaussian

Diffusion-4K: Ultra-High-Resolution Image Synthesis with Latent Diffusion Models

Генератор картинок по тексту в 4K.
В деле замешаны SD3-2B и Flux-12B

Сайта нет, проект исследовательский

Код

#text2image

Copart: Contextual Part Latents for 3D Generation

Очередной генератор 3D по частям

Сложные вещи разбивает на более простые части.
Учитывает как эти части связаны друг с другом, и может управлять каждой из них по отдельности.

Код

#imageto3d #3d

Пачка из 21 лоры под #Kontext

Реддит

#lora