Awesome World Models

Гитхаб, где собраны актуальные работы на тему моделей понимания/моделирования мира.

#world

IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction

Семантический реконструктор 3D сцен от StepFun и Ко.
#SOTA в 3D реконструкции и понимании сцен по 2D изображениям.

На вход принимает видео, набор изображений или RGBD

Сначала модель получает изображения и преобразует их в особый вид представления — токены. Для этого используется DINOv2. Потом эти токены обрабатываются 24 модулями внимания. Они анализируют изображения с разных точек зрения и объединяют информацию в единое представление.

Дальше это представление разделяется на два потока:

— один поток (Geometry Head) занимается геометрией: вычисляет параметры камеры, создаёт карты глубины и облака точек;

— другой поток (Instance Head) выделяет отдельные объекты в сцене, определяя их границы и особенности.

Чтобы лучше связать геометрию и объекты, используется специальный блок — Cross-Modal Fusion Block. Он помогает потоку с объектами «понимать» геометрию сцены, улучшая определение границ объектов. 1

Затем модель группирует найденные объекты в кластеры, используя метод HDBSCAN. Это позволяет создать маски, которые показывают, где в сцене находятся разные объекты. Эти маски можно использовать с разными языковыми моделями, чтобы задавать вопросы о сцене, сегментировать объекты или отслеживать их движение.

Код ждем

#video2scene #rgbd2scene #videoto3d #rgbdto3d #scenereconstruction

Опрос на тему использования нейросетей.

Безвозмездно размещаю в помощь студентам 3 курса

Заполнение формы займет 2-3 минуты

https://forms.gle/F3742QPRGYZzm6VDA

#опрос

Обновка 10-шагового WAN 2.2 с NSFW

#optimization

Привет, комрады

https://civitai.com/models/2100616/wan-22-i2v-10-steps-nsfw-fp8-model

Вчера выпустил модель тюненую. Это все тот же Ван 2.2 10 шагов, только фп8 .... Потому что эта модель специально заточена под NSFW генерацию

Чтоб вам было проще - указал какие триггерные слова юзать, чтоб контроль был легче

На 5080 скорость генерации такая

480п - 2.30 минуты
1024х576 - 4 минуты

Квантизированные модели не ждите - это все же специфичная модель, которая лучше всего под nsfw подходит, да и круче модель нет смысла ставить под такое

Наслаждайтесь

Финита ля комедия. Эксперимент завершен.

Лучшим трейдером оказался Qwen 3 MAX - с убытком всего -3.57%
Cледом за ним идет DeepSeek Chat v1.3 - с убытком -37%, ему в спину дышит Gemini 2.5 PRO

Последний - GPT 5, он прос*ал больше половины депозита, -57.92%

Напомню, что трейдинг это казино, где гарантированно выигрывает только казино. На другом интервале результат был бы другой. Например 26 октября Дипсик всех опустил наторговав до $23000

#leaderboard #arena #trading #agent #news

Превью Qwen3-Max-Thinking

Предварительную версию можно попробовать в Qwen Chat и Alibaba Cloud API

Qwen Chat
Alibaba Cloud API

#assistant #reasoning

В llama.cpp наконец появился веб-интерфейс, с блекджеком и загрузкой картинок и документов

#tools #gui #assistant