Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds

Увидел статью у Андрея @datastorieslanguages и не понял, почему о ней так мало говорят. Меня результаты очень удивили. Я не буду делать полный разбор, сделаю очень краткий пересказ (🤦 я должен бороться за символы).

Что делают: учат маленький Qwen-2-VL-7B играть в Genshin Impact, да-да, ту самую гача-игру, но делают это в очень общем виде. Если модели, которые учились играть в Starcraft / Go / Dota 2 были заточены только на них, то в этом случае авторам удаётся без дообучения и изменений запускаться почти на любой игре.

Для сбора данных нанимают игроков и просят записать их геймплей на первых уровнях, с выполнением простых миссий и загадок. Всего около 2500 часов данных, правда после фильтрации остаётся 1730. На этом учат модель по картинке предсказывать действия мышки и нажатия кнопок. В модель поступает история в виде 20 картинок за 4 секунды + предпринятые в прошлом действия (игрока, не модели). Предсказанное действие — это на самом деле последовательность из 6 действий на следующие 200 миллисекунд (можно предсказать 1 клик и просто ждать, а можно сложную комбинацию клавиш).

Затем фильтруют часть данных, делают разметку / классификацию / фильтрацию через GPT-4.1 и получают 200 часов в данных, где для геймплея есть текстовая инструкция, что делает игрок. Поверх этого собирают 15'000 очень коротких цепочек рассуждений (20-30 слов), привязанных не к каждому шагу, а к отдельным «переломным» моментам, где игрок начинает делать что-то новое.

На каждом из наборов данных учат по 3 эпохи, и на это уходит порядка $45'000 (не миллионы). Много вкладывают в оптимизацию инференса, чтобы модель успевала при истории в 20 картинок в разрешении 720p + истории действий + системном промпте предсказывать следующие действия за менее чем 0.2 секунды, ключевое — это используют StreamingLLM, позволяющий переиспользовать KV-кэш даже если часть истории меняется (потому что мы самые старые картинки + действия удаляем и не подаём в модель; обычно это означает, что нужно пересчитывать всё, и нельзя переиспользовать кэш) + запускают на 4xH20.

И... никакого RL. Только обучение на собранных данных, и даже «обучение рассуждениям» — это просто задача предсказания следующего слова. То, что это работает на тех же уровнях и миссиях, на которых учили — это не удивительно. Немного удивительно, что достаточно хорошо работает на новых уровнях/миссиях/загадках, правда, использующих те же механики (о новых-то модель не знает).

НО ВОТ ЧТО СУПЕР-УДИВИТЕЛЬНО — ЭТО ЧТО МОДЕЛЬ ХОРОШО ИГРАЕТ В ДВЕ ДРУГИЕ ГАЧИ, Wuthering Waves и Honkai: Star Rail. Да, у них похожий стиль и геймплей, да, они достаточно примитивные — но я не ожидал, что маленькая модель, выпущенная ещё до выхода этих игр (то есть она не могли быть натренирована на тысячах скриншотов из них), относительно старенькая (уже Qwen-3 давно), сможет проходить миссии 100+ минут подряд. В Wuthering Wave — вообще 5-часовой уровень закончила (у человека уходит примерно 4 часа, то есть модель не тыкается в стену всё время и потом делает какую-то маленькую часть работы).

Посмотреть записи геймплея можно на сайте тут.

Следующий логичный шаг — а) добавить обучение на интернет-данных (летсплеях) б) расширить круг игр, ну и в идеале ещё конечно в) накинуть RL, что будет сложно из-за длительности сессий.
🤔 интересно, почему это не работает настолько хорошо в веб-агентах? Или там 2500 часов «работы» куда дороже набрать?

🩸 такой хайп что я готов идти питчить агентов-игроков инвесторам

Sparse4D v3: Advancing End-to-End 3D Detection and Tracking

Сегодня разберём одну из немногих статей об End-to-End 3D Detection and Tracking. Речь пойдёт о детекторе Sparse4Dv3 с хорошими метриками на nuScenes — главном опенсорс-датасете для автономного транспорта.

Sparse4D — camera-only multi-view 3D-детектор, который авторы постоянно развивают. Сегодня у него уже три версии, и в самой последней появился multi-object tracking. Но обо всём по порядку.

Sparse4D v1. Первый подход — энкодер-декодер архитектура camera-only multi-view детектор с временным контекстом.

Из кадров видео, которое подаётся на вход, выделяются image-features с нескольких камер с разными масштабами и таймстемпами. Декодер делает последовательный фьюз этих фичей, используя 3D-anchor-box. После декодера инстансы рефайнят (доуточняют) с учётом confidence. Результат работы модели — предсказание положения 3D-box (задаются координатами, размерами и скоростью).

Sparse4D v2 — улучшение первой версии за счёт применения рекуррентной схемы с фьюзом временного контекста. Дополнительно улучшить сходимость обучения модели на ранних шагах помогли данные о глубине лидара.

Sparse4D v3. Авторы ускорили обучение и улучшили сходимость модели:

🔴 Temporal Instance Denoising — зашумили GT и добавили в обучение.
🔴 Decoupled Attention: заменили сложение на конкатенацию в механизме attention.
🔴 Quality Estimation: оценили centerness (уверенности в координатах) и yawness (уверенности в поворотах) в общий confidence каждого предсказания, а потом прокинули это в loss.

А ещё в этой версии появилась возможность трекинга. Чтобы реализовать её, авторы добавили в информацию каждого предикта идентификатор (id): для предиктов из предыдущих кадров они сохранялись, для новых — генерировались заново. Так процесс трекинга не требует дообучения или файнтьюнинга детектора. Это просто дополнительная функциональность — назначение и сохранение id во времени.

Познакомиться с решением поближе можно на Github авторов.

Разбор подготовила ❣️ Ольга Ротова
404 driver not found

🔥МЫ ПРЕДСТАВЛЯЕМ КРУПНЕЙШИЙ OPEN-SOURCE AI В ЕВРОПЕ 🔥

Мы стремимся не замыкаться в «закрытой» технологии, а строить открытую платформу для всей страны, поэтому мы публикуем веса наших моделей

Что появилось в открытом доступе ↓

🔷 GigaChat Ultra Preview
Самая мощная модель Сбера. Лучше DeepSeek V3.1 и GigaChat Max 2 в русскоязычных задачах. Подходит для бизнеса, аналитики, разработки и дообучения на ваших данных
➡ GitHub | HuggingFace |GitVerse

GigaAM-v3
Пять моделей, которые превращают голос в текст с пунктуацией, понимают акценты, спонтанную речь и даже музыкальные запросы. Подойдут для голосовых ассистентов, контакт-центров, аналитики звонков
➡ GitHub | HuggingFace | GitVerse

🔷 GigaChat Lightning
Лёгкая, компактная и быстрая. Конкурирует с Qwen3-4B, по скорости сравнима с Qwen3-1.7B, но намного умнее и больше по параметрам
➡ GitHub | HuggingFace |GitVerse

🔷 Kandinsky 5.0
Создание фото и видео по тексту. Внутри:
• Image Lite — делает изображения в HD, отлично понимает русский язык и культурный контекст
• Video Pro — создаёт до 10 секунд реалистичного HD-видео. Конкурирует с топовыми мировыми моделями
• Video Lite — облегчённая версия для домашней видеокарты (от 12 ГБ)
➡️ GitHub | GitVerse | Hugging Face | Технический репорт

🔷 K-VAE 1.0
Ускорение генеративного AI. Это технологии, которые «упаковывают» картинки и видео в скрытое пространство, чтобы модели работали быстрее и требовали меньше ресурсов. Лучшие среди открытых аналогов
➡️ GitHub|Hugging Face

Код и веса этих всех моделей теперь доступны всем пользователям по лицензии MIT, в том числе для использования в коммерческих целях

✔️ HunyuanVideo 1.5 - новая открытая модель для генерации видео, которая сейчас считается самым сильным open-source решением в этой области.

Построенная на архитектуре DiT, модель поднимает планку по качеству и доступности.

Что важно:
⚡️ Всего 8.3B параметров - модель можно запускать даже на потребительских GPU с 14GB VRAM
🖥️ Качество: генерирует 5–10 секунд видео в 480p/720p, а через суперразрешение —ё- до 1080p с киношной детализацией

SOTA-качество с очень низкими требованиями к железу.

🟠Проект: hunyuan.tencent.com/video/zh
🟠GitHub: github.com/Tencent-Hunyuan/HunyuanVideo-1.5
🟠Hugging Face: huggingface.co/tencent/HunyuanVideo-1.5

@data_analysis_ml

🌐 Google получит доступ ко всем личным сообщениям и вложениям в Gmail для обучения своих ИИ-моделей

Как сообщает Malwarebytes, Google включает для пользователей настройку, которая дает доступ ко всем личным перепискам и вложениям Gmail в целях обучения своих ИИ-моделей. Это означает, что ваши электронные письма и файлы могут быть проанализированы для "улучшения ИИ-ассистентов" Google.

Некоторые пользователи уже сообщают, что эти настройки включены «по умолчанию» без явного на это согласия.

Если не отключить эти настройки вручную, то ваши личные сообщения будут использоваться для обучения ИИ в фоновом режиме.

Процедура отказа от ИИ-обучения на ваших данных требует изменения настроек в двух разных местах:

🔐 Отключите «Умные функции» в настройках Gmail, Chat и Meet:
🔻 Откройте Gmail в браузере на компьютере или в мобильном приложении
🔻 Нажмите на значок шестеренки → Все настройки (на компьютере) или Меню → Настройки (на мобильном устройстве)
🔻 Нужно отключить "Умные функции" и "Умные функции Google Workspace"

Google разделяет «умные» функции Workspace (почта, чат, видеовстречи) и умные функции, используемые в других приложениях Google. Чтобы полностью отказаться от передачи ваших данных для обучения ИИ, необходимо отключить обе категории.

Возможно, в вашем аккаунте эти настройки еще не включены по умолчанию, так как, судя по всему, Google внедряет эти изменения постепенно.

✋ @Russian_OSINT

Мы опубликовали стабильный, быстрый, качественный и доступный синтез для 20 языков России и СНГ

0️⃣ Популярные языки из 🇷🇺🇺🇦🇺🇿🇰🇿🇦🇿🇹🇯🇧🇾🇬🇪🇰🇬🇦🇲;
1️⃣ Всего 20 языков России и стран СНГ, всего 95 голосов;
2️⃣ Модели компактные и быстрые, как наши прошлые релизы;
3️⃣ Поддержка SSML, генерация аудио с SR 8000, 24000, 48000;
4️⃣ Два типа моделей - base под лицензией MIT на наших данных и ext на данных сообщества;
5️⃣ Остались непокрытыми языки Дагестана и ЧР, если хотите помочь с добавлением этих языков пишите на @silero_job.

⭐️Репозиторий - github.com/snakers4/silero-models
⬆️Статья на Хабре - habr.com/ru/articles/968988/