⚡️Вчера ByteDance выпустил новую супер модель Bagel, которая базируется да трансформере декодере и решает широкий спектр задач понимания и генерации мультимодальных данных (картинки, видео). Модель умеет как понимать разные модальности, так и генерировать их и вносить изменения (например, редактировать картинку по текстовой инструкции)

Архитектурно это MoE архитектура с двумя типами экспертов: Understanding и Generation. В опен сурс выложена 7B модель (7 млрд. активных параметров, всего их — 14 млрд.)

Модель обучена на нескольких триллионах токенов (отдельная часть исследования посвящена росту качества от увеличения числа токенов на обучении для визуальных генеративных задач), которые включают очень разнообразные задачи: от описания изображений до видеороликов, сопровождаемых траекториями движения. Также проработан механизм подробной фильтрации данных (UI removal, контроль разрешения и др.) Обучение проходит в 3 этапа: 2 фазы претрейна и 1 файнтюнинг. Что интересно, у модели прокачаны и способности к рассуждениям (thinking mode inside💪).

📍Интересная фишка — Next Group of Token Prediction подход, при котором модель учат предсказывать группу текстовых или визуальных токенов в целях повышения скорости и компрессии.

👉Статья
👉Hugging Face

P.S. Обязательно изучаем и дружим с Cursor😉

⚡️⚡️⚡️На прошлой неделе мы в AIRI зарелизили очень крутую работу в рамках трека «Генеративное проектирование» — cadrille: Multi-modal CAD Reconstruction with Online Reinforcement Learning

Архитектура представляет собой мультимодальную LLM, которая на вход может принимать облака точек, изображения и текст, а на выходе генерировать код операций, восстанавливающих некоторый CAD объект (например, какую-то инженерную деталь). То есть мы одновременно решаем задачу понимания сложных модальностей и задачу синтеза последовательности операций, необходимых для её восстановления по фото и облаку точек.

В дополнение добавили несколько вариантов онлайн RL (DPO и Dr. CPPO), что позволило значительно улучшить метрики и выбить SoTA на самых известных бенчмарках по восстановлению CAD моделей: DeepCAD, Fusion360 и CC3D💪

📍Статья — https://arxiv.org/abs/2505.22914
📍GitHub
📍Hugging Face
📍На Papers With Code уверенная SoTA на DeepCAD бенчмарке

Буду очень рад обратной связи и предложениям по развитию, тестированию и будущему внедрению!

P.S. На прошедшем 30 мая DataFest’е в Сбере я рассказал подробно про наши исследования в области генеративного проектирования и кратко о модели, что вызвало большой интерес у представителей промышленности. Поэтому если вы ещё не слышали про cadrille, то обязательно расскажите своему другу - инженеру, ему особенно понравится😉

@complete_ai

⚡️⚡️⚡️Вчера выложили нашу новую работу Confidence Is All You Need о способности языковых моделей выполнять роль функции наград (применяются в обучении с подкреплением — DeepSeek R1 яркий тому пример) для самостоятельного улучшения качества генерации текста на основе внутренней уверенности в своих ответах. Другими словами, языковая модель сама оценивает лучшие свои ответы, и эта оценка используется для её улучшения/дообучения. Мы назвали этот процесс Reinforcement Learning via Self-Confidence.

Такой подход позволяет избавиться от разработки отдельных функций наград, специальной разметки данных для обучения и дополнительных preference моделей.

В качестве базы для исследований взяли две модели Qwen2.5-Math: 1.5B и 7B, которые уже (как следует из названия) дообучались для решения математических задач. В итоге мы получили существенное улучшение на ряде математических бенчмарков за счёт такой простой процедуры: от +0.8% до +26.8%.

Поддержите апвоутами в голосовании за лучшую статью дня👇👇👇

https://huggingface.co/papers/2506.06395