#полезное
🤯 GLM 4.5 — китайский опенсорс продолжает доминировать

Очередная очень сильная открытая MoE модель от китайцев, с очень хорошими результатами на бенчах. Гибридний ризонер, с упором на тулюз. Доступна по MIT лицензии, 128к контекста, нативный function calling, из коробки работают стриминг и batching, есть FP8‑инференс и совместимость с vLLM/SGLang.

Как и Kimi K2 модельку тренировали с Muon, но в отличие от Kimi авторы использовали QK норму вместо клиппинга — Kimi такой трюк не позволило провернуть использование MLA, из-за чего им пришлось придумывать свою версию оптимайзера. Для спекулятивного декодинга получше модельку тренировали с MTP. Она заметно глубже чем другие открытые китайские MoE — это повышает перформанс, за счёт роста размера KV-кэша. Вместе с этим они используют заметно больше attention heads. Это хоть и не помогает лоссу, но заметно улучшает ризонинг бенчмарки.

Модель идёт в двух размерах — 355B (32B active) и 106B (12B active). Претрейн был на 22 триллионах токенов — 15 триллионов токенов обычных данных, а после них 7 триллионов кода с ризонингом. На мидтрейне в модель запихнули по 500 миллиардов токенов кода и ризонинг данных с контекстом расширенным до 32к, а после этого 100 миллиардов long context и агентных данных при контексте уже в 128к.

Посттрейн двухэтапный — сначала из базовой модели через cold‑start+RL тренируют три эксперта (reasoning модель, agentic модель, и для общих тасков) и сводят их знания в одну модель через self‑distillation. Затем идёт объединённое обучение: общий SFT → Reasoning RL → Agentic RL → General RL.

Для ризонинга применяют одноступенчатый RL на полном 64K‑контексте с curriculum по сложности, динамическими температурами и адаптивным клиппингом. Агентные навыки тренируют на верифицируемых треках — поиск информации и программирование с обратной связью по исполнению. Полученные улучшения помогают и deep search и общему tool‑use. Кстати, их посттрейн фреймворк открытый и лежит на гитхабе.

Веса
Демо
Блогпост
Посттрейн фреймворк

👉Новости 👉База вопросов

#полезное
😊 Обновлённый Qwen 30B-A3B Instruct

Влезающая в одну видеокарту MoE модель с 256к контекста, по многим бенчам обгоняет DeepSeek V3-0324 и GPT 4o-0327. Это не гибридная модель, ризонинг версию выкатят чуть позже. Боюсь представить какие там будут результаты, если обычный Instruct так сильно всё рвёт.
Веса

👉Новости 👉База вопросов

#полезное
🛞 Абсолютно проклятый бенч для VLM

Визуальные модели крайне подвержены стереотипам — например, если на изображении добавить лишний палец человеку или у пумы пририсовать лишнюю ногу, модели всё равно будут отвечать как-будто бы видят оригинал, игнорируя реальные изменения в картинке. VLMBias использует отфотошопленные картинки чтобы проверить, насколько модели реально думают об их содержании, а не просто запоминают ответ.

В среднем точность на таких отретушированных изображениях падает до 17 %, причём ~76% ошибок совпадали с заранее заданным предвзятым ответом из знаний модели, а добавление в изображение названий брендов вроде Adidas делало результаты ещё хуже (а это авторы ещё не пробовали Abibas).

Чтобы выявить, когда модель полагается на заученные ассоциации вместо анализа картинки, авторы генерируют пары знакомых объектов и их слегка изменённых версий. Тестируются 7 доменов — от животных и логотипов до шахмат, флагов, оптических иллюзий и искусственно созданных паттернов.

6 из 7 категорий генерируются и модифицируются автоматически, а человек только проверяет результаты. Для редактирования обычных изображений используют Gemini Flash и GPT Image Generation, а для SVG — o4-mini. Похожий пайплайн можно легко использовать для генерации adversarial синтетических данных, чтобы натренировать LLM реально смотреть на картинки, а не прибегать к стереотипам.
vlmsarebiased.github.io

👉Новости 👉База вопросов