Проиграл выходит

С другой стороны на рынке нет нормального конкурента, чо бы не крутить прайс?

Qwen3-Next 80B-A3B

C того момента как она вышла, уже вышла Doubao, Step3, Qwen3-235B, DeepSeek V3.2 и я за пивом

- Hybrid Architecture: Gated DeltaNet + Gated Att - вариция на тему RNN + не везде а только 75% cлоев и 25% cлоев обычный attention
- 3b активных параметров при 80 тотал
- Используют QK postnorm по аналогии с DIT для улучшения стабильности
- MTP как в deepseek
- Показывают бОльшую скорость префила и декода чем соседи по метрикам (это если что qwen 30bA3 и qwen 32b)


blog

Только неправильные ответы что это

Я последние пару лет

RND1: Simple, Scalable AR-to-Diffusion Conversion


TLDR: доучивают на 500б токенов(где то 0.1%) qwen 30bA3 на задачу генерации текста диффузией, а не AR

- сделали не сложный LR аблейшн
- по метрикам чуть хуже чем обычный
- по скорости тоже не прирастают потому что инференс не написали))

paper
github
blog

MWS AI представила первую российскую мультимодальную модель Cotype VL

На форуме «Финополис-2025» компания MWS AI (входит в МТС Web Services) анонсировала свою первую мультимодальную модель — Cotype VL. Модель содержит 32 млрд параметров и умеет одновременно работать с изображениями и текстом.

Возможности модели:
• Распознавание печатного, рукописного и смешанного текста
• Анализ визуального контекста при переводе
• Создание описаний изображений разной детальности
• Ответы на сложные логические вопросы по содержанию изображений
• Работа со схемами, чертежами, картами и техническими иллюстрациями

Технические детали:
Модель инициализирована весами QwenVL 2.5 и дообучена на более чем 150 тыс. документов с визуальными данными из различных доменов: финансы, промышленность, IT, телеком и здравоохранение. В датасет вошли контракты, диаграммы, таблицы, схемы, рукописные конспекты, скриншоты интерфейсов и многое другое.

Поддерживает русский, английский, китайский и другие языки. Модель можно развернуть в закрытом контуре и дообучить на данных заказчика.

Генеральный директор MWS AI Денис Филиппов рассказал на форуме «Финополис-2025», что мультимодальные модели станут ключевым элементом для создания ИИ-помощников нового поколения, способных автономно взаимодействовать с интерфейсами корпоративных систем.

забавная работа которую я запостил изза картинки

pub.sakana.ai/ctm/

Self-Adapting Language Models



Тут авторы придумывают что надо на лету генерировать синтетику по вопросам + ответами, оценивать через более умную модель/gt и потом рлится на этом. Авторы репортят что такая дистиляция позволяет докинуть метрик к QA

https://jyopari.github.io/posts/seal
https://github.com/Continual-Intelligence

На больших масштабах моделей с архитектурой MoE мы наблюдаем, что GB200 NVL72 FP4 примерно в 10 раз энергоэффективнее, чем H200 FP8 в режиме single node при определённой интерактивности (tok/s/user).

Мы планируем реализовать disaggregated prefill и multinode wide expert parallelism на H100/H200, чтобы оценить, какой будет прирост энергоэффективности между GB200 и H200 после внедрения этих оптимизаций.

Ожидается, что разрыв по энергоэффективности сократится до 4–6 раз после реализации на Hopper, что всё равно остаётся отличным показателем.

US AI labs: мы изобретаем новый финасовый инструмент, вкладываем триллионы долларов чтобы буквально построить бога из машины

Chinese Ai labs: китайский openai, такие же бюджеты, все в опенсурс

Europe: мы построим суверенный ии за зарплату +- одного топового ресерчера из меты

Eastern Europe Ai labs: суверенный файнтюн квена на болгарский

HF книжка по megatron, fsdp и прочему для обучения реально больших моделей

мамба3

открыл папир мамба3, промотал на таблицу с метриками, как и у всех убийц трансформеров ситуация такая же - микромодель, приросты на несколько пунктов, ненасыщенный претрейн(100B токенов не очень много для 1.5b трансформера)

Переводя на человеческий - авторы пошли по классическому "давайте найдем сетап где это будет работать"

Закрыл, пошел листать имплементацию deepseek 3.2

полистать

Hold my beer

http://arxiv.org/abs/2510.12403

Hf книжка по роботам sim-real rl, vla, diffusion policies

У меня была в предзвказе охрененно понтовая открывалка для пива. Потому что иначе я не понимаю зачем ещё оно нужнл