#полезное
❤️‍🔥 1.3 млн токенов/сек на H800 — новый рекорд для LLM-инференции

Команда Yiakwy-XPU показала, как эффективно запускать большие языковые модели (например, DeepSeek V3) на 13×8 H800 DGX SuperPod с помощью SGlang в разнесённой архитектуре (disaggregated serving):

Что удалось достичь:
🔵 1.3M токенов/сек на входе (prefill)
🔵 20K токенов/сек на выходе (decode)
🔵 До 80K токенов/сек суммарной производительности
🔵 При 50–150 параллельных запросах — стабильный throughput до 55K токенов/сек

Важные выводы:
🟠 Префилл — главное узкое место (TTFT ↑ при длинных запросах и больших батчах)
🟠 Оптимальное соотношение вход/выход — 4:1, а prefill/decode — 3:1
🟠 Меньшие tp и chunked-prefill уменьшают задержки между токенами (ITL)
🟠 В режиме смешанного сервинга (decode + prefill) — лучше использовать батчинг именно с chunk-prefill, иначе резко растёт latency

Бенчмарки: bench_one_batch_server.py, genai-bench, evalscope
Используемая модель: Yi-1.5 34B

Полная статья и код

👉Новости 👉База вопросов

#новости
😊 Colossus 2 почти готов

xAI, уже через несколько недель, начнут вводить в строй кластер из 550к GB200/GB300 на жидкостном охлаждении. Чтобы запитать этого монстра, xAI купили электростанцию в другой стране и привезли её в США — обойтись мобильными генераторами, как в случае с оригинальным Colossus, не вышло.

Добро пожаловать в эру гигаваттных кластеров

👉Новости 👉База вопросов

#полезное
🤯 GLM 4.5 — китайский опенсорс продолжает доминировать

Очередная очень сильная открытая MoE модель от китайцев, с очень хорошими результатами на бенчах. Гибридний ризонер, с упором на тулюз. Доступна по MIT лицензии, 128к контекста, нативный function calling, из коробки работают стриминг и batching, есть FP8‑инференс и совместимость с vLLM/SGLang.

Как и Kimi K2 модельку тренировали с Muon, но в отличие от Kimi авторы использовали QK норму вместо клиппинга — Kimi такой трюк не позволило провернуть использование MLA, из-за чего им пришлось придумывать свою версию оптимайзера. Для спекулятивного декодинга получше модельку тренировали с MTP. Она заметно глубже чем другие открытые китайские MoE — это повышает перформанс, за счёт роста размера KV-кэша. Вместе с этим они используют заметно больше attention heads. Это хоть и не помогает лоссу, но заметно улучшает ризонинг бенчмарки.

Модель идёт в двух размерах — 355B (32B active) и 106B (12B active). Претрейн был на 22 триллионах токенов — 15 триллионов токенов обычных данных, а после них 7 триллионов кода с ризонингом. На мидтрейне в модель запихнули по 500 миллиардов токенов кода и ризонинг данных с контекстом расширенным до 32к, а после этого 100 миллиардов long context и агентных данных при контексте уже в 128к.

Посттрейн двухэтапный — сначала из базовой модели через cold‑start+RL тренируют три эксперта (reasoning модель, agentic модель, и для общих тасков) и сводят их знания в одну модель через self‑distillation. Затем идёт объединённое обучение: общий SFT → Reasoning RL → Agentic RL → General RL.

Для ризонинга применяют одноступенчатый RL на полном 64K‑контексте с curriculum по сложности, динамическими температурами и адаптивным клиппингом. Агентные навыки тренируют на верифицируемых треках — поиск информации и программирование с обратной связью по исполнению. Полученные улучшения помогают и deep search и общему tool‑use. Кстати, их посттрейн фреймворк открытый и лежит на гитхабе.

Веса
Демо
Блогпост
Посттрейн фреймворк

👉Новости 👉База вопросов