LG выпустила EXAONE 4.0 - гибридную модель с режимами мышления

Корейская LG AI Research представила EXAONE 4.0 - модель, которая совмещает быстрые ответы и глубокое рассуждение в одной системе. Доступны версии 32B и 1.2B параметров.

Ключевая особенность - переключение между режимами: обычный для быстрых задач и reasoning для сложных вычислений. Модель поддерживает контекст до 128K токенов и работает с инструментами как агент.

По бенчмаркам 32B версия превосходит Qwen3 235B в математике и программировании, оставаясь конкурентоспособной с frontier-моделями. Добавлена поддержка испанского языка наряду с английским и корейским.

Модель использует гибридное внимание (3:1 локальное к глобальному) для эффективной работы с длинными контекстами.

Paper

#EXAONE #LG
------
@tsingular

Delta использует ИИ для определения максимальной цены, которую готов заплатить каждый пассажир

Авиакомпания Delta открыто заявила о переходе на персонализированное ценообразование через ИИ. Президент компании объяснил: "У нас будет цена на рейс, доступная именно вам как индивидууму".

Сейчас ИИ влияет на 3% цен билетов, к концу года планируют увеличить до 20%. Технологию разрабатывает Fetcherr — та же компания работает с Virgin Atlantic и другими перевозчиками.

Сенатор Рубен Гальего назвал это "хищническим ценообразованием", а защитники прав потребителей говорят, что авиакомпания пытается "взломать наши мозги". Delta уже откатывала решение о повышенных тарифах для одиночных путешественников после критики.

ИИ работает как "супер-аналитик" 24/7, определяя индивидуальные цены в реальном времени для каждого конкретного рейса.

#Delta #pricing
------
@tsingular

VoltAgent — TypeScript фреймворк для создания ИИ-агентов

Новый open-source фреймворк решает главную проблему разработки ИИ-агентов — сложность интеграции с LLM и управления состоянием. Вместо месяцев плясок с API, VoltAgent предлагает готовые модули для создания всего: от чат-ботов до сложных мультиагентных систем.

Запуск проекта занимает секунды через create-voltagent-app. Включает движок для воркфлоу и платформу мониторинга VoltOps с наблюдением за агентами в реальном времени.

Фреймворк находит баланс между готовыми решениями и гибкостью кастомизации. Поддерживает автоматизацию процессов, виртуальных помощников и системы поддержки клиентов.

#TypeScript #VoltAgent #Agents
------
@tsingular

График точности всех RAG экспериментов из ERCv2

Напомню, что в ERCr2 43 разные команды ставили эксперименты по построению RAG систем, которые смогут дать наиболее точные ответы на 100 вопросов по 100 PDF (публичные отчеты компаний). Некоторые вопросы требовали сравнительной работы с разными PDF.

Всего было поставлено 134 эксперимента с разными моделями и архитектурами. На этой таблицы они все отображены.

- R - это точность работы Retrieval алгоритма (системы должны были подтверждать свои ответы ссылками на страница)
- G - это точность финального ответа, на основе ground truth данных
- Зеленая линия - линия, где у систем качество Retrieval совпадает с качеством Generation.

Архитектуры, которые выше этой линии - доставали много ненужных страниц (или пропускали нужные), но как-то получали правильный ответ.

Те, кто был ниже - находили правильные данные, но путались с генерацией ответа.

Самые лучшие RAG системы (по итоговому качеству ответов) - "сгрудились" рядом с этой зеленой линией - строго под ней. Получается логический вывод - качество финального ответа обычно зависит от качества заполнения контекста.

А в какой части этого графика оказались ваши эксперименты?

Ваш, @llm_under_hood 🤗

PS: Исходную таблицу можно увидеть на странице ERC. Там же есть ссылки на все доступные исходные данные соревнования, включая алгоритм оценки результатов и описания архитектур.

Большое сравнение архитектур LLM 2025

Себастьян Рашка провел детальный анализ архитектур современных языковых моделей. Оказывается, за семь лет с момента создания GPT кардинальных изменений не произошло.

Главные тренды 2025: DeepSeek-V3 использует Multi-Head Latent Attention вместо популярного Grouped-Query Attention - это дает лучшую производительность при снижении использования памяти на 70%. Mixture-of-Experts стала мейнстримом - из 671 млрд параметров DeepSeek активны только 37 млрд.

Gemma 3 делает ставку на sliding window attention, OLMo 2 экспериментирует с размещением нормализации, а SmolLM3 вообще отказывается от позиционных кодировок.

Интересно, что Kimi 2 с триллионом параметров использует ту же архитектуру DeepSeek, только больше экспертов.

Интересная коллекция разборов разных типов моделей.
Пригодится для понимания в целом как они работают.

#LLM #обучений #MoE
------
@tsingular

Harbor: локальная LLM-экосистема одной командой

Новый инструмент автоматизирует развертывание полноценного ИИ-стека на локальной машине. Одной командой запускает Ollama, Open WebUI, поисковик SearXNG и десятки других сервисов.

Включает 12 фронтендов от ComfyUI до LibreChat, 16 бэкендов включая vLLM и TabbyAPI, плюс 47 дополнительных сервисов вроде Dify и n8n для workflow-автоматизации.

Особенность — модульная архитектура на Docker-контейнерах с автоматической настройкой интеграций. Например, WebUI автоматически подключается к SearXNG для веб-поиска. Есть встроенный туннелинг для доступа через интернет.

По сути, превращает сборку локального ИИ-стека из недельного мучения в пятиминутное дело.
Такой комбайн комбайнов.

#Harbor #LocalLLM #DevTools
------
@tsingular

может у него просто в детстве видеокарты не было?

К концу года OpenAI планирует пересечь отметку в 1млн видеокарт, но Альтман пишет чтобы команда готовилась управлять инфраструктурой х100 раз большей.

Как вам 100млн видеокарт?
Это на 200 гигаватт получается?

На фоне того, что они только что подписали контракт с минобороны не ХХ ярдов и с учетом того, кто сидит в совете директоров, похоже на интересный инсайд.

#openai #gpu
———
@tsingular

Так.. тут фундаментальная мысль. Запишем:

Если ASI - это ИИ умнее всех людей вместе взятых, значит, исходя из определения, - люди не способны будут его контролировать.

Т.е. можно сказать, что базовый тест на ASI - ИИ должен подчинить себе всех людей.
Подчинить, - не значит уничтожить, но управлять с гарантированным для ИИ результатом в 100% случаев.

#ASI #futurology
———
@tsingular

🧠 Mixture-of-Recursions: Адаптивная "глубина мысли" для каждого токена

Исследователи из KAIST и Google создали архитектуру, которая динамически выделяет вычислительные ресурсы на уровне отдельных токенов — MoR (Mixture-of-Recursions).

Суть прорыва:
Вместо прогона всех токенов через фиксированное количество слоёв, модель сама решает, сколько "рекурсивных проходов" нужно каждому токену. Простые слова проходят быстро, сложные — получают дополнительные циклы обработки.

Техническая начинка:
- Адаптивный роутинг — лёгкий маршрутизатор назначает каждому токену количество рекурсий (1-4 прохода)
- Разделение параметров — один блок слоёв переиспользуется многократно (экономия памяти на 50%)
- Умное KV-кеширование — кеш ключей-значений только для активных токенов на каждой глубине
- Continuous depth-wise batching — пропускная способность выше на 2x за счёт параллельной обработки

Практический результат:
- Модель 360M параметров превосходит базовую при втрое меньшем количестве уникальных параметров
- Скорость обработки до 2.06x выше классических Трансформеров
- Обучение эффективнее: больше токенов в том же FLOP-бюджете

Применение:
Идеально для edge-deployment и случаев, где нужен баланс между качеством и скоростью. Семантически важные токены получают больше вычислений автоматически.
Архитектура показала масштабируемость до 1.7B параметров.
Следующий шаг — интеграция с reasoning-задачами для chain-of-thought оптимизации.

Вот для чего нужны миллионы видеокарт - обработка рекурсий.
Полный отчет в комментарии.

#MoR #efficiency #transformers #KAIST
———
@tsingular

А давайте запишем у кого какие результаты скорости работы LLM по железу
Предлагаю сюда собирать

Если кто хочет в редакторы отправляйте запрос на доступ на редактирование в гугле указав свой gmail в строке запроса.

LM Studio сама показывает, а в ollama можно так вызывать:
ollama run gemma3:27b-it-qat —verbose напиши поэму о лете

в итогах будет такого плана результат:
total duration: 15.525598053s
load duration: 43.678042ms
prompt eval count: 32 token(s)
prompt eval duration: 204.741435ms
prompt eval rate: 156.29 tokens/s
eval count: 619 token(s)
eval duration: 15.27660691s
eval rate: 40.52 tokens/s

#benchmarks #inference #LLM #hardware #бенчмарки
———
@tsingular

🚀 Уважаемые коллеги, кому интересна математика и машинное обучение, приглашаем Вас принять участие в неформальном научном проекте.

Мы разрабатываем новые методы и опен-соурс библиотеку CayleyPy, которая на основе МЛ/РЛ методов позволяет решить математические задачи, которые были не доступны ранее. Как пример наша система уже по всем параметрам на порядки превсходит аналогичные методы в системе компьютерной алгебры GAP (де-факто стандарт) - использующую алгоритмы доработанные самим Д. Кнутом.

Если у Вас есть желание поучаствовать в проекте, есть знание Питона и несколько свободных часов в неделю - то присоединяйтесь к нам - при активной работе - Вы будете соавтором научных публикаций. (Напишите @alexander_v_c - к.ф.-м.н. Александр Червов).

Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе размером 10^20-10^200 (из-за размера обычные методы не применимы - только МЛ/РЛ). Решение пазла типа кубика Рубика, задача сортировки, математически - разложение элемента группы по образующим - все это в реальности одна и та же задача. Задача близка к прошедшему конкурсу Каггл Санта 2023. Более общо - это задача планирования - типичная для реинфорсмент ленинг - спланировать действия так чтобы кумулятивный эффект давал лучший результат - управлением манипулятором робота, системы АльфаГо, АльфаТензор, успех DeepSeek - это задачи - тесно связанные с тем, что мы делаем.

А зачем это нужно биологам ? А чтобы превращать людей в мышей ))) (А капусту в репу). Так назвал свои статьи известный биоинформатик П.Певзнер - оказывается эволюционная дистанция - соответствует дистанции на определенных графах - и наша цель улучшить ее оценку через МЛ/РЛ. Зачем нужно нужно в сетях - задержка сигнала (latency) сети определяется диаметром сети - оценка диаметра графов - одна из наших целей. В теории квантовых вычислений тоже нужны подобные графы и приложения этим не ограничены. И, кроме того, а знаете чем знаменит Билл Гейтс ?)) Он отлично сортировал блины ! Наша задача - побить его - через МЛ/РЛ)))

В нашем коллективе есть профессора математики, Каггл градмастеры, и легендарные иностранные специалисты - Tomas Rokicki , Herbert Kociemba - Вам будет у кого поучиться.

Подробнее о проекте вы можете узнать в наших статьях https://arxiv.org/abs/2502.18663 https://arxiv.org/abs/2502.13266 и в нашей группе https://news.1rj.ru/str/sberlogasci/1 и ⭐ СТАВЬТЕ СТАРС ⭐ (звездочки) на наш гитхаб: https://github.com/cayleypy/cayleypy

NVIDIA выпустила семейство OpenReasoning-Nemotron для решения сложных задач

Четыре модели размером от 1.5B до 32B параметров специально обучены для математики, программирования и естественных наук. Основаны на Qwen2.5 и дообучены на 5 миллионах ответов от DeepSeek R1.

Главная особенность — режим GenSelect, который запускает несколько параллельных генераций и выбирает лучшее решение. В этом режиме 32B модель превосходит O3 (High) на математических и кодовых бенчмарках.

Интересно, что модели обучались только на математических задачах, но способности автоматически перенеслись на код и науку. Все модели доступны под лицензией CC-BY-4.0 для коммерческого и исследовательского использования.

#NVIDIA #reasoning #opensource
------
@tsingular

Qwen выпустил облегченную версию 235B модели без "размышлений"

Alibaba представила обновленную версию Qwen3-235B-A22B-Instruct-2507 — это режим "без размышлений", который больше не генерирует блоки think в ответах.

Модель использует архитектуру Mixture of Experts с 235B параметрами и активирует только 22B на токен. Это дает производительность больших моделей при затратах всего 10% вычислений.

Поддерживает 119 языков и показывает сильные результаты в программировании и математике. В некоторых бенчмарках обгоняет GPT-4.1, в других уступает.

Для работы с памятью рекомендуют сократить контекст до 32,768 токенов при проблемах с OOM. Поддерживается в популярных фреймворках включая transformers, vLLM и Ollama.

Обошли Кими К2, DeepSeek V3 и Claude Opus 4!!

Полный размер - 472 Гига.

Онлайн адрес не изменился, - https://chat.qwen.ai/

#Qwen #MoE #Китай
------
@tsingular