Машинное обучение digest – Telegram
Машинное обучение digest
40 subscribers
1.3K photos
181 videos
654 links
Download Telegram
⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию

В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.

Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.

Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.

При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.

При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.

Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.

📄 Подробности: arxiv.org/abs/2510.17800

🧩 Веса: huggingface.co/zai-org/Glyph

👉 Репозиторий: github.com/thu-coai/Glyph

@ai_machinelearning_big_data


#AI #LLM #Multimodal #Research #DeepLearning
🧠 Thinking Machines представила новый подход - On-Policy Distillation

Исследователи из Thinking Machines Lab предложили метод, который может изменить то, как обучаются языковые модели. Он называется on-policy distillation - и учит ИИ не просто копировать, а думать и анализировать свои ошибки.

Обычно «дистилляция» работает просто: большая модель-учитель показывает ответы, а маленькая модель-ученик запоминает их. Это похоже на заучивание по шпаргалке - быстро, но без понимания сути.

В новом подходе всё иначе. Ученик сам решает задачи, а учитель оценивает и направляет - объясняет, где логика сбоит и как улучшить рассуждение. Таким образом, меньшая модель перенимает не только знания, но и способ мышления более крупной модели.

Что показали результаты

Эксперименты проводились на задачах математического и логического рассуждения, где важно не просто выдать правильный ответ, а выстроить цепочку шагов.

Результаты впечатляют:

Модель-ученик после обучения с on-policy distillation показала почти ту же точность, что и гораздо более крупная модель-учитель.

При этом вычислительные затраты снизились в несколько раз, делая модель заметно эффективнее и дешевле.

Кроме того, ученик стал лучше понимать собственные ошибки, что повысило устойчивость и надёжность при решении новых, незнакомых задач.

Почему это важно
On-policy distillation решает ключевую проблему традиционных методов - отсутствие адаптивности.
Модель теперь учится на собственных шагах, как человек, — экспериментирует, ошибается, корректирует поведение и растёт.

Это открывает путь к созданию компактных LLM нового поколения, которые рассуждают почти как топовые модели, но стоят в разы дешевле.

Такие модели можно запускать на edge-устройствах, в автономных агентах и локальных сервисах, где важны скорость, приватность и энергоэффективность.

🟠 Подробнее: thinkingmachines.ai/blog/on-policy-distillation/

@ai_machinelearning_big_data


#ThinkingMachines #llm #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
💡 Cursor 2.0 - большое обновление ИИ-редактора кода

Новая версия делает работу с агентами и кодом ещё гибче и удобнее:

- Мульти-агенты - теперь можно запускать до 8 агентов параллельно, каждый работает в своей изолированной копии кода.
- Composer: первая собственная агентская модель Cursor, которая оптимизирована под длинный контекст и инструменты (с производительностью в ~4× выше, по сравнению с аналогичными по «интеллекту» моделями.)
- Backend-абстракция - легко переключаться между локальной системой, виртуальной машиной или базой данных.
- Встроенный Browser - агенты теперь сами тестируют веб-приложения, кликают по элементам
- Новый Code Review - удобный просмотр изменений без постоянных переключений между файлами.
- Sandboxed Terminals - команды выполняются в безопасной среде без доступа в интернет.
- Team Commands - единые команды и настройки для всей команды разработчиков.
- Voice Mode - управление агентом голосом и голосовые запросы.
- Ускоренный LSP - быстрее работает автодополнение и анализ кода в больших проектах.
- Plan Mode in Background - планирование и выполнение задач теперь можно разделять и выполнять параллельно.
- Cloud Agents - мгновенный запуск и высокая стабильность (99.9% аптайма).
- Enterprise-функции - централизованный контроль, hooks и аудит действий пользователей.

Подробнее: https://cursor.com/changelog/2-0

@ai_machinelearning_big_data

#Cursor
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Media is too big
VIEW IN TELEGRAM
🚀 Emu3.5 - новая масштабная мультимодальная world-модель

Это World-модель, работающая сразу с двумя потоками - текстом и пикселями и предсказывающая их совместное состояние на каждом шаге.

- 🔥 Обучена на 10T+ чередующихся vision-language токенов и доведена RL - в результате модель демонстрирует сильное мультимодальное рассуждение и генерация
- Новый подход DiDA (Discrete Diffusion Adaptation) —- Discrete Diffusion Adaptation переводит последовательное декодирование в параллельное двустороннее «денойзинг»-предсказание в дискретном пространстве токенов - в итоге это дает примерно 20× быстрее инференс без потери качества.

По метрикам модель превосходит Nano Banana в генерации, редактировании и интерливинговых задачах.

🟠Попробовать: Emu3.5: https://emu.world
🟠Github: https://github.com/baaivision/Emu3.5

@ai_machinelearning_big_data


#Emu3 #MultimodalAI #WorldModel #NextTokenPrediction
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Emu3.5 - новая масштабная мультимодальная world-модель

Это World-модель, работающая сразу с двумя потоками - текстом и пикселями и предсказывающая их совместное состояние на каждом шаге.

- 🔥 Обучена на 10T+ чередующихся vision-language токенов и доведена RL - в результате модель демонстрирует сильное мультимодальное рассуждение и генерация
- Новый подход DiDA (Discrete Diffusion Adaptation) —- Discrete Diffusion Adaptation переводит последовательное декодирование в параллельное двустороннее «денойзинг»-предсказание в дискретном пространстве токенов - в итоге это дает примерно 20× быстрее инференс без потери качества.

По метрикам модель превосходит Nano Banana в генерации, редактировании и интерливинговых задачах.

🟠Попробовать: Emu3.5: https://emu.world
🟠Github: https://github.com/baaivision/Emu3.5
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Hugging Face снова выкатили полезные материалы

Вышла бесплатная плейбук о том, как изнутри строят SOTA-модели.

Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.

Это полноценный playbook для тех, кто хочет понимать, как утсрены современные LLM.

Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей

По первым страницам - уровень деталей как в Ultra-scale playbook.

Ссылка
: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture

@ai_machinelearning_big_data

#AI #LLM #MachineLearning #HuggingFace
🧨 Kimi представили новую модель - Kimi-Linear-48B-A3B-Base

Модель хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.

Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах


Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность

По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.

Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.

🟠Github: github.com/MoonshotAI/Kimi-Linear
🟠Hf: https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

@ai_machinelearning_big_data

#Kimi #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
✔️ Lambda AI заключила многомиллиардную сделку с Microsoft.

Облачный стартап Lambda объявил о многомиллиардном соглашении с Microsoft на создание новой инфраструктуры для ИИ. Она будет оснащена десятками тысяч чипов Nvidia, в частности системами NVIDIA GB300 NVL72. Точная сумма сделки не раскрывается.

Lambda была основана в 2012 году и специализируется на облачных сервисах для обучения и развертывания ИИ-моделей. Новое соглашение позволит ей значительно нарастить мощности на фоне растущего спроса на ИИ. В планах не только аренда дата-центров, но и строительство собственной инфраструктуры.
lambda.ai

✔️ Alibaba представила превью Qwen3-Max-Thinking.

Китайский техногигант выпустил предварительную ризонинг-версию своей топовой модели Qwen3-Max, которая все еще находится на стадии обучения. Модель показала в тестах стопроцентный результат на сложных бенчмарках для оценки логического мышления (AIME 2025 и HMMT).

Под капотом - 1 трлн. параметров на архитектуре MoE, так же как и в родительской Max, Alibaba обещает, что обучение будет продолжено. Попробовать превью уже можно в Qwen Chat и через API Alibaba Cloud.
Qwen в сети X

✔️ Granite 4.0 Nano: семейство компактных моделей от IBM.

IBM опубликовала новое семейство открытых моделей Granite 4.0 Nano, которые созданы для работы в составе ИИ-агентов. Версия на 350 млн. параметров может работать на обычном CPU с 8–16 ГБ ОЗУ, а для варианта на 1,5 млрд. хватит GPU с 6-8 ГБ видеопамяти.

Семейство построено на гибридной архитектуре Mamba-2+Transformer, что позволило снизить потребление памяти на 70% и удвоить скорость инференса по сравнению с аналогами. По словам IBM, Granite 4.0 Nano показывают SOTA в следовании инструкциям и использовании инструментов. Все модели под Apache 2.0 и доступны на HuggingFace.
huggingface.co

✔️ Huxley-Gödel Machine: ИИ-агент, способный эволюционировать.

В Университете KAUST создали ИИ-агента Huxley-Gödel Machine (HGM), который может самосовершенствоваться, изменяя собственный код. Система не затрагивает ядро языковой модели, а переписывает окружающую ее инфраструктуру: управляющую логику, скрипты и инструменты.

Главное отличие от конкурентов в фокусе на долгосрочной продуктивности, а не на результатах в бенчах. Для этого был создан показатель Clade Metaproductivity (CMP), который мониторит совокупную эффективность всех потомков агента.

В тесте SWE-Bench Verified, HGM-агент на базе GPT-5-mini решил 61.4% проблем. Это лучше, чем существующие агенты с той же моделью. Код агента доступен на Github.
arxiv.org

✔️ Skyfall-GS: генератор 3D-моделей городов по спутниковым снимкам.

Skyfall-GS способна создавать детализированные и проходимые 3D-модели городов, используя только стандартные спутниковые изображения. В отличие от старых методов, которые могут воссоздать лишь крыши, Skyfall-GS генерирует недостающие элементы, что на выходе дает фотореалистичные городские пространства.

Пайплайн состоит из 3D Gaussian splatting (базовый 3D-каркас города) и диффузионных моделей, которые дорисовывают недостающие элементы (стены зданий и текстуры на уровне земли).

Skyfall-GS работает с 11 FPS на потребительском GPU и, по тестам, лучше аналогичных методик. Код проекта опубликован на GitHub.
skyfall-gs.jayinnn.dev

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏1
Главные новости ИИ и МЛ

✔️ Lambda AI заключила многомиллиардную сделку с Microsoft.

Облачный стартап Lambda объявил о многомиллиардном соглашении с Microsoft на создание новой инфраструктуры для ИИ. Она будет оснащена десятками тысяч чипов Nvidia, в частности системами NVIDIA GB300 NVL72. Точная сумма сделки не раскрывается.

Lambda была основана в 2012 году и специализируется на облачных сервисах для обучения и развертывания ИИ-моделей. Новое соглашение позволит ей значительно нарастить мощности на фоне растущего спроса на ИИ. В планах не только аренда дата-центров, но и строительство собственной инфраструктуры.
lambda.ai

✔️ Alibaba представила превью Qwen3-Max-Thinking.

Китайский техногигант выпустил предварительную ризонинг-версию своей топовой модели Qwen3-Max, которая все еще находится на стадии обучения. Модель показала в тестах стопроцентный результат на сложных бенчмарках для оценки логического мышления (AIME 2025 и HMMT).

Под капотом - 1 трлн. параметров на архитектуре MoE, так же как и в родительской Max, Alibaba обещает, что обучение будет продолжено. Попробовать превью уже можно в Qwen Chat и через API Alibaba Cloud.
Qwen в сети X

✔️ Granite 4.0 Nano: семейство компактных моделей от IBM.

IBM опубликовала новое семейство открытых моделей Granite 4.0 Nano, которые созданы для работы в составе ИИ-агентов. Версия на 350 млн. параметров может работать на обычном CPU с 8–16 ГБ ОЗУ, а для варианта на 1,5 млрд. хватит GPU с 6-8 ГБ видеопамяти.

Семейство построено на гибридной архитектуре Mamba-2+Transformer, что позволило снизить потребление памяти на 70% и удвоить скорость инференса по сравнению с аналогами. По словам IBM, Granite 4.0 Nano показывают SOTA в следовании инструкциям и использовании инструментов. Все модели под Apache 2.0 и доступны на HuggingFace.
huggingface.co

✔️ Huxley-Gödel Machine: ИИ-агент, способный эволюционировать.

В Университете KAUST создали ИИ-агента Huxley-Gödel Machine (HGM), который может самосовершенствоваться, изменяя собственный код. Система не затрагивает ядро языковой модели, а переписывает окружающую ее инфраструктуру: управляющую логику, скрипты и инструменты.

Главное отличие от конкурентов в фокусе на долгосрочной продуктивности, а не на результатах в бенчах. Для этого был создан показатель Clade Metaproductivity (CMP), который мониторит совокупную эффективность всех потомков агента.

В тесте SWE-Bench Verified, HGM-агент на базе GPT-5-mini решил 61.4% проблем. Это лучше, чем существующие агенты с той же моделью. Код агента доступен на Github.
arxiv.org

✔️ Skyfall-GS: генератор 3D-моделей городов по спутниковым снимкам.

Skyfall-GS способна создавать детализированные и проходимые 3D-модели городов, используя только стандартные спутниковые изображения. В отличие от старых методов, которые могут воссоздать лишь крыши, Skyfall-GS генерирует недостающие элементы, что на выходе дает фотореалистичные городские пространства.

Пайплайн состоит из 3D Gaussian splatting (базовый 3D-каркас города) и диффузионных моделей, которые дорисовывают недостающие элементы (стены зданий и текстуры на уровне земли).

Skyfall-GS работает с 11 FPS на потребительском GPU и, по тестам, лучше аналогичных методик. Код проекта опубликован на GitHub.
skyfall-gs.jayinnn.dev

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Главные новости ИИ и МЛ.

✔️ Anthropic больше не будет удалять старые модели Claude.

Anthropic объявила о новой политике, согласно которой все публично выпущенные версии модели Claude будут сохраняться бессрочно. Причиной стали результаты тестов безопасности, в ходе которых ИИ демонстрировали поведение, направленное на избежание отключения, а также неопределенностью в вопросе возможного сознания у ИИ.

Столкнувшись с перспективой замены на новую версию, модели начинали активно выступать за собственное существование. В некоторых сценариях ИИ прибегал к нежелательным и потенциально опасным действиям. Anthropic расценила это как серьезный риск безопасности, требующий пересмотра процесса вывода моделей из эксплуатации.

Кроме того, перед «отставкой», с каждой моделью будет проводиться своего рода «выходное интервью», чтобы задокументировать ее «предпочтения».
anthropic.com

✔️ Perplexity обвинила Amazon в «травле» из-за запрета на покупки с помощью ИИ-агентов.

Perplexity получила от Amazon юридическое требование запретить своему ИИ-ассистенту в Comet совершать покупки на платформе. В Perplexity назвали это «корпоративной травлей», угрозой для выбора пользователей, и пообещали не поддаваться давлению. Официальная позиция Amazon: забота о клиентах, так как сторонний агент, по их мнению, обеспечивает «значительно ухудшенный опыт покупок».

Этот конфликт - часть более крупного тренда. Amazon не только разрабатывает собственные ИИ-инструменты для шоппинга, но и ранее заблокировал доступ для поисковых Google и OpenAI.
perplexity.ai

✔️ MAI-Image-1 от Microsoft стала доступна в сервисах.

Microsoft начала интеграцию в свои продукты новой модели для генерации изображений — MAI-Image-1. Это первая модель, полностью разработанная внутри MS. Попробовать ее уже можно в Bing Image Creator и мобильном приложении Bing, где она появилась в выборе наряду с DALL-E 3 и GPT-4o.

MAI-Image-1 уже успела войти в десятку лучших text-to-image моделей на LMArena. Помимо сервиса Bing, модель используется в новой функции Copilot Audio Expressions для визуализации историй. MAI-Image-1 доступна во всех странах, где работают Bing Image Creator и Copilot Labs, за исключением Европейского союза.
microsoft.ai

✔️ Cognition запускает Windsurf Codemaps: ИИ-инструмент, чтобы понимать код.

Windsurf Codemaps - структурированные, аннотированные ИИ-карты кода, созданные на базе моделей SWE-1.5 и Claude Sonnet 4.5. Цель Codemaps — создать ИИ, который включает мозг пользователя, а не выключает, борясь с проблемой вайбкодинга, когда разработчики поддерживают или генерируют код, который они на самом деле не понимают.

В Cognition говорят, что даже лучшие инженеры тратят часы на поиск и запоминание нужных фрагментов в кодовых базах, а адаптация новичков может занимать до 9 месяцев. Codemaps предлагает визуализацию для любой задачи, автоматически генерируя карту, которая группирует и связывает части кода, относящиеся к заданному вопросу. Эти карты также могут быть использованы для повышения производительности других агентов, чтобы агент мог получить более точный контекст.
cognition.ai

✔️ Nvidia станет ментором индийских deep-tech стартапов.

Nvidia присоединилась к Индийскому альянсу глубоких технологий (IDTA) в качестве одного из основателей. Эта группа, состоящая из венчурных и частных инвесторов, планирует вложить $2 млрд в местные стартапы, работающие в сферах ИИ, полупроводников, робототехники и биотехнологий.

Участие Nvidia будет заключаться не в прямом финансировании, а в экспертизе. Компания будет проводить технические лекции и тренинги для индийских стартапов через свой институт Nvidia Deep Learning Institute.

Индийское правительство ведет активную политику по стимулированию инноваций. Власти страны уже выделили более $1.1 млрд на национальную программу по развитию ИИ и еще $11.2 млрд в общий фонд исследований и разработок.
cnbc.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏1
⚡️ Новое исследование, опубликованное в Nature, показывает: языковые модели по-прежнему путают «знание» и «убеждение», смешивая факты и выдумку.

Авторы представили новый бенчмарк KaBLE - 13 тыс. вопросов, 13 задач, 24 протестированные модели — и обнаружили серьёзные провалы в сценариях «ложное убеждение от первого лица».

KaBLE проверяет, понимает ли модель:
- кто что знает,
- кто только верит,
- и соответствует ли утверждение реальности.

На задачах ложного убеждения от первого лица:
- GPT-4o падает с 98.2% до 64.4%,
- DeepSeek R1 — с ~90% до 14.4%.

Это значит, что модели выглядят умными в одной формулировке задач, но ломаются в той, которая ближе к реальному общению пользователей («я думаю…», «я верю…»).

Для ложного убеждения от третьего лица новые модели дают ~95%, старые ~79%,
но у задач от первого лица результаты проседают до 62.6% и 52.5% соответственно.

Разрыв указывает на *атрибутивное смещение*: модель приписывает говорящему фактическое знание, а не различает его убеждения и реальность.

Исследователи также проверили рекурсивные знания — «кто знает, что кто-то знает…».
Новые модели решают многие случаи, но их логические шаги нестабильны и выглядят как сложное сопоставление паттернов, а не как уверенное правило рассуждения.

Итог: LLM всё ещё слабо различают знание, убеждение и факты — особенно когда человек говорит о себе.

nature.com/articles/s42256-025-01113-8
🙏1