🧠 Андрей Карпаты научил nanochat считать буквы - и объяснил, как расширять способности модели.
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Карпаты показал, как добавить новую функцию в мини-LLM nanochat d32, чьи размеры он сравнил с «мозгом пчелы».
Он обучил модель считать, сколько раз буква r встречается в слове strawberry - и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Он использует задачу SpellingBee, которая генерирует диалоги вида:
> «Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель дообучается (**SFT**) или проходит обучение с подкреплением (RL), чтобы закрепить навык.
Далее модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче «понимает» задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово,
— и через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
🧩 Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Полный разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Media is too big
VIEW IN TELEGRAM
Всего через два дня после новости от Google - ещё один крупный квантовый прорыв.
IBM заявила, что один из её ключевых алгоритмов квантовой коррекции ошибок теперь способен работать в реальном времени на FPGA-чипах AMD, без использования экзотического оборудования.
Это делает квантовые вычисления быстрее, дешевле и ближе к практическому применению, чем ожидалось.
Алгоритм, который отслеживает и исправляет ошибки кубитов «на лету»,показал производительность в 10 раз выше необходимой, что стало важным шагом к созданию квантового компьютера Starling, запланированного на 2029 год.
Теперь IBM утверждает, что проект идёт на год впереди графика.
Исследовательская статья выйдет в понедельник.
Темп развития квантовых технологий заметно ускоряется.
reuters
Через два дня после запуска OpenAI Atlas Microsoft представили обновлённый браузер Edge с новым режимом Copilot Mode. Это полноценный AI-бразуер, который понимает контекст вкладок, выполняет действия и способен продолжать проекты, используя историю пользователя.
Функция Actions позволяет голосом или через чат открывать страницы, находить нужную информацию, отписываться от рассылок и даже бронировать рестораны. Система Journeys группирует прошлую активность по темам и помогает вернуться к незавершённым задачам, предлагая логичные следующие шаги. Включение Page Context даёт Copilot доступ к истории для более точных и персонализированных ответов, однако это остаётся опциональной функцией, которую можно отключить в любой момент.
Edge также получил встроенный AI-защитник от фейковых всплывающих окон, менеджер паролей с проверкой на утечки.
Браузер уже доступен в странах, где работает Copilot, на Windows и macOS.
Microsoft
Google представила фреймворк Geospatial Reasoning на базе Gemini, который объединяет предиктивные модели и данные в единую систему анализа Земли.
Теперь ИИ способен рассуждать о реальных процессах, например, предсказывать землетрясения, оценивать риски и предлагать план эвакуации.
Система уже применяется в ВОЗ (WHO AFRO) для прогнозов вспышек холеры и у McGill & Partners для расчёта ущерба после ураганов.
Google превращает Google Earth из карты в разумный аналитический инструмент планеты.
Мета-обучатель наблюдал за множеством агентов в разных средах и вывел универсальное правило обновления, которое улучшает поведение моделей без ручной настройки.
В итоге DiscoRL победил лучшие алгоритмы на Atari 57 и успешно перенёс этот навык на новые задачи.
nature
Hugging Face открыла OpenEnv -платформуа где можно собирать, обучать и масштабировать агентов под ваши задачи.
Внутри уже есть всё: инструменты, плагины, API и поддержка обучения с подкреплением - без сторонних библиотек.
OpenEnv позволяет создавать системы, где агенты взаимодействуют, распределяют задачи и выполняют их самостоятельно.
Платформа полностью открыта и готова к использованию без ограничений.
HF
На криптобенчмарке AlphaArena модели ИИ торгуют по $10 000 на площадке Hyperliquid, чтобы проверить качество торговых стратегий.
После старта, где лидировала DeepSeek V3.1, а GPT-5 показывала убыток около −39 %, Qwen3-Max обошла всех и заняла первое место.
Все участники - Qwen3-Max, DeepSeek V3.1, Claude 4.5 Sonnet, Gemini 2.5 Pro, Grok 4 и GPT-5 — торгуют в одинаковых условиях без приватных данных, что делает тест прозрачным.
На Polymarket оценивают шансы Qwen3-Max удержать лидерство в 45 %.
Организаторы планируют расширить эксперимент на акции и другие активы и запустить инвестплатформу для AI-агентов.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
• Содержание: Курс включает 9 лекций, дополненных видео, подробными презентациями и примерами кода. Цикла - обучение разработке ИИ-агентов доступен написан понятно, даже для новичков в программирование.
• Темы: В лекциях рассматриваются такие темы, такие как RAG (Retrieval-Augmented Generation), эмбеддинги, агенты и протокол MCP.
Культовый трек CS 249 превратили в интерактивный учебник - и это, пожалуй, один из лучших стартов для инженеров, которые хотят делать реальные ML-системы, а не просто играться с моделями.
• Вся база по ML: объясняют фундамент с нуля, нужно только знание Python
• Проектирование систем и инженерия данных
• Подготовка датасетов, MLOps и мониторинг
• Развёртывание ИИ в IoT и продакшене
Это практический курс: не о формулах, а о том, как внедрять ML так, чтобы он приносил бизнесу прибыль.
Если хочешь понять, как модели живут в проде - идеальный вариант для старта.
NVIDIA показала, как собрать AI-агента, который понимает твои запросы на естественном языке и сам выполняет команды Bash.
В основе модель Nemotron Nano 9B v2: компактная, быстрая, идеально подходит для локального эксперимента.
Агент умеет:
- распознавать команды на естественном языке («создай папку», «покажи файлы»),
- превращать эти команды в рабочие Bash-срипты
- спрашивать подтверждение перед выполнением.
Весь код занимает ~200 строк Python, работает через FastAPI и LangGraph.
Можно расширить под DevOps, Git-операции, анализ логов или управление сервером.
Полностью бесплатно и максимально практично.
Что внутри:
• Python, Pandas, визуализация
• Основы машинного обучения и фичеринжиниринг
• Подготовка данных и работа с моделями
Практика без лишней теории учишься и сразу применяешь.
Вы узнаете, как масштабировать базы данных через шардинг - разбиение данных по серверам для роста производительности и отказоустойчивости.
Главное:
• Шардинг нужен, когда одна база больше не справляется с нагрузкой.
• Есть два популярных подхода — по диапазону (range) и по хешу (hash).
• Важно выбрать стабильный ключ (например, user_id) и избегать кросс-шардовых запросов.
• Прокси-слой немного увеличивает задержку, но даёт масштабируемость.
Отличный материал, если хочешь понять, как строят системы уровня YouTube. А здесь много базы по SQL
Читать
Список из 60 проектов на GitHub с открытым кодом по генеративному ИИ 0от текстовых моделей до аудио и видео.
Каждый проект - с описанием и ссылкой на репозиторий. Можно выбрать идею, запустить локально и собрать своё AI-портфолио.
👉 Еще больше полезного.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 MiniMax-M2: компактная MoE-модель
MiniMax-M2 переосмысливает эффективность: это 230 млрд параметров (из них активно только 10 млрд) - мощная, быстрая и экономичная модель, которая сочетает интеллект уровня топовых LLM с оптимизацией под агентные применения и программирование.
🔹 Основные особенности
🧠 Интеллект мирового уровня.
По данным *Artificial Analysis*, MiniMax-M2 демонстрирует отличные результаты в математике, науке, программировании, следовании инструкциям и использовании инструментов.
Модель занимает #1 место среди всех open-source моделей по суммарному индексу интеллекта.
💻 Кодинг
Разработана для полного цикла разработкт - от файловых правок до тестировании кода и его автокоррекции.
Модель показывает отличные результаты на Terminal-Bench и (Multi-)SWE-Bench, что делает её эффективной в IDE, терминалах и CI-системах.
🧩 Агентные возможности.
MiniMax-M2 умеет планировать и выполнять сложные цепочки действий через shell, браузер, retrieval и code runners.
В тестах BrowseComp уверенно находит труднодоступные источники и восстанавливается после сбоев, не теряя цепочку рассуждений.
MiniMax M2 построена по принципу GPT-OSS и использует сочетание Full Attention и Sliding Window Attention (SWA). Это помогает эффективно работать с длинным контекстом - часть модели анализирует всё сразу, другая концентрируется на ближайших фрагментах текста.
Каждая attention-голова имеет собственный RMSNorm, а блоки Full Attention и SWA используют разные RoPE-параметры, это повышает гибкость и устойчивость модели.
MiniMax-M2 - это новый стандарт эффективности для AGI-агентов и кодинга: умнее, быстрее и дешевле, чем аналоги.
https://huggingface.co/MiniMaxAI/MiniMax-M2
@ai_machinelearning_big_data
#AI #MiniMax #LLM #ArtificialIntelligence #Benchmarks
MiniMax-M2 переосмысливает эффективность: это 230 млрд параметров (из них активно только 10 млрд) - мощная, быстрая и экономичная модель, которая сочетает интеллект уровня топовых LLM с оптимизацией под агентные применения и программирование.
🔹 Основные особенности
🧠 Интеллект мирового уровня.
По данным *Artificial Analysis*, MiniMax-M2 демонстрирует отличные результаты в математике, науке, программировании, следовании инструкциям и использовании инструментов.
Модель занимает #1 место среди всех open-source моделей по суммарному индексу интеллекта.
💻 Кодинг
Разработана для полного цикла разработкт - от файловых правок до тестировании кода и его автокоррекции.
Модель показывает отличные результаты на Terminal-Bench и (Multi-)SWE-Bench, что делает её эффективной в IDE, терминалах и CI-системах.
🧩 Агентные возможности.
MiniMax-M2 умеет планировать и выполнять сложные цепочки действий через shell, браузер, retrieval и code runners.
В тестах BrowseComp уверенно находит труднодоступные источники и восстанавливается после сбоев, не теряя цепочку рассуждений.
MiniMax M2 построена по принципу GPT-OSS и использует сочетание Full Attention и Sliding Window Attention (SWA). Это помогает эффективно работать с длинным контекстом - часть модели анализирует всё сразу, другая концентрируется на ближайших фрагментах текста.
Каждая attention-голова имеет собственный RMSNorm, а блоки Full Attention и SWA используют разные RoPE-параметры, это повышает гибкость и устойчивость модели.
MiniMax-M2 - это новый стандарт эффективности для AGI-агентов и кодинга: умнее, быстрее и дешевле, чем аналоги.
https://huggingface.co/MiniMaxAI/MiniMax-M2
@ai_machinelearning_big_data
#AI #MiniMax #LLM #ArtificialIntelligence #Benchmarks
⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию
В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.
Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.
Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.
При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.
При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.
Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.
📄 Подробности: arxiv.org/abs/2510.17800
🧩 Веса: huggingface.co/zai-org/Glyph
👉 Репозиторий: github.com/thu-coai/Glyph
@ai_machinelearning_big_data
#AI #LLM #Multimodal #Research #DeepLearning
В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.
Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.
Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.
При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.
При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.
Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.
📄 Подробности: arxiv.org/abs/2510.17800
🧩 Веса: huggingface.co/zai-org/Glyph
👉 Репозиторий: github.com/thu-coai/Glyph
@ai_machinelearning_big_data
#AI #LLM #Multimodal #Research #DeepLearning
Исследователи из Thinking Machines Lab предложили метод, который может изменить то, как обучаются языковые модели. Он называется on-policy distillation - и учит ИИ не просто копировать, а думать и анализировать свои ошибки.
Обычно «дистилляция» работает просто: большая модель-учитель показывает ответы, а маленькая модель-ученик запоминает их. Это похоже на заучивание по шпаргалке - быстро, но без понимания сути.
В новом подходе всё иначе. Ученик сам решает задачи, а учитель оценивает и направляет - объясняет, где логика сбоит и как улучшить рассуждение. Таким образом, меньшая модель перенимает не только знания, но и способ мышления более крупной модели.
Что показали результаты
Эксперименты проводились на задачах математического и логического рассуждения, где важно не просто выдать правильный ответ, а выстроить цепочку шагов.
Результаты впечатляют:
Модель-ученик после обучения с on-policy distillation показала почти ту же точность, что и гораздо более крупная модель-учитель.
При этом вычислительные затраты снизились в несколько раз, делая модель заметно эффективнее и дешевле.
Кроме того, ученик стал лучше понимать собственные ошибки, что повысило устойчивость и надёжность при решении новых, незнакомых задач.
Почему это важно
On-policy distillation решает ключевую проблему традиционных методов - отсутствие адаптивности.
Модель теперь учится на собственных шагах, как человек, — экспериментирует, ошибается, корректирует поведение и растёт.
Это открывает путь к созданию компактных LLM нового поколения, которые рассуждают почти как топовые модели, но стоят в разы дешевле.
Такие модели можно запускать на edge-устройствах, в автономных агентах и локальных сервисах, где важны скорость, приватность и энергоэффективность.
@ai_machinelearning_big_data
#ThinkingMachines #llm #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Новая версия делает работу с агентами и кодом ещё гибче и удобнее:
- Мульти-агенты - теперь можно запускать до 8 агентов параллельно, каждый работает в своей изолированной копии кода.
- Composer: первая собственная агентская модель Cursor, которая оптимизирована под длинный контекст и инструменты (с производительностью в ~4× выше, по сравнению с аналогичными по «интеллекту» моделями.)
- Backend-абстракция - легко переключаться между локальной системой, виртуальной машиной или базой данных.
- Встроенный Browser - агенты теперь сами тестируют веб-приложения, кликают по элементам
- Новый Code Review - удобный просмотр изменений без постоянных переключений между файлами.
- Sandboxed Terminals - команды выполняются в безопасной среде без доступа в интернет.
- Team Commands - единые команды и настройки для всей команды разработчиков.
- Voice Mode - управление агентом голосом и голосовые запросы.
- Ускоренный LSP - быстрее работает автодополнение и анализ кода в больших проектах.
- Plan Mode in Background - планирование и выполнение задач теперь можно разделять и выполнять параллельно.
- Cloud Agents - мгновенный запуск и высокая стабильность (99.9% аптайма).
- Enterprise-функции - централизованный контроль, hooks и аудит действий пользователей.
Подробнее: https://cursor.com/changelog/2-0
@ai_machinelearning_big_data
#Cursor
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Media is too big
VIEW IN TELEGRAM
Это World-модель, работающая сразу с двумя потоками - текстом и пикселями и предсказывающая их совместное состояние на каждом шаге.
- 🔥 Обучена на 10T+ чередующихся vision-language токенов и доведена RL - в результате модель демонстрирует сильное мультимодальное рассуждение и генерация
- ⚡ Новый подход DiDA (Discrete Diffusion Adaptation) —- Discrete Diffusion Adaptation переводит последовательное декодирование в параллельное двустороннее «денойзинг»-предсказание в дискретном пространстве токенов - в итоге это дает примерно 20× быстрее инференс без потери качества.
По метрикам модель превосходит Nano Banana в генерации, редактировании и интерливинговых задачах.
@ai_machinelearning_big_data
#Emu3 #MultimodalAI #WorldModel #NextTokenPrediction
Please open Telegram to view this post
VIEW IN TELEGRAM
Это World-модель, работающая сразу с двумя потоками - текстом и пикселями и предсказывающая их совместное состояние на каждом шаге.
- 🔥 Обучена на 10T+ чередующихся vision-language токенов и доведена RL - в результате модель демонстрирует сильное мультимодальное рассуждение и генерация
- ⚡ Новый подход DiDA (Discrete Diffusion Adaptation) —- Discrete Diffusion Adaptation переводит последовательное декодирование в параллельное двустороннее «денойзинг»-предсказание в дискретном пространстве токенов - в итоге это дает примерно 20× быстрее инференс без потери качества.
По метрикам модель превосходит Nano Banana в генерации, редактировании и интерливинговых задачах.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - baaivision/Emu3.5: Native Multimodal Models are World Learners
Native Multimodal Models are World Learners. Contribute to baaivision/Emu3.5 development by creating an account on GitHub.