Что важно знать ML-специалисту и как ему помогает математика
Этот вопрос стал одним из центральных в новом выпуске Machine Learning Podcast, где в гостях у Михаила Крыжановского был Алексей Толстиков — руководитель Школы анализа данных Яндекса, кандидат физико-математических наук и эксперт в олимпиадном программировании.
Ключевые поинты:
• Почему настоящая подготовка сильных ИИ-специалистов начинается не с нейросетей и фреймворков, а с серьёзного математического фундамента — матанализа, линейной алгебры и теории вероятностей. Я уже писал о том, насколько важна математика для ML-щика, здесь Толстиков это неоднократно подтверждает.
• Как LLM меняют образование
• Почему выпускники ШАДа востребованы по всему миру и не обязаны идти в Яндекс
• Куда в целом движется подготовка кадров в эпоху быстрых технологических сдвигов.
Полезно послушать всем, кто работает или хочет работать в ML и ИИ — от джунов до сеньоров.
Слушать подкаст
Этот вопрос стал одним из центральных в новом выпуске Machine Learning Podcast, где в гостях у Михаила Крыжановского был Алексей Толстиков — руководитель Школы анализа данных Яндекса, кандидат физико-математических наук и эксперт в олимпиадном программировании.
Ключевые поинты:
• Почему настоящая подготовка сильных ИИ-специалистов начинается не с нейросетей и фреймворков, а с серьёзного математического фундамента — матанализа, линейной алгебры и теории вероятностей. Я уже писал о том, насколько важна математика для ML-щика, здесь Толстиков это неоднократно подтверждает.
• Как LLM меняют образование
• Почему выпускники ШАДа востребованы по всему миру и не обязаны идти в Яндекс
• Куда в целом движется подготовка кадров в эпоху быстрых технологических сдвигов.
Полезно послушать всем, кто работает или хочет работать в ML и ИИ — от джунов до сеньоров.
Слушать подкаст
❤12🔥6👍5
🧠 Теренс Тао о текущем ИИ и AGI
Математик Теренс Тао считает, что современные ИИ вряд ли скоро достигнут настоящего AGI, но уже становятся «в целом умными» — решают сложные задачи за счёт ad-hoc приёмов и brute force.
Я с этим не до конца согласен.
Даже Тао — как и почти любой эксперт — скорее всего сильно недооценил бы, насколько мощным ИИ будет выглядеть к 2025 году. Реальный прогресс уже превзошёл большинство прежних ожиданий.
Темпы развития сейчас настолько высокие, что прогнозы на 2030–2035 годы — это в основном догадки, а не надёжные предсказания.
Поэтому самая разумная позиция сегодня:
- оставаться скептичным
- смотреть на то, что реально работает, а не на теории
- постоянно обновлять своё мнение по мере изменения реальности
ИИ развивается быстрее, чем наши модели будущего — и это уже стало повторяющимся паттерном.
Математик Теренс Тао считает, что современные ИИ вряд ли скоро достигнут настоящего AGI, но уже становятся «в целом умными» — решают сложные задачи за счёт ad-hoc приёмов и brute force.
Я с этим не до конца согласен.
Даже Тао — как и почти любой эксперт — скорее всего сильно недооценил бы, насколько мощным ИИ будет выглядеть к 2025 году. Реальный прогресс уже превзошёл большинство прежних ожиданий.
Темпы развития сейчас настолько высокие, что прогнозы на 2030–2035 годы — это в основном догадки, а не надёжные предсказания.
Поэтому самая разумная позиция сегодня:
- оставаться скептичным
- смотреть на то, что реально работает, а не на теории
- постоянно обновлять своё мнение по мере изменения реальности
ИИ развивается быстрее, чем наши модели будущего — и это уже стало повторяющимся паттерном.
👍13👎11❤5
🚀 Квантовый процессор Google может стать в 1 000 раз эффективнее благодаря новому кубиту из Принстона.
Исследователи из Принстона создали сверхпроводящий кубит с резко увеличенным временем когерентности — порядка миллисекунд вместо привычных микросекунд у современных дизайнов.
Ключ к прорыву — материалы:
- тантал
- высокочистый кремний
Такое сочетание существенно снижает потери энергии, которые и ограничивают время когерентности кубитов.
Почему это важно:
- более длинная когерентность = меньше ошибок
- меньше ошибок = гораздо более полезные вычисления
- при масштабировании эффект усиливается
В теории, если такой кубит встроить в уже существующие квантовые процессоры (включая решения Google), можно получить до ~1 000× прироста эффективной производительности без изменения алгоритмов.
Важно подчеркнуть:
- это не софтверный трюк
- это прорыв в материалах и производстве
- он напрямую бьёт по одному из главных bottleneck’ов масштабируемых квантовых вычислений
Редкий случай, когда улучшение на уровне физики может радикально изменить всю траекторию развития технологии.
https://interestingengineering.com/innovation/princeton-built-qubit-works-1000-times-better
Исследователи из Принстона создали сверхпроводящий кубит с резко увеличенным временем когерентности — порядка миллисекунд вместо привычных микросекунд у современных дизайнов.
Ключ к прорыву — материалы:
- тантал
- высокочистый кремний
Такое сочетание существенно снижает потери энергии, которые и ограничивают время когерентности кубитов.
Почему это важно:
- более длинная когерентность = меньше ошибок
- меньше ошибок = гораздо более полезные вычисления
- при масштабировании эффект усиливается
В теории, если такой кубит встроить в уже существующие квантовые процессоры (включая решения Google), можно получить до ~1 000× прироста эффективной производительности без изменения алгоритмов.
Важно подчеркнуть:
- это не софтверный трюк
- это прорыв в материалах и производстве
- он напрямую бьёт по одному из главных bottleneck’ов масштабируемых квантовых вычислений
Редкий случай, когда улучшение на уровне физики может радикально изменить всю траекторию развития технологии.
https://interestingengineering.com/innovation/princeton-built-qubit-works-1000-times-better
❤10👍7🔥3👎1
🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты?
Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом.
Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям.
Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт.
🎁 48 часов действует скидка в 40% процентов
👉 Начать учиться на Stepik
Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом.
Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям.
Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт.
🎁 48 часов действует скидка в 40% процентов
👉 Начать учиться на Stepik
❤5👍3💩2🔥1👏1
Forwarded from Machinelearning
2025 год был захватывающим годом для языковых моделей.
Они проявились как новый вид интеллекта, одновременно гораздо более умный и гораздо более глупый, чем я ожидал. Я думаю, что индустрия не реализовала хотя бы 10% их потенциала даже при нынешних возможностях.
Я одновременно верю и в то, что мы увидим быстрый и непрерывный прогресс, и в то, что впереди еще очень много работы.
Пристегнитесь.
В 2025-м стек обучения LLM дополнился новой ключевой стадией оптимизации по объективным наградам. Он заставляет модели самостоятельно находить стратегии рассуждения.
Прогресс года в том, что создание моделей стало не про увеличение размера модели, а про более длительные RLVR-прогоны.
Это также дало новый рычаг управления: "время размышления" на инференсе. Первопроходец - OpenAI o1, а переломный момент - o3.
Интеллект LLM формируется под давлением специфических оптимизаций и на выходе мы имеем резкие всплески способностей в рядом с грубыми ошибками.
Из-за этого бенчмарки теряют смысл: под них напрямую оптимизируются, что не ведёт к созданию AGI.
Это не просто интерфейс к условной модели, а сложная оркестрация работы LLM под конкретные вертикали, c управляемым контекстом, вызовами и интерфейсом.
Cursor создаёт отдельную ценностную прослойку между LLM-лабораториями и конечными пользователями.
В отличие от облачных агентов, он использует ваши данные, контекст и инструменты для ризонинга и вызова инструментов.
Его фишка - в низкой задержке, приватности и глубокой интеграции в рабочее окружение. Это сдвиг от ИИ как «сайта» к напарнику-помощнику в вашей системе.
Я думаю, OpenAI допустили ошибку, сосредоточив свои усилия по созданию агентов в облаке и управляемых из ChatGPT, вместо localhost.
В 2025 году ИИ преодолел порог, позволяющий через текстовые инструкции создавать работающие программы.
Это демократизирует программирование, позволяя непрофессионалам писать код, а экспертам - быстро прототипировать без глубокого погружения.
Код становится эфемерным, гибким и бесплатным ресурсом.
Забавно, что я придумал термин «вайб-кодинг» в этом твите с мыслями из душа, совершенно не представляя, как далеко это зайдет :)
Взаимодействие с ИИ через чат - это аналог командной строки 80-х, неудобный для человека.
Будущее за LLM GUI интерфейсом, где ИИ общается визуально (инфографика, анимации, веб-приложения).
Nano banana - ранний пример такого взаимодействия, в ней объединены генерация текста, изображений и общие знания.
Google Gemini Nano banana — одна из самых невероятных, меняющих парадигму моделей 2025 года.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👎3🥰2🔥1
⁉️ Хотите стать экспертом в создании торговых роботов и финансовом анализе с ML?
🎯 Курс «ML для финансового анализа» от OTUS — ваш шанс углубить знания в финанализе и создать торговых роботов.
Что вас ждёт:
✔️ Полный цикл создания робота: от данных до продакшна.
✔️ Анализ финданных, оценка инструментов, формирование портфеля.
✔️ Практика с нейронными сетями (PyTorch) для автоматизации и прибыли.
После курса вы сможете создавать роботов для оценки рисков и операций, размещать их в облаке и работать с биржами.
➡️ Закрытие набора скоро! Успейте присоединиться: https://otus.pw/Opxo/?erid=2W5zFJVjnyE
🎄Учитесь в новом году по старым ценам!
Максимальная скидка 30% 🎁 на обучение до 26.12.2025:
1 курс — тающая скидка 15% до 26.12
2 курса −25%, 3 курса −30%
Учиться системно — выгоднее!
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
🎯 Курс «ML для финансового анализа» от OTUS — ваш шанс углубить знания в финанализе и создать торговых роботов.
Что вас ждёт:
✔️ Полный цикл создания робота: от данных до продакшна.
✔️ Анализ финданных, оценка инструментов, формирование портфеля.
✔️ Практика с нейронными сетями (PyTorch) для автоматизации и прибыли.
После курса вы сможете создавать роботов для оценки рисков и операций, размещать их в облаке и работать с биржами.
➡️ Закрытие набора скоро! Успейте присоединиться: https://otus.pw/Opxo/?erid=2W5zFJVjnyE
🎄Учитесь в новом году по старым ценам!
Максимальная скидка 30% 🎁 на обучение до 26.12.2025:
1 курс — тающая скидка 15% до 26.12
2 курса −25%, 3 курса −30%
Учиться системно — выгоднее!
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
This media is not supported in your browser
VIEW IN TELEGRAM
Небанальные прогнозы развития ИИ
В новом выпуске подкаста ВТБ «Деньги любят техно» — разговор с Юрием Валентиновичем Визильтером, одним из ключевых экспертов в области ИИ и компьютерного зрения в России. Юрий Визильтер — профессор РАН, научный директор Института искусственного интеллекта МФТИ, директор по направлению ИИ ГосНИИ авиационных систем.
В беседе с ведущим подкаста, заместителем руководителя департамента анализа данных и моделирования ВТБ Денисом Суржко, Юрий Валентинович рассказал о личном и профессиональном: с чего начинается карьера исследователя, что формирует её вектор и почему важно не замыкаться на одной теме.
Эксперты поговорили об актуальных прорывах в ИИ: где граница между «слабым» и «сильным» ИИ, в каких сферах ИИ уже даёт измеримый эффект, где он помогает (или мешает) науке. И обсудили важное для всех, кто находится в начале карьерного пути в ML и Data Science: какие навыки будут ключевыми для ML‑специалистов в ближайшие 5 лет и в чём сильные стороны отечественной школы.
Слушать подкаст можно здесь
Смотреть здесь
В новом выпуске подкаста ВТБ «Деньги любят техно» — разговор с Юрием Валентиновичем Визильтером, одним из ключевых экспертов в области ИИ и компьютерного зрения в России. Юрий Визильтер — профессор РАН, научный директор Института искусственного интеллекта МФТИ, директор по направлению ИИ ГосНИИ авиационных систем.
В беседе с ведущим подкаста, заместителем руководителя департамента анализа данных и моделирования ВТБ Денисом Суржко, Юрий Валентинович рассказал о личном и профессиональном: с чего начинается карьера исследователя, что формирует её вектор и почему важно не замыкаться на одной теме.
Эксперты поговорили об актуальных прорывах в ИИ: где граница между «слабым» и «сильным» ИИ, в каких сферах ИИ уже даёт измеримый эффект, где он помогает (или мешает) науке. И обсудили важное для всех, кто находится в начале карьерного пути в ML и Data Science: какие навыки будут ключевыми для ML‑специалистов в ближайшие 5 лет и в чём сильные стороны отечественной школы.
Слушать подкаст можно здесь
Смотреть здесь
👍9❤7👎1
INTELLECT-3 показывает, что открытое RL способно серьёзно улучшить рассуждение и кодирование в open-source моделях 🤖📈
INTELLECT-3 это Mixture-of-Experts модель:
- 106B параметров всего
- около 12B активны на каждом шаге
Главная идея проекта - стек prime-rl.
Обучение и инференс идут параллельно: GPU продолжают генерировать длинные ответы, пока тренер обновляет веса. Ничего не простаивает.
Что помогает системе работать быстро:
- непрерывное батчирование
- обновления весов на лету
- перекрытие обучения и генерации
По сути, открытое RL отставало не из-за метода, а из-за отсутствия правильной инженерии.
Пайплайн устроен так:
- тренер обновляет модель
- пул инференса генерирует ответы
- координатор держит всё загруженным и синхронизированным
Задачи приходят из модулей-проверяющих с автоскорингом и безопасными песочницами для кода.
Старт идёт с GLM-4.5-Air: сначала примеры диалогов и инструментов, затем RL с наградами за правильные решения.
Результат впечатляет:
- 90.8% на AIME 2024
- открыты и веса, и весь тренировочный стек, так что пайплайн можно воспроизвести
Paper: https://arxiv.org/abs/2512.16144
INTELLECT-3 это Mixture-of-Experts модель:
- 106B параметров всего
- около 12B активны на каждом шаге
Главная идея проекта - стек prime-rl.
Обучение и инференс идут параллельно: GPU продолжают генерировать длинные ответы, пока тренер обновляет веса. Ничего не простаивает.
Что помогает системе работать быстро:
- непрерывное батчирование
- обновления весов на лету
- перекрытие обучения и генерации
По сути, открытое RL отставало не из-за метода, а из-за отсутствия правильной инженерии.
Пайплайн устроен так:
- тренер обновляет модель
- пул инференса генерирует ответы
- координатор держит всё загруженным и синхронизированным
Задачи приходят из модулей-проверяющих с автоскорингом и безопасными песочницами для кода.
Старт идёт с GLM-4.5-Air: сначала примеры диалогов и инструментов, затем RL с наградами за правильные решения.
Результат впечатляет:
- 90.8% на AIME 2024
- открыты и веса, и весь тренировочный стек, так что пайплайн можно воспроизвести
Paper: https://arxiv.org/abs/2512.16144
❤5
ЛИНЕЙНАЯ_АЛГЕБРА_АНАЛИТИЧЕСКАЯ_ГЕОМЕТРИЯ.pdf
1.5 MB
ЛИНЕЙНАЯ АЛГЕБРА АНАЛИТИЧЕСКАЯ ГЕОМЕТРИЯ
А. М. ИВЛЕВА, П. И. ПРИЛУЦКАЯ, И. Д. ЧЕРНЫХ
В пособии подобраны задачи по курсу линейной алгебры и аналитической геометрии, читаемому на I курсе всех факультетов НГТУ. Теоретический материал пособия и приведенные решения типовых задач способствуют лучшему усвоению материала, самостоятельной работе и приобретению навыков решения задач, необходимых для успешной подготовки к экзамену. Авторы не претендуют на абсолютно корректное из- ложение теоретического материала, упростив его для улучшения понимания.
А. М. ИВЛЕВА, П. И. ПРИЛУЦКАЯ, И. Д. ЧЕРНЫХ
В пособии подобраны задачи по курсу линейной алгебры и аналитической геометрии, читаемому на I курсе всех факультетов НГТУ. Теоретический материал пособия и приведенные решения типовых задач способствуют лучшему усвоению материала, самостоятельной работе и приобретению навыков решения задач, необходимых для успешной подготовки к экзамену. Авторы не претендуют на абсолютно корректное из- ложение теоретического материала, упростив его для улучшения понимания.
👍17❤4🔥2
Япония протестировала передачу энергии из космоса - без проводов и топлива 🚀⚡
Японские инженеры успешно провели тест:
солнечные панели в космосе собрали энергию и передали её на Землю по микроволновому каналу.
На наземной станции сигнал снова преобразовали в электричество и система заработала.
В отличие от наземных солнечных станций, космические панели работают:
- без облаков и погоды
- без ночи
- круглосуточно — 24/7
То есть это потенциально *стабильный источник чистой энергии*.
Этот тест ранний, но ключевой шаг к будущим
орбитальным солнечным фермам.
В перспективе такие системы смогут обеспечивать энергией:
- целые города
- удалённые и труднодоступные регионы
Эксперты считают, что это может стать переломным моментом: космические технологии начинают помогать в борьбе с климатическими проблемами.
Пока это эксперимент, но главное доказано: идея работает.
Японские инженеры успешно провели тест:
солнечные панели в космосе собрали энергию и передали её на Землю по микроволновому каналу.
На наземной станции сигнал снова преобразовали в электричество и система заработала.
В отличие от наземных солнечных станций, космические панели работают:
- без облаков и погоды
- без ночи
- круглосуточно — 24/7
То есть это потенциально *стабильный источник чистой энергии*.
Этот тест ранний, но ключевой шаг к будущим
орбитальным солнечным фермам.
В перспективе такие системы смогут обеспечивать энергией:
- целые города
- удалённые и труднодоступные регионы
Эксперты считают, что это может стать переломным моментом: космические технологии начинают помогать в борьбе с климатическими проблемами.
Пока это эксперимент, но главное доказано: идея работает.
❤25👍16👎3💩3⚡1😱1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Mo Gawdat: ИИ больше не просто пишет код, он исправляет нашу математику
Бывший топ-менеджер Google X Мо Гавдат рассказал:
ИИ перестал быть «инструментом программиста». Он начал исправлять человеческие математические методы.
📁 56 лет мы использовали одну и ту же формулу для умножения матриц.
ИИ обнаружил, что подход был неэффективным — и придумал новую математику, а не просто оптимизировал софт.
Результат:
- +23% к производительности
- минус сотни миллионов долларов затрат
- огромная экономия энергии
Это не просто ускорение алгоритмов —
это момент, когда ИИ начинает изобретать фундаментальные вещи, на которых стоит весь софт.
И будущее становится ещё интереснее.
Бывший топ-менеджер Google X Мо Гавдат рассказал:
ИИ перестал быть «инструментом программиста». Он начал исправлять человеческие математические методы.
📁 56 лет мы использовали одну и ту же формулу для умножения матриц.
ИИ обнаружил, что подход был неэффективным — и придумал новую математику, а не просто оптимизировал софт.
Результат:
- +23% к производительности
- минус сотни миллионов долларов затрат
- огромная экономия энергии
Это не просто ускорение алгоритмов —
это момент, когда ИИ начинает изобретать фундаментальные вещи, на которых стоит весь софт.
И будущее становится ещё интереснее.
👏21💩16❤6👍4👎3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Математик Теренс Тао - один из самых цитируемых учёных в мире о LLM:
Обучать и запускать большие языковые модели не так уж математически сложно: базу вполне может понять обычный студент-математик.
Но настоящая загадка в другом - у нас нет теории, которая объясняет,
почему модели блестяще решают одни задачи и внезапно проваливаются на других.
По словам Тао, сегодня мы можем только пробовать, измерять и сравнивать результаты —
Это редкое честное признание: ИИ пока работает как инженерия без полноценной науки — сначала строим, потом понимаем.
Обучать и запускать большие языковые модели не так уж математически сложно: базу вполне может понять обычный студент-математик.
Но настоящая загадка в другом - у нас нет теории, которая объясняет,
почему модели блестяще решают одни задачи и внезапно проваливаются на других.
По словам Тао, сегодня мы можем только пробовать, измерять и сравнивать результаты —
«мы можем делать лишь эмпирические эксперименты».
Это редкое честное признание: ИИ пока работает как инженерия без полноценной науки — сначала строим, потом понимаем.
❤17👍13🔥12
Forwarded from Машинное обучение digest
⚡️ Wavelet Matrix - структура данных, которая делает сложные запросы быстрыми
Wavelet Matrix позволяет хранить последовательности так,
чтобы работать с ними молниеносно и компактно.
🔥 Что умеет библиотека:
- rank - сколько раз элемент встречается до позиции
- select - где находится k-е вхождение элемента
- quantile - k-й по величине элемент на отрезке
- top-k - самые частые элементы на диапазоне
И всё это — за логарифмическое время и с экономией памяти.
Чем полезен
- работает быстрее, чем наивные структуры
- меньше памяти, чем обычные массивы
- подходит для поиска, индексирования, сжатия, аналитики
Wavelet Matrix - это пример того,
как «умные» структуры данных дают реальные ускорения,
а не просто красивая теория.
Если интересуешься алгоритмами -
этот репозиторий точно стоит сохранить.
Репозиторий: https://github.com/math-hiyoko/wavelet-matrix
@pythonl
Wavelet Matrix позволяет хранить последовательности так,
чтобы работать с ними молниеносно и компактно.
🔥 Что умеет библиотека:
- rank - сколько раз элемент встречается до позиции
- select - где находится k-е вхождение элемента
- quantile - k-й по величине элемент на отрезке
- top-k - самые частые элементы на диапазоне
И всё это — за логарифмическое время и с экономией памяти.
Чем полезен
- работает быстрее, чем наивные структуры
- меньше памяти, чем обычные массивы
- подходит для поиска, индексирования, сжатия, аналитики
Wavelet Matrix - это пример того,
как «умные» структуры данных дают реальные ускорения,
а не просто красивая теория.
Если интересуешься алгоритмами -
этот репозиторий точно стоит сохранить.
Репозиторий: https://github.com/math-hiyoko/wavelet-matrix
@pythonl
👍8❤7🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Джеффри Хинтон: ИИ может обогнать людей в математике
Хинтон считает, что математика - это «закрытая система», а значит ИИ может работать с ней как с игрой с понятными правилами.
Модели уже умеют:
• ставить себе задачи
• проверять собственные доказательства
• учиться на своих же ошибках — без примеров от людей
💡 Если это случится, ИИ сможет не просто решать задачи, а открывать новые теоремы и методы, двигая науку еще быстрее, чем раньше.
Хинтон считает, что математика - это «закрытая система», а значит ИИ может работать с ней как с игрой с понятными правилами.
Модели уже умеют:
• ставить себе задачи
• проверять собственные доказательства
• учиться на своих же ошибках — без примеров от людей
«Я думаю, что ИИ станет гораздо лучше людей в математике - возможно, уже в ближайшие 10 лет».
💡 Если это случится, ИИ сможет не просто решать задачи, а открывать новые теоремы и методы, двигая науку еще быстрее, чем раньше.
👍11❤7🤡6🔥5
DeepSeek снова в игре 🔥
"Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models"
Идея мощная: DeepSeek предлагают Engram - модуль памяти, который добавляет к LLM *lookup-память* с доступом за O(1).
Что это значит по-человечески:
вместо того чтобы каждый раз “вспоминать” шаблоны через слои трансформера, модель может моментально доставать нужные куски знаний из отдельной памяти.
Engram - это:
- хешированная N-gram память (modernized hashed N-gram embeddings)
- которая работает как быстрый словарь: *пришёл паттерн → достали представление → усилили модель*
Анализ показывает интересное:
🧠 Engram снижает необходимость ранним слоям заново реконструировать “статичные паттерны”
(частые формы, устойчивые токены, регулярные последовательности)
➡️ То есть ранние слои (слои трансформера, которые стоят ближе всего ко входу.) меньше заняты “механической работой”и больше ресурсов остаётся на главное.
В результате модель становится как будто глубже там, где надо:
- reasoning
- планирование
- длинные цепочки мыслей
Фактически это новый тип sparsity:
не только MoE/спарсные слои,
а спарсная память с быстрым доступом.
Это уже похоже на шаг к LLM, где часть знаний живёт как “кэш-память”, а не внутри весов.
Paper: https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf
Видео: https://www.youtube.com/watch?v=Hoz9HxHy_nQ
"Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models"
Идея мощная: DeepSeek предлагают Engram - модуль памяти, который добавляет к LLM *lookup-память* с доступом за O(1).
Что это значит по-человечески:
вместо того чтобы каждый раз “вспоминать” шаблоны через слои трансформера, модель может моментально доставать нужные куски знаний из отдельной памяти.
Engram - это:
- хешированная N-gram память (modernized hashed N-gram embeddings)
- которая работает как быстрый словарь: *пришёл паттерн → достали представление → усилили модель*
Анализ показывает интересное:
🧠 Engram снижает необходимость ранним слоям заново реконструировать “статичные паттерны”
(частые формы, устойчивые токены, регулярные последовательности)
➡️ То есть ранние слои (слои трансформера, которые стоят ближе всего ко входу.) меньше заняты “механической работой”и больше ресурсов остаётся на главное.
В результате модель становится как будто глубже там, где надо:
- reasoning
- планирование
- длинные цепочки мыслей
Фактически это новый тип sparsity:
не только MoE/спарсные слои,
а спарсная память с быстрым доступом.
Это уже похоже на шаг к LLM, где часть знаний живёт как “кэш-память”, а не внутри весов.
Paper: https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf
Видео: https://www.youtube.com/watch?v=Hoz9HxHy_nQ
👍11❤4🔥2
🧠 Grok 4.20: ИИ нашёл новую Bellman-функцию и продвинул сложную задачу в анализе
По сообщениям, Grok 4.20 смог идентифицировать новую Bellman function, которая помогает продвинуться в одной из “тяжёлых” тем математики - на стыке:
- гармонического анализа
- стохастических процессов
- и поведения случайных средних
Самое интересное - ИИ не просто “угадал ответ”, а предложил явную формулу, основанную на времени выхода броуновского движения (exit time of Brownian motion).
Результат:
- удалось улучшить известную нижнюю оценку
- и приблизить математическое сообщество к более точному пониманию того,
как ведут себя средние значения в стохастических системах
Мы входим в эпоху, где ИИ ускоряет математику не на проценты - а на порядки. ⚡️
https://x.com/PI010101/status/2011560477688463573
По сообщениям, Grok 4.20 смог идентифицировать новую Bellman function, которая помогает продвинуться в одной из “тяжёлых” тем математики - на стыке:
- гармонического анализа
- стохастических процессов
- и поведения случайных средних
Самое интересное - ИИ не просто “угадал ответ”, а предложил явную формулу, основанную на времени выхода броуновского движения (exit time of Brownian motion).
Результат:
- удалось улучшить известную нижнюю оценку
- и приблизить математическое сообщество к более точному пониманию того,
как ведут себя средние значения в стохастических системах
Мы входим в эпоху, где ИИ ускоряет математику не на проценты - а на порядки. ⚡️
https://x.com/PI010101/status/2011560477688463573
❤11👍7🔥5👎1
🧠 Почти 40 лет прошло… и мы снова спорим о том же. Только теперь - про ИИ.
В 1986 году учителя математики протестовали против калькуляторов.
Боялись, что дети перестанут учить базу и будут просто “жать кнопки”.
И на тот момент это была вполне реальная проблема.
Перематываем в 2026 - и мы видим тот же спор, только уже про AI.
Но есть важная разница:
Калькулятор - просто даёт ответ.
А ИИ способен сделать весь процесс:
- придумать решение
- объяснить шаги
- написать код
- оформить вывод
- предложить варианты
И вот это уже не “удобный инструмент”.
Это смена самой модели обучения и работы.
Калькулятор ускорял вычисления.
ИИ ускоряет мышление и действия.
И именно поэтому спор вокруг него будет намного жестче.
В 1986 году учителя математики протестовали против калькуляторов.
Боялись, что дети перестанут учить базу и будут просто “жать кнопки”.
И на тот момент это была вполне реальная проблема.
Перематываем в 2026 - и мы видим тот же спор, только уже про AI.
Но есть важная разница:
Калькулятор - просто даёт ответ.
А ИИ способен сделать весь процесс:
- придумать решение
- объяснить шаги
- написать код
- оформить вывод
- предложить варианты
И вот это уже не “удобный инструмент”.
Это смена самой модели обучения и работы.
Калькулятор ускорял вычисления.
ИИ ускоряет мышление и действия.
И именно поэтому спор вокруг него будет намного жестче.
❤14👍7🔥5🤮2