О, на всеми любимом YouTube канале 3blue1brown впервые за долгое время вышло новое видео
Тема: диффузионные модели
За 40 минут автор в фирменном мультипликационном стиле буквально раскладывает по полочкам, как работают современные генераторы картинок и видео.
Сначала – основы. CLIP, эмбеддинги, скрытые пространства, архитектура ванильных диффузионных моделей. А потом уже рассказывается и про DDIM, и про устройство Dall E 2, и про conditioning, и про многое другое.
В общем получился довольно подробный ролик. Тем, кто в генерации новичок, посмотреть точно стоит. Профессионалам тоже советуем – чисто насладиться эстетикой😍
youtu.be/iv-5mZ_9CPY
Тема: диффузионные модели
За 40 минут автор в фирменном мультипликационном стиле буквально раскладывает по полочкам, как работают современные генераторы картинок и видео.
Сначала – основы. CLIP, эмбеддинги, скрытые пространства, архитектура ванильных диффузионных моделей. А потом уже рассказывается и про DDIM, и про устройство Dall E 2, и про conditioning, и про многое другое.
В общем получился довольно подробный ролик. Тем, кто в генерации новичок, посмотреть точно стоит. Профессионалам тоже советуем – чисто насладиться эстетикой
youtu.be/iv-5mZ_9CPY
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4❤324🔥80👍16
Meta* наконец-то нашли себе Chief Scientist в новое подразделение Superintelligence Lab
Им станет Shengjia Zhao, который пришел из OpenAI. Там он работал над обучением GPT-4, o1, o3, GPT-4.1 и других моделей, а также возглавлял направление synthetic data.
А еще он вместе с Яном Лейке, Джоном Шульманом и другими звездами OpenAI (в его лучшие годы) был соавтором оригинальной статьи “ChatGPT: Optimizing Language Models for Dialogue”.
Кстати, в прошлом Shengjia Zhao также работал в МТС. Пруфы – на второй картинке🤫
Им станет Shengjia Zhao, который пришел из OpenAI. Там он работал над обучением GPT-4, o1, o3, GPT-4.1 и других моделей, а также возглавлял направление synthetic data.
А еще он вместе с Яном Лейке, Джоном Шульманом и другими звездами OpenAI (в его лучшие годы) был соавтором оригинальной статьи “ChatGPT: Optimizing Language Models for Dialogue”.
Кстати, в прошлом Shengjia Zhao также работал в МТС. Пруфы – на второй картинке
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁237❤43🔥25👍8🗿5🤔3
Learning without training: разбираем новую крайне интересную статью от Google
Смотрите, все мы знаем, что если модели в промпте показать несколько примеров решения похожих задач, то она может легко подхватить паттерн, и качество ответов станет лучше. При этом веса модели, естественно, не меняются.
Это называется in‑context learning (ICL), но вот вам fun fact: никто до сих пор до конца не знает, почему это работает, и как трансформер это делает.
И вот в этой статье авторы предлагают почти революционную гипотезу – что на самом деле веса меняются, просто иначе, чем мы привыкли.
То есть на самом деле внутри блока трансформера происходит нечто похожее на файнтюнинг, только не через градиенты, а за счёт самой механики self‑attention и MLP. Идея сводится к следующему:
1. Контекст порождает локальные изменения активаций, и когда вы добавляете примеры в промпт, self‑attention пересчитывает эмбеддинги токенов так, что после этого они зависят от всего контекста. Разницу между «чистыми» активациями и активациями с учётом примеров можно назвать контекстным сдвигом. Это все известные вещи.
2. А вот дальше зарыта собака: оказывается, MLP превращает этот контекстный сдвиг в ранг‑1 обновление весов. Иначе говоря, если посмотреть на первый линейный слой MLP (матрицу W), то влияние дополнительных примеров эквивалентно тому, что эту самую матрицу дополняют маленькой поправкой ранга 1.
Причем эта поправка описывается достаточно простой формулой. То есть если мы берем оригинальные веса и вручную добавляем к ним эту поправку, модель без контекста выдаст то же самое, что и оригинал с контекстом. Но всё это происходит во время инференса, без обратного прохода и без изменения глобальных моделей параметров.
Получается, Google буквально дают ключ к возможному обучению без градиентного спуска. Если такие ранг‑1 апдейты научиться усиливать или контролировать, это может быть началом абсолютно новых архитектур.
Почитать полностью можно тут -> arxiv.org/abs/2507.16003 (осторожно, много математики)
Смотрите, все мы знаем, что если модели в промпте показать несколько примеров решения похожих задач, то она может легко подхватить паттерн, и качество ответов станет лучше. При этом веса модели, естественно, не меняются.
Это называется in‑context learning (ICL), но вот вам fun fact: никто до сих пор до конца не знает, почему это работает, и как трансформер это делает.
И вот в этой статье авторы предлагают почти революционную гипотезу – что на самом деле веса меняются, просто иначе, чем мы привыкли.
То есть на самом деле внутри блока трансформера происходит нечто похожее на файнтюнинг, только не через градиенты, а за счёт самой механики self‑attention и MLP. Идея сводится к следующему:
1. Контекст порождает локальные изменения активаций, и когда вы добавляете примеры в промпт, self‑attention пересчитывает эмбеддинги токенов так, что после этого они зависят от всего контекста. Разницу между «чистыми» активациями и активациями с учётом примеров можно назвать контекстным сдвигом. Это все известные вещи.
2. А вот дальше зарыта собака: оказывается, MLP превращает этот контекстный сдвиг в ранг‑1 обновление весов. Иначе говоря, если посмотреть на первый линейный слой MLP (матрицу W), то влияние дополнительных примеров эквивалентно тому, что эту самую матрицу дополняют маленькой поправкой ранга 1.
Причем эта поправка описывается достаточно простой формулой. То есть если мы берем оригинальные веса и вручную добавляем к ним эту поправку, модель без контекста выдаст то же самое, что и оригинал с контекстом. Но всё это происходит во время инференса, без обратного прохода и без изменения глобальных моделей параметров.
Получается, Google буквально дают ключ к возможному обучению без градиентного спуска. Если такие ранг‑1 апдейты научиться усиливать или контролировать, это может быть началом абсолютно новых архитектур.
Почитать полностью можно тут -> arxiv.org/abs/2507.16003 (осторожно, много математики)
4🔥250❤69👍37🤯18🤔14
Ничего необычного, просто в Твиттере вспомнили, как в 2022 году после запуска ChatGPT кто-то сказал Альтману, что это худший из возможных концептов ИИ-продукта
Вот бы распечатать – и на стенку в офисе OpenAI
Вот бы распечатать – и на стенку в офисе OpenAI
❤186😁181🤯23👨💻6👍3
Еще одна очень громкая статья последних дней – AlphaGo Moment for Model Architecture Discovery
TL;DR: ученые представили первую в мире систему, автономно генерирующую новые рабочие архитектуры ИИ -> проверили ее на 20 000 GPU‑часах -> открыли закон масштабирования, который говорит, что количество обнаруженных архитектур растёт линейно по мере увеличения числа ресурсов.
После выхода AlphaEvolve ученые всё больше и больше говорят о том, что пора нам переходить от NAS к ASI4AI: то есть от классического Neural Architecture Search, ограниченного человеческим фактором, к ИИ, который улучшает ИИ, который улучшает ИИ, который .... Ну вы поняли.
История действительно перспективная (и в том числе эта статья это подтверждает). Ведь способности ИИ по законам масштабирования растут экспоненциально, но в то же время скорость исследований остаётся линейной из‑за ограничений человеческого внимания и времени. Парадокс.
Ну так вот. Сама архитектура ASI‑ARCH из статьи состоит из трех модулей: Researcher, Engineer и Analyzer. Один генерирует гипотезы и "ТЗ", другой пишет код и собирает метрики, третий анализирует результаты.
Долго останавливаться на архитектуре не будем, тут самое интересное – результат. Было проведено 1 773 эксперимента на 20 000 GPU‑часах, в результате обнаружено 106 новых SOTA архитектур (это линейная зависимость). Под SOTA тут, кстати, подразумеваются именно линейные модели (НЕ трансформер), которые демонстрируют лучшие метрики в своем классе.
При этом в итоговых архитектурах действительно присутствуют какие-то непривычные конструкции. Отсюда и название – исследователи проводят прямую аналогию с ходом 37 AlphaGo в матче с Ли Седолем и говорят, что это яркий показатель способности системы находить прорывные идеи, а не просто подражать.
arxiv.org/pdf/2507.18074
TL;DR: ученые представили первую в мире систему, автономно генерирующую новые рабочие архитектуры ИИ -> проверили ее на 20 000 GPU‑часах -> открыли закон масштабирования, который говорит, что количество обнаруженных архитектур растёт линейно по мере увеличения числа ресурсов.
После выхода AlphaEvolve ученые всё больше и больше говорят о том, что пора нам переходить от NAS к ASI4AI: то есть от классического Neural Architecture Search, ограниченного человеческим фактором, к ИИ, который улучшает ИИ, который улучшает ИИ, который .... Ну вы поняли.
История действительно перспективная (и в том числе эта статья это подтверждает). Ведь способности ИИ по законам масштабирования растут экспоненциально, но в то же время скорость исследований остаётся линейной из‑за ограничений человеческого внимания и времени. Парадокс.
Ну так вот. Сама архитектура ASI‑ARCH из статьи состоит из трех модулей: Researcher, Engineer и Analyzer. Один генерирует гипотезы и "ТЗ", другой пишет код и собирает метрики, третий анализирует результаты.
Долго останавливаться на архитектуре не будем, тут самое интересное – результат. Было проведено 1 773 эксперимента на 20 000 GPU‑часах, в результате обнаружено 106 новых SOTA архитектур (это линейная зависимость). Под SOTA тут, кстати, подразумеваются именно линейные модели (НЕ трансформер), которые демонстрируют лучшие метрики в своем классе.
При этом в итоговых архитектурах действительно присутствуют какие-то непривычные конструкции. Отсюда и название – исследователи проводят прямую аналогию с ходом 37 AlphaGo в матче с Ли Седолем и говорят, что это яркий показатель способности системы находить прорывные идеи, а не просто подражать.
arxiv.org/pdf/2507.18074
10🤯159🔥84❤37👍25
Начинаем понедельник с ✨ интересных фактов✨
Мы в сегодня лет обнаружили, что термин «галлюцинации» тоже придумал Андрей Карпаты. Почти все знают, что именно он ввел в эксплуатацию «вайб-кодинг», но это-то было относительно недавно, – а вот корни «галлюцинаций» уходят еще в 2015 год.
Оказывается, тогда термин был впервые использован в известной статье “Unreasonable Effectiveness of RNNs” (ссылка), и с тех пор разлетелся по комьюнити, ну а дальше – в глобал.
Сам Андрей, кстати, пишет, что он «нагаллюцинировал это понятие»👓
Мы в сегодня лет обнаружили, что термин «галлюцинации» тоже придумал Андрей Карпаты. Почти все знают, что именно он ввел в эксплуатацию «вайб-кодинг», но это-то было относительно недавно, – а вот корни «галлюцинаций» уходят еще в 2015 год.
Оказывается, тогда термин был впервые использован в известной статье “Unreasonable Effectiveness of RNNs” (ссылка), и с тех пор разлетелся по комьюнити, ну а дальше – в глобал.
Сам Андрей, кстати, пишет, что он «нагаллюцинировал это понятие»
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤187
В Китае развернули масштабную переделку игровых GeForce RTX 5090 в видеокарты для ИИ
Новостям про то, как в КНР справляются с экспортными ограничениями на железо, просто нет конца. Но в этот раз они превзошли сами себя.
Оказалось, что на заводах в Шэньчжэне работают уже целые автоматизированные линии, которые пачками перерабатывают оригинальные RTX 5090. Их разбирают и извлекают чипы GPU GB202 и память GDDR7, которые затем переустанавливаются на новые двухслотовые платы. Добавили серверное вентиляторное охлаждение, 16-контактный разъём питания – и, считай, готово.
Дополнительно так называемые 5090 Turbo еще проходят краш-тесты, чтобы отсеить непрочные кристаллы. Оставшиеся уже отправляются в дата-центры.
И кстати, полноценные RTX 5090 уже ввозить в Китай нельзя: официально разрешены только ослабленные RTX 5090D, в которых аппаратно ограничены вычисления для ИИ. Так что даже для того, чтобы вот так переделывать видеокарты, их сначала надо обходными путями доставить из Сингапура, ОАЭ и пр.
Видят цель – не видят препятствий
Новостям про то, как в КНР справляются с экспортными ограничениями на железо, просто нет конца. Но в этот раз они превзошли сами себя.
Оказалось, что на заводах в Шэньчжэне работают уже целые автоматизированные линии, которые пачками перерабатывают оригинальные RTX 5090. Их разбирают и извлекают чипы GPU GB202 и память GDDR7, которые затем переустанавливаются на новые двухслотовые платы. Добавили серверное вентиляторное охлаждение, 16-контактный разъём питания – и, считай, готово.
Дополнительно так называемые 5090 Turbo еще проходят краш-тесты, чтобы отсеить непрочные кристаллы. Оставшиеся уже отправляются в дата-центры.
И кстати, полноценные RTX 5090 уже ввозить в Китай нельзя: официально разрешены только ослабленные RTX 5090D, в которых аппаратно ограничены вычисления для ИИ. Так что даже для того, чтобы вот так переделывать видеокарты, их сначала надо обходными путями доставить из Сингапура, ОАЭ и пр.
Видят цель – не видят препятствий
10😁199🔥97🤯46👍35❤21👏9
Qwen снова радуют релизом. Но на этот раз это не модель, а новый RL-алгоритм для обучения LLM
Метод называется Group Sequence Policy Optimization (GSPO), и именно он лег в основу последних громких моделей компании: Qwen3 Instruct, Coder и Thinking. Статья вышла пару дней назад, но о ней уже говорят все. Значит, пока разбираться и нам.
Сегодня один из самых популярных RL-алгоритмов для LLM – это GRPO (by DeepSeek). Если вам он не знаком – почитайте разбор вот тут или загляните в наш коспект в раздел "Обучение с подкреплением". GRPO работает здорово и довольно стабильно, но на уровне токенов.
То есть в GRPO мы считаем награду для всей последовательности -> считаем важность каждого токена и применяем клиппинг также для каждого токена отдельно -> обновляем политику "на уровне токенов".
А в GSPO все то же самое происходит сразу для всей последовательности: считаем награду -> рассчитываем единый importance weight для всей последовательности и применяем клиппинг для всего ответа целиком с нормализацией по длине -> обновляем политику.
В чем преимущество такого подхода?
1. Не нужно устраивать танцы с бубном, когда работаешь с MoE. У GRPO из-за архитектурных особенностей MoE идет со скрипом, а тут все заводится из коробки.
2. Градиенты получаются менее шумными, потому что снижается дисперсия. Следовательно – еще более стабильное обучение. Следовательно – лучшие метрики при тех же ресурсах.
3. Инженерно реализуется гораздо проще.
Короче, выглядит очень привлекательно и, вероятно, станет следующим словом в RL для LLM (особенно в опенсорсе). Статью полностью читаем тут
Метод называется Group Sequence Policy Optimization (GSPO), и именно он лег в основу последних громких моделей компании: Qwen3 Instruct, Coder и Thinking. Статья вышла пару дней назад, но о ней уже говорят все. Значит, пока разбираться и нам.
Сегодня один из самых популярных RL-алгоритмов для LLM – это GRPO (by DeepSeek). Если вам он не знаком – почитайте разбор вот тут или загляните в наш коспект в раздел "Обучение с подкреплением". GRPO работает здорово и довольно стабильно, но на уровне токенов.
То есть в GRPO мы считаем награду для всей последовательности -> считаем важность каждого токена и применяем клиппинг также для каждого токена отдельно -> обновляем политику "на уровне токенов".
А в GSPO все то же самое происходит сразу для всей последовательности: считаем награду -> рассчитываем единый importance weight для всей последовательности и применяем клиппинг для всего ответа целиком с нормализацией по длине -> обновляем политику.
В чем преимущество такого подхода?
1. Не нужно устраивать танцы с бубном, когда работаешь с MoE. У GRPO из-за архитектурных особенностей MoE идет со скрипом, а тут все заводится из коробки.
2. Градиенты получаются менее шумными, потому что снижается дисперсия. Следовательно – еще более стабильное обучение. Следовательно – лучшие метрики при тех же ресурсах.
3. Инженерно реализуется гораздо проще.
Короче, выглядит очень привлекательно и, вероятно, станет следующим словом в RL для LLM (особенно в опенсорсе). Статью полностью читаем тут
2❤98👍34
Пользователи настолько перегрузили Claude Code, что Anthropic пришлось ввести новые недельные лимиты
Они говорят, что изменения спроектированы так, что затронут только небольшой процент пользователей. Например, по их словам, есть те, кто использует Claude Code 24/7 и сжигает десятки тысяч долларов в тарифе за 200$ (признавайтесь, кто из вас?).
Другая группа тех, кому мы обязаны новыми лимитами, – это пользователи, которые шарят аккаунты с друзьями и коллегами или перепродают доступ.
Если вы не относитесь ни к тем, ни к другим – лимиты не должны вас затронуть. Однако все-таки, для информации:
– Для Pro: 40-80 часов Sonnet 4 в неделю
– Для Max за 100$: 140-280 часов Sonnet 4 и 15-35 часов Opus 4
– Для Max за 200$: 240-480 часов Sonnet 4 и 24-40 часов Opus 4
Все лимиты указаны только в рамках Claude Code. В чате они другие. Изменения вступят в силу 28 августа.
И да, конечно далеко не все восприняли новую политику с пониманием. Многие жалуются, что цены на тарифы у Anthropic и так неоправданно дорогие, чтобы еще и вводить дополнительные лимиты, и что это просто очередная акция вытягивания денег с пользователей.
Они говорят, что изменения спроектированы так, что затронут только небольшой процент пользователей. Например, по их словам, есть те, кто использует Claude Code 24/7 и сжигает десятки тысяч долларов в тарифе за 200$ (признавайтесь, кто из вас?).
Другая группа тех, кому мы обязаны новыми лимитами, – это пользователи, которые шарят аккаунты с друзьями и коллегами или перепродают доступ.
Если вы не относитесь ни к тем, ни к другим – лимиты не должны вас затронуть. Однако все-таки, для информации:
– Для Pro: 40-80 часов Sonnet 4 в неделю
– Для Max за 100$: 140-280 часов Sonnet 4 и 15-35 часов Opus 4
– Для Max за 200$: 240-480 часов Sonnet 4 и 24-40 часов Opus 4
Все лимиты указаны только в рамках Claude Code. В чате они другие. Изменения вступят в силу 28 августа.
И да, конечно далеко не все восприняли новую политику с пониманием. Многие жалуются, что цены на тарифы у Anthropic и так неоправданно дорогие, чтобы еще и вводить дополнительные лимиты, и что это просто очередная акция вытягивания денег с пользователей.
1
Media is too big
VIEW IN TELEGRAM
Alibaba Group (создатели Qwen) выпустили Wan2.2 – первую в мире опенсорсную модель для генерации видео, в основе которой лежит MoE
По черри-пикам выглядит, как всегда, хорошо. Кое-где не хватает фотореалистичности, но, в целом, и анатомия, и сложные движения, и физика жидкостей, и перемещения камеры – норм.
Отдельно интересен релиз тем, что это именно MoE. Кратко, как это работает для диффузии:
– Точно так же, как и для текста, у нас есть несколько экспертов и роутер (подробнее о том, как работает MoE, рассказывали в конспекте)
– Только здесь эксперт назначается не токенам, а шагам диффузии. Грубо говоря, каждый эксперт лучше справляется с какой-то определенной фазой денойзинга, и работает именно с ней.
– За счёт того, что каждый эксперт узкоспециализирован, общая мощность растет. При этом сохраняется примерна та же вычислительная нагрузка, так как эксперты работают последовательно и как бы «распределяют» нагрузку.
В общем, довольно занятный вариант для экспериментов. Надеемся, скоро выпустят статью или тех.отчет с деталями.
Попробовать модель уже можно тут
Веса лежат здесь
Ну и GitHub
По черри-пикам выглядит, как всегда, хорошо. Кое-где не хватает фотореалистичности, но, в целом, и анатомия, и сложные движения, и физика жидкостей, и перемещения камеры – норм.
Отдельно интересен релиз тем, что это именно MoE. Кратко, как это работает для диффузии:
– Точно так же, как и для текста, у нас есть несколько экспертов и роутер (подробнее о том, как работает MoE, рассказывали в конспекте)
– Только здесь эксперт назначается не токенам, а шагам диффузии. Грубо говоря, каждый эксперт лучше справляется с какой-то определенной фазой денойзинга, и работает именно с ней.
– За счёт того, что каждый эксперт узкоспециализирован, общая мощность растет. При этом сохраняется примерна та же вычислительная нагрузка, так как эксперты работают последовательно и как бы «распределяют» нагрузку.
В общем, довольно занятный вариант для экспериментов. Надеемся, скоро выпустят статью или тех.отчет с деталями.
Попробовать модель уже можно тут
Веса лежат здесь
Ну и GitHub
1🔥106