Нашла открытый курс 🔗«Reinforcement Learning of Large  Language Models» от проф. математики Ernest Ruy из университета UCLA

Курс сфокусирован именно на LLM‘ках и охватывает такие темы, как PPO, DPO, RLHF и его подводные камни.

Понравилась подача материала (послушала пока пару лекций) + лекции специально были перезаписаны с микрофоном (так что звук качественный)

📺 Лекции на YouTube - еще будут дополняться
📕 Слайды

☕ Advancing the Frontier of Silicon Intelligence: the Past, Open Problems, and the Future

Посмотрела на днях лекцию Шучао Би (Shuchao Bi) — уже бывшего ресерчера OpenAI, а ныне одного из лидов Meta Superintelligence Labs. Эта лекция — рассуждения о прошлом, настоящем и будущем AI, одно из тех выступлений, которые расставляют всё, что ты знал и слышал до этого, по полочкам. Ну и просто интересно, как видит будущее один из тех людей, кто будет развивать ASI в новойрожденной команде Меты 🤩

Ключевая идея презентации: The Bitter Lesson, идея, впервые сформулированный пионером AI Ричем Саттоном. А идея такова: в долгосрочной перспективе грубая вычислительная мощь и масштабирование данных побеждают сложные, созданные человеком алгоритмы. Гораздо эффективнее дать дать компутеру простой, универсальный метод обучения и огромное количество данных и вычислительных ресурсов. Именно этот принцип, по мнению Шучао, является главным двигателем прогресса в последние годы.

А вот несколько ключевых мыслей Шучао:

📈 Законы масштабирования — это свойство данных, а не архитектуры. Предсказуемая связь между увеличением параметров модели, кол-вом данных и снижением лосса — это отражение фундаментальной (экспоненциальной) структуры самих обучающих данных. В любом языке есть горстка супер-частых слов и бесконечный «длинный хвост» из редких терминов, имён, понятий (частоты слов подчинаются так называемому Zipf’s law). И тут уже не так важна конкретная архитектура, Transformer или что-то еще.

«The models just want to learn» - Илья Суцкевер

✨«Эмерджентные способности» — это погрешность наших измерений. Речь про способности, которые, типо внезапно «возникают» у больших моделей (например, умение писать код или решать логические задачи). Шучао утверждает, что это во многом результат того, как мы их измеряем (и мы с вами это тоже тут обсуждали в одном из прошлых постов). Способности к математике у модели развиваются плавно, но наша метрика бинарна: решила модель задачу или нет. В тот момент, когда модель окончательно осваивает паттерны арифметики и пересекает порог метрики, мы видим «эмерджентную способность». Хотя на самом деле обучение шло непрерывно.

💔Но проблема в том, что главный инструмент масштабирования — данные — становится его же главным ограничением. Мы стремительно исчерпываем качественные, созданные человеком данные в интернете.

Ответом на проблему нехватки данных, по мнению Шучао, является переход к новой парадигме обучения, вдохновленной самой средой. Вместо пассивного изучения статичных данных, AI должен научиться активно генерировать новое знание (в самой лекции гораздо больше подробностей)

В конце Шичао поделился своими ставками и обозначил главные челленджи дальнейшего развития AI:

🤖 Способны ли модели генерировать действительно новые идеи, а не просто искусно комбинировать старые? Шичао делает ставку, что да.

🧠 Data efficiency: как научить их учиться на паре примеров, а не на петабайтах данных? Ведь люди, учатся именно так, не предсказывая следующее слово в предложении.

🚀 Что станет следующим драйвером роста после масштабирования данных и параметров? Возможно, способность использовать инструменты (поиск, калькулятор, в конце концов 😄) или даже physical embodiment?

В этом выступлении было множество и других интересных и глубоких мыслей. Для меня эта лекция — хороший фреймворк для осмысления всего, что происходит в индустрии. Так что, рекомендую к просмотру. Также прикрепила внизу недавнее выступление Саттона (The Era of Experience...). А что думаете вы? Какая из идей зацепила больше всего? И где, по-вашему, главный барьер на пути к AGI?

Доп. материалы:

🔗 Лекция: Advancing the Frontier of Silicon Intelligence: the Past, Open Problems, and the Future
🔗 The Bitter Lesson, Rich Sutton
🔗 The Era of Experience & The Age of Design: Richard S. Sutton, Upper Bound 2025

☕️На канале 3Blue1Brown вышло новенькое гостевое видео от Стивена Уэлша (📺Welsh Labs), в котором он рассказывает (конечно же, в сопровождении крутых и наглядных визуализаций), как работают системы генерации видео из текста

🔗But how do AI videos actually work?

Видео про диффузионные модели и как они связаны с физикой, CLIP, как происходит процесс трансформации шума в реалистичное видео, что используют для ускорения и улучшения качества генерации, ну и много другого интересного

💻 Приятного просмотра!

Сейчас, на мой взгляд, одно из самых перспективных и интересных направлений для ресерча в conversational AI это дуплексные системы. Это когда модель может «слушать» и «говорить» одновременно.

❔ Что за дуплекс?

В большинстве ассистентов сейчас реализован half-duplex: система слушает пользователя, а когда детектит паузу, то переходит в режим генерации ответа. Всё это поддерживается отдельными модулями вроде VAD (voice activity detector), turn taking model и др. При этом система может начать распознавать речь, пока пользователь еще говорит.

Full-duplex — это уже больше похоже на человеческий разговор. Модель непрерывно обрабатывает входящий аудиопоток и одновременно может генерить свой ответ. Она слушает всегда, а отвечает … ну когда считает нужным

Настоящие full-duplex систем в проде редко встречаются. Из тех, что на слуху это 🔗Moshi от Kyutai и 🔗Qwen2.5-Omni от Alibaba. Даже у Gemini и Project Astra полноценного дуплекса нет (по крайней мере нигде не заявлено), хотя latency в демках уже впечатляют.

🤩 И зачем нам это?

Именно дуплексные системы могут вытащить диалоговых агентов из так называемой «зловещей долины». Задержка в вербальном диалоге хомо сапиенсов редко превышает 300 мс. Все, что дольше, наш мозг воспринимает как что-то неестественное. А дуплексная система сможет не просто отвечать, а также вовремя вставить «угу» (back-chaneling), уточнить что-то на лету. А если добавить к этому видеопоток, модель сможет реагировать на вашу мимику или на то, что вы отвернулись, адаптируя свой ответ также быстро

📕Новая архитектура от NVIDIA: SALM-Duplex

🔗SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model

SALM-Duplex построен на базе speech encoder’а (СТС) и LLM, между ними обучается адаптер, чтобы LLM могла понимать эмбеддинги речи. Систему тренят на задаче multi-channel next token prediction: на каждом шаге она предсказывает сразу пять токенов — текстовый токен и четыре аудиокода (Это возможно благодаря аудиокодеку FSQ, у которого уровни квантизации независимы).

Когда агент не говорит, он непрерывно генерирует специальные токены тишины <sil>. Как только входящий поток от пользователя затихает, модель может принять решение перейти от генерации тишины к генерации слов (но может и раньше, зависит от тренировочных данных).

✨Нюанс: архитектура предполагает, что на входном канале только голос пользователя (не уверена, что они тестили шумные сценарии). В реальных кейсах, например в умной колонке, микрофон улавливал бы и голос пользователя, и ответ самого ассистента, и всякий фон. На практике это решается с помощью систем подавления эха, которые отфильтровывают собственный голос устройства из аудиопотока.

🏆Сравнение с Moshi

Поскольку модель не транскрибирует речь пользователя явно, ASR-метрик (вроде word error rate) здесь нет. Авторы сосредоточились на качестве самого диалога и сравнили с Moshi. Например, когда пользователь перебивает (barge-in), то задача модели — сразу замолкать.

⏩На датасете Impatient, где пользователь буквально все время перебивает, SALM-Duplex успешно справлялась в 83% случаев (Moshi в 56%), при этом реагировала SALM-Duplex также быстрее

⏩Метрики адекватности ответа на QA бенчмарках тоже имеются, но, на мой взгляд, нет смысла искать суперспособности к ризонингу у backbone LLM TinyLlama-1.1B. Тем не менее важно, что еще есть отставание от бейзлайна, в котором те же реплики пользователя в текстовом виде обрабатываются LLM’кой.

Дуплексные архитектуры убирают лишний лаг, не требуют VAD-модели и позволяют строить более «живых» и отзывчивых ассистентов. Конечно, тут же встает вопрос: мы хотим эффект живого общения, а хотим ли мы, чтобы ассистент нас перебивал?

А что по статье? Решение, предложенное в статье, интересное. И главный плюс — можно взять другие готовые компоненты и собрать из них свою систему.

✨ Недавно у Google вышла занимательная статья 🔗«Learning without Training» (и я только сейчас до нее добралась).

В статье авторы выдвигают и эмпирически подтверждают гипотезу: In-Context Learning (ICL) — это механизм, математически эквивалентный временному обновлению весов в MLP. Да, веса модели не меняются, но поведение модели такое, как будто они были изменены.

ICL, вообще, довольно интересный феномен. Это такая способность LLM’ок обучаться новым задачам на лету по паре примеров в промпте, без изменения весов. Но мы привыкли, что обучение это динамический процесс, где модель через градиентный спуск итеративно обновляет свои веса, подстраиваясь под данные.

🤩 До сих пор существовали следующие модели понимания ICL:

❤ICL это форма bayesian conditioning, где модель просто извлекает нужные знания из уже выученного распределения
❤ICL всё-таки реализует неявное обновление весов, как при файн-тюне, только как-то хитрее.

Авторы статьи как раз выбрали и доказывают вторую гипотезу. Они вывели теорему, суть которой можно объяснить так:

эффект от контекста математически эквивалентен временному обновлению весов модели (W + ΔW)

А главное достижение imo это вывод простой формулы для расчета этой матрицы ΔW. Она вычисляется, используя исходные веса W и векторные представления запроса, полученные с контекстом и без него

Понравился и их экспериментальный сетап. Авторы взяли модель и сравнили динамику лосса для двух сценариев:1⃣Стандартный ICL: модель получает промпт с контекстом и решает задачу; 2⃣Теоретический: модель получает промпт без контекста, но к её весам добавляют ΔW, рассчитанный по их формуле. Кривые лосса для обоих сценариев оказались практически идентичными.

Конечно, это не первая попытка разгадать как работает ICL. Чем же эта работа лучше предыдущих «игрушечных» сетапов, которые критиковали за упрощения?

🐱 Здесь не упрощают модель до linear attention, их теория описывает целый «контекстный блок», состоящий из композиции self-attention и MLP — это уже гораздо ближе к реальной архитектуре

🐱 Они не пытаются сконструировать градиентный спуск из весов. Они исходят из предпосылки, что результат с контекстом должен равняться результату с обновленными весами, а затем математически выводят, каким именно должно быть это обновление ΔW. Это более общий и мощный подход

Конечно, и у этой работы есть и ограничения. Эксперименты все еще проводятся на одноблочном трансформере и на задаче регрессии, а анализ охватывает только генерацию первого токена в ответе.

🎶А что по ICL для speech & audio?

Пока в аудио-домене ICL в классическом виде почти не исследован (если вы знаете хорошие примеры, скиньте, очень интересно!). Но ведь 1-shot voice cloning это же пример ICL. Модель не обновляет свои веса, чтоб сгенерить речь с характеристиками голоса из сэмпла речи данного в промтпе. При этом модель справляется с задачей озвучивания текста (не того, что в сэмпле).

Тут есть важный нюанс 😎. То, что мы наблюдаем в voice cloning или в экспериментах с регрессией — специализированный ICL. Модель заранее заточена под одну задачу (клонировать голос, найти функцию). А ICL у GPT-3 и далее — общий, там модели нужно понять из промпта, что за задачу решаем, а это свойство, которое требует бОльшего скейла данных и компьюта.

Из интересного в audio домене нашла 🔗«In-Context Learning Boosts Speech Recognition» — там авторы показали, как ASR-модель начинает лучше распознавать речь новых спикеров, если в промпте дать ей несколько аудио-примеров их голоса, что близко, но все же не ICL в одном forward pass. А вот в статье 🔗SALMONN для активации новых способностей (перевода на язык, которого не было в обучении) используется few-shot activation tuning.

Такие работы как «Learning without Training» важны, поскольку не только объясняют, что за ICL стоит конкретный механизм, который можно понять и формализовать, но и дают нам инструменты для настраиваемого поведения моделей.

А что вы думаете? Насколько, по-вашему, эти теоретические изыскания применимы к реальным, большим моделям?

🤩Тут Kaggle анонсировали Kaggle Game Arena

Это площадка для оценки и сравнения AI-агентов друг с другом через игры. Начинают с чемпионата по шахматам между 8 ведущими LLM‘ками, потом подвезут еще игр (Go, poker)♟️

Если вам интересны шахматные турниры, то трансляцию можно будет посмотреть в прямом эфире с комментариями экспертов


❤️🔥 Вообще, выглядит интересно, ведь соревновательные игры — это отличный способ оценивать агентов в конкурентной и, главное, динамичной среде. Что может стать шагом от статичных бенчмарков к новой парадигме оценки (и даже тренировки 🤔) моделей


А какие еще игры / баттлы моделек вы бы хотели увидеть?

🔗Kaggle Game Arena
🔗Блог пост