Так вот откуда ноги растут, оказывается!!!!
Изучая внимательнее уже ранее упоминаdшуюся статью https://arxiv.org/abs/1412.6544 про отсутствие локальных минимумов,, по ссылкам наткнулся на статью того же самого Яна Гудфелоу https://arxiv.org/abs/1302.4389 В которой он вводит функцию активации maxout, в которой из нескольких функций выьирается только одна максимальная. Чуете, softmax-ом повеяло? Так вот в своей статье про несуществование локальных максимумов, которую он упоминал до этого, он пишет, что только в сети с этой функцией активации он встретил ситуацию, которую он описывает буквально следующими словами:

Однако для сети Maxout, обученной с помощью противоборствующих алгоритмов, мы обнаружили, что препятствие небольшой высоты, но очень крутое, загоняет SGD в узкий каньон, не давая ему доступа к подпространству, изучаемому в основном тексте данной статьи (рис. 18 и рис. 19).

Естественно я тригернулся. Интересно, что две разные сети, которые я просил пересказать мне статью, полностью игнорировали этот фрагмент и после того как я попросил их ответить что нарисовано на картинках 18 и 19 и когда спросил что в статье сказано про maxout продолжали утверждать, что у него всё точно так же как в основной статье. И только после вопроса "А что же тогда описано в этой фразе?" вдруг прозревали. Кто-нибудь у кого Notebook ML установлен проверьте, сумеет он заметить это? Всё это большое напоминание о том, в чем заключается огромная уязвимость нынешних сетей для резюмирования, Они могут благополучно пропустить единственный нюанс, который все меняет, вместо этого доверившись средней температуре по палате. В принципе та же проблема, что и раньше, когда из текстов для классификации выкидывали стоп-слова включая "не".

В общем и целом это может указывать, что такой тип рельефа, с очень узким каньоном, характерен скорее для трансформеров, нежелили для сетей вообще, что тоже неплохо, учитывая их распространенность в наше время.

Causal Inference Workshop #1

Всем привет! Мы запускаем серию воркшопов по анализу причинно-следственных связей (causal inference).

Формат - академическая пара, онлайн, будем разбирать по одной теме за раз.
Каждое занятие будет разбирать одну практическую тему,
Первое занятие - 27.10.2025 с 12:00 до 14:00 мск.
Тема: "Введение в Causal Inference. Причинно-следственные связи без А/Б тестов. Ортогонализация"
Разберем базовые понятия Causal Inference, несколько примеров "как делать не надо" и одну простую технику, как можно делать.
У участников останутся ноутбуки с примерами и инструкциями, можно будет задать свои вопросы.

Занятия бесплатные. Записи в открытом доступе не будет. Технического ограничения на размер группы нет, но в слишком большой группе никто не успеет ничего спросить, поэтому в какой-то момент набор закроем.

Чтобы записаться, пишите в комментариях к этому посту - зачем вам изучать Causal Inference. Будем добавлять в закрытый канал воркшопа.

Ваш @Reliable ML

#reliable_ml #causal_inference #workshop

Мысль, внезапно, о мульти-агентных системах.

Интеллект ангента правильнее сравнивать и развивать не как интеллект человека, а как интеллект муравья, изначально оптимихированный для решения сложных задач коллективно, и имеющий инструкции вида "стимул-действие", которые скаладываются в поведение только когда они собираются толпой. Ну или под влиянием планеровщиков. Интересно тут то, что чтобы превззойти людей в некотоырх задачах муравьям достаточно несколько сотен тысяч нейронов. А ещё можно автоматизировать обучение если ПОручить промптинг агентов поручить планеровщику, который будет раз за разом добавлять, убавлять или модифицировать агентов наблюдая за достигнутым результатом. И это будет сильно быстрее случайно эволюции потому что планировщик не дурак, и может делать обоснованные предположения что можно попробовать исправлять и как.

Навёл на мысль вот этот ролик: https://www.youtube.com/watch?v=UfovlMWpxXw&t=1111s

Обычно я стараюсь не особо постить не тематическое, но тут просто комба из блогеров. Марков с Климом Жуковым

Примерно с 2015-ого года, когда я впервые познакомился с алгоритмом коррекции ошибок Розенблатта мне не давала покоя мысль, что что-то такое же можно сделать с действительными числами. Даже делал некоторые самостоятельные эксперименты, в ходе которых сталкивался с некоторыми небольшими трудностями. Очевидно не одного меня эта мысль не давала покоя. Вот статья товарища, у которого чесались руки за 12 лет до меня с прекрасным названием. :)
Crammer, Koby, Ofer Dekel, Joseph Keshet, Shai Shalev-Shwartz and Yoram Singer. “Online Passive-Aggressive Algorithms.” J. Mach. Learn. Res. 7 (2003): 551-585.

Когда-то, когда ещё было не очевидно, что все мы умрём на рабочем месте, я думал, что буду на пенсии играть во все отложенные на потом игрушки древнейших времён. Но оказываается, что я буду воспроизводить отложенные на потом алгоритмы древнейших времён. :))) На сладкое - краткий пересказ статьи от дипсика, наверняка упустивший в статье самое главное. :)

Статья "Online Passive-Aggressive Algorithms" (2006) представляет собой фундаментальную работу, в которой представлено семейство алгоритмов онлайн-обучения для различных задач прогнозирования

.
🎯 Основная идея и подход

Авторы предлагают единую модель для создания алгоритмов онлайн-обучения для классификации, регрессии и других задач

Ключевая идея заключается в специальном правиле обновления модели при поступлении новых данных:

Пассивное поведение: Если текущая модель правильно классифицирует новый пример данных (с достаточным запасом), её параметры не изменяются

Агрессивное поведение: Если модель допускает ошибку, её параметры агрессивно обновляются. Это обновление представляет собой решение строгой задачи оптимизации: скорректировать веса ровно настолько, чтобы исправить ошибку для текущего примера, но при этом минимизировать изменение модели по сравнению с предыдущим состоянием

Этот формализованный подход позволяет алгоритмам быстро адаптироваться к новым данным и эффективно работать с большими потоками информации

📊 Значение и применение

Эффективность для больших данных: Алгоритмы идеально подходят для работы с крупномасштабными или непрерывно поступающими данными, так как не требуют хранения всего набора данных в памяти и производят быстрые инкрементальные обновления

Теоретическое обоснование: Для предложенных алгоритмов доказаны границы cumulative loss (суммарных потерь) в сравнении с наилучшим фиксированным решением, что гарантирует их надежность

Универсальность: Единый подход применяется к широкому спектру задач, включая бинарную и многоклассовую классификацию, регрессию и прогнозирование последовательностей

Когда оставил сетку на ночь сжиматься, а она и не против:

wdw_positive_loss_reduction_1,37e-06:
step: 23500
train loss: 1.248498797416687
val loss: 1.3833754062652588
best val loss: 1.328853964805603
ppl: 4.375
zeros: 99.43%/x174.4/zeros:10,683,490 active:61,598

Бейзлайн для сравнения:
basic:
step: 2750
train loss: 1.0932060480117798
val loss: 1.4427303075790405
ppl: 4.21875

Сетка - очень мальенький GPT-2 с 6 головами, 6 слоями, и 348 эмбедингом, датасет - tinyshakespeare.
Хоть и маленькая и игрушечная, но вполне себе языковая задача.

P.S. Самые внимательные могут заметить, что валидейшен loss стал заметно лучше, а перплексия на том же валидейшене - хуже.

Возможно Scaling law для супер пережатых трансформеров выглядит примерно так. ПО крайней мере на той языковой задаче, которую я гоняю прямо сейчас этот паттерн раз за разом воспроизводится, с небольшими отличиями в зависимости от гиперпараметров. Причём интересно, что точка минимума, опять же возможно зависит от задачи, но слабо зависит от размеров сети. Здесь Сетка на 3M и точка прелома x33, то-есть где-то 90К весов, и где-то в районе 66K перплексити становится не лучше, чем до начала сжатия. Но когда я начинал с 10М, слоёв побольше, да эмбединг потолще точка "не на много хуже" была где-то тоже в районе 66к, я выше по чату скидивал, и для такой сети это больше х150. Но когда я начал с 25M, ещё побольше слоёв и ещё пошире в талии, уровень "не на много хуже" тоже был, где-то в окрестностях 60-70К, что для такой сети составляет уже умопомрачительные х350.

Идея из области очевидных, но совершенно не очевидно, что результат будет и вообще неизвестно сколько мелких нюансов надо будет преодолеть прежде чем очевидная идея заработает.