Я сам знал много математиков, они все реально шизанутые. У них реально с головой не все в порядке, потому что они живут в каком-то своем мире, мире цифр. Они не разбираются вообще, что происходит в обществе, они не разбираются в политике например. Вспомните, есть ли хоть один политик, особенно революционер, который бы был математиком. Таких просто нет. Например, Ленин он был юристом, Че Гевара он был врачом. И ни одного революционера не было математика, ни одного! И это связанно именно с чертами характеров таких людей, потому что математики они полностью аполитичны. Поскольку произвести они ничего не могут, они полностью не способны к ручному труду, например. Им нужно чтобы за ними кто-то ухаживал, они большие дети, которые без помощи там мамы (обычно они живут с мамой до 50 лет) сами ничего сделать не могут.
Математика это совершенно не наука, абсолютно бесполезное хобби. Это люди, которые вот в силу своего характера, не хотят работать, не хотят бороться против капитализма за светлое будущее, им наплевать на всех людей. Они вот замкнуты в своей голове, и в своей голове они сидят высчитывают. Математика это переливание из пустого в порожнее.
Вот доказал ты какую-то теорему, кому нужна эта теорема? Что она дает людям? Да ничего она не дает, это просто разминка для ума и интеллектуальный онанизм, и вот математики они всю жизнь занимаются онанизмом и считают, что это нормально. Математики это вот реально зло, как и математика, математика это реально зло. Ее надо запретить, она приводит к тому, что люди сходят с ума.
Вот мужчины математики это да, это вот с лохматыми волосами сумасшедший профессор, который там может обоссаться и не заметить, и ходить в ссаных штанах, потому что он математик, он решает примеры. Математика это способ заставить народ отказаться от социальной борьбы. Если занять мозг человека этими бессмысленными вычислениями, то у него не остается времени и просто ресурсов мозга, мыслей не остается, чтобы задуматься - а почему нас угнетают капиталисты?
И ведь смотрите, это рассчитано именно на умных, на элиту, не на маргиналов. Как маргинализировать умного, талантливого, гениального человека? Заставить математикой заниматься! И причем смотрите, какая мощная манипуляция получается: он будет считать что он великий ученый, что он занимается наукой, он будет всем говорить - вот, смотрите, какой я пример решил, какую задачу решил, какой я умный. И он не будет понимать, что он просто поонанировал интеллектуально, и вся его эта задачка она не нужна, понимаете, просто не нужна.
В советские годы тоже насаждали математику, чтобы народ меньше занимался свободомыслием, и вот этот спор из 60ых годов про лириков и физиков. Физики, вас гораздо меньше, вы единицы, вы маргиналы, и вы не нужны. Победа будет за лириками, за теми, кто хочет любить, кто хочет чувствовать, кто хочет быть человеком, а не вычислительной машиной.
Заберите свою математику, и засуньте ее себе в одно место, и не пихайте ее нам - нам она не нужна!

Новый Брокен Дэнс — про Муджуса 💗

Для меня «Downshifting» Муджуса всегда будет тем альбомом, с которого в российской музыке официально закончились 2000-е и начались 2010-е.

Я прекрасно помню «Афишу» с Романом на обложке, где было написано, что он новый Цой (фотография, кстати, Гоши Рубчинского). Покадрово знаю клип «Выздоравливай скорей». И благодарен людям, которые почти целиком засняли для ютуба выступление Муджуса на Пикнике-2011 — неровное, неидеальное, стеснительное, но хорошо схватившее энергию Романа в тот момент.

Мне всегда нравилось думать про этот альбом как про отложенную смску, которая дошла до адресатов («адресантов», сказал бы Муджус) сильно позже, но вдохновила целое поколение следующих музыкантов (от Петара Мартича до Куока) на собственные опыты с песнями.

Про все это рассказываю в новой серии «Базы». Таким выпуском не стыдно закончить год, но закончу все-таки другим.

Спасибо главному евангелисту Муджуса в России Саше Горбачеву за то, что принял участие в видео. Подписывайтесь на его канал @musicinanutshell и слушайте его прекрасный подкаст «Он увидел солнце».

Приятного просмотра!

https://youtu.be/kHAzkHYVNYg

For Distillation, Tokens Are Not All You Need
Mrigank Raman, Pranav Mani, Davis Liang, Zachary C. Lipton
Статья: https://openreview.net/pdf?id=2fc5GOPYip

Новости дистилляции. Статья с воркшопа Instruction Tuning and Instruction Following на NeurIPS 2023.

TL;DR Авторы предложили метод дистилляции LLM под названием SLIM, использующий значения топ 5% логитов для дистилляции на каждом шаге декодирования + динамическое взвешивание KL/CE лоссов. Результат лучше классической дистилляции, SFT и MiniLLM. Метод скейлится до учителей размером ~70B.

Если поглубже, то современные LLM доросли до огромных размеров и часто используются для аннотирования и генерации инструкций для файнтюнинга малых моделей. Классика файнтюнинга при этом -- supervised fine-tuning (SFT), дообучение на новых (сгенерированных) текстах как на hard labels. Мы знаем, что этот метод несёт сильно меньше информации о распределении, чем мог бы (https://news.1rj.ru/str/gonzo_ML/1911).

Дистилляция уже используется для LLM (и многие маленькие LLM получаются из больших, та же Gemini вроде как) и с ней есть сложности. Например, маленькая модель может быть недостаточно выразительной, чтобы покрыть все моды распределения учителя.

Недавний метод MiniLLM (https://arxiv.org/abs/2306.08543) заменяет forward Kullback-Leibler divergence (KLD) на reverse KLD, чтобы предотвратить переоценку студентом низковероятностных регионов распределения учителя. Там для обучения использовался RL, что добавляло сложности. Текущая работа всё упрощает и улучшает, подход назвали SLIM (Sparse Logit Infused Modeling).

Идея проста. Давайте по нашему датасету для обучения через модель-учителя создадим датасет логитов (выходы нейронов без применения функции активации). Для каждого токена в последовательности получаем соответственно V (размер словаря) значений, это будут soft targets. Проблема с таким подходом, что это требует дофига места. Для уменьшения требований предлагается взять только 5% максимальных логитов для каждого токена, остальные считать нулями, так получаются разреженные логиты.

Дальше запускаем процедуру дистилляции (для тех, кто забыл как это работает, можно почитать тут https://news.1rj.ru/str/gonzo_ML/118), где в качестве целей берутся soft targets и лосс, являющийся взвешенной суммой обычного кросс-энтропийного лосса (CE) и традиционного KL лосса. Вес KD лоссу даётся зависящий от соотношения логита учителя и студента, таким образом он получается адаптивным и у KL компоненты больше вклад, когда у учителя больше уверенность в предсказании, чем у студента.

Подход проверили на задачах следования инструкциям. Оценивали по Rouge-L и через фидбек от GPT-4. Сравнивались с SFT на hard labels и MiniLLM, для обучения использовали 7B модели LLaMA, LLaMA 2, MPT, учитель был 13-30B. SLIM даёт результат лучше бейзлайнов. SFT вообще хуже всех.

Затем проверили на downstream задачах: ARC, Hellaswag, MMLU, TruthfulQA. Здесь сравнивались с SFT на LLaMA 2 70B в качестве учителя и Llama2-7B в качестве студента. Тоже лучше.

Также проверили генерацию данных для предобучения. Взяли Pythia-6.9B и сгенерили ей датасет текстов + 5% логитов. Затем обучили случайно инициализированную Pythia-160M на подвыборках датасета разного размера. По графику перплексии показали, что SLIM более sample efficient, чем SFT и обычная дистилляция. Я тут не до конца понимаю, что именно они всё-таки под обычной дистилляцией подразумевают, более классический KL лосс чтоли и без топ 5%?

Anyway, просто и эффективно. Метод вроде не сильно отличается от классической дистилляции, не назвал бы его радикально новым, по мне так скорее итеративное улучшение. Интересно, как сами OpenAI, Гугл и остальные внутри себя модели дистиллируют. Есть ли большая разница.