ML-легушька
Про связь шага ЗС и софтмакса (см определение 1.8 и пример 1.11) Фактически, софтмакс - шаг зеркального спуска, где мы стартуем из (1/n, 1/n, 1/n...), с шагом 1, а субградиент функции - наши логиты предсказаний, взятые с минусом. Интересно, какую это имеет…
Хорошие посты в 3 25 ночи..
Надо будет про это дело у научника спросить
Надо будет про это дело у научника спросить
❤🔥7🔥3
ML-легушька
Про связь шага ЗС и софтмакса (см определение 1.8 и пример 1.11) Фактически, софтмакс - шаг зеркального спуска, где мы стартуем из (1/n, 1/n, 1/n...), с шагом 1, а субградиент функции - наши логиты предсказаний, взятые с минусом. Интересно, какую это имеет…
Если смотреть то, что пишет Википедия про софтмакс, то есть следующая информация:
Введём argmax не как скалярную функцию, а как векторную, то есть выдающую вектор из (0, 0, 0,..., 1, 0,...), где 1 стоит на позиции максимального элемента. Тогда softmax будет являться очень хорошей гладкой аппроксимацией такого argmax. Но тут нет никакой связи с проекциями и дивергенцией Брэгмана, как это происходит в зеркальном спуске
Введём argmax не как скалярную функцию, а как векторную, то есть выдающую вектор из (0, 0, 0,..., 1, 0,...), где 1 стоит на позиции максимального элемента. Тогда softmax будет являться очень хорошей гладкой аппроксимацией такого argmax. Но тут нет никакой связи с проекциями и дивергенцией Брэгмана, как это происходит в зеркальном спуске
❤🔥7
Вставлять на каждом слайде по аниме-девочке это божественно)
🥰25🤮9👎6🤡3❤🔥2
Это удивительно, но у меня кажется появилась репутация человека, которого можно попросить накинуть идею для стартапа на какую-то тему/без темы и он придумает. Ибо что-то часто в последнее время такие разгоны происходят
👍31🤣1
Меня добавили в эту папочку, и там собрано реально очень много полезных каналов
Forwarded from Денис Айвазов. Технарские метафоры
Бизнес и стартапы, наука и технологии, саморазвитие и аналитика. Об этом и о многом другом пишу не только я, но и другие студенты, выпускники и преподаватели Физтеха - одного из лучших вузов РФ!
Добавив в 1 клик подборку каналов по ссылке: https://news.1rj.ru/str/addlist/0N37mbH9xM8yZjFi, вы:
●Прокачаетесь в анализе данных с Data Feeling Саши Миленкина;
●Разовьетесь в инвестициях и станете богаче вместе с Запаренными Инвесторами МФТИ (в мае пройдет лекция Н.В. Зубаревич. Регистрация будет на канале);
●Узнаете о последних новостях из мира крипты и AI от лондонского безработного и Forbes 30 до 30 Дани Охлопкова;
●Узнаете, как понять жизнь и стать счастливым через софт скиллы и метафоры в канале Дениса Айвазова;
●Поймёте, как сочетаются мир, покой и прогресс вместе с Уютно, технологии и Дима.
●Познакомитесь ещё со множеством интересных и полезных каналов, которые я и сам активно читаю и очень рекомендую!
Добавляйте подборку и развивайтесь с удовольствием!🔥
PS: если ссылка не работает, обновите телеграм
P.P.S. От нерелевантных отписаться всегда успеете, но редко за одно действие можно получить СТОЛЬКО пользы!
Добавив в 1 клик подборку каналов по ссылке: https://news.1rj.ru/str/addlist/0N37mbH9xM8yZjFi, вы:
●Прокачаетесь в анализе данных с Data Feeling Саши Миленкина;
●Разовьетесь в инвестициях и станете богаче вместе с Запаренными Инвесторами МФТИ (в мае пройдет лекция Н.В. Зубаревич. Регистрация будет на канале);
●Узнаете о последних новостях из мира крипты и AI от лондонского безработного и Forbes 30 до 30 Дани Охлопкова;
●Узнаете, как понять жизнь и стать счастливым через софт скиллы и метафоры в канале Дениса Айвазова;
●Поймёте, как сочетаются мир, покой и прогресс вместе с Уютно, технологии и Дима.
●Познакомитесь ещё со множеством интересных и полезных каналов, которые я и сам активно читаю и очень рекомендую!
Добавляйте подборку и развивайтесь с удовольствием!🔥
PS: если ссылка не работает, обновите телеграм
P.P.S. От нерелевантных отписаться всегда успеете, но редко за одно действие можно получить СТОЛЬКО пользы!
💩10👌3❤🔥2👍1
ML-легушька
https://ssopt.org Летняя школа по оптимизации, Гасников советует обратить на неё внимание
Сегодня дедлайн подачи заявок!
Стоит (серьезный)
На сайте мат.практикума МФТИ есть запись моего выступления, там я рассказывал про то, как работают многорукие бандиты с тяжелыми хвостами и как эту проблему помогает решать градиентный клиппинг. Я немного затупил на моменте прокс.функции и дивергенции Брэгмана, сейчас такой ошибки уже бы не допустил))) Но достаточно познавательно вышло в любом случае. Там также рассказывается, в качестве вводной информации, про метод зеркального спуска, который зачастую не затрагивается в классическом курсе оптимизации, и при этом является крайне полезным инструментом как для решения задач, так и для их интерпретации.
Вот ссылка: https://disk.yandex.ru/i/PmVmr5YjQtPS7w
На сайте мат.практикума МФТИ есть запись моего выступления, там я рассказывал про то, как работают многорукие бандиты с тяжелыми хвостами и как эту проблему помогает решать градиентный клиппинг. Я немного затупил на моменте прокс.функции и дивергенции Брэгмана, сейчас такой ошибки уже бы не допустил))) Но достаточно познавательно вышло в любом случае. Там также рассказывается, в качестве вводной информации, про метод зеркального спуска, который зачастую не затрагивается в классическом курсе оптимизации, и при этом является крайне полезным инструментом как для решения задач, так и для их интерпретации.
Вот ссылка: https://disk.yandex.ru/i/PmVmr5YjQtPS7w
🔥34😍5❤🔥4👍4🤡2
Немного ночной эстетики от гуляющей лягушки, которая пропустила последний поезд на МЦК и прошла часть дороги домой пешком
❤🔥49
https://paperswithcode.com/paper/implicitly-normalized-forecaster-with
Вышла моя первая статья на архиве.
В ней получен оптимальный с точки зрения асимптотики алгоритм для проблемы многоруких бандитов с тяжелыми хвостами, без дополнительных предположений.
Также данный алгоритм работает на практике лучше, чем предложенное ранее решение, т.к. не игнорирует информацию о больших значениях потерь.
Также показаны, что данный алгоритм является оптимальным в задачем нелинейных многоруких бандитов, и рассмотрен безградиентный сценарий.
Это ещё не финальная версия, скорее препринт
Вышла моя первая статья на архиве.
В ней получен оптимальный с точки зрения асимптотики алгоритм для проблемы многоруких бандитов с тяжелыми хвостами, без дополнительных предположений.
Также данный алгоритм работает на практике лучше, чем предложенное ранее решение, т.к. не игнорирует информацию о больших значениях потерь.
Также показаны, что данный алгоритм является оптимальным в задачем нелинейных многоруких бандитов, и рассмотрен безградиентный сценарий.
Это ещё не финальная версия, скорее препринт
huggingface.co
Trending Papers - Hugging Face
Your daily dose of AI research from AK
🔥54👍5🤩2🤮2❤1
ML-легушька
Собственно, хто я. Закончил школу в этом году, 17 лет. Работаю дсом в сегменте SEO. Веду активную социальную жизнь, ошиваюсь на полунеформальных тусовках. Обожаю матешу, матеша это лучшее что придумал человек. Гей(будущий студент надеюсь МФТИ). Буду делать…
Вспомним с чего все начиналось)
👎1🤮1💩1