#music #diorama #robots
Synthesize me
Make me your
love and hate machine
And I can serve you better
Synthesize me
And reboot
I need to start again
I need to make it different
Synthesize me
Wash away
The trash I'm piling up
To mesmerize the moments
https://youtu.be/MsAiHQmICFs
Synthesize me
Make me your
love and hate machine
And I can serve you better
Synthesize me
And reboot
I need to start again
I need to make it different
Synthesize me
Wash away
The trash I'm piling up
To mesmerize the moments
https://youtu.be/MsAiHQmICFs
YouTube
Diorama - Synthesize Me (piano version)
Diorama - Synthesize Me (piano version)
My Starcraft 2 edition
My Starcraft 2 edition
Forwarded from asisakov
ReLU, GELU, SiLU и ELU
Несколько лет назад на курсах нам рассказывали только про несколько функций активации: sigmoid, tanh, ReLU. Было круто, когда кто-то дополнительно ещё рассказывал про Leaky ReLU. И всего этих четырёх функций активации было достаточно, чтобы шатать сеточки.
Буквально несколько дней назад я слушал разбор статьи, где говорилось о том, что применение ReLU позволяет увеличить скорость инференса с небольшой потерей качества. Сравнение проводилось с функциями активации: GELU, SiLU. Я понял, что немного отстал от современных технологий в DL и решил погуглить и поделиться с вами.
Начнем с функции ReLU (Rectified Linear Unit). Эта функция активации имеет форму f(x) = max(0, x), что делает ее чрезвычайно эффективной для операций с большим количеством признаков, поскольку она увеличивает нелинейность модели без затрат на вычислительные ресурсы и без риска исчезновения градиента. Одним из главных недостатков ReLU является проблема «мертвых нейронов», когда нейроны перестают активироваться и вносить вклад в обучение сети из-за отрицательных значений на входе.
GELU (Gaussian Error Linear Unit), впервые представленная в 2016 году, стала более гладкой альтернативой ReLU. Функция GELU умножает входное значение на вероятность того, что значение будет активировано, что делает ее подходящей для использования в трансформерах и сетях с self-attention. Такая структура приводит к более динамичной адаптации нейронов к разным фазам обучения, позволяя достигать лучших результатов на сложных задачах.
Следующая в нашем списке — SiLU (Sigmoid Linear Unit). Эта функция активации представляет собой произведение входа на сигмоидную функцию от этого же входа, f(x) = x * σ(x). SiLU показала хорошие результаты в экспериментах по глубокому обучению, часто превосходя ReLU по разнообразным метрикам.
ELU (Exponential Linear Unit) добавляет еще одну интересную возможность в арсенал функций активации. В отличие от ReLU, ELU вводит отрицательные значения для отрицательных входов, что помогает сохранять более богатую информацию о распределении входных данных. Функция имеет форму f(x) = x, если x > 0, и f(x) = α(exp(x) - 1), если x ≤ 0, где α — параметр, обычно равный единице. Это улучшает скорость сходимости модели.
Вкратце: эти функции активации позволяют уменьшить вероятность возникновения проблемы размывания градиентов, но при этом тратят чуть больше компьюта на вычисления.
Пояснение с кодом есть тут
Дополнительное чтиво: 1, 2
#dl #code
Несколько лет назад на курсах нам рассказывали только про несколько функций активации: sigmoid, tanh, ReLU. Было круто, когда кто-то дополнительно ещё рассказывал про Leaky ReLU. И всего этих четырёх функций активации было достаточно, чтобы шатать сеточки.
Буквально несколько дней назад я слушал разбор статьи, где говорилось о том, что применение ReLU позволяет увеличить скорость инференса с небольшой потерей качества. Сравнение проводилось с функциями активации: GELU, SiLU. Я понял, что немного отстал от современных технологий в DL и решил погуглить и поделиться с вами.
Начнем с функции ReLU (Rectified Linear Unit). Эта функция активации имеет форму f(x) = max(0, x), что делает ее чрезвычайно эффективной для операций с большим количеством признаков, поскольку она увеличивает нелинейность модели без затрат на вычислительные ресурсы и без риска исчезновения градиента. Одним из главных недостатков ReLU является проблема «мертвых нейронов», когда нейроны перестают активироваться и вносить вклад в обучение сети из-за отрицательных значений на входе.
GELU (Gaussian Error Linear Unit), впервые представленная в 2016 году, стала более гладкой альтернативой ReLU. Функция GELU умножает входное значение на вероятность того, что значение будет активировано, что делает ее подходящей для использования в трансформерах и сетях с self-attention. Такая структура приводит к более динамичной адаптации нейронов к разным фазам обучения, позволяя достигать лучших результатов на сложных задачах.
Следующая в нашем списке — SiLU (Sigmoid Linear Unit). Эта функция активации представляет собой произведение входа на сигмоидную функцию от этого же входа, f(x) = x * σ(x). SiLU показала хорошие результаты в экспериментах по глубокому обучению, часто превосходя ReLU по разнообразным метрикам.
ELU (Exponential Linear Unit) добавляет еще одну интересную возможность в арсенал функций активации. В отличие от ReLU, ELU вводит отрицательные значения для отрицательных входов, что помогает сохранять более богатую информацию о распределении входных данных. Функция имеет форму f(x) = x, если x > 0, и f(x) = α(exp(x) - 1), если x ≤ 0, где α — параметр, обычно равный единице. Это улучшает скорость сходимости модели.
Вкратце: эти функции активации позволяют уменьшить вероятность возникновения проблемы размывания градиентов, но при этом тратят чуть больше компьюта на вычисления.
Пояснение с кодом есть тут
Дополнительное чтиво: 1, 2
#dl #code
❤1
Forwarded from asisakov
Советы от грандмастера
В отложенных для просмотра вкладок завалялось видео с выступлением Стаса Семенова. Если кто не знает, то это ex-top-1 kaggle grandmaster, который сейчас работает квантом.
В видео он раздаёт советы с рекомендациями, как выбить лучший скор модели. Поделюсь тем, что меня зацепило:
1. Преобразование выхода модели функциями, смещающими распределение предсказаний в более уверенные предикты
2. Отбор только k-ых наблюдений во временных рядах, где соседние точки имеют очень близкие значения (например в HFT)
3. Расчёт критериев, показывающих похожесть 2 признаков
Если вам есть что докинуть, пишите в коменты.
P.S. Кстати, есть конспект от Дэна
В отложенных для просмотра вкладок завалялось видео с выступлением Стаса Семенова. Если кто не знает, то это ex-top-1 kaggle grandmaster, который сейчас работает квантом.
В видео он раздаёт советы с рекомендациями, как выбить лучший скор модели. Поделюсь тем, что меня зацепило:
1. Преобразование выхода модели функциями, смещающими распределение предсказаний в более уверенные предикты
2. Отбор только k-ых наблюдений во временных рядах, где соседние точки имеют очень близкие значения (например в HFT)
3. Расчёт критериев, показывающих похожесть 2 признаков
Если вам есть что докинуть, пишите в коменты.
P.S. Кстати, есть конспект от Дэна
YouTube
Tips and Tricks for Machine Learning | by Stanislav Semenov | Kaggle Days Paris
Stanislav Semenov
"Tips and tricks for Machine Learning"
Kaggle Days Paris was held in January 2019 and gathered over 200 participants to meet, learn and code with Kaggle Grandmasters, and compete in our traditional offline competition.
This edition is…
"Tips and tricks for Machine Learning"
Kaggle Days Paris was held in January 2019 and gathered over 200 participants to meet, learn and code with Kaggle Grandmasters, and compete in our traditional offline competition.
This edition is…
mosteller_fifty_challenging_problems_in_statistics.pdf
4.9 MB
#probability
Советую порешать задачки по теорверу ) Классная книжка, читал её школьником и благодаря ей начал программировать (на qbasic).
Советую порешать задачки по теорверу ) Классная книжка, читал её школьником и благодаря ей начал программировать (на qbasic).
✍1
#ml #physics
МЛ в системах с (частично) известной физикой.
https://www.youtube.com/watch?v=JoFW2uSd3Uo
МЛ в системах с (частично) известной физикой.
https://www.youtube.com/watch?v=JoFW2uSd3Uo
YouTube
Physics Informed Machine Learning: High Level Overview of AI and ML in Science and Engineering
This video describes how to incorporate physics into the machine learning process. The process of machine learning is broken down into five stages: (1) formulating a problem to model, (2) collecting and curating training data to inform the model, (3) choosing…
#fun #music
Немного хорошего офисного настроения всем в ленту )
https://www.youtube.com/shorts/DuTOTTW-pfg
Немного хорошего офисного настроения всем в ленту )
https://www.youtube.com/shorts/DuTOTTW-pfg
YouTube
Brother Louie Dance
Enjoy the videos and music you love, upload original content, and share it all with friends, family, and the world on YouTube.
#simulation #optimization
Интересная идея о том, как ускорять симуляции с помощью ML и тем самым помогать быстрой оптимизации. Действительно, почему бы и и нет! Сначала собираем входные параметры системы +итоги симуляций, а дальше симуляцию пробуем заменять быстрой ML моделью.
https://www.youtube.com/watch?v=ohGeGfUCV_A
Интересная идея о том, как ускорять симуляции с помощью ML и тем самым помогать быстрой оптимизации. Действительно, почему бы и и нет! Сначала собираем входные параметры системы +итоги симуляций, а дальше симуляцию пробуем заменять быстрой ML моделью.
https://www.youtube.com/watch?v=ohGeGfUCV_A
YouTube
ML for Optimization Problems | Qingchen Wang | Kaggle Days
Kaggle Days China edition was held on October 19-20 at Damei Center, Beijing.
More than 400 data scientists and enthusiasts gathered to learn, make friends, and compete in a full-day offline competition.
Kaggle Days is produced by LogicAI and Kaggle.
About…
More than 400 data scientists and enthusiasts gathered to learn, make friends, and compete in a full-day offline competition.
Kaggle Days is produced by LogicAI and Kaggle.
About…
👍1