#trading #ml #metalabelling #deprado

Alexandr Proskurin "Improving trading strategy performance with ML: Meta...
https://youtube.com/watch?v=hUSJtevWw6M&feature=shared

#featureselection #diogenes #clusteredfs

Задумался о модификации MRMR в свете коррелированных признаков.

Сейчас Диоген избыточные признаки просто отсеивает. Но представим себе такую ситуацию: истинный влияющий фактор вне выборки, до нас дошли только несколько его "отражений" A,B, C... каждое со своим случайным шумом. По факту, мы сейчас выбираем одно самое похожее отражение D, а остальные выкидываем. А это же нерационально. Не лучше ли брать вместо D, к примеру, mean(A,B,C,...)? Идея в том, что случайные шумы отменяют друг друга, а сигнал усиливается (как и обычно при ансамблировании).

О подходе к FS, когда несколько коррелированных факторов заменяются кластером, рассказывал Эрни Чан. Правда, почему-то этого не было в его статье.

В общем, буду делать. Как минимум будет нелишней такая опция.

#trading #rl #starke

Обучение с подкреплением - крайне интересный подход, который для трейдинга планирую попробовать в следующем году. Мне кажется, в нём как нигде нужно уметь генерировать качественные альтернативные истории.

По поводу самой лекции есть претензия.. Ну зачем называть вещи тем, чем они не являются?
DEEP RL. А у тебя там точно дип? Десятки и сотни слоёв, сложная архитектура сети, да? Или налепил MLP 3 слоя, и такой важничаешь, мол, у меня глубокое обучение )
Ну назови ты просто Neuro RL тогда, к чему этот Deep? Надо, блин, в пику этим дипам назвать свой Sweet ML. Почему свит? Да по тому же, почему у тебя дип, бл#ть.

И, кстати, нет никаких причин в RL для моделирования функции полезности ограничиваться нейросетями. Лично мне кажется, что тут все используют ANNs как попки, потому что кто-то так начал делать, а остальные повторяют. Это как с документацией в Optuna, где датасет загружается из файла по-новой на КАЖДОЙ оценке, и при просмотре курсов видишь, как лекторы объясняют оптимизацию используя именно этот пример без изменений. Один дурак раз сделал, остальные как попугаи копируют.

Что понравилось в лекции, так это калибровка подхода на
1) случайном шуме (ожидается убыток)
2) синусовой волне (ожидается высокая стабильная прибыль)
3) зашумлённой синусоиде (ожидается менее стабильная, но высокая прибыль)
4) автокорреляции и прочих искусственных паттернах

Ну и тоже, почему люди так боятся вопроса "а сколько ты заработал на RL"? Ну ты же налог с этого платишь, всё законно, если назовёшь цифру, ничего не потеряешь. Живёшь в цивилизованной правовой стране, тебя не посадят по сфабрикованному делу и не запытают в тюрьме, вымогая деньги. Это если есть что называть, конечно.

https://youtu.be/H-c49jQxGbs?si=6tP9NG5SZS2Evdas

#chess #chesscom

Немного новостей. После просмотра этого интервью, я написал Эрику с детальным предложением, что мы можем попробовать сделать с помощью ML, чтобы эффективнее отлавливать читеров в шахматах. Год назад мы немного общались на похожую тему, но это ни к чему не привело. В этот раз он незамедлительно ответил, что предложение интересное, мы созвонились, прошёл собеседование с ним и потом в течение нескольких недель ещё с 2 директорами chess.com

И вот меня заонбордили вроде бы, начинаю читать документацию и погружаться в актуальные проекты. Посмотрим, смогу ли добавить ценности в бизнес-процессы компании. Команда ~700 человек, встретили весьма тепло. Можете написать мне на anatoly.alexeev@chess.com для пущей важности )

#teasers #featureengineering

И ещё новости. Пока не получается опубликовать детали, но я работаю над новым крутым методом feature engineering, который ещё нигде не применяется. О нём узнают (практически) только подписчики канала.

Без смс и регистрации ) Так что stay tuned!

#chess

Читаю про ценности и миссию компании. Сообщество, где любители шахмат изо всего мира чувствуют себя безопасно и счастливо, повышая свой шахматный уровень.
Ну и тут же вспоминаю про свой негативный опыт.

Я играю в онлайн шахматы достаточно часто, почти каждый день, короткие контроли (блиц или пулю), стараюсь не тратить на это больше 20-30 минут в день, потому что это чисто для интеллектуального удовольствия, пользы особой не приносит. Ну и часто складывается ситуация, что играешь впервые с соперником с примерно равным рейтингом. проигрываешь опять же в равной борьбе, жмёшь Реванш, а тебе тут же прилетает Declined.

У меня одного такое поведение соперника вызывает негативные эмоции? Давайте замутим опрос.

#games

Удивительно похожий на Resident Evil UI.

https://www.youtube.com/watch?v=WDlUBl-Talc

🚀 @SBERLOGABIO:
👨‍🔬 А.Вахрушев, С.Фиронов, А.Червов "Предсказание свойств белков - топ2 в CAFA5"
⌚️ Четверг 15 Февраля 19.00 (по Москве)

Как известно, Альфафолд от Гугл Дипмайнд совершил прорыв в биологии , сумев решить задачу , которая 50 лет не поддавалась решению - предсказание пространственной структуры белка по последовательности аминокислот, выиграв конкурс CASP15. Наша команда почти как Дипмайнд 😃 . Мы почти выиграли схожий конкурс - CAFA5 - заняв второе место и опередив 1500+ других команд.

Задача CAFA ( Critical Assessment of Function Annotation ) - предсказать функции и локализации белков, используя последовательность аминокислот белка - как основную входную информацию. Наиболее полная информация о функциях/локализации белков собрана в базе Gene Ontology , которая содержит около 40 000 всевозможных характеристик белка, которые организованы в иерархическую структуру. Охватываются белки всего - от вирусов до эукариот. Тем самым результат работы модели - для каждого белка должны выдаваться 40 000 нулей или единиц - есть данное свойство у данного белка или нет.

Решение
Идея 1. Использование инновационного градиентного бустинга Pyboost разработанного лидером команды А. Вахрушевым. При наличии тысяч таргетов другие бустинги будут работать в сотни раз медленней чем Pyboost, и часто уступят ему по качеству.

Идея 2. Использование современных "protein language models". Поразительные способности ChatGPT известны всем. Актуальный подход к изучению свойств белковых последовательностей - состоит в переносе мощных моделей идейно (но не буквально) схожих с ChatGPT в биоинформатику. В данном конкурсе наиболее хорошо себя показала модель типа "T5" (Text-To-Text Transfer Transformer). Мы использовали "эмбединги", которые данные модели создают из белков. И далее обучали бустинги и нейросети на этих эмбедингах.

И еще множество других идей (см. write-up).
Zoom link will be in @sberlogabig just before start

#music #diorama #robots

Synthesize me
Make me your
love and hate machine
And I can serve you better

Synthesize me
And reboot
I need to start again
I need to make it different

Synthesize me
Wash away
The trash I'm piling up
To mesmerize the moments

https://youtu.be/MsAiHQmICFs

#vr #hardware #avp

https://www.youtube.com/watch?v=REo1ugX5GSI

#games #survivalhorror

https://www.youtube.com/watch?v=COZIDMqRT7Y

#calibration #brierscore

https://www.youtube.com/watch?v=nWfCp7ZN6H8

#python #numpy #topk #argsort #codegems

https://hippocampus-garden.com/numpy_topk/

#oracle

Смешно

https://servernews.ru/1100753

ReLU, GELU, SiLU и ELU

Несколько лет назад на курсах нам рассказывали только про несколько функций активации: sigmoid, tanh, ReLU. Было круто, когда кто-то дополнительно ещё рассказывал про Leaky ReLU. И всего этих четырёх функций активации было достаточно, чтобы шатать сеточки.

Буквально несколько дней назад я слушал разбор статьи, где говорилось о том, что применение ReLU позволяет увеличить скорость инференса с небольшой потерей качества. Сравнение проводилось с функциями активации: GELU, SiLU. Я понял, что немного отстал от современных технологий в DL и решил погуглить и поделиться с вами.

Начнем с функции ReLU (Rectified Linear Unit). Эта функция активации имеет форму f(x) = max(0, x), что делает ее чрезвычайно эффективной для операций с большим количеством признаков, поскольку она увеличивает нелинейность модели без затрат на вычислительные ресурсы и без риска исчезновения градиента. Одним из главных недостатков ReLU является проблема «мертвых нейронов», когда нейроны перестают активироваться и вносить вклад в обучение сети из-за отрицательных значений на входе.

GELU (Gaussian Error Linear Unit), впервые представленная в 2016 году, стала более гладкой альтернативой ReLU. Функция GELU умножает входное значение на вероятность того, что значение будет активировано, что делает ее подходящей для использования в трансформерах и сетях с self-attention. Такая структура приводит к более динамичной адаптации нейронов к разным фазам обучения, позволяя достигать лучших результатов на сложных задачах.

Следующая в нашем списке — SiLU (Sigmoid Linear Unit). Эта функция активации представляет собой произведение входа на сигмоидную функцию от этого же входа, f(x) = x * σ(x). SiLU показала хорошие результаты в экспериментах по глубокому обучению, часто превосходя ReLU по разнообразным метрикам.

ELU (Exponential Linear Unit) добавляет еще одну интересную возможность в арсенал функций активации. В отличие от ReLU, ELU вводит отрицательные значения для отрицательных входов, что помогает сохранять более богатую информацию о распределении входных данных. Функция имеет форму f(x) = x, если x > 0, и f(x) = α(exp(x) - 1), если x ≤ 0, где α — параметр, обычно равный единице. Это улучшает скорость сходимости модели.

Вкратце: эти функции активации позволяют уменьшить вероятность возникновения проблемы размывания градиентов, но при этом тратят чуть больше компьюта на вычисления.

Пояснение с кодом есть тут
Дополнительное чтиво: 1, 2

#dl #code

Советы от грандмастера

В отложенных для просмотра вкладок завалялось видео с выступлением Стаса Семенова. Если кто не знает, то это ex-top-1 kaggle grandmaster, который сейчас работает квантом.

В видео он раздаёт советы с рекомендациями, как выбить лучший скор модели. Поделюсь тем, что меня зацепило:

1. Преобразование выхода модели функциями, смещающими распределение предсказаний в более уверенные предикты

2. Отбор только k-ых наблюдений во временных рядах, где соседние точки имеют очень близкие значения (например в HFT)

3. Расчёт критериев, показывающих похожесть 2 признаков

Если вам есть что докинуть, пишите в коменты.

P.S. Кстати, есть конспект от Дэна