#rl #featueselection #fsrlearning

Есть и такое, оказывается.

https://towardsdatascience.com/reinforcement-learning-for-feature-selection-be1e7eeb0acc

#trading

Приятная онлайн-книжка Machine Learning for Factor Investing.

Есть примеры кода на R, отличная подборка научных статей для каждого раздела. Авторами проведена серьёзная работа по изучению/обобщению финансовых исследований с прицелом на трейдинг.

Некоторые разделы заходят в тупик (например, ансамблирование), зато честно.

Есть и откровенно неверные спорные утверждения:
"One of the main challenges in Machine Learning is to extract as much signal as possible. By signal, we mean patterns that will hold out-of-sample. Intuitively, it may seem reasonable to think that the more data we gather, the more signal we can extract. This is in fact false in all generality because more data also means more noise."

4.5 из 5, прекрасная работа, прекрасная.

https://www.mlfactor.com/

#tabular

Отличный английский и крайне интересный взгляд на особенности табличных данных от заслуженного кэггл гроссмейстера.

Боян этот, кстати, на моей памяти первый лектор кто указывает, что бустинги плохи в моделировании линейных зависимостей - то, с чем я сам сталкивался недавно.

https://youtu.be/OcNBmilICgY?si=ozjCKNLNHFgiOqP6

#tabnet

Давно хотел попробовать эти ваши табнеты, пришла пора )

https://www.youtube.com/live/ysBaZO8YmX8?si=kLehrL0x3JFRDKza

#cloud

пользовался кто vast.ai? ценники привлекательные

#neuralink

"Арбо признался, что однажды заснул во время работы с компьютером посредством импланта, и во время сна курсор продолжал двигаться и нажимать на кнопки. «Я заснул примерно на пять минут, а когда проснулся, на компьютере было открыто около 10 различных приложений. Чтобы этого не происходило, курсор можно отключить, но в данном случае я этого не сделал», — рассказал Арбо.

Ещё Арбо поведал о проблемах с имплантом. Через месяц после операции он заметил, что устройство почти полностью утратило свою функциональность: большинство электродов, имплантированных в его мозг, ослабли и перестали считывать сигналы, необходимые для преобразования мыслей в движения курсора. «После операции я был на подъёме, но затем всё развалилось. Это было очень тяжело. Я плакал», — рассказал Арбо в интервью.

По его словам, специалисты Neuralink не учли, что мозг человека может настольно сильно перемещаться внутри черепа. В случае Арбо, движение мозга оказалось втрое интенсивнее, чем предполагали в компании. В итоге, на своих местах осталось только около 15 % нитевидных электродов, вживленных в моторную кору."

https://3dnews.ru/1105462/patsient-s-chipom-neuralink-zayavil-chto-ispolzuet-ego-s-utra-do-vechera

#energy #uncertainty #conformal

Residuals of the point predictions on the calibration set - интересная идея базиса.

Альтернативы:
1) квантильная регрессия
2) разброс прогнозов ансамбля
3) замена регресии мульти-классификацией
4) conformal=0+1

Впервые вижу, что хвалят метрику crps, я от неё отказался, уж не помню почему.
MapieTimeSeriesRegressor интересный.

https://www.youtube.com/watch?v=aIZf2cQ0r5U

#mapie

MAPIE в целом заслуживает внимания.

"Allows you to easily estimate uncertainties in both regression and classification settings. In regression settings, MAPIE provides prediction intervals on single-output data. In classification settings, MAPIE provides prediction sets on multi-class data. In any case, MAPIE is compatible with any scikit-learn-compatible estimator."

https://mapie.readthedocs.io/en/latest/quick_start.html

#trading

Хороший ресурс algotrading101.com, есть разумные статьи, питоновский код.

https://algotrading101.com/learn/walk-forward-optimization/

#tabnet

Потестил табнет в дефолтном конфиге на задаче классификации. Бустинги на ней достигали ROC AUC=0.87 за 20-30 минут (GPU). Первый попавшийся MLP на pytorch lightning за 2+ часа достигал AUC=0.86 (тоже GPU).

А что же чудо-табнет с трансформером внутри, хитрыми маск-слоями, скип-связями? те же AUC=0.86 за 7 часов на GPU (7, Карл!)

Фтопку.

Дорогие подписчики и гости канала! Нынешняя конфигурация фасада власти была создана большими усилиями и, частично, по принуждению, именно поэтому будет существовать в этом виде недолго. Есть аспекты и договоренности в "политбюро 2.0", которые мы не обнародовали, предоставив возможность кризису усугубиться и принять окончательные формы. Михаил Мишустин, которого лоббировали китайские товарищи, будет возглавлять Правительство недолго, уже к концу года он подаст в отставку и уступит место другому человеку. Вместе с отставкой Мишустина будет переформатировано и часть Правительства. Дмитрий Патрушев, к примеру, должен переместиться в кресло секретаря Совета Безопасности РФ и уже с этой позиции стартовать в президентское кресло. Денис Мантуров по существующим договорённостям возглавит Правительство. Андрей Белоусов, после наведения порядка в министерстве обороны, вернётся в первые вице-премьеры. Алексей Дюмин будет вице-премьером, куратором силового блока. В самом силовом блоке пройдут масштабные перестановки, не революционные, но масштабные. Сменятся главы Следственного комитета, ФСБ, МВД и Росгвардии. В руководстве ФСО, предварительно, без особых изменений. Поменяется руководство финансово-экономического блока. В ближайшее время произойдёт существенное усиление позиций Госсовета. И самое интересное, если всё идет по плану, и Дмитрий Патрушев выходит на досрочные президентские выборы, то Сергея Чемезов возглавит Госсовет с широкими функциями. Если же по каким-то причинам Дмитрий Патрушев не участвует в транзите, то Госсовет возглавит нынешний помощник президента России по судостроению Николай Патрушев. Самым громким событием перестановок, должен стать арест нынешнего секретаря Совета Безопасности РФ Сергея Шойгу. Перед этим, конечно, почистят Министерство обороны и Генеральный штаб.

#fun #forest #guitar

https://www.youtube.com/shorts/U6eFk1pcd90

#ensembling #confidence

Крайне удивительное открытие, как всегда, делюсь ценной информацией с читателями моего блога, которые хотят профессионально вырасти в ML/DS.

Исследую методы ансамблирования от простого усреднения до стэкинга, часто вижу ситуации когда ансамблирование не улучшает качество прогнозов out-of-sample (OOS).

(В случае со стэкингом метамодель просто почти сразу срывается в оверфит, это тема отдельного исследования).

Но посетила светлая мысль, мол, погоди выбрасывать ансамбли, хоть они и не улучшают метрики OOS в целом, так может, давай отдельно проверим точки/инстансы, в которых прогнозы моделей совпадают? Это ж будет значить повышенную надёжность именно этих конкретных прогнозов, раз много экспертов по ним имеют консенсус, правда?

Проверяю: считаем средние и скв. отклонения модельных прогнозов по точкам (они же инстансы/строки/примеры). Затем считаем надёжными предсказания, где среднеквадратичные отклонения прогнозов (можно их нормировать дополнительно на сами средние, у меня это картины не поменяло) меньше заданного порога, ну или находятся в своём первом дециле, к примеру. Отдельно считаем OOS метрики по этим "надёжным предсказаниям".

И вот тут как раз неожиданное открытие. По "надёжным предсказаниям" метрики хуже, а по остальной части - лучше!!
То есть, если эксперты дают разброс по некоторым точкам, их усреднению можно доверять больше, чем если бы их прогнозы совпадали. Парадокс? Для меня да. Работает на практике? Тоже да.

PS. Возможно, это лишь на конкретной задаче, нужно более широкое тестирование.

#medicine #neuralink

Пока компания провела 14 экспериментов на вскрытых во время операций мозгах пациентов для определения чувствительности датчиков. Все операции были плановыми по удалению опухолей мозга. Пока мозг был открыт, пациентам с их согласия на время устанавливали датчики Precision Neuroscience. Поток информации был беспрецедентным, делятся успехами разработчики. Рекорд был установлен ранее в этом году, когда пациенту установили сразу четыре датчика с общим числом электродов 4096 штук на площади 8 см2. Это в четыре раза больше, чем в случае нейроимпланта Neuralink, если предположить, что все его датчики-иглы встали на место и успешно работают.

«Этот рекорд — значительный шаг к новой эре, — написал Рапопорт в пресс-релизе. — Способность улавливать кортикальную информацию такого масштаба может позволить нам углубиться в понимание мозга».

https://3dnews.ru/1105627/ustanovlen-rekord-po-chislu-ustanovlennih-na-mozg-patsienta-elektrodov-4096-tochek-na-ploshchadi-so-spichechniy-korobok

⚡️Глава ФНС: неправда, что в России нет ничего прогрессивного

#ethics #ml

Мне одному противно видеть модели, построенные на датасете Титаник? Людям, которые таким занимаются, можно предложить построить модель продолжительности жизни их родителей, детей, друзей... История с быком Гальтона - туда же, в топку. Надо ценить жизни и уважать чужое страдание.
Уж лучше ирисы )

#news #automl #plans

ML/DS-планы на 2024-й.

Как-то незаметно прошло уже почти полгода! Поймал себя на том, что двигаюсь к своей мини-automl системе. Скажете, почему не возьмёшь готовую? Ответ обычный, хочешь чтоб было сделано хорошо - сделай сам (если у тебя есть экспертиза и классные идеи).

В рамках этой automl системы будут:

1) 2 отборщика признаков из Diogenes, MRMR и RFECV.
MRMR уже получил навык создания комбинаций признаков (feature engineering), его надо ускорить (запараллелить) и лучше потестировать подмодуль с ортогональными полиномами (там будет полезен хороший оптимизатор, сейчас стоит оптуна и работает через пень-колоду)

2) мой будущий классный MBHO оптимизатор HPT. мне уже удалось побить оптуну, гиперопт, скопт в задачах одномерной оптимизации (для решения проблемы feature selection, см бенчи по тегам #featureselection #hpt #optuna #hyperopt #skopt), пора его расширить на многомерный случай

3) модуль ансамблирования ENS. будет простое усреднение (много оттенков) и стэкинг. из ноу-хау тут будут instance-based confidence, numaggs over level 0 predictions, identity level 1 baseline, аугментация табличных данных. Для расширения ENS планируется написать универсальную обёртку для ранней остановки. С этой идеей ношусь уже несколько лет, да никак не сделаю. Смысл обёртки в том, чтобы дать функционал early stopping/overfitting detection тем моделькам, которые сами нативно его не поддерживают - путём partial_fit или дихотомического поиска по n_iterations.

Отборщики признаков получат апгрейд и во время своей работы будут собирать ценную информацию для модулей HPT (MRMR считает базовые статистики признаков, силу связей с таргетами и между собой; RFECV создаёт пары гиперпараметры-ml метрики для последующего обучения MBHO) и ENS (будут замерять, насколько прогнозы моделек с определёнными признаками и гиперпараметрами декоррелированы и спосбны помочь ансамблю).

Также планируется большое обновление Diogenes, после которого избыточные признаки опционально будут не удаляться из набора, а сливаться в единый "кластер" c primary (если это будет повышать стабильность). Идея взята из лекций Эрни Чана. Это может быть полезно, когда 1 скрытый драйвер влияет на множество факторов в датасете. Текущая реализация MRMR выбирает 1 фактор с самой сильной MI на таргет, остальные выкидывает, что приводит к потере информации если влияние драйвера на факторы неоднородно по инстансам или времени.

Ещё MRMR получит шаг удаления признака (чтобы сильный признак мог всё же уступать более удачной комбинации) и параллельные списки, когда на каждом шаге не просто берётся лучший кандидат, а N лучших кандидатов формируют "параллельную реальность" (идея взята у Тима Мастерса).

Хочу также изучить гибриды между MRMR и RFECV (например, все признаки отброшенные MRMR прогонять через RFECV).

#trading

Мне кажется, этот спикер не понимает, что такое машинное обучение. И советы даёт совершенно непригодные. Хотя утверждает, что у него стратегии с Шарпом 5. Может, мне тоже начать такое говорить, "как в том анекдоте"? )

https://www.youtube.com/watch?v=YgRTd4nLJoU

#теория #трюки
В задачах машинного обучения часто мы наблюдаем картину насыщения модели данными: при 80-90% используемых данных из тренировочного датасета модель выходит на плато качества и дальше не растет.
Однако встречаются кейсы (и они не являются супер редким исключением из правил), когда качество модели все продолжает и продолжает расти по мере наращивания выборки, на которой модель учится, и даже при 100% насыщения не наступает. Но размеченных данных больше нет и остались только неразмеченные - в данной ситуации может помочь так называемая техника псевдолейблинга (pseudolabelling). О том, как с ней работать и какие существуют важные правила, которые стоит соблюдать для достижения результата, можно прочитать в моем посте на форуме Kaggle: https://www.kaggle.com/c/tabular-playground-series-apr-2021/discussion/231738

#fun #imfine

#doubledescent

Товарищи, а кто-то видел эффект double descent в реальности/на практике, особенно на табличных данных?

https://openai.com/index/deep-double-descent/