#energy #uncertainty #conformal
Residuals of the point predictions on the calibration set - интересная идея базиса.
Альтернативы:
1) квантильная регрессия
2) разброс прогнозов ансамбля
3) замена регресии мульти-классификацией
4) conformal=0+1
Впервые вижу, что хвалят метрику crps, я от неё отказался, уж не помню почему.
MapieTimeSeriesRegressor интересный.
https://www.youtube.com/watch?v=aIZf2cQ0r5U
Residuals of the point predictions on the calibration set - интересная идея базиса.
Альтернативы:
1) квантильная регрессия
2) разброс прогнозов ансамбля
3) замена регресии мульти-классификацией
4) conformal=0+1
Впервые вижу, что хвалят метрику crps, я от неё отказался, уж не помню почему.
MapieTimeSeriesRegressor интересный.
https://www.youtube.com/watch?v=aIZf2cQ0r5U
YouTube
Harnessing uncertainty: the role of probabilistic time series forecasting in the renewable energy...
Harnessing uncertainty: the role of probabilistic time series forecasting in the renewable energy transition
How can probabilistic forecasting accelerate the renewable energy transition? The rapid growth of non-steerable and intermittent wind and solar power…
How can probabilistic forecasting accelerate the renewable energy transition? The rapid growth of non-steerable and intermittent wind and solar power…
#mapie
MAPIE в целом заслуживает внимания.
"Allows you to easily estimate uncertainties in both regression and classification settings. In regression settings, MAPIE provides prediction intervals on single-output data. In classification settings, MAPIE provides prediction sets on multi-class data. In any case, MAPIE is compatible with any scikit-learn-compatible estimator."
https://mapie.readthedocs.io/en/latest/quick_start.html
MAPIE в целом заслуживает внимания.
"Allows you to easily estimate uncertainties in both regression and classification settings. In regression settings, MAPIE provides prediction intervals on single-output data. In classification settings, MAPIE provides prediction sets on multi-class data. In any case, MAPIE is compatible with any scikit-learn-compatible estimator."
https://mapie.readthedocs.io/en/latest/quick_start.html
#trading
Хороший ресурс algotrading101.com, есть разумные статьи, питоновский код.
https://algotrading101.com/learn/walk-forward-optimization/
Хороший ресурс algotrading101.com, есть разумные статьи, питоновский код.
https://algotrading101.com/learn/walk-forward-optimization/
Quantitative Trading Ideas and Guides - AlgoTrading101 Blog
What is a Walk-Forward Optimization and How to Run It? - AlgoTrading101 Blog
Walk forward optimisation is a process for testing a trading strategy by finding its optimal trading parameters in a certain time period (called the in-sample data) and checking the performance of those parameters in the following time period (called the…
#tabnet
Потестил табнет в дефолтном конфиге на задаче классификации. Бустинги на ней достигали ROC AUC=0.87 за 20-30 минут (GPU). Первый попавшийся MLP на pytorch lightning за 2+ часа достигал AUC=0.86 (тоже GPU).
А что же чудо-табнет с трансформером внутри, хитрыми маск-слоями, скип-связями? те же AUC=0.86 за 7 часов на GPU (7, Карл!)
Фтопку.
Потестил табнет в дефолтном конфиге на задаче классификации. Бустинги на ней достигали ROC AUC=0.87 за 20-30 минут (GPU). Первый попавшийся MLP на pytorch lightning за 2+ часа достигал AUC=0.86 (тоже GPU).
А что же чудо-табнет с трансформером внутри, хитрыми маск-слоями, скип-связями? те же AUC=0.86 за 7 часов на GPU (7, Карл!)
Фтопку.
😁1
Forwarded from Генерал СВР
Дорогие подписчики и гости канала! Нынешняя конфигурация фасада власти была создана большими усилиями и, частично, по принуждению, именно поэтому будет существовать в этом виде недолго. Есть аспекты и договоренности в "политбюро 2.0", которые мы не обнародовали, предоставив возможность кризису усугубиться и принять окончательные формы. Михаил Мишустин, которого лоббировали китайские товарищи, будет возглавлять Правительство недолго, уже к концу года он подаст в отставку и уступит место другому человеку. Вместе с отставкой Мишустина будет переформатировано и часть Правительства. Дмитрий Патрушев, к примеру, должен переместиться в кресло секретаря Совета Безопасности РФ и уже с этой позиции стартовать в президентское кресло. Денис Мантуров по существующим договорённостям возглавит Правительство. Андрей Белоусов, после наведения порядка в министерстве обороны, вернётся в первые вице-премьеры. Алексей Дюмин будет вице-премьером, куратором силового блока. В самом силовом блоке пройдут масштабные перестановки, не революционные, но масштабные. Сменятся главы Следственного комитета, ФСБ, МВД и Росгвардии. В руководстве ФСО, предварительно, без особых изменений. Поменяется руководство финансово-экономического блока. В ближайшее время произойдёт существенное усиление позиций Госсовета. И самое интересное, если всё идет по плану, и Дмитрий Патрушев выходит на досрочные президентские выборы, то Сергея Чемезов возглавит Госсовет с широкими функциями. Если же по каким-то причинам Дмитрий Патрушев не участвует в транзите, то Госсовет возглавит нынешний помощник президента России по судостроению Николай Патрушев. Самым громким событием перестановок, должен стать арест нынешнего секретаря Совета Безопасности РФ Сергея Шойгу. Перед этим, конечно, почистят Министерство обороны и Генеральный штаб.
🤡1
#ensembling #confidence
Крайне удивительное открытие, как всегда, делюсь ценной информацией с читателями моего блога, которые хотят профессионально вырасти в ML/DS.
Исследую методы ансамблирования от простого усреднения до стэкинга, часто вижу ситуации когда ансамблирование не улучшает качество прогнозов out-of-sample (OOS).
(В случае со стэкингом метамодель просто почти сразу срывается в оверфит, это тема отдельного исследования).
Но посетила светлая мысль, мол, погоди выбрасывать ансамбли, хоть они и не улучшают метрики OOS в целом, так может, давай отдельно проверим точки/инстансы, в которых прогнозы моделей совпадают? Это ж будет значить повышенную надёжность именно этих конкретных прогнозов, раз много экспертов по ним имеют консенсус, правда?
Проверяю: считаем средние и скв. отклонения модельных прогнозов по точкам (они же инстансы/строки/примеры). Затем считаем надёжными предсказания, где среднеквадратичные отклонения прогнозов (можно их нормировать дополнительно на сами средние, у меня это картины не поменяло) меньше заданного порога, ну или находятся в своём первом дециле, к примеру. Отдельно считаем OOS метрики по этим "надёжным предсказаниям".
И вот тут как раз неожиданное открытие. По "надёжным предсказаниям" метрики хуже, а по остальной части - лучше!!
То есть, если эксперты дают разброс по некоторым точкам, их усреднению можно доверять больше, чем если бы их прогнозы совпадали. Парадокс? Для меня да. Работает на практике? Тоже да.
PS. Возможно, это лишь на конкретной задаче, нужно более широкое тестирование.
Крайне удивительное открытие, как всегда, делюсь ценной информацией с читателями моего блога, которые хотят профессионально вырасти в ML/DS.
Исследую методы ансамблирования от простого усреднения до стэкинга, часто вижу ситуации когда ансамблирование не улучшает качество прогнозов out-of-sample (OOS).
(В случае со стэкингом метамодель просто почти сразу срывается в оверфит, это тема отдельного исследования).
Но посетила светлая мысль, мол, погоди выбрасывать ансамбли, хоть они и не улучшают метрики OOS в целом, так может, давай отдельно проверим точки/инстансы, в которых прогнозы моделей совпадают? Это ж будет значить повышенную надёжность именно этих конкретных прогнозов, раз много экспертов по ним имеют консенсус, правда?
Проверяю: считаем средние и скв. отклонения модельных прогнозов по точкам (они же инстансы/строки/примеры). Затем считаем надёжными предсказания, где среднеквадратичные отклонения прогнозов (можно их нормировать дополнительно на сами средние, у меня это картины не поменяло) меньше заданного порога, ну или находятся в своём первом дециле, к примеру. Отдельно считаем OOS метрики по этим "надёжным предсказаниям".
И вот тут как раз неожиданное открытие. По "надёжным предсказаниям" метрики хуже, а по остальной части - лучше!!
То есть, если эксперты дают разброс по некоторым точкам, их усреднению можно доверять больше, чем если бы их прогнозы совпадали. Парадокс? Для меня да. Работает на практике? Тоже да.
PS. Возможно, это лишь на конкретной задаче, нужно более широкое тестирование.
👍2🔥1🤔1
#medicine #neuralink
Пока компания провела 14 экспериментов на вскрытых во время операций мозгах пациентов для определения чувствительности датчиков. Все операции были плановыми по удалению опухолей мозга. Пока мозг был открыт, пациентам с их согласия на время устанавливали датчики Precision Neuroscience. Поток информации был беспрецедентным, делятся успехами разработчики. Рекорд был установлен ранее в этом году, когда пациенту установили сразу четыре датчика с общим числом электродов 4096 штук на площади 8 см2. Это в четыре раза больше, чем в случае нейроимпланта Neuralink, если предположить, что все его датчики-иглы встали на место и успешно работают.
«Этот рекорд — значительный шаг к новой эре, — написал Рапопорт в пресс-релизе. — Способность улавливать кортикальную информацию такого масштаба может позволить нам углубиться в понимание мозга».
https://3dnews.ru/1105627/ustanovlen-rekord-po-chislu-ustanovlennih-na-mozg-patsienta-elektrodov-4096-tochek-na-ploshchadi-so-spichechniy-korobok
Пока компания провела 14 экспериментов на вскрытых во время операций мозгах пациентов для определения чувствительности датчиков. Все операции были плановыми по удалению опухолей мозга. Пока мозг был открыт, пациентам с их согласия на время устанавливали датчики Precision Neuroscience. Поток информации был беспрецедентным, делятся успехами разработчики. Рекорд был установлен ранее в этом году, когда пациенту установили сразу четыре датчика с общим числом электродов 4096 штук на площади 8 см2. Это в четыре раза больше, чем в случае нейроимпланта Neuralink, если предположить, что все его датчики-иглы встали на место и успешно работают.
«Этот рекорд — значительный шаг к новой эре, — написал Рапопорт в пресс-релизе. — Способность улавливать кортикальную информацию такого масштаба может позволить нам углубиться в понимание мозга».
https://3dnews.ru/1105627/ustanovlen-rekord-po-chislu-ustanovlennih-na-mozg-patsienta-elektrodov-4096-tochek-na-ploshchadi-so-spichechniy-korobok
3DNews - Daily Digital Digest
Конкурент Neuralink установил рекорд по числу электродов в мозге человека — 4096 штук на площади со спичечный коробок
Компания Precision Neuroscience, созданная выходцами из компании Neuralink Илона Маска (Elon Musk), сообщила об установлении рекорда по числу одновременно работающих на живом мозге электродов.
Forwarded from Пездуза
⚡️Глава ФНС: неправда, что в России нет ничего прогрессивного
#ethics #ml
Мне одному противно видеть модели, построенные на датасете Титаник? Людям, которые таким занимаются, можно предложить построить модель продолжительности жизни их родителей, детей, друзей... История с быком Гальтона - туда же, в топку. Надо ценить жизни и уважать чужое страдание.
Уж лучше ирисы )
Мне одному противно видеть модели, построенные на датасете Титаник? Людям, которые таким занимаются, можно предложить построить модель продолжительности жизни их родителей, детей, друзей... История с быком Гальтона - туда же, в топку. Надо ценить жизни и уважать чужое страдание.
Уж лучше ирисы )
👍3❤1
#news #automl #plans
ML/DS-планы на 2024-й.
Как-то незаметно прошло уже почти полгода! Поймал себя на том, что двигаюсь к своей мини-automl системе. Скажете, почему не возьмёшь готовую? Ответ обычный, хочешь чтоб было сделано хорошо - сделай сам (если у тебя есть экспертиза и классные идеи).
В рамках этой automl системы будут:
1) 2 отборщика признаков из Diogenes, MRMR и RFECV.
MRMR уже получил навык создания комбинаций признаков (feature engineering), его надо ускорить (запараллелить) и лучше потестировать подмодуль с ортогональными полиномами (там будет полезен хороший оптимизатор, сейчас стоит оптуна и работает через пень-колоду)
2) мой будущий классный MBHO оптимизатор HPT. мне уже удалось побить оптуну, гиперопт, скопт в задачах одномерной оптимизации (для решения проблемы feature selection, см бенчи по тегам #featureselection #hpt #optuna #hyperopt #skopt), пора его расширить на многомерный случай
3) модуль ансамблирования ENS. будет простое усреднение (много оттенков) и стэкинг. из ноу-хау тут будут instance-based confidence, numaggs over level 0 predictions, identity level 1 baseline, аугментация табличных данных. Для расширения ENS планируется написать универсальную обёртку для ранней остановки. С этой идеей ношусь уже несколько лет, да никак не сделаю. Смысл обёртки в том, чтобы дать функционал early stopping/overfitting detection тем моделькам, которые сами нативно его не поддерживают - путём partial_fit или дихотомического поиска по n_iterations.
Отборщики признаков получат апгрейд и во время своей работы будут собирать ценную информацию для модулей HPT (MRMR считает базовые статистики признаков, силу связей с таргетами и между собой; RFECV создаёт пары гиперпараметры-ml метрики для последующего обучения MBHO) и ENS (будут замерять, насколько прогнозы моделек с определёнными признаками и гиперпараметрами декоррелированы и спосбны помочь ансамблю).
Также планируется большое обновление Diogenes, после которого избыточные признаки опционально будут не удаляться из набора, а сливаться в единый "кластер" c primary (если это будет повышать стабильность). Идея взята из лекций Эрни Чана. Это может быть полезно, когда 1 скрытый драйвер влияет на множество факторов в датасете. Текущая реализация MRMR выбирает 1 фактор с самой сильной MI на таргет, остальные выкидывает, что приводит к потере информации если влияние драйвера на факторы неоднородно по инстансам или времени.
Ещё MRMR получит шаг удаления признака (чтобы сильный признак мог всё же уступать более удачной комбинации) и параллельные списки, когда на каждом шаге не просто берётся лучший кандидат, а N лучших кандидатов формируют "параллельную реальность" (идея взята у Тима Мастерса).
Хочу также изучить гибриды между MRMR и RFECV (например, все признаки отброшенные MRMR прогонять через RFECV).
ML/DS-планы на 2024-й.
Как-то незаметно прошло уже почти полгода! Поймал себя на том, что двигаюсь к своей мини-automl системе. Скажете, почему не возьмёшь готовую? Ответ обычный, хочешь чтоб было сделано хорошо - сделай сам (если у тебя есть экспертиза и классные идеи).
В рамках этой automl системы будут:
1) 2 отборщика признаков из Diogenes, MRMR и RFECV.
MRMR уже получил навык создания комбинаций признаков (feature engineering), его надо ускорить (запараллелить) и лучше потестировать подмодуль с ортогональными полиномами (там будет полезен хороший оптимизатор, сейчас стоит оптуна и работает через пень-колоду)
2) мой будущий классный MBHO оптимизатор HPT. мне уже удалось побить оптуну, гиперопт, скопт в задачах одномерной оптимизации (для решения проблемы feature selection, см бенчи по тегам #featureselection #hpt #optuna #hyperopt #skopt), пора его расширить на многомерный случай
3) модуль ансамблирования ENS. будет простое усреднение (много оттенков) и стэкинг. из ноу-хау тут будут instance-based confidence, numaggs over level 0 predictions, identity level 1 baseline, аугментация табличных данных. Для расширения ENS планируется написать универсальную обёртку для ранней остановки. С этой идеей ношусь уже несколько лет, да никак не сделаю. Смысл обёртки в том, чтобы дать функционал early stopping/overfitting detection тем моделькам, которые сами нативно его не поддерживают - путём partial_fit или дихотомического поиска по n_iterations.
Отборщики признаков получат апгрейд и во время своей работы будут собирать ценную информацию для модулей HPT (MRMR считает базовые статистики признаков, силу связей с таргетами и между собой; RFECV создаёт пары гиперпараметры-ml метрики для последующего обучения MBHO) и ENS (будут замерять, насколько прогнозы моделек с определёнными признаками и гиперпараметрами декоррелированы и спосбны помочь ансамблю).
Также планируется большое обновление Diogenes, после которого избыточные признаки опционально будут не удаляться из набора, а сливаться в единый "кластер" c primary (если это будет повышать стабильность). Идея взята из лекций Эрни Чана. Это может быть полезно, когда 1 скрытый драйвер влияет на множество факторов в датасете. Текущая реализация MRMR выбирает 1 фактор с самой сильной MI на таргет, остальные выкидывает, что приводит к потере информации если влияние драйвера на факторы неоднородно по инстансам или времени.
Ещё MRMR получит шаг удаления признака (чтобы сильный признак мог всё же уступать более удачной комбинации) и параллельные списки, когда на каждом шаге не просто берётся лучший кандидат, а N лучших кандидатов формируют "параллельную реальность" (идея взята у Тима Мастерса).
Хочу также изучить гибриды между MRMR и RFECV (например, все признаки отброшенные MRMR прогонять через RFECV).
🔥7
#trading
Мне кажется, этот спикер не понимает, что такое машинное обучение. И советы даёт совершенно непригодные. Хотя утверждает, что у него стратегии с Шарпом 5. Может, мне тоже начать такое говорить, "как в том анекдоте"? )
https://www.youtube.com/watch?v=YgRTd4nLJoU
Мне кажется, этот спикер не понимает, что такое машинное обучение. И советы даёт совершенно непригодные. Хотя утверждает, что у него стратегии с Шарпом 5. Может, мне тоже начать такое говорить, "как в том анекдоте"? )
https://www.youtube.com/watch?v=YgRTd4nLJoU
YouTube
064: Cryptocurrencies and Machine Learning with Bert Mouler [AUDIO ONLY]
As markets become more mature and more efficient, it can be become increasingly difficult to find sustainable edges.
Many traders are looking at the same data and using the same techniques, so what are our options here? 2 of the obvious options we have…
Many traders are looking at the same data and using the same techniques, so what are our options here? 2 of the obvious options we have…
Forwarded from LightAutoML framework (Alex Ryzhkov)
#теория #трюки
В задачах машинного обучения часто мы наблюдаем картину насыщения модели данными: при 80-90% используемых данных из тренировочного датасета модель выходит на плато качества и дальше не растет.
Однако встречаются кейсы (и они не являются супер редким исключением из правил), когда качество модели все продолжает и продолжает расти по мере наращивания выборки, на которой модель учится, и даже при 100% насыщения не наступает. Но размеченных данных больше нет и остались только неразмеченные - в данной ситуации может помочь так называемая техника псевдолейблинга (pseudolabelling). О том, как с ней работать и какие существуют важные правила, которые стоит соблюдать для достижения результата, можно прочитать в моем посте на форуме Kaggle: https://www.kaggle.com/c/tabular-playground-series-apr-2021/discussion/231738
В задачах машинного обучения часто мы наблюдаем картину насыщения модели данными: при 80-90% используемых данных из тренировочного датасета модель выходит на плато качества и дальше не растет.
Однако встречаются кейсы (и они не являются супер редким исключением из правил), когда качество модели все продолжает и продолжает расти по мере наращивания выборки, на которой модель учится, и даже при 100% насыщения не наступает. Но размеченных данных больше нет и остались только неразмеченные - в данной ситуации может помочь так называемая техника псевдолейблинга (pseudolabelling). О том, как с ней работать и какие существуют важные правила, которые стоит соблюдать для достижения результата, можно прочитать в моем посте на форуме Kaggle: https://www.kaggle.com/c/tabular-playground-series-apr-2021/discussion/231738
Kaggle
Tabular Playground Series - Apr 2021
Synthanic - You're going to need a bigger boat
#doubledescent
Товарищи, а кто-то видел эффект double descent в реальности/на практике, особенно на табличных данных?
https://openai.com/index/deep-double-descent/
Товарищи, а кто-то видел эффект double descent в реальности/на практике, особенно на табличных данных?
https://openai.com/index/deep-double-descent/
#nvidia
"В 2026 году Nvidia планирует сделать сразу несколько крупных анонсов. Во-первых, будет представлен новый графический чип Rubin с памятью HBM4. Во-вторых, появится центральный процессор Vera, который придёт на смену нынешнему Grace. Таким образом, флагманское решение 2026 года получит название Vera Rubin — это будет суперчип, связка GPU+CPU, аналогично актуальному Grace Hopper. Кроме того, пропускная способность запатентованной Nvidia технологии интерконнекта NVLink будет удвоена до 3,6 Тбит/с (NVLink 6 против NVLink 5).
На 2027 год запланирован выход улучшенной версии Rubin Ultra с HBM4 с 12 кристаллами в стеке вместо 8. Как подчёркивает Хуанг, Nvidia намерена выжимать максимум из доступных на данный момент производственных техпроцессов, чтобы каждый год выводить на рынок новые флагманские решения, работающие на пределе возможного. По словам Дженсена Хуанга, именно такая стратегия непрерывного совершенствования позволит компании сохранять лидерство в сфере решений для дата-центров."
https://3dnews.ru/1105827/nvidia-predstavila-dorognuyu-kartu-i-poobeshchala-vigat-iz-tehprotsessov-maksimum
"В 2026 году Nvidia планирует сделать сразу несколько крупных анонсов. Во-первых, будет представлен новый графический чип Rubin с памятью HBM4. Во-вторых, появится центральный процессор Vera, который придёт на смену нынешнему Grace. Таким образом, флагманское решение 2026 года получит название Vera Rubin — это будет суперчип, связка GPU+CPU, аналогично актуальному Grace Hopper. Кроме того, пропускная способность запатентованной Nvidia технологии интерконнекта NVLink будет удвоена до 3,6 Тбит/с (NVLink 6 против NVLink 5).
На 2027 год запланирован выход улучшенной версии Rubin Ultra с HBM4 с 12 кристаллами в стеке вместо 8. Как подчёркивает Хуанг, Nvidia намерена выжимать максимум из доступных на данный момент производственных техпроцессов, чтобы каждый год выводить на рынок новые флагманские решения, работающие на пределе возможного. По словам Дженсена Хуанга, именно такая стратегия непрерывного совершенствования позволит компании сохранять лидерство в сфере решений для дата-центров."
https://3dnews.ru/1105827/nvidia-predstavila-dorognuyu-kartu-i-poobeshchala-vigat-iz-tehprotsessov-maksimum
3DNews - Daily Digital Digest
Nvidia представила амбициозный план выпуска новых GPU и CPU: суперчип Vera Rubin с HBM4 выйдет в 2026 году
Глава Nvidia во время презентации на Computex 2024 представил план по выпуску новых продуктов на следующие три года.
#astronomy
https://3dnews.ru/1105829/kitayskiy-zond-chane6-prilunilsya-dlya-pervogo-v-istorii-sbora-grunta-s-obratnoy-storoni-luni
https://3dnews.ru/1105829/kitayskiy-zond-chane6-prilunilsya-dlya-pervogo-v-istorii-sbora-grunta-s-obratnoy-storoni-luni
3DNews - Daily Digital Digest
Китайский зонд «Чанъэ-6» прилунился для первого в истории сбора грунта с обратной стороны Луны
Китайский лунный зонд «Чанъэ-6» совершил посадку на обратной стороне Луны в воскресенье утром, чтобы осуществить историческую миссию по сбору образцов грунта с этой области.
#trading #education
Нашёл отличный бесплатный курс по МЛ в трейдинге.
Introduction to Trading, Machine Learning & GCP
Course 1
•
9 hours
•
4.0(818 ratings)
Using Machine Learning in Trading and Finance
Course 2
•
18 hours
•
3.9(349 ratings)
Reinforcement Learning for Trading Strategies
Course 3
•
12 hours
•
3.5(224 ratings)
https://www.coursera.org/specializations/machine-learning-trading
Нашёл отличный бесплатный курс по МЛ в трейдинге.
Introduction to Trading, Machine Learning & GCP
Course 1
•
9 hours
•
4.0(818 ratings)
Using Machine Learning in Trading and Finance
Course 2
•
18 hours
•
3.9(349 ratings)
Reinforcement Learning for Trading Strategies
Course 3
•
12 hours
•
3.5(224 ratings)
https://www.coursera.org/specializations/machine-learning-trading
Coursera
Machine Learning for Trading
Offered by Google Cloud and New York Institute of ... Enroll for free.