#polars
Они вкладываются еще и в парсинг паркета с помощью simd, как будто у них и так уже не лучший парсер. Круто.
https://youtu.be/yYAVrVMGaMY?si=eQh5dhZfdEyZC-NK
Они вкладываются еще и в парсинг паркета с помощью simd, как будто у них и так уже не лучший парсер. Круто.
https://youtu.be/yYAVrVMGaMY?si=eQh5dhZfdEyZC-NK
YouTube
Ritchie Vink - Polars 1.0 and beyond | PyData Amsterdam 2024
www.pydata.org
Polars is a novel query engine that focuses on DataFrame use front-end. This July it has hit the 1.0 milestone and this August it has landed GPU support.
The 1.0 milestone has made the Polars team confident about the API going forward and…
Polars is a novel query engine that focuses on DataFrame use front-end. This July it has hit the 1.0 milestone and this August it has landed GPU support.
The 1.0 milestone has made the Polars team confident about the API going forward and…
#skrub
Эту полезную либу мы уже рассматривали. Есть поддержка поларс, надо бы проверить.
https://youtu.be/Oho53bvl4rg?si=pDGUanxgDycLvvBr
Эту полезную либу мы уже рассматривали. Есть поддержка поларс, надо бы проверить.
https://youtu.be/Oho53bvl4rg?si=pDGUanxgDycLvvBr
YouTube
Gaël Varoquaux: Prepping Tables for Machine Learning Gets Easier [PyData Südwest]
Recorded live at PyData Südwest 27 June 2023 at Mathematikon, University of Heidelberg
Skrub: Prepping Tables for Machine Learning Gets Easier
Gaël Varoquaux, Research Director, Inria, France
In standard data-science practice, a significant effort is spent…
Skrub: Prepping Tables for Machine Learning Gets Easier
Gaël Varoquaux, Research Director, Inria, France
In standard data-science practice, a significant effort is spent…
#timeseries #ensembling #hetboost #pmdarima #todo
Вот попался классный пример, где идея "гетерогенного бустинга" отлично отрабатывает.
Лектор на синтетике сравнивает ариму и ансамбль линрег+дерево.
В задачах на временные ряды декомпозиция на тренд, сезонность и остаточные нерегулярный сигнал очевидна и необходима, но можно посмотреть на проблему в общем - классы моделей имеют свои ограничения (деревянные модели регрессии, к примеру, плохо моделируют линейные зависимости), и обучение модели одного класса на невязках модели другого класса способно показать отличные результаты.
В то же время, сейчас самыми распространёнными методами ансамблирования являются стэкинг (когда для моделей последующего уровня меняется признаковое пространство) и гомогенный бустинг (например, градиентный над деревьями в catboost/xgboost/lightgbm), а вот идею бустинга гетерогенного как будто никто и не рассматривает, и как будто бы нет опенсорсных реализаций.
Истоки такого предубеждения, похоже, растут из ранних статей о бустинговом подходе над "слабыми моделями" (weak learners). Выбор именно слабых моделей аргументировался контролем переобучения, равномерностью шагов процесса обучения, фокусом на сложных для предсказания примерах (которые более сильная модель могла бы просто запомнить).
Мне кажется, "слабость" и одинаковость участников ансамбля не всегда благо, и на практике есть смысл в каждой конкретной задаче проверять (на CV) наиболее выгодный подход к ансамблированию, от простого усреднения моделей и ensemble selection (который мы недавно рассматривали) до стэкинга и двух видов бустинга, одно- и разнородного.
На этот год планирую сравнительное исследование )
Видимо, относительно небольшая статья о том, как стать лучше в DS, которую я подготовил, столкнувшись с неспособностью современных библиотек градиентного бустинга хорошо смоделировать простую зависимость Y=X, вырастет в большое сравнение алгоритмов ансамблирования.
Постараюсь захватить Ensemble Selection (1, 2, 3), опции ансамблирования рассмотренные в #kagglebook (1, 2, 3), и Cascade Generalization/Cascading/Delegating (or Selective Routing)/Arbitrating.
Вот попался классный пример, где идея "гетерогенного бустинга" отлично отрабатывает.
Лектор на синтетике сравнивает ариму и ансамбль линрег+дерево.
В задачах на временные ряды декомпозиция на тренд, сезонность и остаточные нерегулярный сигнал очевидна и необходима, но можно посмотреть на проблему в общем - классы моделей имеют свои ограничения (деревянные модели регрессии, к примеру, плохо моделируют линейные зависимости), и обучение модели одного класса на невязках модели другого класса способно показать отличные результаты.
В то же время, сейчас самыми распространёнными методами ансамблирования являются стэкинг (когда для моделей последующего уровня меняется признаковое пространство) и гомогенный бустинг (например, градиентный над деревьями в catboost/xgboost/lightgbm), а вот идею бустинга гетерогенного как будто никто и не рассматривает, и как будто бы нет опенсорсных реализаций.
Истоки такого предубеждения, похоже, растут из ранних статей о бустинговом подходе над "слабыми моделями" (weak learners). Выбор именно слабых моделей аргументировался контролем переобучения, равномерностью шагов процесса обучения, фокусом на сложных для предсказания примерах (которые более сильная модель могла бы просто запомнить).
Мне кажется, "слабость" и одинаковость участников ансамбля не всегда благо, и на практике есть смысл в каждой конкретной задаче проверять (на CV) наиболее выгодный подход к ансамблированию, от простого усреднения моделей и ensemble selection (который мы недавно рассматривали) до стэкинга и двух видов бустинга, одно- и разнородного.
На этот год планирую сравнительное исследование )
Видимо, относительно небольшая статья о том, как стать лучше в DS, которую я подготовил, столкнувшись с неспособностью современных библиотек градиентного бустинга хорошо смоделировать простую зависимость Y=X, вырастет в большое сравнение алгоритмов ансамблирования.
Постараюсь захватить Ensemble Selection (1, 2, 3), опции ансамблирования рассмотренные в #kagglebook (1, 2, 3), и Cascade Generalization/Cascading/Delegating (or Selective Routing)/Arbitrating.
Telegram
Aspiring Data Science
#ensembling #hpo #hpt #autosklearn
Вот какой интересный метод ансамблирования опробовали авторы оптимизатора auto-sklearn:
"Two important problems in AutoML are that (1) no single machine learning method performs best on all datasets and (2) some machine…
Вот какой интересный метод ансамблирования опробовали авторы оптимизатора auto-sklearn:
"Two important problems in AutoML are that (1) no single machine learning method performs best on all datasets and (2) some machine…
🔥4👍1
#ensembling #tabm #anns
Из интересного:
эмбеддинги непрерывных признаков позволяют лучше учиться - выучивают "высокочастотные" зависимости, делают сеть НЕинвариантной к поворотам
ансамбли оптимизируются как единое целое, синхронно по итерациям
https://www.youtube.com/watch?v=qpdGUFF7vsI
Из интересного:
эмбеддинги непрерывных признаков позволяют лучше учиться - выучивают "высокочастотные" зависимости, делают сеть НЕинвариантной к поворотам
ансамбли оптимизируются как единое целое, синхронно по итерациям
https://www.youtube.com/watch?v=qpdGUFF7vsI
YouTube
Открытая лекция: DL в табличных данных
Занятие ведёт Юра Горишний, исследователь из Yandex Research, автор научных статей по обучению нейросетей на табличных данных.
Ссылка на материалы занятия:
- Презентация: https://drive.google.com/file/d/1SO4CMRmNQQljBzOD8ZYOGQMCl6h51Qef/view?usp=sharing…
Ссылка на материалы занятия:
- Презентация: https://drive.google.com/file/d/1SO4CMRmNQQljBzOD8ZYOGQMCl6h51Qef/view?usp=sharing…
👍1
#hpo #hpt #optuna
Приятное интро в Оптуну, с примерами, в т.ч. пруннинга. Вообще у него классный ютуб-канал по ML/DS, такие темы отличные поднимает, и очень продуктивный лектор.
https://www.youtube.com/live/QejQVLkkgRA?si=eiBKOrAQ6bbt4y24
Приятное интро в Оптуну, с примерами, в т.ч. пруннинга. Вообще у него классный ютуб-канал по ML/DS, такие темы отличные поднимает, и очень продуктивный лектор.
https://www.youtube.com/live/QejQVLkkgRA?si=eiBKOrAQ6bbt4y24
YouTube
Optuna: a hyperparameter optimization framework
Scikit-learn allows you to perform hyperparameter search but a lot of it happens in memory. Sometimes you want to have a storage layer for these hyperparameters and that's where a project like Optuna might be helpful. We will explore it in this livestream…
#skrub #tablevectorizer
Реальный пример работы с библой очистки данных skrub.
https://www.youtube.com/watch?v=wn0g1wBzDfQ
Реальный пример работы с библой очистки данных skrub.
https://www.youtube.com/watch?v=wn0g1wBzDfQ
YouTube
Probabl Livestream: Exploring TableVectorizer with Tabular Benchmarks
We're experimenting with live streams!
Each livestream will feature live coding and discussing a topic. This week we'll discuss the TableVectorizer in skrub. It's a neat tool to help you get started instantly with a tabular use-case, but there are a few…
Each livestream will feature live coding and discussing a topic. This week we'll discuss the TableVectorizer in skrub. It's a neat tool to help you get started instantly with a tabular use-case, but there are a few…
#sklearn
А вот пример роутинга метаданных в sklearn, появившийся относительно недавно. Раньше подобных эффектов (передачи произвольных именованных массивов/объектов любым компонентам конвейера) можно было достичь лишь частично, с использованием глобальных переменных, что к тому же было ненадёжно, неэлегантно и криво.
https://www.youtube.com/watch?v=lQ_-Aja-slA
А вот пример роутинга метаданных в sklearn, появившийся относительно недавно. Раньше подобных эффектов (передачи произвольных именованных массивов/объектов любым компонентам конвейера) можно было достичь лишь частично, с использованием глобальных переменных, что к тому же было ненадёжно, неэлегантно и криво.
https://www.youtube.com/watch?v=lQ_-Aja-slA
YouTube
Metadata routing in scikit-learn
Metadata routing is a relatively new feature that allows you to, as the name implies, route metadata to different components in your machine learning setup. It's especially useful for things like sample_weight, which require data per row of your input to…
🔥1
#hpo #hpt
Забавная иллюстрация важной концепции - устойчивости оптимального решения.
https://www.youtube.com/watch?v=vC9sAD-ymhk
Забавная иллюстрация важной концепции - устойчивости оптимального решения.
https://www.youtube.com/watch?v=vC9sAD-ymhk
YouTube
The optimisers curse
When looking for the best hyperparameters you can spend a lot of compute. So much so, that you can also spend *too much*. It is a sutble thing, but if you're not careful you can become a victim to something that's known as "the optimisers curse". This video…
👍1
#nlp #pca #dimreducers
Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.
https://www.youtube.com/watch?v=x7RX8VprCnE
Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.
https://www.youtube.com/watch?v=x7RX8VprCnE
YouTube
PCA as an embedding technique
If you have text represented as a sparse vector then there are a few things that you cannot do. In particular; not every scikit-learn model inside of scikit-learn can deal with it. Most notably the histogram boosted ensemble models. So what if we use PCA…