Всем привет!

Решил запустить свой канал. Буду рассказывать здесь про свой опыт в Data Science и лайфхаки

Когда начинаешь погружаться в DS - начинаешь работать с новым методом/алгоритмом, полезно иметь под рукой простые примеры кода с его использованием.

Ловите! Это блок индуса, который собрал простейшие примеры различных методов в одну кучу с кодом: https://thecleverprogrammer.com/2020/11/27/machine-learning-algorithms-with-python/

Про PyCaret и Auto-Sklearn сам впервые услышал 🤔

#лайфхаки
Поймал себя на периодическом подглядывании в эту статью.

Очень крутые штуки, которые упрощают работу с табличными датасетами в Jupyter Notebook #EDА.

№ 3 Jupyter DataTables и № 6 livelossplot - одни из моих любимых. Обязательно попробуйте!

https://habr.com/ru/company/skillfactory/blog/542870/?utm_source=facebook.com_flows&utm_medium=social&utm_campaign=%5Bperevod%5D-10-poleznyh-rasshireniy-dlya-dat

Speed up'ал, speed up'аю и буду speed up'ать свои сеточки на pytorch чтобы быстрее громить соперников на Kaggle.

Мир переворачивается, когда находишь для себя неочевидные, но простые пути решения проблем. Недавно задумался, насколько сильно можно ускорить тренировку сеточки и наткнулся на чек-лист путей ускорения.

https://www.reddit.com/r/MachineLearning/comments/kvs1ex/d_here_are_17_ways_of_making_pytorch_training/

"Automatic Mixed Precision" и "gradient clipping" были для меня в новинку. 😱 Дополнительно рекомендую еще познать технику "16-bit precision" ну и проверить возможность увеличения магического параметра - числа workes в Dataloader. 😎

Как итог, ускорил сетку в 6-7 раз, убрав лишние переносы с gpu на cpu🤠

За этот месяц раз 5 услышал слово "экстраполяция" в контексте методов машинного обучения, в итоге решил наконец-то почитать, что же это все несет в себе.🧞‍♂️ Да, конечно, я слышал и активно использовал feature importance, и даже SHAP, а какое-то время назад еще и LIME😎. Однако вот почитать и разобраться поглубже в этих все штуках и не только захотелось только сейчас.🧐 Собственно, рекомендую и Вам почитать вот эту статейку на стыке философии и ML👉 https://www.machinelearningmastery.ru/explainable-artificial-intelligence-part-2-model-interpretation-strategies-75d4afa6b739/

Думаю, стоит ли написать историю - Как я НЕ выиграл хакатон на Kaggle.😅 Не хватило 0.001 до 🥉 Смотри скрин)

Пишите в комментарии, если интересно как я потратил почти месяц пока фармил "CommonLit Readability Prize" и что в итоге приблизило меня к топ-10% 🏆😎


Если интересна сама задача, то надо было по текстам определять их сложность/читабельность.📖📝

Шафл, господа!!! 🔀

Что ж, теперь время писать историю - «как я выиграл свою первую медаль на Kaggle»🥉🥳😱

На 100 позиций вверх за ночь! 🚀Это чума 🤪

Саш, как подготовиться к собеседованию по Data Science? ⚔️ Где взять вопросы? Что читать? Можешь меня поспрашивать? 🤼‍♀️

Обычно всем кентам кидаю вот этот набор вопросов github.com/a-milenkin/testovoe 🗂 тут под 500 вопросов, не меньше. Прям не соскучишься. Сам перед собеседованиями гонял себя по нему 🏋️‍♀️ Это то что вам надо) 🎯

И хватит уже теряться при вопросе - что такое линейная регрессия📈


#собеседование #вопросы #до_мидла_за_ночь