Книга Nicolas P. Rougier "From Python to Numpy" рассказывает о том как с помощью NumPy существенно улучшить эффективность алгоритмов анализа данных. Автор специализируется в применении Python к научным исследованиям и визуализациям, поэтому книга изобилует сложными, но очень крутыми примерами.

https://www.labri.fr/perso/nrougier/from-python-to-numpy/

Статья о том как сделать исключение одного датафрейма из другого. Интерес представляет практический пример, когда merge вызывают с параметром indicator=True и это приносит пользу

https://kanoki.org/2019/07/04/pandas-difference-between-two-dataframes/

Обзор просто бомбической библиотеки Streamlit, которая позволяет создавать небольшие интерактивные веб-приложения для взаимодействия с данными и алгоритмами ML. Похоже на разработку Voila, но не привязана к ipyWidgets, а использует свои виджеты, создавать которые крайне просто. В общем, посмотрите и попробуйте, это кайф

https://habr.com/ru/post/473196/

Руководство по работе с datetime в python: как извлекать атрибуты datetime, работать с timedelta, а также с timezones. Помимо этого в руководстве есть раздел, посвященный работе с датой/временем в pandas

https://www.dataquest.io/blog/python-datetime-tutorial/

Яндекс.Маркет приглашает аналитиков на субботний митап, который пройдет в Москве 23 ноября.

В программе 6 докладов от аналитиков Маркета. Разберём и обсудим совершенно разные направления аналитической работы, которые сильно повлияли на развитие нашего бизнеса: привлечение и удержание пользователей, монетизация сервиса, сбор и систематизация неструктурированных данных, поиск и рекомендации на сервисе, логистика и фулфилмент.

Заполняйте анкету с небольшим тестом. Участие в мероприятии бесплатное, по предварительной регистрации:

https://events.yandex.ru/events/data_market/23nov

Сегодня хочу порекомендовать канал Дашбордец.

Его автор Даша подробно рассказывает как построить визуализацию так, чтобы дашборд выполнил свою задачу и помог принять решение. От методов бизнес-анализа до реализации на BI. Прикольные графики, интересные фичи и многое другое. Подписывайтесь, там интересно.

Хороший пример использования pandas для обработки данных в разных форматах: на примере финансовых данных в различных форматах автор разбирает как стандартизировать данные, чтобы облегчить их дальнейшую обработку

https://pbpython.com/currency-cleanup.html

Пример создания простого ETL-процесса, в котором берутся данные из API городского велопроката Нью-Йорка, трансформируются с помощью Pandas, а затем заливаются в BigQuery

https://www.datacourses.com/an-api-based-etl-pipeline-with-python-part-1-259/

Ноутбук с моего сегодняшнего выступления на MateMarketing, где рассказал про то как можно анализировать пользовательские данные с помощью Python.

http://bit.ly/2Of2Xf5
Данные тут: http://bit.ly/36YRwB3

Подробная статья об использовании List Comprehension в Python с кучей полезных примеров

https://webdevblog.ru/kogda-ispolzovat-list-comprehension-v-python/

Советы как снизить потребление памяти в Pandas. Уже бывшие тут советы, но повторить их никогда не вредно: загружайте только нужные колонки, преобразуйте int в целые числа с меньшей разрядностью, преобразуйте object в category (при условии невысокой кардинальности данных в колонке это даст прирост)

https://pythonspeed.com/articles/pandas-load-less-data/

Доклад Марка Сысоева (Skyeng) на конференции MateMarketing был посвящен анализу поведения пользователей с помощью цепей Маркова.

Сегодня хочу поделиться с вами решением на Python, разработанное Марком, которое позволяет преобразовать лог событий в цепи Маркова для дальнейшей визуализации и анализа.

https://github.com/BartolomeuD/markov-chain

Крутой пример использования регулярных выражений в Pandas для выделения значимой информации и дальнейшей группировки текстовых строк.

https://www.coursera.org/lecture/python-text-mining/demonstration-regex-with-pandas-and-named-groups-wh4nJ

Подробный гайд по передаче звонков из CoMagic в Google BigQuery по расписанию

https://habr.com/ru/post/475804/

Я редко выкладываю тут софт-статьи, чаще контент канала состоит из туториал-контента формата "скопипастил и запустил у себя"😊 Но наткнулся на очень хорошее интервью с Анатолием Карповым, автором курса по статистике на Степике. Анатолий рассказывает про онлайн-образование, про работу аналитика и про современные карьерные возможности в IT. Интересно, почитайте

https://zeh.media/praktika/intervyu/4857692-anatoly-karpov

Набор Python-скриптов для автоматизации рутинных задач SEO-специалиста.

Статья будет полезна специалистам, которые хотели бы автоматизировать свою работу. Для работы со скриптами потребуются минимальные знания программирования и установленные библиотеки. Для каждого примера в конце есть ссылка на полный код, который нужно открывать в Jupyter Notebook.

https://vc.ru/seo/91963-nabor-python-skriptov-dlya-avtomatizacii-rutinnyh-zadach-seo-specialista

Подробный туториал по работе с SQL-базами в Python с помощью SQLalchemy. Отличительная особенность этого туториала, что тут показывается как использовать ORM для простых операций получения данных

https://towardsdatascience.com/sqlalchemy-python-tutorial-79a577141a91

Павел Левчук вчера разместил ссылку на очень крутую статью в своём фейсбуке. В статье рассказывается о полезных привычках в написании кода для data scientists & data analysts.

Основные правила просты: держите код чистым (убирайте всякие отладочные команды а ля df.head()); добавляйте функции, чтобы повысить уровень абстракции; оборачивайте функции в пайплайны; меньше пишите в jupyter notebook; применяйте практики TDD (test-driven development).

https://www.thoughtworks.com/insights/blog/coding-habits-data-scientists

Статья о визуализации геопространственных данных с помощью библиотеки geoviews

https://towardsdatascience.com/how-to-visualize-data-on-top-of-a-map-in-python-using-the-geoviews-library-c4f444ca2929

Краткий обзор библиотеки pdpipe, позволяющей создавать пайплайны обработки данных в датафреймах. Больше похоже на синтаксический сахар, но, на первый взгляд, повышает удобочитаемость кода. Больше примеров можно найти на гитхабе

https://towardsdatascience.com/https-medium-com-tirthajyoti-build-pipelines-with-pandas-using-pdpipe-cade6128cd31