Кстати, подписывайтесь на канал Лёши Куличевского. Он в аналитике съел слона и плохого не посоветует.
https://news.1rj.ru/str/kulichevskiy
https://news.1rj.ru/str/kulichevskiy
Telegram
Канал Алексея Куличевского
Алексей Куличевский пишет
При работе с анализом непрерывных числовых данных может быть полезным разбить эти данные на диапазоны (иначе называемые корзинками или bins). В статье подробно рассказывается о том как разбить данные на диапазоны с помощью функций cut и qcut в pandas.
https://pbpython.com/pandas-qcut-cut.html
https://pbpython.com/pandas-qcut-cut.html
Pbpython
Binning Data with Pandas qcut and cut
Pandas qcut and cut are both used to bin continuous values into discrete buckets or bins. This article explains the differences between the two commands and how to use each.
Статья из блога DataQuest о том как анализировать данные опросов с помощью Python. Полезно будет новичкам в качестве простого примера разведочного анализа данных
https://www.dataquest.io/blog/how-to-analyze-survey-data-python-beginner/
https://www.dataquest.io/blog/how-to-analyze-survey-data-python-beginner/
Dataquest
How to Analyze Survey Data with Python for Beginners – Dataquest
Learn to analyze and filter survey data, including multi-answer multiple choice questions, using Python in this beginner tutorial for non-coders!
Forwarded from BigQuery Insights
Новый Python скрипт - позволяет извлекать данные об активности пользователя из Google Analytics и импортировать их в таблицу Google BigQuery.
via @BigQuery
via @BigQuery
Если вы в pandas используете apply на большом объеме данных, то может быть полезным прикрутить шкалу прогресса выполнения функции. В статье рассказывается о том как это сделать с применением библиотеки tqdm
https://towardsdatascience.com/progress-bars-in-python-and-pandas-f81954d33bae
https://towardsdatascience.com/progress-bars-in-python-and-pandas-f81954d33bae
Medium
Progress Bars in Python (and pandas!)
Time and estimate the progress of your functions in Python (and pandas!)
Небольшая, но от этого не менее информативная, статья о том как строить гистограммы и столбчатые диаграммы в Python
https://habr.com/ru/post/470535/
https://habr.com/ru/post/470535/
Хабр
Способы создания гистограмм с помощью Python
За последний год я сталкивалась с необходимостью рисования гистограмм и столбчатых диаграмм достаточно часто для того, чтобы появилось желание и возможность об э...
7 советов для повышения эффективности анализа данных в Python: pandas-profiling для быстрого обзора данных, magic-команды, горячие клавиши, выделение блоков markdown цветом и многое другое
https://towardsdatascience.com/7-things-to-quickly-improve-your-data-analysis-in-python-3d434243da7
https://towardsdatascience.com/7-things-to-quickly-improve-your-data-analysis-in-python-3d434243da7
Medium
7 things to quickly improve your Data Analysis in Python
Take your Data Analysis to the next level!
Инструкция, позволяющая настроить VS Code для того, чтобы в нем можно было работать c ipynb-файлами
https://towardsdatascience.com/ipython-notebook-support-is-finally-here-for-visual-studio-code-b578abe0361c
https://towardsdatascience.com/ipython-notebook-support-is-finally-here-for-visual-studio-code-b578abe0361c
Medium
IPython Notebook Support is Finally Here for Visual Studio Code
You can now edit Jupyter Notebooks directly in Visual Studio Code. But should you make a switch?
Крутой обзор функций NumPy, которые сильно помогут в работе с массивами. Ну и позволят понять что внутри pandas, т.к. основой для объектов pandas выступают numpy-массивы
https://habr.com/ru/post/469355/
https://habr.com/ru/post/469355/
Хабр
Нескучный туториал по NumPy
Меня зовут Вячеслав, я хронический математик и уже несколько лет не использую циклы при работе с массивами… Ровно с тех пор, как открыл для себя векторные опера...
Подробный гайд по работе с временными рядами в Python. В нем даются примеры визуализации рядов, декомпозиции на трендовую и сезонную компоненту, применение статистических критериев для проверки гипотез, например, тест под забавным для постсоветского пространства названием KPSS, который позволяет проверить стационарность ряда.
https://www.machinelearningplus.com/time-series/time-series-analysis-python/
https://www.machinelearningplus.com/time-series/time-series-analysis-python/
Machine Learning Plus
Time Series Analysis in Python – A Comprehensive Guide with Examples
Learn Data Science (AI/ML/Gen AI) Online
Наткнулся на интересную библиотеку для статистики - Pingouin. Имеет ряд преимуществ по сравнению с scipy.stats, например, t-test по умолчанию выдает не только T-value и p-value, но и доверительные интервалы, статистическую мощность и размер эффекта. Понятное дело, что всё это можно сделать и в scipy, но Pingouin делает это одной функцией, что крайне удобно. Вот ноутбук с кратким обзором того, что умеет Pingouin: https://nbviewer.jupyter.org/github/raphaelvallat/pingouin/blob/master/notebooks/00_QuickStart.ipynb
https://github.com/raphaelvallat/pingouin
https://github.com/raphaelvallat/pingouin
GitHub
GitHub - raphaelvallat/pingouin: Statistical package in Python based on Pandas
Statistical package in Python based on Pandas. Contribute to raphaelvallat/pingouin development by creating an account on GitHub.
Книга Nicolas P. Rougier "From Python to Numpy" рассказывает о том как с помощью NumPy существенно улучшить эффективность алгоритмов анализа данных. Автор специализируется в применении Python к научным исследованиям и визуализациям, поэтому книга изобилует сложными, но очень крутыми примерами.
https://www.labri.fr/perso/nrougier/from-python-to-numpy/
https://www.labri.fr/perso/nrougier/from-python-to-numpy/
www.labri.fr
From Python to Numpy
An open-source book about numpy vectorization techniques, based on experience, practice and denoscriptive examples
Статья о том как сделать исключение одного датафрейма из другого. Интерес представляет практический пример, когда merge вызывают с параметром indicator=True и это приносит пользу
https://kanoki.org/2019/07/04/pandas-difference-between-two-dataframes/
https://kanoki.org/2019/07/04/pandas-difference-between-two-dataframes/
Обзор просто бомбической библиотеки Streamlit, которая позволяет создавать небольшие интерактивные веб-приложения для взаимодействия с данными и алгоритмами ML. Похоже на разработку Voila, но не привязана к ipyWidgets, а использует свои виджеты, создавать которые крайне просто. В общем, посмотрите и попробуйте, это кайф
https://habr.com/ru/post/473196/
https://habr.com/ru/post/473196/
Хабр
Превращаем скрипты в красивые инструменты для машинного обучения
Создаём семантический поисковик с машинным обучением в реальном времени за 300 строк Python кода. Мой опыт подсказывает, что любой более или менее сложный проект по машинному обучению рано или...
Руководство по работе с datetime в python: как извлекать атрибуты datetime, работать с timedelta, а также с timezones. Помимо этого в руководстве есть раздел, посвященный работе с датой/временем в pandas
https://www.dataquest.io/blog/python-datetime-tutorial/
https://www.dataquest.io/blog/python-datetime-tutorial/
Dataquest
Python Datetime Tutorial: Manipulate Times, Dates, and Time Spans
Become a master of times and dates in Python as you work with the datetime and calender modules in this data science tutorial.
🔥1
Яндекс.Маркет приглашает аналитиков на субботний митап, который пройдет в Москве 23 ноября.
В программе 6 докладов от аналитиков Маркета. Разберём и обсудим совершенно разные направления аналитической работы, которые сильно повлияли на развитие нашего бизнеса: привлечение и удержание пользователей, монетизация сервиса, сбор и систематизация неструктурированных данных, поиск и рекомендации на сервисе, логистика и фулфилмент.
Заполняйте анкету с небольшим тестом. Участие в мероприятии бесплатное, по предварительной регистрации:
https://events.yandex.ru/events/data_market/23nov
В программе 6 докладов от аналитиков Маркета. Разберём и обсудим совершенно разные направления аналитической работы, которые сильно повлияли на развитие нашего бизнеса: привлечение и удержание пользователей, монетизация сервиса, сбор и систематизация неструктурированных данных, поиск и рекомендации на сервисе, логистика и фулфилмент.
Заполняйте анкету с небольшим тестом. Участие в мероприятии бесплатное, по предварительной регистрации:
https://events.yandex.ru/events/data_market/23nov
Сегодня хочу порекомендовать канал Дашбордец.
Его автор Даша подробно рассказывает как построить визуализацию так, чтобы дашборд выполнил свою задачу и помог принять решение. От методов бизнес-анализа до реализации на BI. Прикольные графики, интересные фичи и многое другое. Подписывайтесь, там интересно.
Его автор Даша подробно рассказывает как построить визуализацию так, чтобы дашборд выполнил свою задачу и помог принять решение. От методов бизнес-анализа до реализации на BI. Прикольные графики, интересные фичи и многое другое. Подписывайтесь, там интересно.
Telegram
Дашбордец
Привет, котятки) Я Даша, и это мой уютный канал про дашборды - от бизнес-анализа до реализации на BI. Темы канала: data viz, BI, dashboards, DWH.
По вопросам писать: @Dddv_2705
По вопросам писать: @Dddv_2705
Хороший пример использования pandas для обработки данных в разных форматах: на примере финансовых данных в различных форматах автор разбирает как стандартизировать данные, чтобы облегчить их дальнейшую обработку
https://pbpython.com/currency-cleanup.html
https://pbpython.com/currency-cleanup.html
Pbpython
Cleaning Up Currency Data with Pandas
This article includes tips on how to clean up messy currency data in pandas so that you may convert the data to numeric formats for further analysis.
Пример создания простого ETL-процесса, в котором берутся данные из API городского велопроката Нью-Йорка, трансформируются с помощью Pandas, а затем заливаются в BigQuery
https://www.datacourses.com/an-api-based-etl-pipeline-with-python-part-1-259/
https://www.datacourses.com/an-api-based-etl-pipeline-with-python-part-1-259/
Ноутбук с моего сегодняшнего выступления на MateMarketing, где рассказал про то как можно анализировать пользовательские данные с помощью Python.
http://bit.ly/2Of2Xf5
Данные тут: http://bit.ly/36YRwB3
http://bit.ly/2Of2Xf5
Данные тут: http://bit.ly/36YRwB3