Небольшая, но от этого не менее информативная, статья о том как строить гистограммы и столбчатые диаграммы в Python
https://habr.com/ru/post/470535/
https://habr.com/ru/post/470535/
Хабр
Способы создания гистограмм с помощью Python
За последний год я сталкивалась с необходимостью рисования гистограмм и столбчатых диаграмм достаточно часто для того, чтобы появилось желание и возможность об э...
7 советов для повышения эффективности анализа данных в Python: pandas-profiling для быстрого обзора данных, magic-команды, горячие клавиши, выделение блоков markdown цветом и многое другое
https://towardsdatascience.com/7-things-to-quickly-improve-your-data-analysis-in-python-3d434243da7
https://towardsdatascience.com/7-things-to-quickly-improve-your-data-analysis-in-python-3d434243da7
Medium
7 things to quickly improve your Data Analysis in Python
Take your Data Analysis to the next level!
Инструкция, позволяющая настроить VS Code для того, чтобы в нем можно было работать c ipynb-файлами
https://towardsdatascience.com/ipython-notebook-support-is-finally-here-for-visual-studio-code-b578abe0361c
https://towardsdatascience.com/ipython-notebook-support-is-finally-here-for-visual-studio-code-b578abe0361c
Medium
IPython Notebook Support is Finally Here for Visual Studio Code
You can now edit Jupyter Notebooks directly in Visual Studio Code. But should you make a switch?
Крутой обзор функций NumPy, которые сильно помогут в работе с массивами. Ну и позволят понять что внутри pandas, т.к. основой для объектов pandas выступают numpy-массивы
https://habr.com/ru/post/469355/
https://habr.com/ru/post/469355/
Хабр
Нескучный туториал по NumPy
Меня зовут Вячеслав, я хронический математик и уже несколько лет не использую циклы при работе с массивами… Ровно с тех пор, как открыл для себя векторные опера...
Подробный гайд по работе с временными рядами в Python. В нем даются примеры визуализации рядов, декомпозиции на трендовую и сезонную компоненту, применение статистических критериев для проверки гипотез, например, тест под забавным для постсоветского пространства названием KPSS, который позволяет проверить стационарность ряда.
https://www.machinelearningplus.com/time-series/time-series-analysis-python/
https://www.machinelearningplus.com/time-series/time-series-analysis-python/
Machine Learning Plus
Time Series Analysis in Python – A Comprehensive Guide with Examples
Learn Data Science (AI/ML/Gen AI) Online
Наткнулся на интересную библиотеку для статистики - Pingouin. Имеет ряд преимуществ по сравнению с scipy.stats, например, t-test по умолчанию выдает не только T-value и p-value, но и доверительные интервалы, статистическую мощность и размер эффекта. Понятное дело, что всё это можно сделать и в scipy, но Pingouin делает это одной функцией, что крайне удобно. Вот ноутбук с кратким обзором того, что умеет Pingouin: https://nbviewer.jupyter.org/github/raphaelvallat/pingouin/blob/master/notebooks/00_QuickStart.ipynb
https://github.com/raphaelvallat/pingouin
https://github.com/raphaelvallat/pingouin
GitHub
GitHub - raphaelvallat/pingouin: Statistical package in Python based on Pandas
Statistical package in Python based on Pandas. Contribute to raphaelvallat/pingouin development by creating an account on GitHub.
Книга Nicolas P. Rougier "From Python to Numpy" рассказывает о том как с помощью NumPy существенно улучшить эффективность алгоритмов анализа данных. Автор специализируется в применении Python к научным исследованиям и визуализациям, поэтому книга изобилует сложными, но очень крутыми примерами.
https://www.labri.fr/perso/nrougier/from-python-to-numpy/
https://www.labri.fr/perso/nrougier/from-python-to-numpy/
www.labri.fr
From Python to Numpy
An open-source book about numpy vectorization techniques, based on experience, practice and denoscriptive examples
Статья о том как сделать исключение одного датафрейма из другого. Интерес представляет практический пример, когда merge вызывают с параметром indicator=True и это приносит пользу
https://kanoki.org/2019/07/04/pandas-difference-between-two-dataframes/
https://kanoki.org/2019/07/04/pandas-difference-between-two-dataframes/
Обзор просто бомбической библиотеки Streamlit, которая позволяет создавать небольшие интерактивные веб-приложения для взаимодействия с данными и алгоритмами ML. Похоже на разработку Voila, но не привязана к ipyWidgets, а использует свои виджеты, создавать которые крайне просто. В общем, посмотрите и попробуйте, это кайф
https://habr.com/ru/post/473196/
https://habr.com/ru/post/473196/
Хабр
Превращаем скрипты в красивые инструменты для машинного обучения
Создаём семантический поисковик с машинным обучением в реальном времени за 300 строк Python кода. Мой опыт подсказывает, что любой более или менее сложный проект по машинному обучению рано или...
Руководство по работе с datetime в python: как извлекать атрибуты datetime, работать с timedelta, а также с timezones. Помимо этого в руководстве есть раздел, посвященный работе с датой/временем в pandas
https://www.dataquest.io/blog/python-datetime-tutorial/
https://www.dataquest.io/blog/python-datetime-tutorial/
Dataquest
Python Datetime Tutorial: Manipulate Times, Dates, and Time Spans
Become a master of times and dates in Python as you work with the datetime and calender modules in this data science tutorial.
🔥1
Яндекс.Маркет приглашает аналитиков на субботний митап, который пройдет в Москве 23 ноября.
В программе 6 докладов от аналитиков Маркета. Разберём и обсудим совершенно разные направления аналитической работы, которые сильно повлияли на развитие нашего бизнеса: привлечение и удержание пользователей, монетизация сервиса, сбор и систематизация неструктурированных данных, поиск и рекомендации на сервисе, логистика и фулфилмент.
Заполняйте анкету с небольшим тестом. Участие в мероприятии бесплатное, по предварительной регистрации:
https://events.yandex.ru/events/data_market/23nov
В программе 6 докладов от аналитиков Маркета. Разберём и обсудим совершенно разные направления аналитической работы, которые сильно повлияли на развитие нашего бизнеса: привлечение и удержание пользователей, монетизация сервиса, сбор и систематизация неструктурированных данных, поиск и рекомендации на сервисе, логистика и фулфилмент.
Заполняйте анкету с небольшим тестом. Участие в мероприятии бесплатное, по предварительной регистрации:
https://events.yandex.ru/events/data_market/23nov
Сегодня хочу порекомендовать канал Дашбордец.
Его автор Даша подробно рассказывает как построить визуализацию так, чтобы дашборд выполнил свою задачу и помог принять решение. От методов бизнес-анализа до реализации на BI. Прикольные графики, интересные фичи и многое другое. Подписывайтесь, там интересно.
Его автор Даша подробно рассказывает как построить визуализацию так, чтобы дашборд выполнил свою задачу и помог принять решение. От методов бизнес-анализа до реализации на BI. Прикольные графики, интересные фичи и многое другое. Подписывайтесь, там интересно.
Telegram
Дашбордец
Привет, котятки) Я Даша, и это мой уютный канал про дашборды - от бизнес-анализа до реализации на BI. Темы канала: data viz, BI, dashboards, DWH.
По вопросам писать: @Dddv_2705
По вопросам писать: @Dddv_2705
Хороший пример использования pandas для обработки данных в разных форматах: на примере финансовых данных в различных форматах автор разбирает как стандартизировать данные, чтобы облегчить их дальнейшую обработку
https://pbpython.com/currency-cleanup.html
https://pbpython.com/currency-cleanup.html
Pbpython
Cleaning Up Currency Data with Pandas
This article includes tips on how to clean up messy currency data in pandas so that you may convert the data to numeric formats for further analysis.
Пример создания простого ETL-процесса, в котором берутся данные из API городского велопроката Нью-Йорка, трансформируются с помощью Pandas, а затем заливаются в BigQuery
https://www.datacourses.com/an-api-based-etl-pipeline-with-python-part-1-259/
https://www.datacourses.com/an-api-based-etl-pipeline-with-python-part-1-259/
Ноутбук с моего сегодняшнего выступления на MateMarketing, где рассказал про то как можно анализировать пользовательские данные с помощью Python.
http://bit.ly/2Of2Xf5
Данные тут: http://bit.ly/36YRwB3
http://bit.ly/2Of2Xf5
Данные тут: http://bit.ly/36YRwB3
Подробная статья об использовании List Comprehension в Python с кучей полезных примеров
https://webdevblog.ru/kogda-ispolzovat-list-comprehension-v-python/
https://webdevblog.ru/kogda-ispolzovat-list-comprehension-v-python/
Советы как снизить потребление памяти в Pandas. Уже бывшие тут советы, но повторить их никогда не вредно: загружайте только нужные колонки, преобразуйте int в целые числа с меньшей разрядностью, преобразуйте object в category (при условии невысокой кардинальности данных в колонке это даст прирост)
https://pythonspeed.com/articles/pandas-load-less-data/
https://pythonspeed.com/articles/pandas-load-less-data/
Python⇒Speed
Reducing Pandas memory usage #1: lossless compression
Load a large CSV or other data into Pandas using less memory with techniques like dropping columns, smaller numeric dtypes, categoricals, and sparse columns.
👍1
Доклад Марка Сысоева (Skyeng) на конференции MateMarketing был посвящен анализу поведения пользователей с помощью цепей Маркова.
Сегодня хочу поделиться с вами решением на Python, разработанное Марком, которое позволяет преобразовать лог событий в цепи Маркова для дальнейшей визуализации и анализа.
https://github.com/BartolomeuD/markov-chain
Сегодня хочу поделиться с вами решением на Python, разработанное Марком, которое позволяет преобразовать лог событий в цепи Маркова для дальнейшей визуализации и анализа.
https://github.com/BartolomeuD/markov-chain
GitHub
GitHub - BartolomeuD/markov-chain
Contribute to BartolomeuD/markov-chain development by creating an account on GitHub.
Крутой пример использования регулярных выражений в Pandas для выделения значимой информации и дальнейшей группировки текстовых строк.
https://www.coursera.org/lecture/python-text-mining/demonstration-regex-with-pandas-and-named-groups-wh4nJ
https://www.coursera.org/lecture/python-text-mining/demonstration-regex-with-pandas-and-named-groups-wh4nJ
Coursera
Demonstration: Regex with Pandas and Named Groups - Module 1: Working with Text in Python | Coursera
Подробный гайд по передаче звонков из CoMagic в Google BigQuery по расписанию
https://habr.com/ru/post/475804/
https://habr.com/ru/post/475804/
Хабр
Импорт отчета по звонкам из CoMagic в BigQuery по расписанию с помощью Google Cloud Functions
Для чего При сложной структуре рекламных кампаний и большого количества звонков становятся необходимы дополнительные инструменты хранения, обработки и анализа ин...