Небольшая статья про то, как можно заменить рутинные операции Excel с помощью Python и pandas.

Забавно, конечно, но смысл этого в мире, где есть Power BI, мне до конца не ясен.

Ссылка:
https://habr.com/ru/company/ruvds/blog/500426/

Крутая визуализация возраста зданий в Санкт-Петербурге:
https://how-old-is-this.house/

Вот тут можно почитать подробно про реализацию проекта и используемые инструменты.

Вышел очередной обзор рынка аналитики от Cnews, подводят итоги 2019 года.

Из интересного:
- Мировой рынок аналитики, по прогнозам, будет расти на 12,5 % в год, чего стоило ожидать вследствие массовой популяризации data science, ml, ai и прочих весёлых аббревиатур из этой области;
- В России рынок поставщиков решений по аналитике данных также вырос (судя по табличке, аж на 53%), хотя у большинства компаний доходы от таких проектов удручают (больше миллиарда - только у 5 компаний);
- на рынке BI-инструментов особых изменений нет (хотя интересно будет посмотреть на Magic Quadrant 2021 года, после того как будут объединены Tableau с Salesforce).

Ссылка на статью:
https://www.cnews.ru/reviews/analitika_30_2020/articles/rynok_analitiki_rastet_i_stanovitsya

#анализ_рынка

Начнём рабочую неделю с очередного сравнения двух инструментов в борьбе с одной и той же задачей - когортным анализом. На ринге сегодня Power BI и Python.

Автор статьи любезно не предоставил ссылку на оригинальное видео, но найти его было несложно (ссылка на ютуб).

Сама статья:
https://habr.com/ru/post/501492/

Добрая и замечательная статья про мощь и историю MS Excel, на котором, как известно, держится чуть более, чем всё.

Ссылка:
https://habr.com/ru/company/it-grad/blog/507114/

30 июня собираюсь послушать доклады онлайн-конференции Data Start. Ключевые темы - Data Science, Big Data, Machine Learning.

Участие - бесплатное.

В конфе 2 потока, на данный момент, технический для меня слишком хардкорен, но в бизнес-потоке есть несколько крутых спикеров, другие выступления которых - топ (ребята из Yandex.Taxi, ScrumTrek, Rubbles).

Ссылка:
https://datastart.ru/online-summer-2020/

Нашёл забавный симулятор работы продуктового аналитика/продакта:
- приоритезируем гипотезы;
- смотрим на результаты A/B тестирования;
- оцениваем влияние на продажи;
- релизим, либо не релизим.

Вроде бы простенько, но каждая сессия - новая увлекательная борьба за показатели бизнеса, мне нравится.

Ссылка:
https://www.lukasvermeer.nl/confidence/

Про метод документирования знаний Zettelkasten действительно уже есть ряд популярных статей (на Хабре - в том числе). Но тут меня пленил не он сам, а реализация в Notion, реально мотивирует попробовать самому.

Ссылка:
https://habr.com/ru/post/509756/

Сегодняшний пост, чуть более, чем полностью, обязан своим существованием Алексею Макарову и его замечательному каналу @datalytx.

Я никогда не занимался всерьёз продвижением своего канала и особенно приятно, что он попал в подборку без моего прямого запроса (стоит отметить, что я хотел написать автору, но постеснялся). Пользуясь случаем, хочу поприветствовать новоприбывших из его канала, постараюсь быть полезным.

Триумфальное возвращение стоило бы посвятить, как обычно, аналитике, но я позволю себе авторский пост.

За месяц молчания я реально ощутил на себе всю значимость повторяющихся ритуалов. Двухнедельный отпуск без адекватного интернета стал причиной поломки двух привычек, которые я прививал себе последний год: ежедневное чтение и еженедельное написание 1-2 постов в канал.

Если на восстановление чтения потребовалось 2 недели, то этот пост я еле-еле родил за месяц. Плюс, есть и внешние причины, но об этом позднее.

С точки зрения профессионального развития, для меня это очередное подтверждение того факта, что для любой +- аналитической (ну и менеджерской, естественно) профессии требуется особо рьяное отношение к личной эффективности и дисциплине.

Из последнего чтива в этом направлении можно ознакомиться с "Джедайскими техниками" Дорофеева, который, по сути, написал реферат по большинству популярных методов достижения личной эффективности. Это не панацея, но можно подобрать что-то подходящее для дальнейшего изучения.

Сегодня у нас подборка из 11 (да, URL ниже привирает) бесплатных инструментов для быстрой визуализации.

Ну реально же иногда есть готовый набор данных и нужна просто нормальная визуализация, а не эти наши "excel-графики". Не тащить же ради этого все в BI, в самом деле.
Я как-то использовал Data Wrapper именно по причине простоты и скорости работы (но это на небольших объемах данных).

В большинстве сервисов данные просто загружаются копипастой или табличным файлом, а дальше начинаем играться типом и форматом диаграмм.

Что удобно в статье - для каждого инструмента есть gif-ка с примером использования.

Ссылка:
https://towardsdatascience.com/10-free-tools-to-instantly-get-started-with-data-visualisation-d7fadb5f6dce

Каждый раз, когда я сталкиваюсь с какими-то хайповыми вещами, замечаю, что они вызывают неоднозначные чувства, некую смесь интереса с недоверием. Поэтому они часто лежат где-то вдали на полочке, пока руки не дойдут, хайп не спадет или до никогда.

Такая же история была бы с Machine Learning, но так вышло, что уже 3 недели подряд я слышу это словосочетание раз по 5 в день и терпеть больше не смог. Конкретно с этим кейсом разобрался с помощью статьи с разбором ограничений машинного обучения от ребят из Selectel.

С ML для меня проблема в том, что оно, как-будто, воспринимается и позиционируется как панацея, типа "ща ядер и памяти докинем и все вопросики порешаем".

Безусловно, есть разумное, доброе и вечное применение машинного обучения для решения боевых задач бизнеса, науки и создания дипфейков с Друзями. Ну и до потолка по технологиям ещё (вроде) далеко. Просто хотелось бы не забывать про то, что у всего есть свои границы применения и ограничения.

Ссылка:
https://habr.com/ru/post/518062/

У меня назревает смена стэка, поэтому сел разгребать отложенные материалы по Power BI.

Вот тут уже затрагивал тему интеграции в него Рython-скриптов, хотя не могу сказать, что много этим пользовался.

Но вот кейс с кластерным анализом достоин упоминания. Например, вместо пиления костылей в Excel (вроде такого) можно воспользоваться Python-библиотекой PyCaret и нехитрыми манипуляциями получить готовый столбец в таблицу с данными.

Ссылка на подробное описание всех возможностей библиотеки (кластеризация - в самом начале статьи):
https://www.kdnuggets.com/2020/05/machine-learning-power-bi-pycaret.html

Антон Владимирович мне товарищ, по каким-то вопросам - наставник, а также периодически помогает с материалами для канала.

Сегодня мы всем миром поздравляем его с первой (известной нам) экспертной публикацией в блоге.

Про кубернетес аналитикам, быть может, и не особо полезно читать, но первая статья из списка круто описывает то, почему многие сейчас ковыряются в Big Data (и некоторые даже успешно).

Ссылка:
https://news.1rj.ru/str/SelectelNews/507

Давно ничего не было по dataviz’у, на этой неделе немного восстановлю справедливость.

На самом деле, я удивлён, что до сих пор ничего не репостил из блога Datawrapper (хотя и упоминал их где-то выше), они крутые.

К примеру, несколько мыслей из статьи по работе с цветами в визуализациях:
* Если появилась необходимость иметь более 7 цветов на графике - меняем его тип (а ещё лучше - группируем данные);
* Используем одинаковые цвета для переменных во всех визуализациях (это супер-очевидно, но косячки проскакивают, лучше перепроверять);
* В ту же копилку - использование интуитивно понятных цветов (красный для плохого, зеленый для хорошего и светлые оттенки для низких и тёмные для высоких значений);
* Ну и про мой «любимый» контраст - вот эта штука поможет проверить, не вытекут ли у пользователей глаза от сочетания цветов фона и текста на нём.

Еще больше советов и примеры - по ссылке:
https://blog.datawrapper.de/colors/

Еще один материал от Datawrapper, в этот раз - про более хардкорный выбор цветов для визуализаций (с тонами, насыщенностями, яркостями и всяким таким).

На первый взгляд, она больше для дизайнеров, но в этом и прелесть - можно глубже разобраться с теорией (особенно в случае, когда ты сам выбираешь цвета по принципу от балды «нравится-не нравится»).

К примеру, абсолютное большинство визуализаций, которые отмечены в статье как «BETTER», мне реально больше импонируют, чем «NOT IDEAL»-версии, теперь стало немного понятнее, почему так происходит.

А еще добрые люди озадачились эту статью перевести на русский.

Ссылка:
https://habr.com/ru/post/520812/

Небольшая статья, которая неплохо структурирует часто используемые (а также часто принимаемые друг за друга) понятия из области AI, ML, DS и иже с ними.

Очередная иллюстрация того, как схемы и яркие визуальные образы помогают лучше воспринимать текстовую информацию (ну реально же, без них было бы менее понятно).

Ссылка:
https://medium.com/swlh/a-beginners-guide-to-understanding-the-buzz-words-ai-ml-nlp-deep-learning-computer-vision-a877ee1c2cde

Big Data в России - это очень увлекательно:
- с одной стороны, на различных площадках (habr, vc, etc.) регулярно размещают истории успеха от крупных компаний;
- с другой стороны, всегда есть сложность с тем, чтобы этот успех связать с бизнес-показателями, а со средним бизнесом и вовсе не понятно примерно ничего.

Вот и опрос МТС на Хабре не может похвастаться однозначностью результатов. Со сферами применения и технологиями (они общеизвестные), а также специалистами (их не хватает) всё без откровений.

Гораздо интереснее мысль о том, что нельзя просто так взять и начать анализировать большие данные: нужна инфраструктура, инструменты, процессы, люди, способные выполнять или совмещать различные роли (все эти ETL, DBA, контроль качества данных, дата саенс, а ещё лиды, которые будут этим всем рулить и связывать с целями бизнеса).

Кажется, что пока это непосильная задача для не обладающих большими ресурсами и выживающих во вторую волну пандемии. Тем интереснее будет посмотреть в 2021 году, сможет ли кто-то предложить готовое решение по цене, которую бизнес (естественно, ничего не внедривший до этого) будет готов заплатить.

🔗 Ссылка

Оказалось (ну или может я не особо внимателен к анонсам), что 25% докладов стартующей сегодня конференции Матемаркетинг можно будет бесплатно посмотреть на главной странице мероприятия (даже похоже, что без регистрации и смс). Старт через 10 минут.

Прикол в том, что доклады будут рандомно выбираться из списка одновременно идущих, что не позволит «сходить» на все интересующие. С другой стороны, халява есть халява.

🔗 Ссылка

Сегодня (наконец) пятница, поэтому позволю себе немного вольностей.

Когда-нибудь, когда я вырасту и стану большим и взрослым, я тоже сделаю свой канал, где будут вперемешку мемы и полезные ссылки.

Пока я этого не сделал (кого я обманываю, мне неоткуда взять столько картинок) - можно пользоваться уже существующим.

🔗 Ссылка

На этой неделе закончил проходить симулятор (реально язык не поворачивается назвать его курсом) GoPractice.

Известен он тем, что много где его котируют или даже засчитывают как 1 успешно решенный кейс по запуску нового продукта (почитать можно тут, тут или в гугле).

Из плюсов:
- есть сюжет (это не шутка), который обеспечивает более глубокое погружение в изучаемый предмет;
- офигенная структура подачи материала: небольшими порциями с мгновенной проверкой знаний;
- асинхронность: можно самостоятельно выбирать, когда проходить (для кого-то может стать минусом, все зависит от степени самоорганизованности).
- получение опыта работы в системе аналитики Amplitude, создания модели продукта и дизайна экспериментов (и еще много чего, эти 3 были наиболее интересными для меня).

Из минусов:
- курс 2016 года и некоторые примеры выглядят устаревшими (на освоение материала это не влияет);
- данные в Amplitude тоже от 2016 года и для всех практических заданий приходится с болью продираться через их окошко выбора даты;
- очевидность некоторых вопросов оставляет желать лучшего: отвечаешь на вопрос, как ты его понял, а правильные ответы совсем в другой стороне (иногда аж пригорает).

Неплохой отзыв (более подробно и со скриншотами) есть на vc.

В сухом остатке: даже несмотря на минусы, впечатление после прохождения у меня осталось сугубо положительное (ну еще бы, там хэппи-энд). Не зря же его считают must have для продактов и продуктовых аналитиков.

🔗 Ссылка

#учебное

Еще одна статья для тех, кто желает меньше грешить при создании визуализаций.

Ключевой совет - выделять ту информацию, которую вы хотите донести до конечной аудитории и делать менее заметной вспомогательную.

По пунктам:
- яркие цвета - для того, что действительно имеет значение;
- всю дополнительную информацию делаем менее заметной, автор предлагает серую гамму;
- для важной информации на графиках используем более широкие линии (как на примере);
- избегаем отдельных плашек с легендой, подписывая элементы визуализаций напрямую;
- и самый топ - добавлять ключевые выводы и идеи в заголовок (да, прямо вместо названия).

Кажется, что такой подход может быть неприменим для комплексных отчетов, но вот для доказательной аналитики и презентаций проявит себя лучше, чем просто диаграмма с текстовыми пояснениями.

🔗Ссылка