Недавно прослушанная лекция по эффективной благотворительности заставила меня задуматься о глобальных проблемах, которые в цикле дом-работа-etc теряются из вида.

Сразу в голове всплыл проект Our World in Data, исследовательское сообщество на базе Оксфордского университета, в котором проводятся исследования проблем в области здравоохранения, прогресса, образования, общественных институтов и всего такого.

Для аналитиков - это дополнительная возможность посмотреть, какие источники, инструменты и визуализации используют авторы.

Немного фактов:
- кто-то задумался о глобальной метрике состояния мира (подробнее тут).
- в 2017 году, количество мобильных телефонов на 100 человек в России превышало средние показатели Европе и США (вот это поворот);
- среднее количество детей на женщину в России - 1,7 (с 2000 это самое высокое число, тренд восходящий), сравнимо с Европой и США;
- примерно 14% населения земли в 2014 году не умели писать (жесть!), а Россия - в числе мировых лидеров по грамотности населения.

🔗 Ссылка

Пропусти я такую новость - плакал бы потом горькими слезами.

Ребятки запилили Jupiter Notebook в Excel'ке. Действительно, зачем выбирать между Python и аналитикой в уютных таблицах (не будем никому рассказывать, что есть еще BI), давайте "замочим" VBA и совместим все в один инструмент (а что, а вдруг).

Если серьёзно, это, конечно, на грани добра и зла, но может стать подспорьем для тех, кто только начинает переходить на сторону питона. Можно даже придумать пару боевых кейсов, когда может потребоваться экспорт графиков из ноутбука на лист Excel - для редких визуализаций или прогнозирования, к примеру (если вкусы весьма специфичны).

🔗 Ссылка

Конец года - это всегда золотое время для любителей почитать прогнозы развития технологий и рыночные тренды. Вот и Tadviser обновил свою статью про тенденции рынка BI.

Нельзя сказать, что в ней есть какие-то откровения (ну естественно, там все утыкано Big Data, ML, AI, облаками), но несколько интересных мыслей я для себя отметил:
- кажется, я впервые встречаю формулировку "BI-плато" под которой скрывается недостаток компетенций у сотрудников, не позволяющий использовать все функциональные возможности BI-инструментов и извлекать пользу из данных;
- и это, как раз одна из причин, почему self-service не так уж и активно взлетает (только если регулярно и сильно пинать);
- DWH и ETL скорее open source, а сами BI решения чаще вендорские (наверное, это очевидно, но я в таком ключе не думал);
- а еще вот тут говорят, что импортозамещение работает.

🔗 Ссылка на саму статью

#анализ_рынка

Уже неделю всей редакцией (сам с собой, ага) кайфую с энциклопедической статьи про базы данных. Если бы сейчас кто-то попросил скинуть материалы для погружения в тему - поставил бы на первое место без колебаний.

Тут и схемы, и графики, и топы, и написано по делу (и даже нет привычного срача в комментах).

Немного про статистику и тренды:
- реляционные БД все еще сила, занимают почти 75% рынка;
- open source и тут растет и, кажется, скоро начнет побеждать;
- облачные БД тоже растут, но до победы еще ой как далеко;
- подробнее про популярность различных БД тут.

🔗 Ссылка на статью

#базы_данных #анализ_рынка

Закончить этот уникальный год иначе, чем мемом у меня рука не поднимается (не будем о грустном).

Пусть в новом году у вас будет как можно больше понятных (без шуток) выводов!

Многие уже привыкли к тому, что грани профессий data analyst и data scientist все больше размываются (ну или как минимум к холиварам по этому поводу).

Мне, к примеру, импонирует следующая позиция: аналитик скорее ищет ответы на вопросы (или решение проблемы), а саентист находит тренды и сами вопросы, которые стоит задавать. Естественно, это упрощение, подробнее можно посмотреть тут.

Теперь в эту компанию врывается еще и data manager, который начинает отвечать за извлечение, обработку, хранение, качество данных. То есть становится своеобразным поставщиком информации для исследований scientist'а.

Идея, безусловно, не нова, специализация часто помогает решать все более сложные задачи. Другой вопрос - как бизнесу дальше разбираться в зоопарке ролей вокруг анализа данных (есть же ещё data engineer, BI developer, DBA, etc.). В веселое время живём!

Также в статье есть руководство как быть data manager консультантом в неизвестной предметной области. Выглядит как идея для стартапа, если эта мода доберется до наших краёв (пока, правда, не очень похоже, что это так). К примеру, на том же hh сейчас мизерное количество релевантных вакансий.

🔗 Ссылка на статью

Пропустил этот доклад на Матемаркетинге, а зря, отличный пример того, как можно простым языком рассказывать про инфраструктуру для аналитики (тем более облачную).

В последнее время все больше стимулов попробовать Redash (ну и на @leftjoin подписаться, если еще не).

Какой он - современный облачный data-стек?

Николай Валиотти ( @leftjoin) объясняет подход к проектированию аналитической инфраструктуры, обосновывает использование Clickhouse при построении облачной аналитики и рассказывает о его же нюансах и говорит про Redash с точки зрения инструмента для визуализации.

Смотреть видео - YouTube, ~20 минут

@internetanalytics

Видимо у меня вошло в привычку знакомить всех с блогами, на которые я подписан.

Вот этот топ-15 визуализаций за 2020 понравился мне больше, чем топ-10 от towards data science. Видимо, для меня музыка + цветные карты куда привлекательнее баскетбола и гос. долга США (и действительно).

P.S. СOVID, без сомнений, присутствует в обеих подборках, куда без него.

Собрала для блога “Больше, чем данные” свой личный топ датавиза за 2020. Там разное, но конечно же любимые The Pudding, Nadieh Bremer и Nathan Yau ❤️

https://b4d.media/15-daraviz/

Люблю периодически поглядывать на небольшие авторские проекты (в том числе имеющие к аналитике косвенное отношение), они круто иллюстрируют насколько разные идеи приходят людям в голову.

Как вам, например, такое: кто-то взял с ProductHunt (возможно даже руками) топовый продукт за каждый день прошлого года.
Получилась табличка в Notion, в которой можно сделать сортировку по количеству голосов.

Интересно, но не хватает минимум двух вещей: типизации (так бы получился какой-никакой, но датасет для маленького исследования) и понятных выводов.

Пока же можно довольствоваться топ-10:
1. Интерактивные развлечения для удаленных команд поверх видеоконференции.
2. Почтовик от создателей basecamp.
3. Текстовый редактор со встроенным переводом, словарем и всяким таким, чтобы нормально общаться на любом языке мира.
4. Мобильное приложение для медитаций.
5. Библиотека вручную нарисованных иллюстраций.
6. Мобильное приложение для удаленной диагностики зубов по фотографии.
7. Софт для поиска цифрового отпечатка человека в сети.
8. Еще одна библиотека вручную нарисованных иллюстраций.
9. Приложение для создания дипфейков (актуальненько).
10. Тик-ток для образовательных видео.

Тут без комментариев, какой год, такой и топ.

🔗 Ссылка на проект

Как человек, пиливший оба упомянутых вида дашбордов, я не могу на 100% согласиться с тем, что "перспективные" настолько лучше "ретроспективных". Всё-таки сильно зависит от решаемой задачи и целевой аудитории.

С другой стороны, сложно не согласиться с большей убедительностью данных о потерях, так что сама мысль весьма интересная.

«Есть только миг между прошлым и будущим»

1. Обычные дашборды сравнивают текущие метрики с прошлым — процент изменений по сравнению со вчера, с прошлой неделей, месяцем или годом.

2. Хорошие дашборды должны сравнивать текущие метрики с будущим — как мы двигаемся по сравнению с тем планом, который мы себе поставили на неделю, на месяц или на год.

3. Во-первых, если мы не знаем, куда идем — зачем нам нам знать, с какой скоростью мы идем никуда?

4. Во-вторых, в наши головы встроено когнитивное искажение, называемое «loss aversion» (боязнь потерь) — мы гораздо более остро реагируем на потери, чем на приобретения. Если мы видим, что мы хоть немного, но растем — мы неизбежно (хоть и подсознательно) расслабляемся. Даже если этих темпов роста нам не хватит для выполнения отдаленного плана.

5. Мы будем шевелиться, только если дашборды будут показывать нам возможные потери — чего и сколько нам не хватает, чтобы добежать до поставленной цели. А если всего хватает — это хорошая причина повысить уровень цели. Чтобы мы опять пытались избежать потерь.

6. А у вас есть дашборд? А он сравнивает сегодняшнюю ситуацию с прошлым или с будущим?

---
Новые идеи, достойные копирования: fastfounder.ru

Изучение новых видов графиков - наше всё.

Несколько раз натыкался на Mekko/Marimekko в разных каталогах визуализаций, но особого восторга не ощущал (ну бар-чарт на максималках, что с ним делать-то).

В сегодняшней статье есть несколько жизнеспособных примеров использования, а главное (наконец-то) - описана цель их применения.
Спойлер: все ради снижения количества столбцов на диаграммах.

Получается, если нужно сравнить несколько групп по двум измерениям, то берём Мекко. А если нужно каждую группу дополнительно детализировать по подгруппам, то Маримекко.

Запилить можно на питоне, в Power BI/Qlik/Tableau, не говоря уже об извращениях в Excel (моё любимое).

Главное, чтобы целевая аудитория себе голову не сломала с непривычки.

🔗 Ссылка

#визуализации

Портал ITC Moscow вместе с Департаментом информационных технологий Москвы (интересно, много ли в принципе таких коллабораций) сделали свой хайпометр для отслеживания упоминаний передовых технологий в СМИ.

Выглядит это, надо сказать, довольно современно (должно быть заметно по превью):
- есть несколько «крутилок» для переключения периодов;
- доступны сырые данные в гугл-шитах;
- есть комментарии и выводы (почему-то они зажаты между двумя графиками, но не будем придираться);
- стильно же, ну.

Из неожиданного:
- упоминаний беспилотников почти в 2 раза больше big data, а также почти в 2,5 раза больше IoT или облаков (чиииво?).

🔗 Ссылка

#проекты

Нарыли на днях список ресурсов (40+ и продолжает расти) для поиска статистики, аналитики и "просто данных" по разным сферам общественной жизни.

Выглядит как жизнеспособный источник информации для исследований, тестовых проектов, сбора дата-сетов и вот этого всего.

Что интересно, есть тут не только всем известные (не Яндексом единым), но еще и вполне себе неожиданные ресурсы (например, около-государственные).

Поймал себя на мысли, что это какой-то вышедший за пределы программного обеспечения open source: кто-то оторвал от сердца список любимых ресурсов, а люди в приложенной гугл-табличке активно дополняют. Красота!

🔗Ссылка

#данные

Product Sense второй год подряд опрашивает свою аудиторию на тему развития навыков в продуктовом сообществе и выкладывает в своем блоге результаты.

Тех, кто идентифицирует себя как аналитик там традиционно около 9%, а вот развивается в аналитике уже более 21%.

По самим направлениям развития нет почти никаких отличий от предыдущего года - помимо аналитики все учатся маркетингу и проектному управлению.

Кроме этого в статье есть графики к которым у меня много вопросов (за что такие пай-чарты и сортировка?) и выводы, к которым уже не придраться.

Также, в конце - гора ссылок на книги, курсы, каналы и материалы, в которых пытливый ум исследователя может (в теории) найти что-то полезное для себя.

🔗Ссылка

#компетенции

Наверное каждый аналитик имел удовольствие распространять свои отчеты в формате «экселька на почту» (если не занимались подобным - обязательно попробуйте на досуге, особенно доставляет вносить в них правки и повторно отправлять).

Автор сегодняшней статьи решил заняться оптимизацией рассылки отчетов клиентам (с обязательным контролем доступа, что важно) и вместо выбора общеизвестных инструментов пускается во все тяжкие:
🔹защита файлов через VBA;
🔹сторонние платные сервисы по лицензированию экселек (что?);
🔹Excel Online с костылями;
🔹сборка web-приложения на базе Google Sheets;
🔹BI-инструменты (ура!);
🔹накодить на Python.

Все перечисленное сопровождено видео-примерами и анализом сильных и слабых сторон. В целом, масштабы проработки вопроса вызывают восхищение (хоть и граничат, по моему мнению, со стрельбой из пушки по воробьям).

🔗Ссылка

#excelное

Качественные обзоры рынка СУБД на русском - большая редкость (популярность прошлой заметки на тему это только подтверждает).

Вот еще пример неплохого обзора от SH Capital:
🔹динамические визуализации - огонь;
🔹данные сегментированы по типам СУБД (актуально, чтобы мокрое с солёным не сравнивать);
🔹сделали свой «квадрант Гартнера» с популярностью и потенциалом развития;
🔹занятный обзор ключевых инвестиционных сделок (не припомню, чтобы где-то еще такое можно было систематизированно посмотреть).

🔗 Ссылка

#базы_данных #анализ_рынка

Sankey-диаграммы периодически мелькают в различных топах визуализаций (чего стоит только легендарная карта вторжения Наполеона в Россию в 1812), но массовыми их назвать сложно.

Чаще всего их используют для отображения потоков или маршрутов, но есть и другие, более интересные кейсы:
🔹отображение того, как эволюционирует покупательский опыт с течением времени (в примере у автора эволюция классов арендуемых автомобилей);
🔹анализ иерархически организованных данных;
🔹поиск паттернов в данных в качестве альтернативы ML (пример очень специфичный, но что-то в этом есть).

Про подготовку данных и реализацию (на примере Power BI) можно почитать тут.

P.S. А еще кто-то в интернете неправ ведет блог, посвященный исключительно санкеям (некоторые выглядят максимально ужасающе, но найти что-то интересное можно).

🔗Ссылка

#визуализации

На этой неделе опубликовали новый Gartner Magic Quadrant по аналитическим и BI-системам.

Как вы понимаете, Microsoft опять в лидерах и уже хвастается в блоге и рассылках. Немного подробнее, почему так - в сегодняшней заглавной статье.

Рядом с Power BI, по традиции, расположились Tableau и Qlik, а вот ThoughtSpot окончательно свалился в визионеры.

Общее количество участников сократилось с 22 до 20 (результат покупок ряда инструментов другими игроками). Подробнее посмотреть кто куда переехал можно тут.

А вот что было в предыдущей серии (2020 vs 2019).

🔗 Ссылка

#business_intelligence