📈 Grammar of graphics in a nutshell 📖
Вас когда-нибудь интересовало как работают такие фреймворки, как Observable Plot, ggplot2 или Vega-Lite? Автора этой статьи всерьез заинтересовал этот вопрос, поэтому он посмотрел множество реализаций, прочитал кучу статей, и кое-что придумал.
Пересказывать изучение визуализации целиком было бы глупо (важную чсть исследования составляют примеры и код), поэтому мы вкратце пройдемся по самым важным моментам, а полную цепочку преобразований лучше увидеть своими глазами на сайте.

🤔 Что вообще такое грамматика графики (GoG)?
Грамматика графики (GoG) — это язык для определения статистической графики, такой как гистограммы, диаграммы рассеяния и линейные графики из составных частей. Возможно, вы слышали или даже использовали библиотеку, построенную на GoG, такую ​​как Observable Plot, ggplot2, Vega-Lite и Swift Charts.

🔗 Конвейер GoG
Грубо говоря, GoG разделяет визуализацию данных на два отдельных этапа: данные - кодировки + метки -> абстрактное пространство - масштабы-> экранное пространство.

⚪ Все начинается с формы
Прежде чем мы сможем перейти к реальным компонентам GoG, нам нужен способ рендеринга элемнтов на экране. Для этого используется SVG и создается несколько простых основных элементов: прямоугольник и круг. С помощью этих элементов, впоследствии, будет выстроена вся визуализация. Кстати, некоторое время назад я частично рассказывал про d3.js и даже делился примером.

⚖️ Веса и абстрактное пространство
Чтобы сопоставить абстрактное визуальное пространство и пространство пикселей экрана, используются шкалирование.
В чем разница между абстрактным и экранным пространством? Экранное пространство — (во всех смыслах и целях) декартова система координат, а абстрактное пространство не обязательно должно быть таковым. Шкалы используются для построения отображений из абстрактного пространства в пространство экрана, чтобы точно передавать информацию, которая заключается в данных.

⏭ Затем в статье объясняются нюансы меток, кодировок, осей и легенды графика, но тут без визуальных объяснений не обойтись, поэтому переходите на сайт.

🚀 В целом, это, конечно, маленькая и неполная версия грамматики графики. Тем не менее, она позволяет рассмотреть весь путь создания визуализации: от исходных данных до графика на экране.

Немного про аналитику in real life, не применительно к цифрам и фактам, а больше к самому себе как объекту наблюдений, обладающим внутренними свойствами, которые подчас кажутся рациональными, но бывают очень тонки и неоднозначны

Неоднозначны наши внутренние свойства благодаря такому явлению как рефлексия, которое в свою очередь опирается как на объективную действительность, так и на субъективную

Чудо рефлексии состоит в том, что с её помощью мы можем выбирать интерпретацию. К сожалению, в раннем детстве большинство из нас лишены этой привелегии: из-за этого не оставляем внутри себя пространства между стимулом и суждением. Многие из нас не находят этого пространства и во взрослом возрасте. Как итог очень часто наши суждения становятся тем, что мы будто бы выбираем единожды и идём с этим всю свою сознательную жизнь

Воля выбирать интерпретацию исходит из мышления. Мышление, которое дарует нам узкий (и почти сходящийся к нулю) зазор между стимулом и реакцией. Именно этот зазор драматически расширяет пространство неопределённости решений, но вместе с тем дарует свободу

Используйте этот зазор часто, но не слишком, на своё усмотрение

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
📖 Подробный гайд по кластеризации
Школа анализа данных (ШАД) написали отличную и весьма подробную практическую главу в рамках учебника по ML. Крайне приятно, что погузиться в тему можно даже тем, кто никогда не слышал о кластеризации раньше, ведь все термины вводятся и объясняются постепенно, а также гайд полон визуализаций. В нем разобраны самые современные методы: метод К-средних, DBSCAN и другие. Большое спасибо автору, ждем новых глав!

🙊 DALL-E Mini нашли неожиданное применение: генератор мемов
В начале июня в соцсетях «завирусился» сервис DALL-E Mini: первая версия нейросети от OpenAI, доступная всем пользователям. В результате любого запроса сервис генерирует коллаж из 9 наиболее релевантны изображений и... получается довольно забавно, а иногда и крипово. Этим воспользовался один из пользователей, который в итоге завел отдельную страницу в Twitter и раздел в Reddit, где начал собирать созданные DALL-E Mini изображения.
В ленте твиттера вы можете увидеть коллажи и текст запроса, которые не иначе кроме как "мем" зачастую и не назовешь))

🚫 Современные трудности и способ их преодоления
Ребята из iPhones нашли способ установки удаленных из AppStore приложений (Альфа-Банк, Сбербанк Онлайн и другие), который может помочь установить их на новый телефон, если есть такая необходимость. Важных условий всего два: нужно установить программу iMazing (бесплатного демо-периода будет вполне достаточно), а также приложение, которое вам нужно, должно было быть уже загружено раньше под вашей учетной записью. Пишите в комментариях, если проверяли этот способ или знаете какие-то другие!

👾 Что нового появится в Python 3.11?
Недавно появилась первая бета-версия Python 3.11, в которой есть несколько интересных функций: указание точного места возникновения ошибки (например, в какой части вычисления), добавление примечаний к объектам исключений, встроенная поддержка форматов toml библиотекой tomllib и многие другие более узкоиспользуемые функции. Вдобавок ко всему вышеперечисленному есть еще один плюс: в этой версии Python также стал в среднем на 22% быстрее. К октябрю, когда выйдет финальный релиз, он, возможно, станет работать еще быстрее. Ждете выход новой версии?

#weekly #дайджест

На vc.ru вышел подробный гайд про создание дашборда в DataLens

Гайд освещает все шаги в процессе:
- Создание подключения к базе данных
- Создание датасета
- Настройка полей
- Создание визуализаций (в том числе визуализаций с иерархиями, сводных таблиц, а также визуализаций на карте)
- Формирование дашборда
- Фильтрация данных дашборда

Как по мне, то получилось хорошее пошаговое руководство, которое может быть хорошим первым шагом в изучении DataLens

https://vc.ru/services/453689-kak-proanalizirovat-prodazhi-seti-magazinov-v-yandex-datalens-poshagovaya-instrukciya

Продолжая тему DataLens, затронутую в предыдущем посте

Недавно ребята из DataLens проводили вебинар, посвященный безопасности и разграничении прав доступа в DataLens. Делюсь записью этого вебинара

В рамках вебинара менеджеры по развитию Павел Дубинин и Рами Мулейс осветили такие вопросы:
- DataLens как часть облака в организациях;
- какие бывают учётные записи: федеративные, доменные, социальные и @yandex.ru;
- необходимые роли Yandex Cloud и как их задавать;
- внутренние каталоги объектов DataLens и логика прав;
- как безопасно поделиться дашбордом и что нужно знать о «публикации»;
- как настроить Row-Level Security вручную и через БД;
- общие вопросы безопасности в Yandex DataLens;
- планы развития сервиса.

Сразу спойлерну про планы. В планах развития сервиса Павел Дубинин подсветил появление:
- Групп в Identity ans Access Management
- Групповых операций с объектами
- Рекурсивное назначение прав через папки
- Воркбуков (это мне показалось наиболее интересным, потому что воркбуки объединят между собой подключения, датасеты, чарты, дашборды в единую сущность, к которой можно предоставлять доступ)

https://www.youtube.com/watch?v=NXEiPMfXwPo

Признаки дата-карго-культа (источник)

Интересная статья в блоге Бюро Сервисного Дизайна про различие бизнесов, которые разговаривают только на языке показателей, и бизнесов, говорящих на языке логики

Автор приводит и рассматривает формулировку закона Гудхарта:
Как только статистический показатель становится целью, он перестаёт отражать реальность.

Бизнесы, где менеджмент помешан на метриках, склонны выстраивать между метриками несуществующие казуальные связи, например, выстраивая взаимосвязь между NPS и выручкой. Взаимосвязь действительно есть, но это не линейная зависимость, а значит в её рассмотрении важно понимать как построены процессы, осознавать благодаря каким действиям (проектам) будет осуществлен рост одной метрики (например, NPS) и как изменение клиентского опыта будет влиять на рост другой метрики (в данном случае, выручки)

Для управления действительно нужно обращать внимание на метрики, но этого не достаточно. Управляющее воздействие должно быть обращено не на метрику, а на логику, которая лежит в основе процесса. А метрика – всего лишь показатель, по изменению которой мы судим правильно ли наше управляющее воздействие или его нужно корректировать

Автор находит и ответ на вопрос «Почему так популярна data-driven методология в управлении?». Часто этот подход позволяет закрыть дыры в управленческой компетенции, потому что data-driven подход выигрывает у подхода, когда менеджмент не опирается ни какие данные, а принимает решения интуитивно. Таким образом, метрики часто используются как способ «систематизировать бардак». Но выигрывает подход, при котором есть и метрики, и принятие решений, основанное на понимании логики процессов компании

https://blog.buro.cx/govorim-s-bizniesom-na-iazykie-loghiki/

Большой гайд по статистическим тестам от команды VK

https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

В последнее время этот телеграм-канал живёт странной жизнью: посты появляются не часто. Всему причина то, что сфера моих профессиональных интересов сместилась из аналитики в сторону управления. Забрасывать канал я не планирую, но пока думаю о том как его переформатировать

И на этом фоне я решил завести заумный канал в Телеграме про сложные системы, их структуру, управление и прочую «системщину». С уклоном в междисциплинарные исследования, поэтому будет не только про столько про технологии, но и про общество, экономику (в т.ч. поведенческую), антропологию, психологию, безмасштабные сети, теорию управления

Вот ссылка на первый содержательный пост

Многих молодых аналитиков, и не только их, работа с исследованиями уводит в темные дебри поиска проблем, планирования, итераций, выводов, а про презентацию результатов и вовсе забывают. Самое досадное случается, когда все потраченные усилия уходят «в стол». И это далеко не редкость для бизнеса.

В последнем кейсе на Хабре аналитик из Delivery Club поделился подходом их команды по работе с исследованиями. Из статьи вы узнаете, почему так важен подготовительный этап, а в конце вас ждет чек-лист основных действий.

Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.

Выглядит удобно как гибридный инструмент, и для тех кто напишет код сам, и для тех кому угодно не в виде кода, и для тех кто поправит за вторыми, то что они не могут сами.

Наступает время гибридных инструментов!

Ссылки:
[1] https://hex.tech/blog/introducing-no-code-cells

#datatools #sql #python

Наткнулся на замечательную подборку шаблонов d3.js у Observable

Например, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело кастомизируется под ваши данные, достаточно только загрузить таблицу с количеством пользователей в разбивке по когортам и отчетным периодам

А ещё есть аналогичный шаблон, но с Retention по сегментам

В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова.

Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.

В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon), Денис Нечитайло (Head of Product Analytics Ozon) и Сергей Юдин (COO Яндекс Кью).

Обсудили, где пролегает граница между дата-сайентистами и дата-аналитиками, поговорили о том, что нужно дата-сайентисту и что пригодится аналитику данных, рассказали, откуда взялась мода на дата-сайентистов (спойлер: по одной изверсий, из-за этой статьи «Дата-сайентист – самая сексуальная профессия»).

Послушать можно тут:

🎧Яндекс
🎧Apple
🎧Google

Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉

Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения.

Чему можно научиться после практики по гайду:
1️⃣ Работать с сырыми данными, предобратывать их (это изи)
2️⃣ Представлять в виде пригодных данных для анализа (посложнее, но задачка уровня джун+)
3️⃣ Подбирать модели и корректно оценивать их по метрикам (а вот и хардкор)
Из моделей разбираются:
- модель на основе catboost
- модель на основе линейной регрессии
- коэффициентная модель
- модель на основе экстраполяции логарифмом

Для кого полезно? Маркетинг менеджеры, продакты, аналитики
Что нужно уметь? Хотя бы немного в Python, чтобы применить рекомендации на практике (внутри примеры кода)

Если интересно, оставьте свои контакты на лендинге и скачивайте 👉 e-book

А что делать если данных для практики нет?
Даже если у вас нет своего продукта или клиентских данных и на первых страницах возникнет вопрос, — все круто, полезно, а где взять выгрузки, чтобы поиграться с моделями?

Ссылку на сырые данные, ищите на 14-й странице. Внутри:
файл с сырыми данными о транзакциях устройств для большого приложения
файл с данными о кумулятивном (накопленном) LTV устройств

E-book всего 43 страницы, поэтому концентрация пользы максимальная и без воды!

💎 Хочу порекомендовать канал Айти психолог

Вообще в канале бывает много полезного про менеджмент самого себя.
Крис, тимлид команд аналитики с опытом 7 лет в айти, пишет о практической психологии без воды и эзотерики:
🔹как побороть синдром самозванца
🔹как справляться с тревогой
🔹как наладить отношения с заказчиками
🔹как преуспеть на перформанс ревью

Подписывайтесь и больше не выгорайте 🌚

​​Open AI опубликовала крупнейшую нейросеть распознавания речи, обученную на 680 тысячах часов аудио, назвали Whisper — шепот.

Сеть понимает множество языков кроме английского, включая русский.

Качество распознавания сравнимо с сервисами от Google, Amazon, Microsoft и Yandex. При этом сервисы распознавания речи от корпораций стоят по 2 доллара за минуту распознавания, а тут можно скачать и пользоваться этой штукой бесплатно и без подключения к интернету.

Открыта и бесплатна для скачивания не только конечная сеть, но и «развесовка», то есть модель можно тюнить и использовать как составную часть более сложных алгоритмов. Не открыты только 680 тысяч часов аудио, которые использовали для обучения модели.

Пара примеров есть на странице проекта; распознать любые файлы и даже свою речь с микрофона можно попробовать онлайн в неофициальном google colab блокноте (очень классный инструмент!).

—

Кстати, если у вас айфон — рекомендую обновить iOS и попробовать встроенное распознавание речи. Новая версия iOS внесла одно маленькое изменение — теперь редактирование текста клавиатурой не прерывает процесс распознавания. Можно набрать текст голосом, исправить ошибку пальцами и продолжить набор голосом. Я теперь пишу большинство сообщений на айфоне именно так — гораздо быстрее и легче, чем печатать пальцами.

Интересно, что мы как раз начинаем исследовательский проект для Чайки — встроим распознавание речи в медицинскую информационную систему, чтобы врачи могли заполнять карточки пациентов голосом и тратили на это меньше времени.

Будущее уже совсем близко.

Команда Clickhouse, создателей одной из лучших аналитических СУБД, запустили бета версию облачной версии продукта [1]. Сейчас облако работает с поминутной тарификацией на базе инфраструктуры AWS․ Главное достоинство в том что продукт непосредственно от команды разработчиков Clickhouse, а значит можно надеяться на лучшую производительность и техническую поддержку.

При том что кластеры на Clickhouse существуют уже много где. Например, в Яндекс облаке [2] с ежесуточной и ежемесячной тарификацией и в самом AWS [3].

Clickhouse не единственная СУБД для аналитики в реальном времени на базе которой создаются DBAAS (database-as-a-service) продукты. Например, команда их менее популярного, но близкого по производительности, конкурента StarRocks анонсировали появление их облака в 3-м квартале 2022 г. [4]. 3-й квартал вот только что прошёл, ждём когда же можно будет увидеть обещанное.

А я напомню интересную штуку от Clickhouse по открытым замерам производительности баз данных [5] с весьма неплохим их сравнением.

Ссылки:
[1] https://clickhouse.com/blog/clickhouse-cloud-public-beta
[2] https://cloud.yandex.com/en/services/managed-clickhouse
[3] https://aws.amazon.com/ru/quickstart/architecture/clickhouse-cluster/
[4] https://starrocks.io/blog/starrocks-launches-the-industrys-fastest-cloud-native-real-time-analytics-engine
[5] https://benchmark.clickhouse.com

#opensource #startups #dbms #clickhouse

В блоге Ozon Tech на Хабре вышла хорошая статья про построение аналитической инфраструктуры для проведения A/B-тестов, а конкретно о платформе сплитования пользователей. Рассматривается несколько различных архитектурных подходов к сплитованию, их плюсы и минусы. В общем, статья достойная с большим количеством технических подробностей

https://habr.com/ru/company/ozontech/blog/689052/

Подборка статей про оптимизацию Pandas

Статьи:
🔹 Memory Optimisation – Python DataFrames vs Lists and Dictionaries (JSON-like)
🔹 Advanced Pandas: Optimize speed and memory
🔹 Five Killer Optimization Techniques Every Pandas User Should Know
🔹 Pandas Optimization for Largest Datasets
🔹 How to handle large datasets in Python with Pandas and Dask
🔹 Scaling to large datasets
🔹 Comprehensive Guide To Optimize Your Pandas Code
🔹 Seven Killer Memory Optimization Techniques Every Pandas User Should Know
🔹 Optimizing Pandas

Видео:
🎦 Speed up slow pandas python code by 2500x
🎦 Efficient Pandas Dataframes in Python - Make your code run fast with these tricks!
🎦 Loop / Iterate over pandas DataFrame (2020)
🎦 How to Optimize and Speed Up Pandas

👉 @python_powerbi

Татьяна Половинкина. Данные в комиксах: От источников до дельты. В докладе был некоторый ликбез по работе аналитика данных как новой специализации, дополняющей существующие специализации бизнес-аналитика и системного аналитика. Отличие в том, что он работает с динамическим потоком данных, строя архитектуру обработки и обеспечивая пользователей нужными данными. Специализация в процессе формирования, так что тут нет устойчивого процесса и терминологии. Но при этом контекст достаточно объемный.

* Фазы понятные: планирование, проектирование, создание-получение, хранение-обслуживание-архивирование, использование. Но потоки данных - меняются, хранение - деформируется.
* Фокусы: осмысленность данных, выгода использования. Доступность в условиях изменчивости. Масштабируемость. Качественность, доверие данным. Безопасность данных. Температура данных - частота обращения.
* Виды данных: Small (обычные БД), Big (с ними просто не получится), Smart (информативные данные, Fast (выявление Smart в Big, Темные (это что мы не знаем).
* Деление по хранению: Широкие (много колонок) Длинные (много строк).
* Сегментирование - партиционирование - шардирование: деление больших данных на группы.
* Виртуализация данных: они лежат везде, 60-70источников - обычная история, идея - промежуточный уровень для абстрагирование от изменений в конкретных источниках.
* Качество данных. Тут много характеристик, было 4, теперь 20.
* Безопасность: генерация, маскирование, шифрование. Маскирование всегда необратимо, а отличие от шифрования, при этом маскирование может быть частичным.
* Обогащение данных. Это не только дополнение, это еще удаление ненужных данных, маскирование для увеличения доступности.