Полезные ссылки для знакомства и работы с DataLens

Большой функциональный демо дашборд:
- datalens.yandex/demo - публичный, только чтение
- Развернуть дашборд в своем DataLens для редактирования

Сообщество:
- Телеграм чат (вы сейчас тут)
- Предложить и проголосовать за новую фичу
- Плейлист официальных мероприятий на YouTube

Обучение:
- Быстрый старт, пошаговая инструкция
- Более детальные пошаговые инструкции по сценариям
- Туториалы по аналитическим функциям: агрегации, оконные функции, Level-of-Detail выражения
- Создание SQL-чартов (если вам нужно больше гибкости модели данных)
- Образовательные проекты

FAQ в документации:
- https://cloud.yandex.ru/docs/datalens/qa/

Публичные кейсы использования DataLens:
- КазаньЭкспресс - Аналитика retail маркетплейса
- Правительство С.-Петербурга - Аналитика городских сервисов
- Окраина - Аналитика на мясоперерабатывающем заводе
- МВидео - Платформа данных в облаке, геоаналитика
- Rubetek - Аналитика IOT по датчикам домов и квартир застройщика ПИК
- Moneycare - Кредитный брокер, корпоративный BI
- AnywayAnyDay - Аналитика онлайн туристического агентства
- JustSchool - Аналитика над CRM школы английского языка
- SevenTech - Аналитика технологического стартапа над ClickHouse
- НефтеТрансСервис - Промышленная аналитика интернета вещей
- RADAR - Аналитика аудитории наружной рекламы по всей России
- Цифровое образование - Аналитика олимпиад, учеников, школ
- Биологический Факультет МГУ - Предсказание и аналитика урожая
- tproger – Веб аналитика портала
- Car-Taxi - Продуктовая аналитика сервиса эвакуации авто
- Кинопоиск - Публичная статистика оценок фильмов

Примеры публичных дашбордов:
- Анализ качества воздуха
- Статистика коронавируса
- Погода
- Показатели Российских ВУЗов
- Демография Ставрополья
- Исследование про работу вахтовым методом в РФ
- Безработица РФ
- Пример с LOD выражениями от @ab0xa
(присылайте ваши примеры в чат, если хотите поделиться своим опытом!)

Презентации:
- DataLens
- Yandex Cloud Data Platform

Помощь:
- Обсудить ваш проект
- Завести тикет в техподдержку
- Найти партнера для проекта

Месяц назад ребята из Delivery Club поделились первой частью эволюции собственной рекомендательной системы ресторанов. Подробнее в публикации на Хабре.

На днях вышло продолжение. Из новой статьи вы узнаете, как отранжировать рестораны персонально для каждого пользователя, зачем нужна офлайновая ML-модель и почему обучение моделей «в лоб» не работает.

🔥 У нас вышла очередня «безумная😅» статья на vc

Почему нельзя просто так взять и сделать свою аналитику на больших данных

Мало просто начать собирать данные, чтобы делать аналитику. Если вы отслеживаете пользовательские пути и совершаете касания в разных каналах, нужна надежная система сбора и хранения статистики, нужны витрины данных и ресурсы на поддержку и развитие всей инфраструктуры. Не говорю уже о том, что к любой системе аналитики нужно добавить самого аналитика, чтобы появились выводы, гипотезы и решения.
А если вы хотите делать машинное обучение, то еще и команду ML-специалистов, которые будут писать статистические модели для обработки ваших данных.... и это только начало пути 🙂

Читайте, задавайте вопросы — ответим в комментариях к этому посту → https://vc.ru/marketing/408135-pochemu-nelzya-prosto-tak-vzyat-i-sdelat-svoyu-analitiku-na-bolshih-dannyh

#SQL и #Pandas очень похожи. Настолько, что если вы знаете одно, то научиться писать на другом сможете буквально за день 🙂

К слову, если вы работаете бизнес-аналитиком/аналитиком (который использует Excel/SQL), то научиться работать на Pandas - самое первое что вам стоит сделать. Потому что это во-первых будет просто для вас, а во вторых - вы сможете быстро понять, почему крутить данные в питоне сильно быстрее и удобнее.

Классная статья, в которой проводятся аналогии между SQL и Pandas запросами (своего рода словарик):
https://tproger.ru/translations/rewrite-sql-queries-in-pandas/

Интересная статья про разбор преимуществ языка R перед Python для задач анализа данных и data science

Основная мысль статьи, как мне кажется, вертится вокруг того, что R изначально был задуман как язык для различных манипуляций с данными, в итоге в нём предусмотрены необходимые типы данных, векторизация, удобная работа с табличными данными, пайплайны обработки данных и многое другое. В Python это всё тоже есть, но в виде «наворачиваемых» сверху пакетов, таких как numpy и pandas, но им неминуемо приходится адаптироваться к ООП-шной архитектуре Python, от чего возникает ряд решений, которые кто-то может назвать костыльными

Лично для меня Python всё-таки остаётся основным языком в анализе данных, так как уже слишком много времени и ресурсов затрачено на то, чтобы его изучить. Но для кого-то эта статья может быть хорошим набором аргументов для того, чтобы изучить R

https://habr.com/ru/post/670250/

📈 Grammar of graphics in a nutshell 📖
Вас когда-нибудь интересовало как работают такие фреймворки, как Observable Plot, ggplot2 или Vega-Lite? Автора этой статьи всерьез заинтересовал этот вопрос, поэтому он посмотрел множество реализаций, прочитал кучу статей, и кое-что придумал.
Пересказывать изучение визуализации целиком было бы глупо (важную чсть исследования составляют примеры и код), поэтому мы вкратце пройдемся по самым важным моментам, а полную цепочку преобразований лучше увидеть своими глазами на сайте.

🤔 Что вообще такое грамматика графики (GoG)?
Грамматика графики (GoG) — это язык для определения статистической графики, такой как гистограммы, диаграммы рассеяния и линейные графики из составных частей. Возможно, вы слышали или даже использовали библиотеку, построенную на GoG, такую ​​как Observable Plot, ggplot2, Vega-Lite и Swift Charts.

🔗 Конвейер GoG
Грубо говоря, GoG разделяет визуализацию данных на два отдельных этапа: данные - кодировки + метки -> абстрактное пространство - масштабы-> экранное пространство.

⚪ Все начинается с формы
Прежде чем мы сможем перейти к реальным компонентам GoG, нам нужен способ рендеринга элемнтов на экране. Для этого используется SVG и создается несколько простых основных элементов: прямоугольник и круг. С помощью этих элементов, впоследствии, будет выстроена вся визуализация. Кстати, некоторое время назад я частично рассказывал про d3.js и даже делился примером.

⚖️ Веса и абстрактное пространство
Чтобы сопоставить абстрактное визуальное пространство и пространство пикселей экрана, используются шкалирование.
В чем разница между абстрактным и экранным пространством? Экранное пространство — (во всех смыслах и целях) декартова система координат, а абстрактное пространство не обязательно должно быть таковым. Шкалы используются для построения отображений из абстрактного пространства в пространство экрана, чтобы точно передавать информацию, которая заключается в данных.

⏭ Затем в статье объясняются нюансы меток, кодировок, осей и легенды графика, но тут без визуальных объяснений не обойтись, поэтому переходите на сайт.

🚀 В целом, это, конечно, маленькая и неполная версия грамматики графики. Тем не менее, она позволяет рассмотреть весь путь создания визуализации: от исходных данных до графика на экране.

Немного про аналитику in real life, не применительно к цифрам и фактам, а больше к самому себе как объекту наблюдений, обладающим внутренними свойствами, которые подчас кажутся рациональными, но бывают очень тонки и неоднозначны

Неоднозначны наши внутренние свойства благодаря такому явлению как рефлексия, которое в свою очередь опирается как на объективную действительность, так и на субъективную

Чудо рефлексии состоит в том, что с её помощью мы можем выбирать интерпретацию. К сожалению, в раннем детстве большинство из нас лишены этой привелегии: из-за этого не оставляем внутри себя пространства между стимулом и суждением. Многие из нас не находят этого пространства и во взрослом возрасте. Как итог очень часто наши суждения становятся тем, что мы будто бы выбираем единожды и идём с этим всю свою сознательную жизнь

Воля выбирать интерпретацию исходит из мышления. Мышление, которое дарует нам узкий (и почти сходящийся к нулю) зазор между стимулом и реакцией. Именно этот зазор драматически расширяет пространство неопределённости решений, но вместе с тем дарует свободу

Используйте этот зазор часто, но не слишком, на своё усмотрение

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞
📖 Подробный гайд по кластеризации
Школа анализа данных (ШАД) написали отличную и весьма подробную практическую главу в рамках учебника по ML. Крайне приятно, что погузиться в тему можно даже тем, кто никогда не слышал о кластеризации раньше, ведь все термины вводятся и объясняются постепенно, а также гайд полон визуализаций. В нем разобраны самые современные методы: метод К-средних, DBSCAN и другие. Большое спасибо автору, ждем новых глав!

🙊 DALL-E Mini нашли неожиданное применение: генератор мемов
В начале июня в соцсетях «завирусился» сервис DALL-E Mini: первая версия нейросети от OpenAI, доступная всем пользователям. В результате любого запроса сервис генерирует коллаж из 9 наиболее релевантны изображений и... получается довольно забавно, а иногда и крипово. Этим воспользовался один из пользователей, который в итоге завел отдельную страницу в Twitter и раздел в Reddit, где начал собирать созданные DALL-E Mini изображения.
В ленте твиттера вы можете увидеть коллажи и текст запроса, которые не иначе кроме как "мем" зачастую и не назовешь))

🚫 Современные трудности и способ их преодоления
Ребята из iPhones нашли способ установки удаленных из AppStore приложений (Альфа-Банк, Сбербанк Онлайн и другие), который может помочь установить их на новый телефон, если есть такая необходимость. Важных условий всего два: нужно установить программу iMazing (бесплатного демо-периода будет вполне достаточно), а также приложение, которое вам нужно, должно было быть уже загружено раньше под вашей учетной записью. Пишите в комментариях, если проверяли этот способ или знаете какие-то другие!

👾 Что нового появится в Python 3.11?
Недавно появилась первая бета-версия Python 3.11, в которой есть несколько интересных функций: указание точного места возникновения ошибки (например, в какой части вычисления), добавление примечаний к объектам исключений, встроенная поддержка форматов toml библиотекой tomllib и многие другие более узкоиспользуемые функции. Вдобавок ко всему вышеперечисленному есть еще один плюс: в этой версии Python также стал в среднем на 22% быстрее. К октябрю, когда выйдет финальный релиз, он, возможно, станет работать еще быстрее. Ждете выход новой версии?

#weekly #дайджест

На vc.ru вышел подробный гайд про создание дашборда в DataLens

Гайд освещает все шаги в процессе:
- Создание подключения к базе данных
- Создание датасета
- Настройка полей
- Создание визуализаций (в том числе визуализаций с иерархиями, сводных таблиц, а также визуализаций на карте)
- Формирование дашборда
- Фильтрация данных дашборда

Как по мне, то получилось хорошее пошаговое руководство, которое может быть хорошим первым шагом в изучении DataLens

https://vc.ru/services/453689-kak-proanalizirovat-prodazhi-seti-magazinov-v-yandex-datalens-poshagovaya-instrukciya

Продолжая тему DataLens, затронутую в предыдущем посте

Недавно ребята из DataLens проводили вебинар, посвященный безопасности и разграничении прав доступа в DataLens. Делюсь записью этого вебинара

В рамках вебинара менеджеры по развитию Павел Дубинин и Рами Мулейс осветили такие вопросы:
- DataLens как часть облака в организациях;
- какие бывают учётные записи: федеративные, доменные, социальные и @yandex.ru;
- необходимые роли Yandex Cloud и как их задавать;
- внутренние каталоги объектов DataLens и логика прав;
- как безопасно поделиться дашбордом и что нужно знать о «публикации»;
- как настроить Row-Level Security вручную и через БД;
- общие вопросы безопасности в Yandex DataLens;
- планы развития сервиса.

Сразу спойлерну про планы. В планах развития сервиса Павел Дубинин подсветил появление:
- Групп в Identity ans Access Management
- Групповых операций с объектами
- Рекурсивное назначение прав через папки
- Воркбуков (это мне показалось наиболее интересным, потому что воркбуки объединят между собой подключения, датасеты, чарты, дашборды в единую сущность, к которой можно предоставлять доступ)

https://www.youtube.com/watch?v=NXEiPMfXwPo

Признаки дата-карго-культа (источник)

Интересная статья в блоге Бюро Сервисного Дизайна про различие бизнесов, которые разговаривают только на языке показателей, и бизнесов, говорящих на языке логики

Автор приводит и рассматривает формулировку закона Гудхарта:
Как только статистический показатель становится целью, он перестаёт отражать реальность.

Бизнесы, где менеджмент помешан на метриках, склонны выстраивать между метриками несуществующие казуальные связи, например, выстраивая взаимосвязь между NPS и выручкой. Взаимосвязь действительно есть, но это не линейная зависимость, а значит в её рассмотрении важно понимать как построены процессы, осознавать благодаря каким действиям (проектам) будет осуществлен рост одной метрики (например, NPS) и как изменение клиентского опыта будет влиять на рост другой метрики (в данном случае, выручки)

Для управления действительно нужно обращать внимание на метрики, но этого не достаточно. Управляющее воздействие должно быть обращено не на метрику, а на логику, которая лежит в основе процесса. А метрика – всего лишь показатель, по изменению которой мы судим правильно ли наше управляющее воздействие или его нужно корректировать

Автор находит и ответ на вопрос «Почему так популярна data-driven методология в управлении?». Часто этот подход позволяет закрыть дыры в управленческой компетенции, потому что data-driven подход выигрывает у подхода, когда менеджмент не опирается ни какие данные, а принимает решения интуитивно. Таким образом, метрики часто используются как способ «систематизировать бардак». Но выигрывает подход, при котором есть и метрики, и принятие решений, основанное на понимании логики процессов компании

https://blog.buro.cx/govorim-s-bizniesom-na-iazykie-loghiki/

Большой гайд по статистическим тестам от команды VK

https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

В последнее время этот телеграм-канал живёт странной жизнью: посты появляются не часто. Всему причина то, что сфера моих профессиональных интересов сместилась из аналитики в сторону управления. Забрасывать канал я не планирую, но пока думаю о том как его переформатировать

И на этом фоне я решил завести заумный канал в Телеграме про сложные системы, их структуру, управление и прочую «системщину». С уклоном в междисциплинарные исследования, поэтому будет не только про столько про технологии, но и про общество, экономику (в т.ч. поведенческую), антропологию, психологию, безмасштабные сети, теорию управления

Вот ссылка на первый содержательный пост

Многих молодых аналитиков, и не только их, работа с исследованиями уводит в темные дебри поиска проблем, планирования, итераций, выводов, а про презентацию результатов и вовсе забывают. Самое досадное случается, когда все потраченные усилия уходят «в стол». И это далеко не редкость для бизнеса.

В последнем кейсе на Хабре аналитик из Delivery Club поделился подходом их команды по работе с исследованиями. Из статьи вы узнаете, почему так важен подготовительный этап, а в конце вас ждет чек-лист основных действий.

Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.

Выглядит удобно как гибридный инструмент, и для тех кто напишет код сам, и для тех кому угодно не в виде кода, и для тех кто поправит за вторыми, то что они не могут сами.

Наступает время гибридных инструментов!

Ссылки:
[1] https://hex.tech/blog/introducing-no-code-cells

#datatools #sql #python

Наткнулся на замечательную подборку шаблонов d3.js у Observable

Например, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело кастомизируется под ваши данные, достаточно только загрузить таблицу с количеством пользователей в разбивке по когортам и отчетным периодам

А ещё есть аналогичный шаблон, но с Retention по сегментам

В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова.

Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.

В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon), Денис Нечитайло (Head of Product Analytics Ozon) и Сергей Юдин (COO Яндекс Кью).

Обсудили, где пролегает граница между дата-сайентистами и дата-аналитиками, поговорили о том, что нужно дата-сайентисту и что пригодится аналитику данных, рассказали, откуда взялась мода на дата-сайентистов (спойлер: по одной изверсий, из-за этой статьи «Дата-сайентист – самая сексуальная профессия»).

Послушать можно тут:

🎧Яндекс
🎧Apple
🎧Google

Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉

Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения.

Чему можно научиться после практики по гайду:
1️⃣ Работать с сырыми данными, предобратывать их (это изи)
2️⃣ Представлять в виде пригодных данных для анализа (посложнее, но задачка уровня джун+)
3️⃣ Подбирать модели и корректно оценивать их по метрикам (а вот и хардкор)
Из моделей разбираются:
- модель на основе catboost
- модель на основе линейной регрессии
- коэффициентная модель
- модель на основе экстраполяции логарифмом

Для кого полезно? Маркетинг менеджеры, продакты, аналитики
Что нужно уметь? Хотя бы немного в Python, чтобы применить рекомендации на практике (внутри примеры кода)

Если интересно, оставьте свои контакты на лендинге и скачивайте 👉 e-book

А что делать если данных для практики нет?
Даже если у вас нет своего продукта или клиентских данных и на первых страницах возникнет вопрос, — все круто, полезно, а где взять выгрузки, чтобы поиграться с моделями?

Ссылку на сырые данные, ищите на 14-й странице. Внутри:
файл с сырыми данными о транзакциях устройств для большого приложения
файл с данными о кумулятивном (накопленном) LTV устройств

E-book всего 43 страницы, поэтому концентрация пользы максимальная и без воды!

💎 Хочу порекомендовать канал Айти психолог

Вообще в канале бывает много полезного про менеджмент самого себя.
Крис, тимлид команд аналитики с опытом 7 лет в айти, пишет о практической психологии без воды и эзотерики:
🔹как побороть синдром самозванца
🔹как справляться с тревогой
🔹как наладить отношения с заказчиками
🔹как преуспеть на перформанс ревью

Подписывайтесь и больше не выгорайте 🌚

​​Open AI опубликовала крупнейшую нейросеть распознавания речи, обученную на 680 тысячах часов аудио, назвали Whisper — шепот.

Сеть понимает множество языков кроме английского, включая русский.

Качество распознавания сравнимо с сервисами от Google, Amazon, Microsoft и Yandex. При этом сервисы распознавания речи от корпораций стоят по 2 доллара за минуту распознавания, а тут можно скачать и пользоваться этой штукой бесплатно и без подключения к интернету.

Открыта и бесплатна для скачивания не только конечная сеть, но и «развесовка», то есть модель можно тюнить и использовать как составную часть более сложных алгоритмов. Не открыты только 680 тысяч часов аудио, которые использовали для обучения модели.

Пара примеров есть на странице проекта; распознать любые файлы и даже свою речь с микрофона можно попробовать онлайн в неофициальном google colab блокноте (очень классный инструмент!).

—

Кстати, если у вас айфон — рекомендую обновить iOS и попробовать встроенное распознавание речи. Новая версия iOS внесла одно маленькое изменение — теперь редактирование текста клавиатурой не прерывает процесс распознавания. Можно набрать текст голосом, исправить ошибку пальцами и продолжить набор голосом. Я теперь пишу большинство сообщений на айфоне именно так — гораздо быстрее и легче, чем печатать пальцами.

Интересно, что мы как раз начинаем исследовательский проект для Чайки — встроим распознавание речи в медицинскую информационную систему, чтобы врачи могли заполнять карточки пациентов голосом и тратили на это меньше времени.

Будущее уже совсем близко.