Datalytics – Telegram
Datalytics
9.04K subscribers
219 photos
17 videos
5 files
674 links
Канал для аналитиков данных про Python, карьерное развитие в анализе данных, всякое разное

Автор – @ax_makarov

Отдельный канал про ChatGPT и его практическое применение —  @ai_forge

Чат канала — @pydata_chat

Вакансии — @data_hr
Download Telegram
Forwarded from Data Nature 🕊 (Alex Barakov)
Отлично проработанный Data Maturity Self Assessment Framework опубликован в паблик с удобными, понятными экселями для самооценки. Авторы - Британцы - UK Government Data Quality Hub разработали для своего правительства как страновой стандарт, на базе консалтингового продукта компании Data Orchard.. Не суть. Важно что модель хороша. не перегруженная и не поверхностная: 10 топиков, 97 критериев.

🔗 Описание в PDF
🔗
Self-assessment excel
🔗 Excel с описанием критериев (зачем то отдельно, удобнее все в один сложить)
🔗 Статья на Medium

🔥 Самое ценное - смысловое описание 5 градаций выраженности каждого критерия - в результате гайд задает понятные направления работы.

Мне понравились:
🔹 Критерий - Making data available to those who need it
Level 5: 'Data can be accessed and directly shared appropriately by all users who need it. All internal and external users can access data they need when they need it, without specialist support.'
🔹Критерий - Linking decisions that affect organisational outcomes to data
Level 5: 'Consistently links decisions that affect all critical and important organisational outcomes to data. Takes a customer-focused approach, incorporating the value that the organisation’s data has to its users into decision making.'
🔹Критерий - Collecting data with user needs in mind
Level 5: 'Has a clear understanding of the needs of the user providing data, and of user-centred design and methods in all relevant areas of the organisation. Fully embeds application of this understanding in product design and development from beginning to end.'

Прям чувствую, что не зря в команде выносим себе мозг, рисуя Analytics usecases maps и information demand matrices. 🤯
Капец какие же мы мачурные 😎

Тул будет полезен enterprise проектам с системным и массовым подходом в работе с данными. Которые при этом могут найти сейчас время для стратегического анализа 😅

Фреймворк может неплохо сочетаться с упражнением по разработке / обновлению data стратегии компании.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍51
Forwarded from BOGDANISSSIMO
ML LINKS

В недрах своего Notion откопал несколько подборок полезных статей, ссылок, видео по разным направлениям Machine Learning с которыми работал. Собрал их в одну кучу и делюсь с вами.

https://www.notion.so/uberkinder/b15ba7ccc032439bb5d282c8352f2e4e?v=0f9696310752456db047e94ab21c627f&pvs=4

Что имеем на момент 12/05/2023:

• Антифрод (36 ссылок)
• Ценообразование и прогноз спроса (17)
• Рекомендательные системы (42)
• A/B тесты (33, спасибо Валере)
• ML System Design (7)
• Ранжирование и поиск (6)

Список будет активно пополняться.
Буду благодарен репостам в ваши каналы и чаты.

#notion #links #ml #ml_system_design #mlsd #digest
👍11
🚀 Поговорим немного про важность насмотренности на тестовые (mock) собеседования для джуниор-специалистов при трудоустройстве на позиции аналитика данных и data scientist.

❗️ Тестовые собеседования - это отличный способ подготовиться к реальным интервью, понять свои сильные и слабые стороны и узнать о ключевых аспектах, на которые следует обратить внимание во время реального собеседования.

🎯 Смотря такие собеседования, можно оценить свой уровень знаний и точно знать, что нужно улучшить для успешного прохождения интервью. 🚀

Я собрал список полезных видео с тестовыми собеседованиями на разные позиции в сфере работы с данными :

🔹 Тестовое собеседование на позицию Junior Data Analyst

🔹 Собеседование на позицию аналитика данных

🔹 Собеседование на позицию продуктового аналитика

🔹 Собеседование на позицию Data Scientist

🔹 Собеседование на позицию Junior Data Scientist

🌟 Успешного прохождения собеседований и карьерного роста! 🐝
🔥15👍21
Запись вебинара «Коллективное использование аналитики в Yandex DataLens»

На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделился паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Роман разобрал как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.

Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.

Ссылка на запись вебинара
👍5
Запись вебинара «Потоковый анализ данных с использованием serverless-технологий»

Анализ данных — не всегда про тяжеловесные корпоративные системы. Оперативная аналитика данных нужна для событий безопасности, алертинга в приложениях, реакции на действия пользователей.

На вебинаре рассказывается о подходах к построению систем потокового анализа с помощью serverless-сервисов Yandex Cloud, на реальных примерах показано, как сократить издержки на разработку таких систем и ускорить их внедрение.

Вы узнаете, как решать бизнес-задачи, не тратя при этом ресурсы на обслуживание инфраструктуры. На вебинаре рассматривается использование сервисов:
* Yandex Data Streams;
* Yandex Query;
* Yandex API Gateway;
* Yandex Cloud Functions.

Запись вебинара
Запись девятого онлайн-митап для продуктовых аналитиков от AvitoTech

С докладами выступили спикеры из Авито, Дзен и EXPF. Поговорили про построение репутационной системы, об автоматизации оповещений, о падениях или нездоровых взлётах метрик, а также о методах сокращения дисперсии.

➡️Программа

1️⃣Как «раскрасить» продавца или основные этапы построения репутационной системы в Авито Недвижимости — Людмила Кучина, Авито
Людмила рассказала, как Авито решили перейти от поиска плохих объявлений к определению «качества» продавца. Как в Авито оценивают качество контента, почему эту задачу не получилось решить с помощью ML, и главное, чем этот опыт может быть полезен вам.

2️⃣Алерты о падениях продуктовых метрик, или как не терять деньги? — Иван Еремеев, VK (Дзен)
Ваня рассказал об автоматизации оповещения о падениях или нездоровых взлётах продуктовых метрик, чтобы сразу оценивать масштаб проблемы в деньгах, и что это дало продукту.

3️⃣Ускорение экспериментов с помощью VWE — Егор Сёмин, EXPF
Егор рассказал, зачем сокращать дисперсию, как это влияет на время проведения эксперимента. А ещё затронул тему преимуществ пост- и предобработки данных и скажет, чем работа с Variance-Weighted Estimator отличается от других методов.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.

Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту прекрасную ссылку: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy

Полезные материалы от разбора алгоритмической базы до продвинутых гайдов по нейроесетям, лайфаками с кодом.

Сохраняйте себе и отправляйте друзьям, в этой подборке каждый найдет что-то для себя: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy
👍5🔥21👎1
Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров

🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE
🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы
🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только
🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHR

Ещё больше каналов доступно в папке — https://news.1rj.ru/str/addlist/5bF19kBJLrI0NTQy
5🔥5👍2
Привет!
Предлагаем вашему вниманию подборку интересных статей из области Анализа данных:


Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных
10+ книг по аналитике данных для начинающих и не только
Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse
Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли
Что такое бессерверный SQL? И как использовать его для анализа данных?
30 лучших инструментов больших данных для анализа данных
БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ
Как создать простой SQL запрос на выгрузку данных из базы
Сбор, консолидация и анализ данных - "Бизнес-аналитика и KPI"
Тест Шапиро-Уилка является тестом на нормальность
Факторный анализ для интерпретации исследования клиентского опыта
Почему ваш анализ данных может быть обречен с самого начала
Что читать аналитику данных: 7 современных книг для начинающих специалистов

❗️Ещё больше полезной информации про сбор, анализ и обработку данных, смотрите на канале: @data_analytics_it
👍10
Как аналитику выгружать большие датасеты? Как исправлять ошибки настройки памяти? И когда нужна выгрузка через консоль?

На эти и другие вопросы отвечает Александр Ледовский — тимлид команды аналитики и DS, который строит рекламные аукционы в Авито. В своем гайде он подробно рассказывает, как выгружать данные через toPandas и когда лучше воспользоваться его альтернативами.

👉 Если вы периодически работаете с большими датасетами, такая инструкция вам просто необходима: подробно описанный путь, подводные камни и рекомендации опытного специалиста. Жмите по ссылке и пользуйтесь!
👍21
Media is too big
VIEW IN TELEGRAM
Решил записывать свои мысли о рабочем и не только в формате видео.

Начну с темы рабочих созвонов и того, что часто на них бывает много людей, но не все из них нужны для продуктивной встречи

Открыт к комментариям, лайкам и подпискам)
#простые_мысли
🔥18👍72👎2
Хорошая карта компетенций для аналитиков в Авито

Карты компетенций позволяют понять какие требования предъявляются к аналитикам данных на разных уровнях. Можно понять какие навыки и качества необходимы для достижения каждого уровня

Обычно рост по карьерной лестнице внутри компании предполагает, что для того, чтобы перейти на следующий уровень, необходимо выполнить определенные условия. Например, для перехода от Junior до Middle необходимо провести исследование уровня Middle и получить значимый результат, а для перехода от Middle до Senior необходимо выполнить аналитический проект уровня Senior или запустить аналитический продукт, систему или фичу в рамках OKR-инициативы продуктовой команды

Отдельно описан менеджерский трек, который предполагает умение работать в команде, разницу в зонах ответственности, подходы к мотивации команды, умение управлять аналитикой как функцией

По моим наблюдениям, у аналитиков на рынке не всегда есть понятная картинка как расти в карьере. Такие документы — полезная штука для формирования представления о карьерном росте и необходимых критериях внутри организации

https://github.com/avito-tech/playbook/blob/master/analytics-levels.md
👍10👎2🔥2
Media is too big
VIEW IN TELEGRAM
Я выступал на конференциях и митапах и публичные выступления для меня это не что-то новое

Но вот формат начинать «что-то говорить ртом» на камеру без особой подготовки и выкладывать это в эти ваши интернеты — это прям интересно и ново, но вместе с тем тревожно. Так что чтобы снизить градус тревожности, я решил сначала попросить ChatGPT почелленджить мою точку зрения, чтобы быть психологически готовым к мнениям других

Об этом и рассказываю в следующем видео под тегом #простые_мысли

Конечно, это не подготовило меня к контраргументам про мою внешность, но это уже совсем другая история 😂
🔥18😁5🤯2
Всем привет! Меня зовут Алексей Макаров, я автор этого канала

Сейчас я занимаюсь исследованием сложностей и проблем, с которыми сталкиваются специалисты в сфере анализа данных. В рамках этого исследования я хочу провести опрос, который позволит мне лучше понять, с какими трудностями вы сталкиваетесь чаще всего.

Опрос задуман в формате парного выбора из списка высказываний о сложностях, с которыми могут столкнуться аналитики данных. Вам будет предложено выбрать одну сложность из пары, которая кажется вам наиболее актуальной или остро стоящей в вашей карьере.

Я уверен, что исследование этих вопросов позволит мне эффективнее подойти к разработке ресурсов и материалов, которые смогут облегчить вашу работу и решение возникающих трудностей.

Для участия в опросе просто переходите по ссылке. Всего будет 14 вопросов, заполнение займет примерно 5-7 минут. Никакие персональные данные не собираются. Заранее благодарю вас за предоставленное время и содействие! Ваши ответы помогут улучшить качество поддержки и помощи специалистам по анализу данных в будущем.

https://forms.gle/CzLoNhfD4SSVRU6S6
👍9🔥2👎1
Datalytics
Всем привет! Меня зовут Алексей Макаров, я автор этого канала Сейчас я занимаюсь исследованием сложностей и проблем, с которыми сталкиваются специалисты в сфере анализа данных. В рамках этого исследования я хочу провести опрос, который позволит мне лучше…
По поводу опроса прилетела обратная связь от нескольких участников о том, что дизайн опроса с парным сравнением — странно и непривычно, а местами даже неудобно.

Это действительно необычно: такие опросы чаще реализуют через множественный выбор. Это можно сказать мой эксперимент, как мне кажется, парное сравнение решает несколько задач:

1️⃣ Парный выбор позволяет определить относительную важность и актуальность различных сложностей, с которыми сталкиваются респонденты, при этом уделить внимание каждому вопросу, избежав селективного восприятия. Если показать весь список — значимыми могут стать те проблемы, которые расположены в начале списка.

Я понимаю, что при этом для кого-то пара предложенных проблем может быть одинаковой важности или одинаковой неважности. Я рекомендую выбирать ту сложность из пары, которая более всего затрагивает вас на текущий момент или которая кажется вам наиболее значимой. Если ни одна из предложенных сложностей не является проблемой для вас, я бы попросил выбирать ту, которая, по вашему мнению, может стать проблемой для других аналитиков данных (например, ваших коллег). Либо если проблемы для вас одинаково неважны, то можно скипнуть вопрос.

2️⃣ Другой причиной использования парного выбора в этом опросе является снижение когнитивной нагрузки на участников. Процесс принятия решения облегчается при ограничении альтернатив до двух вариантов. Если бы я предложил респондентам оценивать или ранжировать все сложности из длинного списка, это могло бы вызвать значительную когнитивную усталость и снизить качество получаемых данных. Парный выбор позволяет сосредоточиться на сравнении двух конкретных сложностей, что делает процесс принятия решения более точным и менее утомительным.

3️⃣ И ещё один важный момент — вовлеченность и желание пройти до конца. При попарном сравнении, когда пара вопросов показывается на одном экране, а следующие вопросы не видны сразу, у участников возникает больше мотивации пройти опрос (плюс в этом помогает индикатор прогресса), чтобы ознакомится со всеми вариантами. Есть гипотеза, что если бы я показывал их все сразу, то больше людей бы отваливалось увидев 28 вопросов и испугавшись, что придется потратить некоторое количество времени на вдумчивую оценку.

Если у вас есть идеи/предложения как можно было бы ещё организовать такой опрос — буду рад прочитать их в комментариях.

Кстати, результатами опроса я обязательно поделюсь в канале.
👍6👎2
Media is too big
VIEW IN TELEGRAM
Мое новое видео. В нем рассуждаю про голосовые сообщения в работе, их плюсы и минусы, а также как можно ускорить работу за счет голосовых, если их переводить в текст и взять привычку набирать тексты через голос, но потом расшифровывать

Кстати, для расшифровки удобно использовать @my_voice_messages_bot, он работает на движке Whisper от OpenAI и качество распознавания и расстановки пунктуации существенно выше, чем у встроенной распознавалки в Телеге

#простые_мысли

А еще напоминаю про свой опрос (https://news.1rj.ru/str/datalytx/925) о софтах для аналитиков – вы мне очень поможете, уделив 5-7 минут своего времени
🔥8👎2👍1
Коллега прислал чудесную картинку)
30👍3😁3
Интересная статья, которая рассматривает текущие ограничения языковых моделей с ограниченной поймой (LLM) и объясняет, почему они пока не могут быть полноценно использованы в self-service бизнес-аналитике (BI). Подробно анализируются сложности интеграции LLM в существующие BI-платформы и семантические слои. Несмотря на обещания и восторженные отзывы вендоров BI (например, Microsoft), реальность зачастую не так радужна и пока точность ответов далека от той, при которой это можно назвать масштабируемым и универсальным решением.

https://www.holistics.io/blog/large-language-model-self-service-analytics/
Тут рассказывают, как работает performance review в Авито — подробный гайд составил их директор по аналитике Илья Гуров. Для больших команд аналитиков, где спецов выше мидла может быть несколько, это просто золото. Грамотная система ревью позволяет руководителю понятно описать грейды и получить адекватное представление о росте сотрудников, компетенциях и карьерных ожиданиях.

Если коротко, то у Авито все устроено так:

1. Self-review. Сотрудник предъявляет собственные результаты.

2. Сбор отзывов от коллег, которые участвовали в тех же проектах или заинтересованы в результатах.

3. Оценка компетенций. Руководитель собирает артефакты и доказательства по всем компетенциям.

4. Калибровка оценок между руководителями. Это защита оценки перед другими менеджерами с презентацией и фасилитатором. Душно, но эффективно.

Все это проводят каждые полгода. Так отдел аналитики достигает сразу нескольких целей: у сотрудников есть прозрачный карьерный путь и мотивация, руководитель в курсе всех процессов, а еще у всех менеджеров синхронизируются ожидания.

Проводите у себя ревью? Поделитесь лайфхаками в комментах!