Привет!
Предлагаем вашему вниманию подборку интересных статей из области Анализа данных:

▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных
▪︎ 10+ книг по аналитике данных для начинающих и не только
▪︎ Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse
▪︎ Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли
▪︎ Что такое бессерверный SQL? И как использовать его для анализа данных?
▪︎ 30 лучших инструментов больших данных для анализа данных
▪︎ БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ
▪︎ Как создать простой SQL запрос на выгрузку данных из базы
▪︎ Сбор, консолидация и анализ данных - "Бизнес-аналитика и KPI"
▪︎ Тест Шапиро-Уилка является тестом на нормальность
▪︎ Факторный анализ для интерпретации исследования клиентского опыта
▪︎ Почему ваш анализ данных может быть обречен с самого начала
▪︎ Что читать аналитику данных: 7 современных книг для начинающих специалистов

❗️Ещё больше полезной информации про сбор, анализ и обработку данных, смотрите на канале: @data_analytics_it

Как аналитику выгружать большие датасеты? Как исправлять ошибки настройки памяти? И когда нужна выгрузка через консоль?

На эти и другие вопросы отвечает Александр Ледовский — тимлид команды аналитики и DS, который строит рекламные аукционы в Авито. В своем гайде он подробно рассказывает, как выгружать данные через toPandas и когда лучше воспользоваться его альтернативами.

👉 Если вы периодически работаете с большими датасетами, такая инструкция вам просто необходима: подробно описанный путь, подводные камни и рекомендации опытного специалиста. Жмите по ссылке и пользуйтесь!

Решил записывать свои мысли о рабочем и не только в формате видео.

Начну с темы рабочих созвонов и того, что часто на них бывает много людей, но не все из них нужны для продуктивной встречи

Открыт к комментариям, лайкам и подпискам)
#простые_мысли

Хорошая карта компетенций для аналитиков в Авито

Карты компетенций позволяют понять какие требования предъявляются к аналитикам данных на разных уровнях. Можно понять какие навыки и качества необходимы для достижения каждого уровня

Обычно рост по карьерной лестнице внутри компании предполагает, что для того, чтобы перейти на следующий уровень, необходимо выполнить определенные условия. Например, для перехода от Junior до Middle необходимо провести исследование уровня Middle и получить значимый результат, а для перехода от Middle до Senior необходимо выполнить аналитический проект уровня Senior или запустить аналитический продукт, систему или фичу в рамках OKR-инициативы продуктовой команды

Отдельно описан менеджерский трек, который предполагает умение работать в команде, разницу в зонах ответственности, подходы к мотивации команды, умение управлять аналитикой как функцией

По моим наблюдениям, у аналитиков на рынке не всегда есть понятная картинка как расти в карьере. Такие документы — полезная штука для формирования представления о карьерном росте и необходимых критериях внутри организации

https://github.com/avito-tech/playbook/blob/master/analytics-levels.md

Я выступал на конференциях и митапах и публичные выступления для меня это не что-то новое

Но вот формат начинать «что-то говорить ртом» на камеру без особой подготовки и выкладывать это в эти ваши интернеты — это прям интересно и ново, но вместе с тем тревожно. Так что чтобы снизить градус тревожности, я решил сначала попросить ChatGPT почелленджить мою точку зрения, чтобы быть психологически готовым к мнениям других

Об этом и рассказываю в следующем видео под тегом #простые_мысли

Конечно, это не подготовило меня к контраргументам про мою внешность, но это уже совсем другая история 😂

Всем привет! Меня зовут Алексей Макаров, я автор этого канала

Сейчас я занимаюсь исследованием сложностей и проблем, с которыми сталкиваются специалисты в сфере анализа данных. В рамках этого исследования я хочу провести опрос, который позволит мне лучше понять, с какими трудностями вы сталкиваетесь чаще всего.

Опрос задуман в формате парного выбора из списка высказываний о сложностях, с которыми могут столкнуться аналитики данных. Вам будет предложено выбрать одну сложность из пары, которая кажется вам наиболее актуальной или остро стоящей в вашей карьере.

Я уверен, что исследование этих вопросов позволит мне эффективнее подойти к разработке ресурсов и материалов, которые смогут облегчить вашу работу и решение возникающих трудностей.

Для участия в опросе просто переходите по ссылке. Всего будет 14 вопросов, заполнение займет примерно 5-7 минут. Никакие персональные данные не собираются. Заранее благодарю вас за предоставленное время и содействие! Ваши ответы помогут улучшить качество поддержки и помощи специалистам по анализу данных в будущем.

https://forms.gle/CzLoNhfD4SSVRU6S6

По поводу опроса прилетела обратная связь от нескольких участников о том, что дизайн опроса с парным сравнением — странно и непривычно, а местами даже неудобно.

Это действительно необычно: такие опросы чаще реализуют через множественный выбор. Это можно сказать мой эксперимент, как мне кажется, парное сравнение решает несколько задач:

1️⃣ Парный выбор позволяет определить относительную важность и актуальность различных сложностей, с которыми сталкиваются респонденты, при этом уделить внимание каждому вопросу, избежав селективного восприятия. Если показать весь список — значимыми могут стать те проблемы, которые расположены в начале списка.

Я понимаю, что при этом для кого-то пара предложенных проблем может быть одинаковой важности или одинаковой неважности. Я рекомендую выбирать ту сложность из пары, которая более всего затрагивает вас на текущий момент или которая кажется вам наиболее значимой. Если ни одна из предложенных сложностей не является проблемой для вас, я бы попросил выбирать ту, которая, по вашему мнению, может стать проблемой для других аналитиков данных (например, ваших коллег). Либо если проблемы для вас одинаково неважны, то можно скипнуть вопрос.

2️⃣ Другой причиной использования парного выбора в этом опросе является снижение когнитивной нагрузки на участников. Процесс принятия решения облегчается при ограничении альтернатив до двух вариантов. Если бы я предложил респондентам оценивать или ранжировать все сложности из длинного списка, это могло бы вызвать значительную когнитивную усталость и снизить качество получаемых данных. Парный выбор позволяет сосредоточиться на сравнении двух конкретных сложностей, что делает процесс принятия решения более точным и менее утомительным.

3️⃣ И ещё один важный момент — вовлеченность и желание пройти до конца. При попарном сравнении, когда пара вопросов показывается на одном экране, а следующие вопросы не видны сразу, у участников возникает больше мотивации пройти опрос (плюс в этом помогает индикатор прогресса), чтобы ознакомится со всеми вариантами. Есть гипотеза, что если бы я показывал их все сразу, то больше людей бы отваливалось увидев 28 вопросов и испугавшись, что придется потратить некоторое количество времени на вдумчивую оценку.

Если у вас есть идеи/предложения как можно было бы ещё организовать такой опрос — буду рад прочитать их в комментариях.

Кстати, результатами опроса я обязательно поделюсь в канале.

Мое новое видео. В нем рассуждаю про голосовые сообщения в работе, их плюсы и минусы, а также как можно ускорить работу за счет голосовых, если их переводить в текст и взять привычку набирать тексты через голос, но потом расшифровывать

Кстати, для расшифровки удобно использовать @my_voice_messages_bot, он работает на движке Whisper от OpenAI и качество распознавания и расстановки пунктуации существенно выше, чем у встроенной распознавалки в Телеге

#простые_мысли

А еще напоминаю про свой опрос (https://news.1rj.ru/str/datalytx/925) о софтах для аналитиков – вы мне очень поможете, уделив 5-7 минут своего времени

Коллега прислал чудесную картинку)

Интересная статья, которая рассматривает текущие ограничения языковых моделей с ограниченной поймой (LLM) и объясняет, почему они пока не могут быть полноценно использованы в self-service бизнес-аналитике (BI). Подробно анализируются сложности интеграции LLM в существующие BI-платформы и семантические слои. Несмотря на обещания и восторженные отзывы вендоров BI (например, Microsoft), реальность зачастую не так радужна и пока точность ответов далека от той, при которой это можно назвать масштабируемым и универсальным решением.

https://www.holistics.io/blog/large-language-model-self-service-analytics/

Тут рассказывают, как работает performance review в Авито — подробный гайд составил их директор по аналитике Илья Гуров. Для больших команд аналитиков, где спецов выше мидла может быть несколько, это просто золото. Грамотная система ревью позволяет руководителю понятно описать грейды и получить адекватное представление о росте сотрудников, компетенциях и карьерных ожиданиях.

Если коротко, то у Авито все устроено так:

1. Self-review. Сотрудник предъявляет собственные результаты.

2. Сбор отзывов от коллег, которые участвовали в тех же проектах или заинтересованы в результатах.

3. Оценка компетенций. Руководитель собирает артефакты и доказательства по всем компетенциям.

4. Калибровка оценок между руководителями. Это защита оценки перед другими менеджерами с презентацией и фасилитатором. Душно, но эффективно.

Все это проводят каждые полгода. Так отдел аналитики достигает сразу нескольких целей: у сотрудников есть прозрачный карьерный путь и мотивация, руководитель в курсе всех процессов, а еще у всех менеджеров синхронизируются ожидания.

Проводите у себя ревью? Поделитесь лайфхаками в комментах!

Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Я завёл отдельный канал для того, чтобы писать в него про большие языковые модели типа ChatGPT, Claude, LLAMA, постараюсь акцентировать внимание на том как их использовать в профессиональной деятельности и в бизнесе. В том числе буду больше писать про интеграцию LLM в бизнес-процессы, возможности использования для роста бизнес-метрик и ценности

https://news.1rj.ru/str/ai_forge

О новый дивный мир!

Говорили сегодня с подругой, которая не так давно переклафицировалась в QA-тестировщики о синдроме самозванца в IT-профессиях. И этот разговор навёл на некоторое количество любопытных мыслей

Синдром самозванца — это забавное и я бы даже сказал полезное расстройство, потому что оно заставляет успешных людей испытывать некоторую тревогу перед разоблачением. Что сейчас прибежит какой-нибудь Иван, который работает дольше тебя, и сорвет с тебя маску «гуру», а под маской... Кто же будет под маской... Тут без душераздирающих инсайтов — под маской будешь ты

Почему же синдром самозванца — полезный? Если научиться договариваться со своим внуренним самозванцем, то в определенный момент можно сделать его личным штурманом. Если обращать внимание на те моменты, когда у нас появляется мысль о том, что мы с чем-то не справимся и нас «разоблачат», то эту мысль можно попробовать перевернуть, что даст больше уверенности для того, чтобы идти вперед. Вот несколько примеров:

- Я не справляюсь с этой задачей и это будет конец моей карьеры → Я сейчас могу испытывать трудности, но результат этой задачи не определяет мою долгосрочную карьеру
- Я не сделаю это и все узнают, что я некомпетентен → Я имею право на ошибки, это позволяет мне учиться и совершенствоваться в своём деле
- Я не сделаю это на должном уровне и все поймут, что я бесполезен → Я приложу усилия, чтобы сделать это хорошо, но никто не выдаёт идеальный результат. Сделаю и посмотрю на обратную связь

И важная штука именно в этом переворачивании внутренних убеждений, чтобы сдвинуть себя из мертвой точки парализующей тревоги, убрать страх, ведь «страх убивает разум»

Со временем синдром самозванца становится спутником и вырабатывается привычка при первых его звоночках идти в какое-то начинание через смелость, говоря себе: «Пускай я сейчас в этом ничего не понимаю, выглядит сложно, и я не знаю что делать, но уверен, что по пути разберусь»

Лично у меня вряд ли будет такое состояние разума, что я перестану слышать внутри голос своего самозванца, это произойдёт только если я «успокоюсь» и буду ставить перед собой те задачи, которые уже когда-то решал, но с одинаковыми задачами мне скучно. И переживания в моем случае — это нормальная и нужная штука, потому что без переживаний я бы не кайфовал так в момент достижения результата. Эти легкие переживания приобретают флёр «несостоявшейся угрозы», когда оглядываясь назад понимаешь, что рисовал в своей голове больше преград, чем оказалось на самом деле

Без переживаний и сомнений можно, но как будто бы это возможно только в рамках очень узкой экспертной зоны. Иногда это хорошо, например, когда в команде есть сотрудник, глубоко погруженный в устройство определенной части системы, он становится таким «дедом-принципалом», к которому все ходят за советом. За рамки понимаемой системы он не выходит или выходит с неохотой

Бывает и другой типаж без сомнений в себе, но с кучей сомнений в других, такой «скучный профессионализм», без задора, но с большим количеством критики (надо признать, иногда конструктивной) такие люди черствеют в своей зоне экспертизы. Это не какая-то явная закономерность, но часто такие специалисты превращаются в тех, кто «лучше всех всё знает» и не признает своих ошибок. В общем, в классических душнил и токсиков, из-за которых команда часто испытывает демотивацию, потому что такие люди не оставляют другим места для ошибок

Мне кажется, с внутренним самозванцем нужно не бороться, а договариваться, научится лучше его понимать и конвертировать страхи в что-то более положительное, при этом оставляя себе пространство для переживаний. Я думаю, что «самозванцы» именно за счет своих сомнений и неуверенности, растут и развиваются быстрее, нежели те, кто никогда не сомневается. Ведь процесс осознания собственных ограничений и поиск путей для их преодоления — это то, что делает «самозванцев» более устойчивыми к изменениям и риску

Когда собирал данные по опросу, то одной из самых болючих тем оказалась история про синдром самозванца. И оно кажется логичным, так как анализ данных — это с одной стороны быстро меняющаяся сфера, а с другой стороны — ёмкая в плане экспертности мнения. Можно говорить, что в анализе данных есть какая-то предельная объективность, но на мой взгляд это не совсем так

Так что делюсь своими размышлениями про синдром самозванца, может кому-то будет полезно

Я тут сделал краткую выжимку инсайтов, которые показались мне полезными из нового отчета Маккинзи про состояние дел с внедрением ИИ в организациях

https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08

В топ-3 пунктов, которые ярко выделились по результатам моего опроса софтовых проблем, с которыми сталкиваются аналитики стал пункт «Я делаю работу, но у меня возникает ощущение, что она не приносит ценности бизнесу»

Одна из причин такого положения дел — аналитики часто бывают оторваны от бизнеса и воспринимаются как некие «калькуляторы», «интерфейсы к данным», «люди, которые делают дашборды». Если искать первопричину этого, то чаще всего окажется, что она кроется в организационной структуре, целеполагании организации, культуре принятия решений и в том, что менеджемент, отвечающий за бизнес-показатели, не способен (по разным причинам) эти самые бизнес-показатели проращивать на уровень других подразделений

Но тут проблема и в аналитиках, потому что часто я встречаю аналитиков, которых не очень то заботит бизнес, они любят данные, любят задачки, поковыряться, построить какой-нибудь звездолёт для сегментации клиентов с помощью глубокого обучения и цепей Маркова. И это бывает оправдано, когда наш звездолёт может окупить себя экономически, то есть сложность реализации алгоритма оправдывается экономической эффективностью — такое часто можно наблюдать в data-driven продуктах, где изменение какой-то метрики даже на 0,1% в абсолюте даст бизнесу ощутимый рост в деньгах

И это подводит к мысли о том, что если работа не приносит ценности бизнесу, то одной из компонент этого ощущения может быть непонимание самим аналитиком задач бизнеса и того как его труд может встроится в цепочку генерации ценности для бизнеса. Что подводит к вопросу «бизнес-мышления», про которое часто любят говорить нанимающие лиды и хэды аналитики

Жмите 🔥, если интересно почитать про этот вопрос подробнее

Звучит банально до тошноты, но я тут недавно проводил для коллег мастер-класс по составлению промптов

Разобрали из чего вообще состоит хороший промпт (инструкция, контекст, вводные данные, формат вывода), посмотрели на несколько приемов (few-shot, act like, direct stimulus prompting, chain-of-thought, chatgpt as prompt engineer) , обсудили ошибки, которые совершают люди, считающие что можно получить качественный результат от LLM-генерируемого текста с первого раза (ожидание, что gpt «читает мысли», отсутствие экспериментов с выводом, отсутствие черри-пикинга)

В общем, получилось очень базово, но как оказалось полезно, особенно для тех, кто не читал никаких туториалов и не подходит к «общению с LLM» как к чисто функциональной задаче заставить черный ящик выплевывать что-то с приемлемым результатом

Презентация с мастер-класса тут