На одной моей консультации у джуна был хороший вопрос: чем навыки Python/SQL могут отличаться у Junior🐣 и Middle/Senior🦉 data-аналитиков?

Да могут ничем не отличаться, если junior хорошо ориентируется в синтаксисе и логическом смысле операций и уверенно их использует. Но от джуна обычно не ждут, что он будет придумывать сложные алгоритмы, находить оптимальные решения, работать автономно. Джуну старшие аналитики будут давать простые задачки, которые в команде всем понятно как их решать.

Но если от джуна и не ждут подвигов, то для него будет отличной практикой предлагать своему наставнику несколько вариантов решений одной задачи, а наставник с вершины своего опыта расскажет плюсы и минусы выбранных решений или подсветит новые.

Кроме заслуживания бонусов перед лидом, который будет счастлив, что джун подумал над задачей перед тем как подойти, начинающий спец будет развивать аналитические способности, системное мышление, быстрый поиск решений, творческий подход, да и в принципе держать мозг в тонусе.

Навык поиска альтернатив на самом-то деле будет полезен специалисту любого уровня и любой 👨‍💻 професси. Практически у каждой задачи есть несколько вариантов решений и еще несколько, которых вы не видите. А пока вы их не видете, писать код лаконично и эффективно будет сложно.

Лучшее, что вы можете сделать прямо сейчас для прокачивания навыка - взять учебные/рабочие задачи и попробовать прикинуть разные варианты их решения. А я в ближайшие дни размещу простую задачку потренироваться над навыком😌

На скрине отображена часть дашборда и на нем сгенерирована ошибка. Не читая пост ниже, попробуйте догадаться какая🤔 (и нет, дело не в осях координат, координаты умышленно были стерты)

📊Ошибки в дашбордах я бы разделила на 3 группы: логические, визуальные и проблемы в данных. Если ошибки в данных находятся с помощью критического мышления и более опытных товарищей, а про визуальные уже написано множество статей, то темы про логические ошибки гораздо реже всплывают среди тем аналитиков, но они не редко встречаются у начинающих специалистов.

🧑‍🎓Описанные ниже кейсы относительны и, конечно, в каждом правиле есть исключения: есть требования заказчика, ТЗ, специфические показатели, детальные срезы и т.п., но для построения большинства дашбордов стоит обращать внимание на эти возможные ошибки:

1. У чартов на дашборде разные периоды дат.
Чаще всего просмотр за разные периоды решается пользовательской фильтрацией. Когда у вас графики (например, динамика трафика и доля источников трафика) имеют разные периоды, то вы пользователя можете ввести в заблуждение и он сформирует неверные выводы. С бОльшей вероятностью пользователь будет ожидать одинаковые даты на всех чартах дашборда.
Если сам стейколдер указал в требованиях разные даты, то желательно отобразить эту информацию около чарта и в документации к дашборду, так как стейкхолдер может забыть об этом, а вопросы возникнут к вам

2. Предустановленные фильтры на чартах.
Да, иногда есть необходимость поставить фильтр, например, на пустую категорию, чтобы она не отображалась, или отобразить данные по срезу, но чаще всего стейкхолдер не ожидает, что за него на графике уже что-то предфильтровано. На моей практике в такую фильтрацию чаще всего попадают даты, определенные источники трафика или фильтрация по продукту в общих показателях и т.п.

3. Разная грануляция показателей.
Например, на графике трафика данные по неделям, а на графике рекламных показов по дням. Если пользователь вашего дашборда захочет найти закономерность, то он ее или найдет неправильно, или придет к вам с просьбой эти данные выгрузить. О грануляции графиков на дашборде желательно договариваться в период сбора требований, а не в момент построения

4. Сравнение неделя к неделе: когда текущая неделя сравнивается с предыдущей.
Текушая неделя часто будет проигрывать, так как еще не закончилась. Лучше выбрать сравнение последних 7 дней и предыдущих 7 дней. Будьте внимательны, если работаете в SuperSet и используете подобные сравнения.

5. Сравнение дня с предыдущим днем.
Обращайте внимание нет ли недельной сезонности. Ее можно определить визуально или в python воспользоваться функцией:
from statsmodels.tsa.seasonal import seasonal_decompose
decompose = seasonal_decompose(df)
decompose.plot().set_size_inches(15,5)

Если недельная сезонность наблюдается, то лучше использовать сравнение дня к такому же дню на прошлой неделе. И если у вас данные близкие к реальному времени и день в сравнении используется текущий, то и сравнивать день ко дню нужно с учетом текущего времени

Для кого вышеперечисленное - это очевидные истины, будет здорово, если вы поделитесь в комментариях ошибками, с которыми сами сталкивались в работе👨‍💻
А кому было полезно, буду рада обратной связи в виде ❤️ или комментария🤗

#hard

🧑‍🎓Задача на развитие навыка поиск альтернативных решений.

На скрине вы видете сэмпл датафрейма pandas с двумя столбцами. Вам нужно очистить page от get-параметров и якорей и оставить только адрес страницы. Чем больше найдете разных способов решения, тем лучше.
Для тех, кому мало, можете выделить продукт из URL (product1, product12 и тд)

Решения предлагайте в комментариях, через несколько дней выложу свои😉

#hard

👨‍💻Сегодня на менторстве рассказывала про ООП и его принципы, немного коснулись архитектуры микросервисов и монолитов - таков был запрос у аналитика (привет, вдохновение для поста)

Поэтому проведем экспресс-тест📊!
Нужно ли data-аналитику вникать в архитектуру, разработку и ООП?

Ставьте мысленную галочку, если:
🟢Эти навыки отвечают вашим дальнейшим планам на развитие по карьерной лестнице, например, во владельца продукта
🟢Вы хотите делать инфраструктурные мини-приложения внутри команды или вовне, упаковывать/структурировать код в модули и библиотеки
🟢Рассматриваете вариант перехода из аналитики в разработку
🟢Вам просто интересна эта тема

Если хоть где-то стоит "ДА" и вам не душно от этих понятий, то смело осваивайте новые горизонты и расширяйте кругозор. Но стоит понимать, что этот навык скорее приятный дополнительный бонус в развитие, но не базовый для data-аналитика. Если вы вникнете в ООП, а pandas и методы исследования данных вышли из чата, то это будет скорее минус, чем плюс.

И на адекватных собесах вас вряд ли будут спрашивать про ООП, только если вы чем-то не разозлили интервьюера (было такое на моей практике), но совершенно точно могут устроить live-code интервью или задавать вопросы про статистику и котиков. Кстати, если не понимаете его (ООП), то из резюме лучше убрать, чтобы потом не было стремно, когда вас спрашивают разъяренные интервьюеры😈

Если вам полезно/интересно, буду рада обратной связи в виде комментария или 💚.
🛀Приятной пятнички, пошла отдыхать!

#hard

🧑‍🎓Решение задачки по очистке подъехало. Решила еще добавить время исполнения в качестве познавательного материала

В комментариях от Александра было отличное дополнение в виде еще двух вариантов решения:

1. Перебирая по очереди каждый символ, добавлять его в массив, пока не встретиться ? или #, затем собрать массив в строку
2. Использовать библиотеку urllib3 для отделения хвоста

Нравится такая рубрика? Ставьте 💚, я подготовлю еще задачки😉

#hard

🧑‍🎓В прошлом посте в комментариях был резонный вопрос про размер выборки на котором считалось время исполнения (критическое мышление в действии🔥)

Так как перед экспериментом я сама ставила на лошадок str.extract или str.replace (думала победит кто-то из них), то комментарий про магию на больших объемах натолкнули на мысль это затестить. 4М строк не очень большой объем, но все же показательный.

⚠️ Можно сказать, что в данном случае победил apply, НО, я считаю, что есть немаленькая вероятность того, что это сработало так на конкретных данных и с конкретными регулярными выражениями.
Поэтому, если для ваших задач быстродействие - критический показатель, то протестируйте разные варианты на разных объемах и выберите оптимальный.

Можно тут парировать, что не всегда есть время на эксперименты, но это лишь значит, что у вас сейчас нет потребности в оптимизации и мощи вашей вычислительной машины хватает.

У меня на практике не все алгоритмы справлялись с задачей быстро и приходилось пробовать другие, чтобы скорость была выше. Вот вам еще плюсик в мотивацию работать над навыками поиска альтернативных решений и проведения экспериментов - может пригодиться в нагруженных задачах😉

Не забывайте про ❤️ и комментарии, так я буду понимать интересно вам или нет🤗

#hard

Сегодня познакомилась с новым менти. Для меня каждый разговор, как открытие новой вселенной, все такие разные с одной стороны, а с другой такие похожие в своих проблемах и путях.

Курсы обещают, что 999,9% их учеников устраиваются на работу в крупные кампании, получают 300к/нсек и живут счастливую жиииизнь.
Но когда джун выходит на рынок труда, ему тяжело осознать на каком уровне он находится, то, что он знает, этого достаточно или нет? И иногда происходит так, что человек сливается и дальше курса не идёт.

Что мешает джуну сразу после курсов искать работу и на что обратить внимание:

📌Перфекционизм - вечное "я недо" и мне нужно ещё изучить статистику, комбинаторику, линал, подробнее разобраться с пандами и как-то все это добро визуализировать и т.д.

И что происходит с мозгом? Правильно, он покидает чат и включает автопилот, который ничего не решает, ничего не замечает и ничего не делает.
Если это ваша цель, все ок.

📌Прокрастинация - сейчас не лучшее время, я ещё не готов. Сильно сплетена с перфекционизмом и действуют эти ребята сообща

📌 Страх - дикий ужас перед позором. Непройденный собес шатает самооценку и мозг решает, что лучше уж тогда вообще не проходить собесы, отложить до лучших времен, когда все будешь знать.

Что делать?
Шагать в страх - лучшее, что вы можете сделать. Всегда будет что-то не так. Проходить собеседования - это точно такой же навык, как ходьба, рисование, вокал, сноуборд и т.д. Вы же когда учились ходить, то не сразу пошли, а много падали, спотыкались и ревели. И ложкой не сразу научились есть и тоже ревели(заметили, что человек все мощные трансформации получает через действия и страдания?😂). Но сейчас же все ок: ходите, сидите, едите.

Тут можно еще подстелить себе соломки и послушать открытые собесы, поучаствовать в них или прийти к наставнику, который может вас прожарить по хардам и скорректировать по софтам.

И вспомните зачем вам это все нужно. Зачем быть аналитиком/разработчиком/учителем? Что это для вас значит?

Если тема актуальна, буду рада обратной связи в виде❤️ и комментариев

#soft

🧑‍🎓Ну что, соскучились, наверное, по твердым навыкам в канале?)
Сегодня хочу порассуждать с вами на тему: что я, как аналитик, концептуально люблю в ClickHouse

Будет полезно тем, кто с ней не знаком, а те кто знаком, дополняйте свои фишечки и тру стори в комменты, буду рада переопылиться😁

Я, когда только начала изучать DA, сразу мечтала поработать с этой БД, так как была наслышана о ее растущей популярности и насмотрена в разделе желаемых навыков в вакансиях.
От мыслей до действий я перешла довольно быстро. Тогда я познакомилась с первым ее преимуществом:

1️⃣ Ее легко (в пару шагов) развернуть у себя на компе, написать скрипт в питончике, загрузить тестовые данные и пробовать с ней работать.

⚠️ Если вы, как и я, хотите использовать алхимию, то версии коннектора CH и алхимии должны дружить
🐍 pip install clickhouse-sqlalchemy
(или обновить pip install --upgrade clickhouse-sqlalchemy, тут важна самая свежая версия)
🐍 pip install sqlalchemy==1.3.24
(у меня работает на этой версии)

Копируйте и наслаждайтесь экспериментами в CH:

 
from sqlalchemy import create_engine 
from sqlalchemy.orm import sessionmaker 
 
conn_str = f'clickhouse://{login}:{password}@{host}:{port}/{database}'
engine = create_engine(conn_str) 
df = pd.read_sql('select * from table', engine) 

2️⃣ Разные движки под разные задачи
На заре знакомства с ClickHouse я совсем не врубилась, что за движки у нее, какой использовать и что вообще происходит🗿. Прочитала, ничего не поняла и оставила эти мысли мариноваться до лучших времен.

Лучшие времена наступили примерно через год, когда у нас в команде появилась эта БД и мы стали активно ее использовать.
С помощью разных движков можно, например, реализовать автоматическую агрегацию (AggregatingMergeTree) или удаление дубликатов с учетом версионности (ReplacingMergeTree)
Тут ссылка на официальную справку

Если вы пока на старте изучения и не понимаете как и когда применять движок, то в любой непонятной ситуации и при отсутствии под рукой лояльного DE возьмите движок MergeTree, в большинстве случаях используется именно он. Движок указывается при создании таблицы в параметре engine

⚠️ Незнание движков не освобождает от ответственности. Если не знаете какой движок под капотом у таблицы, то обязательно выясните, так как могут быть случаи, например, неполных дублей в движке ReplacingMergeTree, а вы будете либо не понимать, что это дубли, либо долго вести расследование откуда они взялись

3️⃣ Многообразие встроенных функций по работе с данными.
Многие, я думаю, знают про uniqIf(), sumIf(), avgIf() и т.д. Но фишечки этим не ограничиваются. Когда мне надо было распарсить массив, который на самом деле строка, я использовала tokens(). Если мне нужен домен из URLа, я пользуюсь domain(). А есть возможность использовать нетипичную функцию argMax() и получать не только максимум по столбцу, но и значение другого столбца при достижения экстремума.

Все это ускоряет написание кода и делает сам код лаконичнее и проще.
⚠️ В ClickHouse очень много функций по работе с разными типами данных, чтобы ориентироваться во всем многообразии я пробежалась по доке и кратко ознакомилась с возможностями, плюс смотрела видео на youtube (того же Анатолия Карпова) - если вы знаете о возможностях, в нужный момент вы сможете быстро найти решение и воспользоваться им

У ClickHouse есть еще много разных фичей по партиционированию, репликации, хранению и доступу к данным, и важный момент, что с джойнами она не всегда легко справляется, но этот пост и так уже вышел на мини-статью, а разговор про ClickHouse может быть очень длинным)

Поэтому, если тема понравилась, то не забывайте про ❤️, так я понимаю актуальность темы😉

#hard

8 минут горячей прожарки резюме и гита. Для меня это первый опыт такого перфоманса.
Устраивайтесь поудобнее, вдохновляйтесь, делитесь инсайтами и ставьте ❤️🔥🐳

Публичная прожарка сделана с согласия автора резюме

🎞 Ссылка на YouTube

#прожарка