🧑‍🎓Ну что, соскучились, наверное, по твердым навыкам в канале?)
Сегодня хочу порассуждать с вами на тему: что я, как аналитик, концептуально люблю в ClickHouse

Будет полезно тем, кто с ней не знаком, а те кто знаком, дополняйте свои фишечки и тру стори в комменты, буду рада переопылиться😁

Я, когда только начала изучать DA, сразу мечтала поработать с этой БД, так как была наслышана о ее растущей популярности и насмотрена в разделе желаемых навыков в вакансиях.
От мыслей до действий я перешла довольно быстро. Тогда я познакомилась с первым ее преимуществом:

1️⃣ Ее легко (в пару шагов) развернуть у себя на компе, написать скрипт в питончике, загрузить тестовые данные и пробовать с ней работать.

⚠️ Если вы, как и я, хотите использовать алхимию, то версии коннектора CH и алхимии должны дружить
🐍 pip install clickhouse-sqlalchemy
(или обновить pip install --upgrade clickhouse-sqlalchemy, тут важна самая свежая версия)
🐍 pip install sqlalchemy==1.3.24
(у меня работает на этой версии)

Копируйте и наслаждайтесь экспериментами в CH:

 
from sqlalchemy import create_engine 
from sqlalchemy.orm import sessionmaker 
 
conn_str = f'clickhouse://{login}:{password}@{host}:{port}/{database}'
engine = create_engine(conn_str) 
df = pd.read_sql('select * from table', engine) 

2️⃣ Разные движки под разные задачи
На заре знакомства с ClickHouse я совсем не врубилась, что за движки у нее, какой использовать и что вообще происходит🗿. Прочитала, ничего не поняла и оставила эти мысли мариноваться до лучших времен.

Лучшие времена наступили примерно через год, когда у нас в команде появилась эта БД и мы стали активно ее использовать.
С помощью разных движков можно, например, реализовать автоматическую агрегацию (AggregatingMergeTree) или удаление дубликатов с учетом версионности (ReplacingMergeTree)
Тут ссылка на официальную справку

Если вы пока на старте изучения и не понимаете как и когда применять движок, то в любой непонятной ситуации и при отсутствии под рукой лояльного DE возьмите движок MergeTree, в большинстве случаях используется именно он. Движок указывается при создании таблицы в параметре engine

⚠️ Незнание движков не освобождает от ответственности. Если не знаете какой движок под капотом у таблицы, то обязательно выясните, так как могут быть случаи, например, неполных дублей в движке ReplacingMergeTree, а вы будете либо не понимать, что это дубли, либо долго вести расследование откуда они взялись

3️⃣ Многообразие встроенных функций по работе с данными.
Многие, я думаю, знают про uniqIf(), sumIf(), avgIf() и т.д. Но фишечки этим не ограничиваются. Когда мне надо было распарсить массив, который на самом деле строка, я использовала tokens(). Если мне нужен домен из URLа, я пользуюсь domain(). А есть возможность использовать нетипичную функцию argMax() и получать не только максимум по столбцу, но и значение другого столбца при достижения экстремума.

Все это ускоряет написание кода и делает сам код лаконичнее и проще.
⚠️ В ClickHouse очень много функций по работе с разными типами данных, чтобы ориентироваться во всем многообразии я пробежалась по доке и кратко ознакомилась с возможностями, плюс смотрела видео на youtube (того же Анатолия Карпова) - если вы знаете о возможностях, в нужный момент вы сможете быстро найти решение и воспользоваться им

У ClickHouse есть еще много разных фичей по партиционированию, репликации, хранению и доступу к данным, и важный момент, что с джойнами она не всегда легко справляется, но этот пост и так уже вышел на мини-статью, а разговор про ClickHouse может быть очень длинным)

Поэтому, если тема понравилась, то не забывайте про ❤️, так я понимаю актуальность темы😉

#hard

8 минут горячей прожарки резюме и гита. Для меня это первый опыт такого перфоманса.
Устраивайтесь поудобнее, вдохновляйтесь, делитесь инсайтами и ставьте ❤️🔥🐳

Публичная прожарка сделана с согласия автора резюме

🎞 Ссылка на YouTube

#прожарка

🎞 Подкаст-интервью "Карьерный трек химика от завода до IT"
Гость: Станислав Черногузов. Повелитель сквозной аналитики розничного блока в Сбере. До этого работал в Азбуке вкуса.
В аналитике 3 года.

Темы:
- Сколько времени понадобилось от намеренья до страрта карьеры
- Как понять нравится тебе будущая профессия или нет
- Проблемы при поиске первой работы
- Когнитивные искажения и страхи перехода
- Поддержка окружения
- Обучение

Это мой первый в жизни подкаст-интервью, буду благодарна любой поддержке ❤️
Как вам формат видео?
Полезно ли?
Какую тему было бы интересно так же обсудить?

P.S.: Да, у меня не розовые волосы, это все технологии🤭

#интервью

💡У меня неделю назад случился инсайт:
Я поняла, что все эти true story на ютубе на разных конференциях в меня встраиваются как опыт, а не как абстрактные знания. То есть мне не надо растить проект пол года или год, чтобы получить опыт, я беру его из конференций и мероприятий, я беру уже квинтэссенцию чужого труда. Вы представляете как это экономит ваше время? Не весь опыт можно сразу применить, это факт, но у вас он будет в копилочке кейсов, из которой в нужный момент вы будете доставать инструменты или решения.

И я сейчас не обесцениваю курсы ни в коем случае, они дают вам прекрасную базу, из которой ваша задача выжать максимум.

Я и сама продолжаю учиться. И я тут подсчитала сколько я инвестировала в разные обучения за последние пару лет: 🤑537 000 рублей.

Это были курсы на разные темы:
🥕 Data scientist
🥕 Web-аналитик
🥕 Data-аналитик
🥕 Продуктовый аналитик и управление продуктом
🥕 Продажи и маркетинг
🥕 Ораторское искусство и техника речи
🥕 Трансформационный ментор

🍒 Бесплатные курсы внутри Сбера
🍒 Вокал
🍒 Книги
🍒 YouTube

Если смотреть на профессию аналитика как на продукт со своей бизнес-моделью (а именно так и надо смотреть), то как вы думаете, какой срок окупаемости этих курсов?

Первые свои курсы на 60к в области аналитики я окупила за первый же месяц работы в новой сфере. Но если бы мы единоразово сделали инвестицию в обучение 500к, то с зарплатой джуна в 80к обучение окупилось бы на 6-7 месяц работы. Понятное дело, что там есть еще сроки внедрения, поиск инвесторов и т.п.😁 и, конечно, вам нужно инвестировать еще и время, энергию в купленное обучение, иначе проект не взлетит, но в этом посте я предлагаю смотреть на обучение глазами инвесторов без страданий и драмы. Вы - это ваш самый главный инвестиционный проект.

И знаете, что я подумала, когда посчитала деньги?
- Какого хера я так мало инвестирую🤡

Поэтому составляю план обучения теперь и еще мне предстоит пол года обучения на трансформационного ментора, даже с гос. аттестатом😁

Как вам такой взгляд на обучение, как инвест-проект? Поделитесь инсайтами, мыслями❤️

#soft