🧑‍🎓Решение задачки по очистке подъехало. Решила еще добавить время исполнения в качестве познавательного материала

В комментариях от Александра было отличное дополнение в виде еще двух вариантов решения:

1. Перебирая по очереди каждый символ, добавлять его в массив, пока не встретиться ? или #, затем собрать массив в строку
2. Использовать библиотеку urllib3 для отделения хвоста

Нравится такая рубрика? Ставьте 💚, я подготовлю еще задачки😉

#hard

🧑‍🎓В прошлом посте в комментариях был резонный вопрос про размер выборки на котором считалось время исполнения (критическое мышление в действии🔥)

Так как перед экспериментом я сама ставила на лошадок str.extract или str.replace (думала победит кто-то из них), то комментарий про магию на больших объемах натолкнули на мысль это затестить. 4М строк не очень большой объем, но все же показательный.

⚠️ Можно сказать, что в данном случае победил apply, НО, я считаю, что есть немаленькая вероятность того, что это сработало так на конкретных данных и с конкретными регулярными выражениями.
Поэтому, если для ваших задач быстродействие - критический показатель, то протестируйте разные варианты на разных объемах и выберите оптимальный.

Можно тут парировать, что не всегда есть время на эксперименты, но это лишь значит, что у вас сейчас нет потребности в оптимизации и мощи вашей вычислительной машины хватает.

У меня на практике не все алгоритмы справлялись с задачей быстро и приходилось пробовать другие, чтобы скорость была выше. Вот вам еще плюсик в мотивацию работать над навыками поиска альтернативных решений и проведения экспериментов - может пригодиться в нагруженных задачах😉

Не забывайте про ❤️ и комментарии, так я буду понимать интересно вам или нет🤗

#hard

Сегодня познакомилась с новым менти. Для меня каждый разговор, как открытие новой вселенной, все такие разные с одной стороны, а с другой такие похожие в своих проблемах и путях.

Курсы обещают, что 999,9% их учеников устраиваются на работу в крупные кампании, получают 300к/нсек и живут счастливую жиииизнь.
Но когда джун выходит на рынок труда, ему тяжело осознать на каком уровне он находится, то, что он знает, этого достаточно или нет? И иногда происходит так, что человек сливается и дальше курса не идёт.

Что мешает джуну сразу после курсов искать работу и на что обратить внимание:

📌Перфекционизм - вечное "я недо" и мне нужно ещё изучить статистику, комбинаторику, линал, подробнее разобраться с пандами и как-то все это добро визуализировать и т.д.

И что происходит с мозгом? Правильно, он покидает чат и включает автопилот, который ничего не решает, ничего не замечает и ничего не делает.
Если это ваша цель, все ок.

📌Прокрастинация - сейчас не лучшее время, я ещё не готов. Сильно сплетена с перфекционизмом и действуют эти ребята сообща

📌 Страх - дикий ужас перед позором. Непройденный собес шатает самооценку и мозг решает, что лучше уж тогда вообще не проходить собесы, отложить до лучших времен, когда все будешь знать.

Что делать?
Шагать в страх - лучшее, что вы можете сделать. Всегда будет что-то не так. Проходить собеседования - это точно такой же навык, как ходьба, рисование, вокал, сноуборд и т.д. Вы же когда учились ходить, то не сразу пошли, а много падали, спотыкались и ревели. И ложкой не сразу научились есть и тоже ревели(заметили, что человек все мощные трансформации получает через действия и страдания?😂). Но сейчас же все ок: ходите, сидите, едите.

Тут можно еще подстелить себе соломки и послушать открытые собесы, поучаствовать в них или прийти к наставнику, который может вас прожарить по хардам и скорректировать по софтам.

И вспомните зачем вам это все нужно. Зачем быть аналитиком/разработчиком/учителем? Что это для вас значит?

Если тема актуальна, буду рада обратной связи в виде❤️ и комментариев

#soft

🧑‍🎓Ну что, соскучились, наверное, по твердым навыкам в канале?)
Сегодня хочу порассуждать с вами на тему: что я, как аналитик, концептуально люблю в ClickHouse

Будет полезно тем, кто с ней не знаком, а те кто знаком, дополняйте свои фишечки и тру стори в комменты, буду рада переопылиться😁

Я, когда только начала изучать DA, сразу мечтала поработать с этой БД, так как была наслышана о ее растущей популярности и насмотрена в разделе желаемых навыков в вакансиях.
От мыслей до действий я перешла довольно быстро. Тогда я познакомилась с первым ее преимуществом:

1️⃣ Ее легко (в пару шагов) развернуть у себя на компе, написать скрипт в питончике, загрузить тестовые данные и пробовать с ней работать.

⚠️ Если вы, как и я, хотите использовать алхимию, то версии коннектора CH и алхимии должны дружить
🐍 pip install clickhouse-sqlalchemy
(или обновить pip install --upgrade clickhouse-sqlalchemy, тут важна самая свежая версия)
🐍 pip install sqlalchemy==1.3.24
(у меня работает на этой версии)

Копируйте и наслаждайтесь экспериментами в CH:

 
from sqlalchemy import create_engine 
from sqlalchemy.orm import sessionmaker 
 
conn_str = f'clickhouse://{login}:{password}@{host}:{port}/{database}'
engine = create_engine(conn_str) 
df = pd.read_sql('select * from table', engine) 

2️⃣ Разные движки под разные задачи
На заре знакомства с ClickHouse я совсем не врубилась, что за движки у нее, какой использовать и что вообще происходит🗿. Прочитала, ничего не поняла и оставила эти мысли мариноваться до лучших времен.

Лучшие времена наступили примерно через год, когда у нас в команде появилась эта БД и мы стали активно ее использовать.
С помощью разных движков можно, например, реализовать автоматическую агрегацию (AggregatingMergeTree) или удаление дубликатов с учетом версионности (ReplacingMergeTree)
Тут ссылка на официальную справку

Если вы пока на старте изучения и не понимаете как и когда применять движок, то в любой непонятной ситуации и при отсутствии под рукой лояльного DE возьмите движок MergeTree, в большинстве случаях используется именно он. Движок указывается при создании таблицы в параметре engine

⚠️ Незнание движков не освобождает от ответственности. Если не знаете какой движок под капотом у таблицы, то обязательно выясните, так как могут быть случаи, например, неполных дублей в движке ReplacingMergeTree, а вы будете либо не понимать, что это дубли, либо долго вести расследование откуда они взялись

3️⃣ Многообразие встроенных функций по работе с данными.
Многие, я думаю, знают про uniqIf(), sumIf(), avgIf() и т.д. Но фишечки этим не ограничиваются. Когда мне надо было распарсить массив, который на самом деле строка, я использовала tokens(). Если мне нужен домен из URLа, я пользуюсь domain(). А есть возможность использовать нетипичную функцию argMax() и получать не только максимум по столбцу, но и значение другого столбца при достижения экстремума.

Все это ускоряет написание кода и делает сам код лаконичнее и проще.
⚠️ В ClickHouse очень много функций по работе с разными типами данных, чтобы ориентироваться во всем многообразии я пробежалась по доке и кратко ознакомилась с возможностями, плюс смотрела видео на youtube (того же Анатолия Карпова) - если вы знаете о возможностях, в нужный момент вы сможете быстро найти решение и воспользоваться им

У ClickHouse есть еще много разных фичей по партиционированию, репликации, хранению и доступу к данным, и важный момент, что с джойнами она не всегда легко справляется, но этот пост и так уже вышел на мини-статью, а разговор про ClickHouse может быть очень длинным)

Поэтому, если тема понравилась, то не забывайте про ❤️, так я понимаю актуальность темы😉

#hard

8 минут горячей прожарки резюме и гита. Для меня это первый опыт такого перфоманса.
Устраивайтесь поудобнее, вдохновляйтесь, делитесь инсайтами и ставьте ❤️🔥🐳

Публичная прожарка сделана с согласия автора резюме

🎞 Ссылка на YouTube

#прожарка

🎞 Подкаст-интервью "Карьерный трек химика от завода до IT"
Гость: Станислав Черногузов. Повелитель сквозной аналитики розничного блока в Сбере. До этого работал в Азбуке вкуса.
В аналитике 3 года.

Темы:
- Сколько времени понадобилось от намеренья до страрта карьеры
- Как понять нравится тебе будущая профессия или нет
- Проблемы при поиске первой работы
- Когнитивные искажения и страхи перехода
- Поддержка окружения
- Обучение

Это мой первый в жизни подкаст-интервью, буду благодарна любой поддержке ❤️
Как вам формат видео?
Полезно ли?
Какую тему было бы интересно так же обсудить?

P.S.: Да, у меня не розовые волосы, это все технологии🤭

#интервью