Data Brew – Telegram
Data Brew
1.03K subscribers
120 photos
32 videos
3 files
86 links
Пишу про рынок, собесы и заметки общего содержания.

Ютуб:https://www.youtube.com/@echemenev
Сотрудничество:@echemenev
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
На что способен SQL
Ну вот игры можно делать: https://cedardb.com/blog/doomql/

Вы наверное заметили что я обожаю игру Doom, но я фанат последних игр после 2016 года. И тут я натыкаюсь на то что есть разные запуски doom на sql.👍

DOOMQL это DOOM, полностью в SQL на CedarDB. жаль не clickhouse

🤨А как: shell-скрипт запускает SQL-файл ~30 раз в секунду

🎁при разрешении 128×64 примерно будет 30 FPS,

🫡 код можно попробовать локально через Docker
Please open Telegram to view this post
VIEW IN TELEGRAM
😁8🔥54😱1🤝1
Хочу порекомендовать канал Вовы @relational_databases
В своём канале он разбирает всё, что связано с реляционными базами: от SQL-запросов до моделей данных и просто интересных фактов:

SQL Injection: как одна кавычка может взломать базу данных
История SQL: от лаборатории IBM до ядра современного ИТ
Junior-ready: выучить SQL и пройти собесы. Часть 1/2

Если хочешь реально понять, как устроены базы данных изнутри и прокачать SQL до уровня эксперта — тебе сюда:
👉 @relational_databases
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥53👍31😱1👌1
N причин моей ненависти

Тебя бесят Дейли?

Я уже рассказал вам про то на сколько и почему мне не нравится разметка.

Решил продолжить серию постов про то что вызывает у меня ненависть🤬

На этот раз daily
Оу, бой. Как же я ненавижу Дейли…..
Были на Дейли? Нет?? Сейчас я расскажу как это выглядит в среднем у всех.

В календаре стоит встреча с 10:00 до 10:30, подключаешься в 10:00 и первые пару минут вы с коллегами общаетесь(смол ток), затем когда все собрались менеджер или тим лид проходится по задачам в джире в статусе "в работе" и спрашивает: ну че там? успеваешь? стоперы? блокеры?
и так по очереди все отвечают, кто то обязательно расскажет кучу контекста который только ему и важен пока эта задача в процессе, но слушать приходится всем.

Когда речь дойдет до тебя ты все рассказываешь за 2-3 минуты( потому что ты умный и не ждешь дейли если где то застрял),
В 10:30 +- 5 минут дейли заканчивается, но если к тебе были вопросы или ты нужен зачем то, то тебя просят остаться еще на минут 10-15.

И так каждый день, где то agile ритуалы отличаются, но глобально планерка/синк будет такой.

А теперь вопрос знатокам:
А ПОЧЕМУ ЭТО НЕ ТЕКСТОМ РЕШИТЬ? А ВРЕМЯ ДЕЙЛИ ТРАТИТЬ НА ТЕХ КОМУ ЭТО НУЖНО?

Я не знаю почему нельзя отписывать текстом к 10:00 в тред, и если какой то трабл говорить кто нужен и зачем.
Please open Telegram to view this post
VIEW IN TELEGRAM
10💯10🤝5😁2🤬1🙈1
Удобный агрегат в pandas

Ты выбираешь группировку или сводную таблицу?

В начале своей карьеры я как-то попался на особеность пандас, что нельзя передать в agg({'column_name':''max,'column_name':'min'}), вернется только один агрегат. Поэтому приходилось говнокодить и джойнить таблицы с разными агрегатами одного столбца. Я почему то не догодался, поискать как же все таки иначе можно сделать.

Поэтому решил помочь всем кто только так сказать начинает свои первые агрегаты собирать)

вот два способа как можно разные агрегаты для одного столбца посчитать:

df.groupby('group_name').agg(
col_mean=('column_name', 'mean'),
col_median=('column_name', 'median'),
col_min=('column_name', 'min'),
col_max=('column_name', 'max'),
col_count=('column_name', 'count'))



df.groupby('group').agg({
'value': ['min', 'max', 'mean']
})


пользуйтесь и делитесь !
197🫡6👍2🙈1
N+1 причин моей ненависти

А тебе как задачи ставят?

В этот раз про задачи в переписке/звонке.

Я терпеть не могу когда приходят с задачей не описанной в тикете и просто начинают тебе транслировать все что с ней связано. Потом спрашивают все ли понятно и когда она будет готова.

Ну и задачи которые ставятся в переписке тоже мало чем отличаются в лучшую сторону.

Я не говорю про задачи которые требуют 10 минут. А про полноценную работу.

Все это выливается в то, что на куче мелких задач ты теряешь время и фокус, не успевая сделать то что было в спринте.

Я конечно стараюсь каждый раз всех вести через тикет, но это не каждый раз получается.

Иллюзий что я буду жить в идеальном мире где все делается как надо у меня нет.

Но мой идеальный мир это:
Понятно и однозначно описанная задача и целевой результат. По пунктам распивать не нужно. Но постановка не должна содержать слов, которые непонятны или противоречивых требований.
Такой флоу:
Тикет>уточнение если нужно>план решения задачи>выполнение задачи>результат в тикет
(Да это выглядит как промт для ллм-агента)

Я не менеджер и не знаю как на самом деле должна выглядеть задача и ее постановка. А вы знаете?
👌65🌚4
Думали про релокацию?

А куда?)

Намедни читал один канал, где Тим лид описывает свой вкат в UK 🇬🇧 через визу талантов.(пишет на Go)

И я думал что это почти гарантия, что ты сможешь получит визу талантов если у тебя есть хоть какой то опыт заметный в индустрии. Это мнение сформулировано на основании истории девушки из чата хи-хи квадрата(всем оттуда салам 👋)

Так вот @artur_speaking пришел отказ)
Буду поглядывать за его кейсом, может что смогу применить для себя.
Я слышал про такие визы для разрабов/ml/ds, но вот для аналитиков не слышал)
И видимо не услышу.

А вообще я бы хотел получить такую визу хоть куда нибудь, чтобы потом когда тяжело на душе вспоминать об этом.

Но глобально я понимаю, что у меня ещё 0 артефактов для вката по этой визе на зп в фунтах. Мой тг канал и ютуб канал, не особо популярны,
выступлений нет на конференциях и статей нема.

Если есть истории успешной визы талантов вы расскажите)
7😱5👨‍💻4🦄2😁1🤣1
Есть Крутая идея которая давно уже проситься для реализации

ФИЛЬРАЦИЯ ПО ПОЛЯМ В SELECT

Сейчас можно это сделать поместив все в подзапрос или CTE, но куда удобнее было бы сделать фильтр на пример:postwhere

Чтобы не так:
WITH ranked AS (
SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY date DESC) AS rn
FROM logins
)
SELECT *
FROM ranked
WHERE rn = 1


А вот так:
SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY date DESC) AS rn
FROM logins
Postwhere rn=1



Мне кажется фильтрация финального селекта уже назрела и сильно бы упростила жизнь.

Upd: Для этого есть qualify ) но не везде 😁
7👍5😱3🫡2
Про накрутчиков опыта слышали?


Вот идея для борьбы

Всем привет! Сообщества рекрутеров запускает флешмоб чистки от накрутчиков опыта. И чаще всего, лжекандидаты указывают крупные компании, поэтому сразу пишу к вам, чтобы передали вашим HR на обсуждение. Есть функции на самих job-site, которыми забыли пользоваться: пожаловаться на профиль. Эта функция есть и на hh, и на Хабре, и на Ln. Для первого этапа чистки нам нужно сначала найти всех, кто указал вашу компанию, и по факту не работал по ТК, ГПХ или ИП. Да, понадобиться слаженная работа всего HR. Но если у вас фриз найма, лучше поработать на будущее. Нужно прислать от компании официальное письмо на hh, habr career, ln о том, что данный данный сотрудник у вас не работал. На Хабре это делать удобнее (как в фото), плюс вы в профиле своей компании можете увидеть всех, кто указал вашу компанию. На hh можно сразу прислать весь список в службу поддержки. Это самый удобный способ без шеринга персональных данных, и массово мы можем сильно обрушить рынок волчат.


Мнения?
🤣165🫡3😱1
Где мемы лебовски ?

Ты любишь мемы?!

Завел отдельный канал для мемесов

https://news.1rj.ru/str/data_brew_memes

Только мемы которые я нашел быстро поднял и ушел.

Отбираю их лично из всех источников.

Немного мемов я уже выложил, тысячи в отложном лежат. Так что заходите.
🫡6😱3👌2👎1
Задача: сверить две таблицы, данные идентичны ли?

как ты это сделаешь?

Новая рубрика, буду делать посты на тему рабочих задач с хардовым содержанием простигосподи.

Жду ваших реакций))

Как я это делаю ?

Очень просто, делаю inner join по всем полям. Но это рабочий вариант не для всех сценариев.
+ сравниваю таблицы агрегатов также по ключе агрегации.

На пример уников, суммы/средние на даты/гео.

Обычно такие задачи прилетают если есть основой источник и есть витрина, которая не должны разойтись.

Как можно это сделать в Python:
• df.equals()-сверит два датафрейма.
• df.compare()- найдет в чем не совпало.



Как можно сделать в
SQL:
• SELECT * FROM table1 EXCEPT SELECT * FROM table2 - вернет строки которые есть в первой таблице и нет во второй.
• FULL OUTER JOIN - джойн который покажет совпало/не совало и сможет понять в чем различия.



Я уверен что вы знаете и другие протоколы сверки делитесь ими в коментах.
120🔥10💯42👏2😱1👌1🗿1
Холиварный вопрос

Ии сделал планку входа в интеллектуальную профессию выше или ниже?


Есть два лагеря:
🙂Нижники>информация стала ещё доступнее, а навыки еще более легко осваемы.

Если есть какая то проблема то всегда есть поддержка в лице ЛЛМ, которая все объяснит.

🙂Вышники> планка требований выросла и теперь курсов не хватит так как с GPT ВСЕ могут закрывать простые задачи начальной стадии.

Чтобы понимать где ЛЛМ галлюцинирует нужна сильная база, без который не отличить правду от бреда.


Мой честный ответ:
Я хз 🤡

Потому что:
1. голюцинации никто не отменял, но если ты знаешь базу дальше можешь бежать быстро.

2. если ты все время юзаешь гпт, навык теряется (любой) довольно быстро.

Без постоянной практики все придет в негодность
А ии забирают на себя эту практику и как потом отлавливать галюны???


Но если исходить из экономических законов, то большое предложение снижает цену. Те если все умеют примерно тоже самое то и платить много не будут. И если хотел в айти то надо идти туда где тебе самому интересно и где можно решать нетривиальные проблемы, единственное чего не умеет GPT это выходит за рамки обучающей выборки не неся полную ахинею.(пока так)

Так что единственный ответ тут может быть такой: в каких то областях планка ниже в каких то выше 🤡

Просто напомню что в 00х в резюме писали:
Навыки работы в Microsoft Word.

Думай как будешь впечатлять себя через год, и двигайся в том направлении.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍135🫡5😁3
Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
У DeepMind новый веб-эксперимент – летаете на самолете между звездами музыкальных стилей, и нейронка в реальном времени создаёт музыку, смешивая жанры тех звёзд, рядом с которыми вы пролетаете; работает с компа

Играться тут:
https://spacedj-363947264390.us-west1.run.app
👍3😁2
This media is not supported in your browser
VIEW IN TELEGRAM
Признавайтесь кто писал побитовый group by?

А вообще тема интересная,я ни разу ещё не проходил собесы с ии. Хотя мне даже порой разрешали 😁

Но чтобы в тайне использовать ии, такое не слышал в ру сегменте.
😁5😱2👌21🔥1
И как писать тогда письма эти ваши

Я уже не понимаю как искать работу если кроме как придти в офис и отказаться уходит пока не проведут собес.

Вы то пишете ещё сопроводительные письма?
😁186👌3🤣2🫡1
Вредные советы

Всегда важно перенимать опыт, но также очень важно им делиться. Перенимай пока не запретили:

Когда начинаешь работу над задачей. Ничего не спрашивай. Делай только то что описано в тикете и если не понятно написано, делай как понял.

Ты разве менеджер ?! Значит не шаришь в том как надо и что надо. Если сказали сделать аналитику времени регистрации в разбивке по знакам зодиака делай и не задавай вопросы. Менеджеру виднее.

Ред флаги которые показывают что ты не шаришь и спрашиваешь:
🚩Зачем эта задача
🚩Как считать метрику
🚩Какие выводы будут делаться
🚩В каком формате нужен результат
🚩Проверяешь ссылки в задаче


Запомни раз и навсегда:
Менеджер знает что ему нужно и времени на уточнение задачи у него нет.

Если ты сразу не делаешь задачу так как описано, то сразу ясно что ты не можешь понять, а если написано в тикете «сделай красиво» то сделай так, чтобы он сказал тебе: «внатуре четко»

Если начать критиковать задачу то это критика работы менеджера, а ты менеджер? Вот и не критикуй и спрашивай, то что тебе отправили это лучшее что могло быть.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣18👏853🫡2😁1👌1🥴1🤨1
Что по мифам?)

Кто до сих пор считает, что в аналитике все упирается в SQL или BI?

Развеиваю: это все очень круто, но нет. Профессия начинается там, где мы учимся понимать, зачем вообще что-то считаем.

Почти каждый новичок думает, что если выучить все инструменты, то все заработает: зарплата вырастет, задачи станут адекватнее, менеджеры перестанут присылать адские тикеты уровня «построй мне график, чтобы было красиво».

Но реальность немного другая. Если ты не понимаешь, какая связь между метриками и бизнесом, хоть 10 курсов пройди - продолжишь просто строить графики. И да, ИИ с этим и без тебя справляется на отлично, так что недолго тебе останется.

Вот почему в аналитике недостаточно знать процедуры - надо еще эффективность решений для бизнеса оценивать и подавать результаты так, чтобы руководству было понятно, что и зачем. 
ИДТИ ОТ ПРОБЛЕМЫ КОТОРУЮ НАДО РЕШИТЬ.

Многим этой связки и не хватает, чтобы зайти в профессию и развиваться нормально. И ее дают на курсе «Аналитик данных с нуля» от Академии Eduson.
Что предлагают:
▪️ 308 коротких уроков по Excel, SQL, BI, Python и аналитике для бизнеса.
▪️ 10+ практических кейсов для портфолио и отработки навыков.
▪️ Удобный онлайн-формат без дедлайнов + поддержка куратора на год.
▪️ Лекции от экспертов-практиков из «Яндекса», Datalatte, Softline, «Работа.ру».
▪️ Диплом о профпереподготовке, помощь в составлении резюме и самопрезентации + Академия разошлет резюме партнерам.

Оставить заявку можно здесь. По моему промокоду ДАТАБРЮ - скидка 70%. Рисков нет, это история с гарантией трудоустройства: не найдете работу - деньги вернут, это прямо прописано в договоре.

Реклама. ООО "Эдюсон", ИНН 7729779476, 2W5zFGz9o6x
66👏4🥱2😁1😱1👌1🤨1
Как сделать резюме, чтобы вас звали на собес, а не отправляли в архив
(рассказывает Роман)

Знакомая ситуация: стек нормальный, задачи на работе серьёзные, но отклики уходят в вакуум. Чаще всего проблема не в опыте — а в том, как он упакован. Резюме — это не история вашей биографии. Это система сигналов. Если сигналов нет, ATS пропускает вас дальше только из вежливости.
Вот короткий чек-лист, который резко повышает вероятность попасть хотя бы в верхние слои откликов:

Название роли - копируете из вакансии
Если компания ищет BI Analyst, так и пишите. Не универсальный аналитик, не Data/BI/ETL/whatever-специалист. ATS считывает точные совпадения, а не поэзию.

О себе на 3–4 строки — как техническое резюме, а не эссе
Кто вы → над чем работали → какие технологии → что ищете. Пример формата: Data Engineer с 4+ годами опыта в e-commerce. Пайплайны на Spark + Kafka, Airflow, оптимизация Greenplum. Интересен продукт и рост по сложности задач.
Контакты дублируем здесь же — телефон или Telegram. Да, рекрутеры часто пишут сразу туда, не покупая резюме.

Опыт = метрики, а не процесс
Каждый пункт должен отвечать на вопрос, как изменилась система после вашей работы:
– Ускорил nightly-пайплайны на 30%
– Сократил падения DAG’ов на 40%
– Перенёс 10+ пайплайнов с cron → Airflow, избавившись от ручных рестартов
Много, значительно, успешно не несут сигнала. Числа — несут.
А чтобы выделиться среди остальных -
небольшой лайфхак
- описать любую ошибку, которую сделали на работе, какие выводы сделали и что изменилось после ваших действий
🗒

ATS-френдли оформление
— одна колонка
— без таблиц и фигурных блоков
— читаемый шрифт
— заголовок резюме - точная роль из вакансии

Это минимальный baseline, чтобы ваше резюме не потерялось между 200 откликами.
Если хотите больше таких разборов — подписывайтесь на канал Роман про карьеру
Please open Telegram to view this post
VIEW IN TELEGRAM
7🔥5🤔3
Вредные советы

Снова пришел с жизненной мудростью.

Не говори что ты сделал задачу, никогда.
Запомни простую вещь, если надо сами придут спросят. У тебя в тикете был пункт: «по выполнению написать в лс» ?!

Вот именно, как сделал задачу, просто закинь в коменты ссылку. А лучше вообще просто жди пока спросят статус по ней.

Почему нужно ждать пока менеджер спросит статус по задаче ? Потому что это его профессиональный навык. Кроме менеджеров, никто не обладает скилом уточнять на созвонах статус по задаче.

Если ты сделав всю работу сразу пишешь:
🚩результат
🚩как ты его получил
🚩ссылку на код
🚩описание логики расчетов

То как тогда менеджер поставит встречу где ты ему это все расскажешь?!
Менеджер поймет что ты его подсаживаешь, и станет твоим врагом.

Если не будет встреч, вопросов про статус задачи вся корпоративная структура рухнет.

Думай о менеджере, он твой бро.
😁17💯10🫡3👏1😱1👌1
Орлиная братия, общий сбор

Я пару недель думаю какой же ии агент для практики стоит сделать чтобы он имел практическую пользу.

Я дельного ничего не придумал, попытал ллм она тоже ничего толково не вернула.

Из относительно адекватного это помощь в работе с тендерами и аукционами, но как то не ясно как потом это решение распространять.

Какие то идеи у вас есть?

За помощь от меня БОЛЬШОЕ СПАСИБО, Человеческое.


P.S
А вообще сейчас я использую ллм как ментора, заставлю его себе помогать. У меня есть доступ к платному Gemini. Не скажу что сильно хуже/лучше чем платный чат гпт.
🤔3🤷3👀211😁1
🆕 Где искать работу в СНГ (и не только) аналитикам данных?
Мой личный топ-5 инструментов


Последние пару лет рынок в СНГ заметно перегрелся: откликов много, вакансий меньше, компании активно используют ATS/ИИ-фильтры. Поэтому важно искать работу не "в одном месте", а сразу по нескольким каналам. Делюсь рабочими вариантами 👇

1. Начнём с классики - hh.ru
Да, платформа стала не очень: вырос шум, много автопроверок резюме и жёсткие воронки.
Чтобы пробиться через ATS, приходится: делать сотни откликов, иметь идеальное резюме, под каждый отклик адаптировать summary.
Тем не менее HH всё ещё даёт охват, особенно по России.

2. Hirify - если нацелены компании с русскоязычными корнями, в том числе ищете релокацию
🔗 https://hirify.me/
🟤Ребята парсят вакансии из 800+ Telegram-каналов и сайтов компаний
🟤До 20 000 объявлений в месяц
🟤Удобные фильтры (намного адекватнее, чем в LinkedIn)
Если ваша цель российские и компании вышедшие из СНГ, инструмент прям топ.

3. No Data No Jobs - один из лучших каналов для аналитиков
🔗 @nodatanojobs
Канал от Паши Бухтика (No Data No Growth)
🟤Публикуют свежие вакансии для: продуктовых аналитиков, дата аналитиков, BI аналитиков, data scientists
🟤Что особенно важно - указывают контакты нанимающих менеджеров и рекрутёров
🟤Вакансии фильтруют вручную: HH, Habr, LinkedIn, плюс нетворк
🟤Навигация удобная - есть хэштеги по: позиции, грейду, локации, сфере

4. LinkedIn - must have для поиска не только в СНГ, но и по миру
Чтобы получать нормальный отклик, важно: иметь прокачанный профиль, набрать хотя бы 500+ коннекшнов, периодически публиковаться, комментировать, быть активным.
Также можно искать вакансии - через поиск и через ленту. Как искать через ленту:
🔠Вводим в поиске роль или ключевые слова в кавычках
🔠Ставим фильтр Posts
🔠Content type → Job posts
Это даёт выдачу на основе вашего нетворка - часто намного эффективнее, чем обычный поиск.
И, конечно, рекрутеры могут сами писать вам в личку, если профиль выглядит убедительно.

5. Get U Hired Bot - если целитесь в международку
🔗 @get_u_hired_bot
🟤Бот парсит LinkedIn вакансии
🟤Присылает мгновенные уведомления (а не раз в неделю)
🟤В нём есть фильтры: 28 стран, 25 IT-ролей, 50+ технологий
Для выхода на зарубежный рынок - отличный вариант

В итоге лучше всего комбинировать инструменты: HH для охвата, Hirify для СНГ, LinkedIn и Get U Hired для международки, и нишевые каналы вроде No Data No Jobs для точечных попаданий

Если у вас есть LinkedIn - давайте расширять сеть!
Оставляйте в комментариях ссылку на свой профиль и пару строк о том, кто вы и что ищете. Вы удивитесь, насколько часто именно нетворк приводит к офферам
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥95👍5😱1👌1🫡1