Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Неудачное интервью 😕

- Да как это ты не знаешь, тут же написано Oracle! - воскликнул один из собеседующих, указывая на мое резюме. Я чувствовал себя воришкой, которого поймали с поличным, помню попробовал как-то оправдаться.
- Мы Вам перезвоним - сказал второй интервьюер,
- Не нужно, я … лучше еще подготовлюсь - помню ответил я.

Я вышел с ощущением, что я самый глупый человек на свете, 4ый курс университета, а знаний ноль. Я шел и долго прокручивал весь диалог в голове. Справедливости ради, у меня в резюме были написаны все технологии, которых когда-либо случайно коснулся, поэтому первым делом я выбросил оттуда все, на что элементарно не смог ответить. Я благодарен тому опыту, ведь после этого я начал лучше готовиться, больше изучать и тщательнее выбирать компании.

Ощущение самозванца еще долго преследует, но если выгуливать свой страх на собеседованиях и из каждого неудачного интервью делать выводы, то со временем страх проходит, становишься увереннее.

Уверенного человека, тяжелее дешево купить.

Тут дело даже не в Google или Kaspi или маленький стартап, просто собеседования это всегда продажи. Правильно предоставить свой опыт, правильно «упаковать» резюме, завысить ценник, поторговаться. Вы наверное удивитесь, если скажу в одной и той-же компании, мидлы могут зарабатывать больше, чем сеньоры. «Хардскиллы» - кричали они, «капитализм» - шепнул HR.

Я верю, что у человека, который пробовал проходить интервью 100 раз, больше шансов устроиться в хорошую компанию, чем у человека, который решил 1000 литкодовских задач.

Выжимка:
- Не пишите в резюме все технологии, о которых слышали. Выбирайте те, на которые можете ответить хотя бы легкие/средние вопросы.
- Собеседутесь периодически, даже если не собираетесь уходить. записывайте видео или конспектируйте сложные вопросы. После каждого интервью вы должны выходить чуть умнее 🙂
- Не храните рефераллы, используйте их. Найдете новые потом, а опыт уже будет. Завалите пару собеседований в Amazon.
- Завышайте свой ценник и торгуйтесь. В лучшем случае придется потом на деле доказать свою ценность. В худшем будет понимание на какую сумму вы можете претендовать.
- Вы не самозванец и не обманщик, Вы востребованный специалист. Вы хотите работать в компании, которая Вам нравится и получать деньги, которых достойны, в этом нет ничего постыдного.
- Вы никогда не станете абсолютно готовым. Не нужно ждать идеального момента, знания и опыт придут только с практикой.
❤‍🔥116🐳24🌭15🍌4👻3🍾2👨‍💻1
Сегодня наконец попробовал GitHub CoPilot на примере создания python для общения с Api Marketo и вот что получил за 2 минуты. (такой вот аналог платному reverse ETL - python noscript).

Могу еще что-нибудь создать, пишите комментария с кометном на английском, и попробую код сгенерировать.
👨‍💻9🍌5🍓1
This media is not supported in your browser
VIEW IN TELEGRAM
Крутая новость для всех диджитал-специалистов и людей, которые интересуются технологиями: Альфа снова проведёт конференцию Alfa Digital Open.

На ней подробно расскажут о продвинутой аналитике, изменениях в мобильной разработке, внутренних приложениях для сотрудников. И, конечно, поделятся опытом: какие чат-боты разрабатывают в Альфе и как отслеживают их эффективность.

Конференция пройдёт 13 декабря в 17:00 по МСК. Нужно предварительно зарегистрироваться — это бесплатно.
🍌15🍾7🐳2
The business people, the actuaries, know what data they need and can define requirements, but typically don’t have the skill set to design a data architecture that gives them the data they need. Technology people typically don’t understand the business requirements, but they can design the data architectures. It’s like the people in IT speak blue, the people in business speak red, but we need people who speak purple in order to create an appropriate solution.https://www2.deloitte.com/us/en/insights/focus/cognitive-technologies/artificial-intelligence-purple-people.html

Так же в статье упоминается - Wayne Eckerson was the first to define the “purple person” in a 2010 blog post—someone with the mix of business and technology skills that is present in many successful business intelligence and analytics people.

Он оч крут, один из первых топил за аналитику и написал очень хорошую книгу - Secrets of Analytical Leaders: Insights from Information (очень рекомендую, особенно менеджерам). У меня даже была идею такую же написать современную где поговорить с современными лидерами и спросить как у них с облачной аналитикой. Но силы уже не те))
🐳14👨‍💻5🌚3
Пятница был классный день! Потому что я не работал😏 Один из бенефитов для всех компаний - это 4-5 дней волонтерства, то есть можно в эти дни делать, что угодно - собирать мусор на пляже, сдавать бутылки, или сводить класс сына в Microsoft Garage.

Я выбрал последнее, это был классный field trip на день в центральный офис Microsoft Vancouver, где детям рассказали и показали много классных штук, замотивировали их по максимум учиться хорошо, поступить в универ и стать инженерами и изобретателями.

В качества, workshop всем выдали ноутбуки и интересный девай с от AdaFruit. Это такой упрощенный аналог ардуино с лампочками и датчиками. Для детей кто изучает начальный кодинг очень хорошая вещь.

Все дети создали свою программу, загрузили в девайс и потом их фотографировали в темный VR комнате, таким образом, чтобы на длинной выдержке фотоаппарата появился рисунок. А потом напечатали всем личный стикер с фото.

Ну и конечно накормили пиццей, дали поиграть в аркадный автомат и еще много чего. Так что Vasily’s Dad вообще легенда теперь у сына в классе👌 Ну меня в принципе и так все знали, я со многими в Fortnite рубился часто раньше😁

Если есть возможность брать детей на работу берите, есть возможность прийти в класс к детям и чему-то научить - придите и научите! 😊

PS Я загружу пару фоток в комменты.
❤‍🔥95🐳10
В 2023 году будет много интересных конференций в дата индустрии. У меня даже есть небольшой бюджет, который мне надо освоить до конца этого года, чтобы купить билет на конференцию в Северной Америке в следующем году.

Я воспользуюсь приемом из Slack, когда создается thread (по нашему это комментарии под постом) и обозначается он 🧵, в который вы можете порекомендовать конференции в 2023, я уверен что будет всем полезно, так как многие будут дублироваться онлайн.

🧵 2023 Data Conferences.

Добавляйте в формате:
Название - даты - город/страна
🐳16
Cоздание сквозных логов, настройка ETL в Apache NiFi и конфигурация Apache Flink. Обсудим инструменты дата-инженера на бесплатном митапе от билайна при поддержке JUG Ru Group.

📆 20 декабря, 17:00, онлайн.

В программе:
✔️ Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi».
✔️ Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами airflow».
✔️ Александр Булатов — «Apache Flink: Flink Table API & SQL».

После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки.

Регистрация на сайте митапа.

#реклама
🌚6🍓5🍌4❤‍🔥1
Серьезный материал от Databricks - как построить аналитическую платформу из 4х частей, сумарно 8 часов:
How to Build a Cloud Data Platform
Part 1- Architecture
Part 2 - ETL Processing
Part 3 - Structured Streaming
Part 4 - Machine Learning and Business Intelligence

Минимум любого аналитического решения - Архитектура, ETL, BI. Дальше уже по необходимости DS, Streaming.
🐳17❤‍🔥11👨‍💻4🌚1
У dbt достаточно много почитателей, и многие из них используют платную версию dbt Cloud.

И компанию решила сделать все подарок к новому году - поднять цену в 2 раза на свою платную версию.

Ну а почему бы и нет? Куда все пользователи пойдут - вот вам пример vendor lock.
🍌7👻5🌚3
В мая я писал про Московский зоопарк и пеликанов. И упомянул возможность использовать ML для подсчета птиц по фото/видео с дроном и сегодня хотел бы поделиться научной статьей, которую опубликовали в уважаемом издании. Я добавлю ее в файле PDF ниже.

Ребята сделали крутую модель и можно дальше развивать проект, если кому интересно можно сконектиться и дальше развивать.

Товарищи из Яндекса или другого облачного вендора (Сбрер, VK), для вас вопрос, можно ли у вас получить кредиты к облаку для работы с моделью и использовать для совместного кейса. Если есть возможность, давайте тоже обсудим, очень хочется развивать этот проект дальше и курировать крупнейший в России заповедник пеликанов на озере Маныч.

PS ради интереса я попробовал сгенерить статью на английском в ChatGPT про это тему и вот что получились - AI for tracking Pelicans.

Также еще в планах есть провести вебинар на эту тему про использование алгоритмов распознавания картинок от топовых экспертов в этой области, кто принимал участие в проекте.
❤‍🔥20🐳7
О_ЦЕЛЕСООБРАЗНОСТИ_И_СОВРЕМЕННЫХ_МЕТОДАХ_ОЦЕНКИ_ЧИСЛЕННОСТИ.pdf
3.8 MB
О ЦЕЛЕСООБРАЗНОСТИ И СОВРЕМЕННЫХ МЕТОДАХ ОЦЕНКИ ЧИСЛЕННОСТИ
КУДРЯВЫХ И РОЗОВЫХ ПЕЛИКАНОВ
❤‍🔥16
Наверно многие слышали про мыслетопливо и джедайский техники. Все знают, что у нас в голове есть обезьянка сиюминутного удовольствия, которая не дает нам работать.

Если вы не знаете, ознакомьтесь в видео https://www.youtube.com/watch?v=jt3_sq8LQYM

А если вы вкусом, то мне кажется это нужно смотреть минимум раз в год, чтобы не забывать🐒

Пысы за ссылку спасибо Косте из Эпл, он еще тот джедай;)
❤‍🔥21👻1
Рекомендательные системы помогут подобрать для покупателя нужный товар или услугу. Хотите узнать, как повысить доход приложения с помощью рекомендательной системы?

26 декабря в 15:00 по МСК пройдет вебинар от MyTracker "Персонализация в рекомендательных системах: подходы и оценка результатов"

На вебинаре обсудят:

— Текущие способы формирования цен;
— Задачи рекомендательных сервисов;
— Типичные проблемы рекомендательных сервисов и способы их решения;
— Как подбираются офферы и кто такие многорукие бандиты;
— Способы измерения эффективности рекомендательных сервисов.

Если вы маркетолог, аналитик или владелец мобильных приложений — не пропускайте. Оно вам надо😎

Спикер — эксперт в своем деле:

Антон Лоскутов, тимлид команды предиктивной аналитики MyTracker

👉 Регистрация на вебинар

#реклама
👨‍💻2
Кратко о моем дне:

1. Добавил несколько постов в Linkedin про BI, dbt и тп. Текст сгенерил в ChatGpt. Я давно там много лайков не собирал.

2. Написал менеджеру отзыв, о том какой он душка. Текст сгенерил в chatpgt. Мне кажется мой менеджер прослезился.

3. Написал пользователю письмо, что я сделал все, что мог, чтобы решить его проблему и дальше уже не могу помочь. Текст сгенерил в chatgpt. Пользователь ничего мне не ответил, но явно почувствовал свою важность.

4. Взял в задачу PostHog для продуктовой аналитике. В Chatgpt у знал как в него попадают данные из хранилища данных.

5. В gitlab copilot сгенерил python для Posthog API (загрузка и скачивание данных). Команда прифигела, как я быстро сделал прототип и сколько я знаю про PostHog.

6. Создал новый спринт для команды и попросил команду обновить свои таски. Попросил chatgpt сочинить поэму на 12 строк. Всем подняло настроение и никто не прошел мимо моей просьбы.

Даже и не знаю, хорошо это или плохо, но хоть какое-то разнообразие в скучной ИТ жизни🦥
❤‍🔥68👻25🐳7🌚1
Сегодня увидел интересный пост в канале Труба данных. Это небольшой тренинг про использование SSH - A Visual Guide to SSH Tunnels: Local and Remote Port Forwarding. Даже с материалами для реализации каждого подхода.

Я как бывалый инженер данных и “тертый” BI разработчик могу смело заявить, что это очень полезный навык. Такой же как и базовые навыки использования командной строки или знание азов облачных вычислений.
🐳13❤‍🔥8🍾4👨‍💻4
Forwarded from Reveal the Data
📈 Dashboard Canvas 2.0 📈
Три года назад я придумал сделать шаблон сбора требований для дашборда. За это время его использовали много раз, а видео с рассказом про него на канале DataLearn от Димы Аношина посмотрели более 20 тысяч раз. За это время я получил много обратной связи и сам часто использовал шаблон, поэтому смог конструктивно его улучшить. Представляю новую версию!

Подробно, почему он стал таким, я недавно рассказал на конференции Flow, 👉 вот запись 👈, получилась интересная история развития фреймворка. Спасибо организаторам, они согласились выложить доклад в общий доступ сильно раньше, чем планировали.

А вот ссылка на Miro, где теперь есть инструкция, примеры и новая версия в pptx (ещё приложу её в комментарии). Совместно с идеей построения карты дашбордов получается полноценный алгоритм построения системы дашбордов в компании. Делитесь обратной связью и используйте в работе!
@revealthedata
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥29👻8🐳4👨‍💻2
Всем привет завтра (27-12-2022) в 20:00 по мск у нас на DataLearn вебинар.
Тема: Прокачка резюме.
Ссылка на вебинар: https://youtu.be/bl-z9bnjceI

Предыстория:
Относительно недавно у нас был вебинар: "Как аналитику составить огненное резюме и попасть в зарубежную компанию?"
Спикером была Крис - Айти психолог, с колосальным бэкграундом в области данных.
На вебинаре мы договорились, что вы поскидываете свои резюме, Крис их посмотрит и расскажет о плюсах и минусах, а также об общих паттернах, что следует указывать или наоборот не указывать)))

Кстати до завтра еще успеете прислать резюме, возможно даже рассмотрим что то в прямом эфире.
Ссылка на форму: https://forms.gle/CeSLrzB2JPwPWQoSA

Контакты Кристины:
https://news.1rj.ru/str/it_psycho
https://www.linkedin.com/in/kristina-kostina/

Кто не смотрел предыдущий вебинар ссылка вот:
https://youtu.be/6N7KReARb4s
❤‍🔥22🍌10🐳1🌭1
Мой New Year Resolution по книгам.
🐳59❤‍🔥35👨‍💻13🍾10🌚3