O'Reilly опубликовал результаты опроса по tech зарплатам в штатах.

Из интересного:
- самые популярные языки SQL (везде) и Python
- облако AWS самое популярное
- Linux более популярен, чем MacOs для разработчиков
- Terraform и Docker больше всех востребованы среди доп инструментов
- Сертификация гугла коррелирует с более высоким доходом
- Большинство на удаленке
- Manager и Engineer получает почти одинаково, а вот director получает на 25% выше (в среднем).
- Очень важная разница между РФ и Штатами - максимальный доход в 45-54 года. Тут не ищут молодых. В РФ должно меняться отношение к взрослым специалистам, HR на заметку!!!
- Штат Оклахома имеет самые высокие ЗП (это где вообще?)
- У мужчин все еще ЗП выше, чем у женщин☹️ Но при этом, у женщин ЗП растет быстрей.
- Средняя ЗП в районе 150к - 175к в США. У нас например есть инженеры из штатов, получают 180к. База 180 это ОК, вопрос в стоках и бонусах. Топ компании могут платить базу 200+, но это скорей исключение. Если нужно получать больше, то надо платить меньше налогов, а это надо работать через корпорацию (аналог ООО и ИП).

Теперь даже Amazon Redshift доступен как сервис - Amazon Redshift Serverless is now generally available

Что такое serverless? В модуле 5 datalearn мы проходили облачные вычисления и рассматривали типы сервисов:
- IaaS - инфраструктура как сервис - пример это виртуальная машина, на которую мы ставим софт. В этом случае мы должны отвечать за все, кроме hardware.

- PaaS - платформа как сервис - как раз классический Redshift это PaaS - пару кликов, и у нас уже работающий Redshift, но мы должны еще делать сами бекапы, управлять нагрузкой, оптимизировать хранение данных (частично админы), но нам не надо переживать за операционную версию кластера и другие вещи.

- SaaS - софт как сервис - то есть пару кликов и у нас готовый сервис, который сам будет масштабироваться и мы будем платить только за использование. Примеры - Snowflake, Databricks managed Spark), недавно появился Amazon EMR serverless, AWS Glue (managed spark), Amazon Athena, BigQuery, Azure Synapse Serverless SQL (DWH). И список довольно большой. А самые первые сервисы это Google sheets, slides, docs и SalesForce.

Значит ли это, что можно забыть про инфраструктуру и кликать только мышкой? В теории звучит, как будто то да, а вот на практике ситуация обратная. Обычно все работает гладко, пока "коса на камень" не случится. Большой объем данных, требования к безопасности, требования DevOps и ИТ к использованию CI/CD, инфраструктуры как код, приватность данных и многое другое. То есть на практике, все эти serverless решения лишь только отвлекают нас от инженерной сути происходящего. Поэтому знать и понимать разницу хорошо.

Автор статьи Data teams are getting larger, faster рассуждает про рост дата команды и идеальный размер. Вопрос хороший, легко быть маленькой командой в 2-3 человека, но когда кол-во человек переваливает за 10, уже начинается хаос.

Есть ли у вас опыт с резким ростом команды и как все происходило? Стало лучше/хуже?

Когда мы строим ETL, один из первоочередных вопросов, как мы хотим забирать данные из источника. Один из самых популярных терминов - CDC (Change Data Capture). То есть, мы хотим забрать только инкремент свежих данных с минимальной нагрузкой на ETL и источник.

Есть много способов внедрения этого подхода, начинаю с классчиских сервисов репликации как Oracle Golden Gate или AWS DMS и заканчиваю open source продуктами как Debezium.

Как у вас успехи с CDC?

PS есть хорошие материалы по debezium?

Хорошая статья, которая рассматривает стоимость современных аналитических решений в облаке, на первый взгляд все стоит дёшево,а по факту может получиться кругленькая сумма. https://blog.dataminded.com/why-rising-cloud-costs-are-the-silent-killers-of-data-platforms-52a98b371f28

Сегодня услышал интересный statement в Microsoft. Тот случай когда и смешно и грустно одновременно. Я пообщался с другой командой про internal transfer, и все вроде бы хорошо, только есть одно маленькое НО. Для senior инженеров сначала должны рассматриваться кандидаты отвечающие требованиям diversity&inclusion, поэтому предложили подождать лучших времен😁

Зато когда общался с обычной SaaS компанией про позицию Data Engineer, меня собеседовало 5 мужиков (инженеры и менеджеры). Про D&I там пока не заморачиваются. И я ответил им на вопрос про Time&Space Complexity алгоритма! Вот это повод собой годиться😂

Недавно посетители книжного клуба пригласи автора небезызвестного "кабанчика" на встречу - Interview Martin Kleppmann

Всем привет.

Поделюсь своей историей и статистикой откликов по мотивам Алексея.

На datalearn наткнулся в мае прошлого года. За спиной был пройденный обрезанный бесплатный курс от Я.Практикума и отсутствие глобального плана действий. В итоге не очень расторопно прошел 1, 2 и 4 модули. Также прошёл курс от Анатолия. Потом были разные курсы и тренажёры SQL. Постепенно пришло понимание, куда двигаться и на что опираться в дальнейшем.

Важным моментом было пройти стадию вечного ученика и перейти к решительным действиям. Придумал несколько петпроектов, которые применил на текущем (на тот момент) месте работы. Ну и со всем этим начал откликаться на вакансии (hh в основном). Начал это все после майских праздников.

По статистике:
~250 откликов (значительная часть которых так и не были просмотрены)
3 скрининга
5 тестовых
4 собеседования (одно из которых составное)
1 оффер

Сейчас на испытательном сроке.

Откликался разными резюме, на примерно одинаковые вакансии (все по классике). В основном SQL/BI.
Из опыта только курсы/петпроекты.

В общем хотел сказать спасибо @dimoobraznii за курс, ну и за возникновение такого сообщества👍

Вот еще один отзыв:
Так получилось, что когда я начала проходить курс “SQL for beginners” на DataLearn, я уже не была новичком в SQL. До этого у меня был модуль по SQL в курсе от Яндекс.Практикума, плюс на работе была развёрнута база MySQL, к которой я довольно бодро писала SELECT-запросы. Очень хотелось использовать в работе оконные функции и конструкции с WITH (тогда я ещё не знала, что они правильно называются CTE), но текущая версия нашей базы MySQL это не поддерживала, а ради моих аналитических «хотелок», естественно, никто не собирался её поднимать.

Также мне очень хотелось узнать больше про базы данных и, помимо DML-, писать также DDL-запросы. Но на работе на это мне было наложено табу. И я пошла искать курс в Интернете. И как раз мой куратор из Яндекс.Практикума и посоветовал мне “SQL for beginners” на DataLearn на основе большого числа положительных отзывов от студентов.

Я просмотрела этот курс «от корки до корки». Большое спасибо Анатолию за такое полное и систематическое изложение материала по классическому SQL, за большое количество практических заданий, каждое из которых детально рассмотрено и объяснено! Помимо DML и DDL-операций, подробно излагается теория по CTE, оконным функциям, а также преподаватель заглядывает «под капот» СУБД и рассказывает про планы выполнения запросов, физические соединения таблиц и производительность.

И в заключение хотела рассказать про смешной случай. Как я уже упоминала, у меня на работе не поддерживались оконные функции. При прохождении технического интервью на новую работу запросы с использованием оконных функций я писала только на основе знаний, полученных на лекциях Анатолия. И написала ведь! Но когда вышла на новое место, то оказалось, что оконные функции и у них не поддерживаются по причине нехватки ресурсов. Я смеялась )))
Дмитрий, я стала смотреть Ваш курс по DE. Вообще-то в плане были другие курсы и пара книг, но я очень хотела Ваш курс, поэтому повысила ему приоритет.

Я пока смотрю первый модуль. Мне нравится - тем, что даётся целостная картина. Мне как раз этого не хватает. Сейчас у меня осколки знаний, хочется сложить их.

#testimmonial

Нас часто спрашивают на собеседование какие у нас есть вопросы. Сегодня я подглядел прикольные вопросы, которые можно спросить, которые имеют глубокий смысл.

1. Объяснить как они пришли к тому, что им нужен еще один человек?
2. Как вы будете оценивать мою работу?
3. Как вы поймете, что я вырос и мне нужно дать больше денег и полномочий?
4. Как они понимают, что у них плохой код и что они с этим делают?
5. Что делать если человек хорошо работал, а потом вдруг стал плохо работать?
6. Как они понимают, что инженерам нравиться их стиль руководства?
7. Как они увольняют? Как решают, что надо уволить?
8. Как ты лично сможешь повлиять на их бизнес и атмосферу, какие рычаги будут, чтобы улучшить среду, в которой окажешься? Какие возможности расти самому и растить компанию?
9. Используете ли вы Agile? Почему именно Agile?

Привет :) . Выложили видео с митапа: https://www.youtube.com/watch?v=FnfNnn-EZok :) ... Весьма близко к моей второй лекции про Data Vault/Anchor Modeling, но по английски, в полтора раза больше материала, и в конце есть упоминания нашего нового продукта, youta.app

The core problem with working longer hours is that time is a finite resource. Energy is a different story. - цитата из статья HBR Manage Your Energy, Not Your Time

Совершенна другой угол обзора на насущную проблему - мы работаем много часов и устаем. Мы считаем часы. Но редко задумываемся про энергию. Возможно у вас есть моменты в истории, когда вы делали интересную работу 12 часов, а потом еще пошли вечером в барчик и утром с удовольствием брались за работу полны сил.

А может быть наоборот, после 6-8 часов "прокрастинации" вы как выжитый лимон. Важно понять, что дает вам энергию, что вас заряжает и драйвит. Делать упор на это, а что мешает убирать.

Как только будет четкое понимание, вы сможете заправляться правильной энергией. 🎢

Если посмотреть ну путь развития инженера, то традиционно это путь в менеджера. Но если вам нравится "работать руками" (individual contributor). то для вас есть возможность расти в строну Staff/Principal Engineer. Своего рода team lead (устаревшее название позиции). Есть даже книга у O'Reilly - The Staff Engineer's Path.

For years, companies have rewarded their most effective engineers by suggesting they move to a management position. But treating management as the default (or only) path for an engineer with leadership ability doesn't serve the industry well. The staff engineer path allows you to contribute at a high level, with more free time to drive big projects, determine tech strategy, and raise everyone's skills.

With this in-depth book, author Tanya Reilly shows you ways to master strategic thinking, manage difficult projects, and set the standard for technical work. You'll learn how to be a leader without direct authority, how to plan ahead so that you're making the right technical decisions, and how to make everyone around you better, all while still leaving you time to grow as an expert in your domain.

In three parts, you'll explore the three pillars of an engineer's job:

- Big picture thinking: learn how to take a broad, strategic view when thinking about your work
- Project execution: dive into tactics and explore the practicalities of making projects succeed
- Being a positive influence: determine the standards for what "good engineering" means in your organization

PS Где-то в мае у меня был performance review в Microsoft, и там у нас разошлись мнения, мягко говоря. Как результат, моя "энергия" (как в посте выше) достаточно сильно иссякала. Приходилось ходить на собеседования внутри MS и снаружи, в итоге получил приглашение на того самого Staff DE, хотя просил Senior. Это публичная SaaS компания, не самая большая. Стек как я и хотел AWS+dbt+snowflake+airflow.

Люди пришли к пониманию, что ценник за облачную аналитику все-таки имеет значение. Изначально казалось, что можно не заморачиваться с моделями данных, использовать большие таблицы, в которых было все сразу, и если возникали проблемы, то просто увеличивали размер и кол-во кластеров. Как результат - дорого и не эффективно.

Вот и товарищ говорит, что dba на самом деле все еще существуют и важно решать проблемы производительности.

Ооо пошли вопросы интересные по дата аналитике))

PS у меня давно идея была написать статью на хабре "Дресс код для ИТишника" но боюсь там у всех бомбить будет😱😅

Новости из мира аналитики:

Несколько статей про Metrics Store:
How Airbnb Achieved Metric Consistency at Scale part 1
How Airbnb Standardized Metric Computation at Scale part 2
Metrics Layer & Metadata | Drew Banin (dbt Labs), Nick Handel (Transform) & Prukalpa Sankar (Atlan)
DBT: The Metrics System

Другие новости:
Measuring downstream impact on social networks by using an attribution framework - вообще Donwstream Impact - это очень мощная штука, мы учимся понимать какое влияние окажет конкретный канал или действие на весь путь клиенты, это уже серьезный анализ. Такой подход очень популярен в Амазон, действительно важная задача для серьезного Аналитика, который анализирует бизнес и принимает важные решения.

Про инструменты оркестарции:
Should You Use Apache Airflow?

Судя по отзывам неплохие и недорогие курсы на русском:
Apache Airflow 2.2: практический курс
Введение в Data Engineering: дата-пайплайны (про Luigi)


Про ML:
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI

Инструменты:
Soda - CLI утилита для проверки данных
DataBathing - библиотека которая трансформирует SQL в Dataframe
SQL Fluff - linting для SQL, популярен для DBT

Financial times продолжают радовать нас красивой инфографикой