Классный документ про 11 законов, которые популярны в tech индустрии, например 2 pizza rule, принцип парето и тп. (эти 2 я использую очень часто).

Отличный материал для начинающих или для тех, кто учит английский.

Моя презентация 2016 года про миграцию отчетности с Oracle, Excel, Crystal Reports на Redshift и Tableau.

Еще одно техническое собеседование для Амазон:

Задание 1:
Есть 2 таблицы А и Б, нужно сказать сколько строк выведется при соединении.
TableA
id1
1
1

TableB
id2
1
1
1
1
NULL


Please provide the count of rows for each join for Table A and Table B:
Left join:
Right join:
inner join:
full join:


Задание 2:
Department table (id, name)
D1 Finance Dept
D2 HR Dept
D3 AR Dept
F1 AP Dept

Employee table (id, name, deptNo, sex, hireDate, Salary,effectiveDate)
E1, sample1, D1,M,01/01/2000, 5000, 01/01/2000
E1, sample1, D1,M,01/01/2000, 6000, 01/01/2001
E1, sample1, D2,M,01/01/2000, 6000, 01/02/2001
E2, sample1, D2,M,01/01/2000, 6000, 01/02/2001
E3, sample1, D1,M,01/01/2000, 5000, 01/01/2000
E3, sample1, D1,M,01/01/2000, 6000, 01/01/2001
E4, sample1, F1,M,01/01/2000, 5000, 01/01/2000
E4, sample1, D1,M,01/01/2000, 6000, 01/01/2001
E4, sample1, D3,M,01/01/2000, 8000, 01/02/2001
E5, sample1, D3,F,01/01/2001, 8000, 01/02/2001
E6, sample1, D3,F,01/01/2001, 9000, 01/02/2001

1.Write a query to display latest salary of each employee

2. Write a query to display department name where employees count in the department is
more than 2

Задание 3 (code):
Given two strings, output the words that are unique to each string.
Example:
String 1: The quick brown fox jumped over the lazy fox
String 2: The slow blue whale swam over the quick shark

Output: slow, brown, blue, fox, whale, jumped, swam, lazy, shark


Задание 4 (моделирование):
Employee Seat Assignment
Daily some employees in the organization transfer from one manager to another manager.
This transfer leads to new seat assignment at his new work location.

Can you do a data model to maintain the history of work location changes? (нужно прикинуть какой подход для моделирования использовать, какие колонки будут в таблице, как отображать историю)

В июне вышла новая книга Fundamentals of Data Engineering с хорошим рейтингом.

This book will help you:

- Get a concise overview of the entire data engineering landscape
- Assess data engineering problems using an end-to-end framework of best practices
- Cut through marketing hype when choosing data technologies, architecture, and processes
- Use the data engineering lifecycle to design and build a robust architecture
- Incorporate data governance and security across the data engineering lifecycle

446 страниц

O'Reilly опубликовал результаты опроса по tech зарплатам в штатах.

Из интересного:
- самые популярные языки SQL (везде) и Python
- облако AWS самое популярное
- Linux более популярен, чем MacOs для разработчиков
- Terraform и Docker больше всех востребованы среди доп инструментов
- Сертификация гугла коррелирует с более высоким доходом
- Большинство на удаленке
- Manager и Engineer получает почти одинаково, а вот director получает на 25% выше (в среднем).
- Очень важная разница между РФ и Штатами - максимальный доход в 45-54 года. Тут не ищут молодых. В РФ должно меняться отношение к взрослым специалистам, HR на заметку!!!
- Штат Оклахома имеет самые высокие ЗП (это где вообще?)
- У мужчин все еще ЗП выше, чем у женщин☹️ Но при этом, у женщин ЗП растет быстрей.
- Средняя ЗП в районе 150к - 175к в США. У нас например есть инженеры из штатов, получают 180к. База 180 это ОК, вопрос в стоках и бонусах. Топ компании могут платить базу 200+, но это скорей исключение. Если нужно получать больше, то надо платить меньше налогов, а это надо работать через корпорацию (аналог ООО и ИП).

Теперь даже Amazon Redshift доступен как сервис - Amazon Redshift Serverless is now generally available

Что такое serverless? В модуле 5 datalearn мы проходили облачные вычисления и рассматривали типы сервисов:
- IaaS - инфраструктура как сервис - пример это виртуальная машина, на которую мы ставим софт. В этом случае мы должны отвечать за все, кроме hardware.

- PaaS - платформа как сервис - как раз классический Redshift это PaaS - пару кликов, и у нас уже работающий Redshift, но мы должны еще делать сами бекапы, управлять нагрузкой, оптимизировать хранение данных (частично админы), но нам не надо переживать за операционную версию кластера и другие вещи.

- SaaS - софт как сервис - то есть пару кликов и у нас готовый сервис, который сам будет масштабироваться и мы будем платить только за использование. Примеры - Snowflake, Databricks managed Spark), недавно появился Amazon EMR serverless, AWS Glue (managed spark), Amazon Athena, BigQuery, Azure Synapse Serverless SQL (DWH). И список довольно большой. А самые первые сервисы это Google sheets, slides, docs и SalesForce.

Значит ли это, что можно забыть про инфраструктуру и кликать только мышкой? В теории звучит, как будто то да, а вот на практике ситуация обратная. Обычно все работает гладко, пока "коса на камень" не случится. Большой объем данных, требования к безопасности, требования DevOps и ИТ к использованию CI/CD, инфраструктуры как код, приватность данных и многое другое. То есть на практике, все эти serverless решения лишь только отвлекают нас от инженерной сути происходящего. Поэтому знать и понимать разницу хорошо.

Автор статьи Data teams are getting larger, faster рассуждает про рост дата команды и идеальный размер. Вопрос хороший, легко быть маленькой командой в 2-3 человека, но когда кол-во человек переваливает за 10, уже начинается хаос.

Есть ли у вас опыт с резким ростом команды и как все происходило? Стало лучше/хуже?

Когда мы строим ETL, один из первоочередных вопросов, как мы хотим забирать данные из источника. Один из самых популярных терминов - CDC (Change Data Capture). То есть, мы хотим забрать только инкремент свежих данных с минимальной нагрузкой на ETL и источник.

Есть много способов внедрения этого подхода, начинаю с классчиских сервисов репликации как Oracle Golden Gate или AWS DMS и заканчиваю open source продуктами как Debezium.

Как у вас успехи с CDC?

PS есть хорошие материалы по debezium?

Хорошая статья, которая рассматривает стоимость современных аналитических решений в облаке, на первый взгляд все стоит дёшево,а по факту может получиться кругленькая сумма. https://blog.dataminded.com/why-rising-cloud-costs-are-the-silent-killers-of-data-platforms-52a98b371f28

Сегодня услышал интересный statement в Microsoft. Тот случай когда и смешно и грустно одновременно. Я пообщался с другой командой про internal transfer, и все вроде бы хорошо, только есть одно маленькое НО. Для senior инженеров сначала должны рассматриваться кандидаты отвечающие требованиям diversity&inclusion, поэтому предложили подождать лучших времен😁

Зато когда общался с обычной SaaS компанией про позицию Data Engineer, меня собеседовало 5 мужиков (инженеры и менеджеры). Про D&I там пока не заморачиваются. И я ответил им на вопрос про Time&Space Complexity алгоритма! Вот это повод собой годиться😂

Недавно посетители книжного клуба пригласи автора небезызвестного "кабанчика" на встречу - Interview Martin Kleppmann

Всем привет.

Поделюсь своей историей и статистикой откликов по мотивам Алексея.

На datalearn наткнулся в мае прошлого года. За спиной был пройденный обрезанный бесплатный курс от Я.Практикума и отсутствие глобального плана действий. В итоге не очень расторопно прошел 1, 2 и 4 модули. Также прошёл курс от Анатолия. Потом были разные курсы и тренажёры SQL. Постепенно пришло понимание, куда двигаться и на что опираться в дальнейшем.

Важным моментом было пройти стадию вечного ученика и перейти к решительным действиям. Придумал несколько петпроектов, которые применил на текущем (на тот момент) месте работы. Ну и со всем этим начал откликаться на вакансии (hh в основном). Начал это все после майских праздников.

По статистике:
~250 откликов (значительная часть которых так и не были просмотрены)
3 скрининга
5 тестовых
4 собеседования (одно из которых составное)
1 оффер

Сейчас на испытательном сроке.

Откликался разными резюме, на примерно одинаковые вакансии (все по классике). В основном SQL/BI.
Из опыта только курсы/петпроекты.

В общем хотел сказать спасибо @dimoobraznii за курс, ну и за возникновение такого сообщества👍

Вот еще один отзыв:
Так получилось, что когда я начала проходить курс “SQL for beginners” на DataLearn, я уже не была новичком в SQL. До этого у меня был модуль по SQL в курсе от Яндекс.Практикума, плюс на работе была развёрнута база MySQL, к которой я довольно бодро писала SELECT-запросы. Очень хотелось использовать в работе оконные функции и конструкции с WITH (тогда я ещё не знала, что они правильно называются CTE), но текущая версия нашей базы MySQL это не поддерживала, а ради моих аналитических «хотелок», естественно, никто не собирался её поднимать.

Также мне очень хотелось узнать больше про базы данных и, помимо DML-, писать также DDL-запросы. Но на работе на это мне было наложено табу. И я пошла искать курс в Интернете. И как раз мой куратор из Яндекс.Практикума и посоветовал мне “SQL for beginners” на DataLearn на основе большого числа положительных отзывов от студентов.

Я просмотрела этот курс «от корки до корки». Большое спасибо Анатолию за такое полное и систематическое изложение материала по классическому SQL, за большое количество практических заданий, каждое из которых детально рассмотрено и объяснено! Помимо DML и DDL-операций, подробно излагается теория по CTE, оконным функциям, а также преподаватель заглядывает «под капот» СУБД и рассказывает про планы выполнения запросов, физические соединения таблиц и производительность.

И в заключение хотела рассказать про смешной случай. Как я уже упоминала, у меня на работе не поддерживались оконные функции. При прохождении технического интервью на новую работу запросы с использованием оконных функций я писала только на основе знаний, полученных на лекциях Анатолия. И написала ведь! Но когда вышла на новое место, то оказалось, что оконные функции и у них не поддерживаются по причине нехватки ресурсов. Я смеялась )))
Дмитрий, я стала смотреть Ваш курс по DE. Вообще-то в плане были другие курсы и пара книг, но я очень хотела Ваш курс, поэтому повысила ему приоритет.

Я пока смотрю первый модуль. Мне нравится - тем, что даётся целостная картина. Мне как раз этого не хватает. Сейчас у меня осколки знаний, хочется сложить их.

#testimmonial

Нас часто спрашивают на собеседование какие у нас есть вопросы. Сегодня я подглядел прикольные вопросы, которые можно спросить, которые имеют глубокий смысл.

1. Объяснить как они пришли к тому, что им нужен еще один человек?
2. Как вы будете оценивать мою работу?
3. Как вы поймете, что я вырос и мне нужно дать больше денег и полномочий?
4. Как они понимают, что у них плохой код и что они с этим делают?
5. Что делать если человек хорошо работал, а потом вдруг стал плохо работать?
6. Как они понимают, что инженерам нравиться их стиль руководства?
7. Как они увольняют? Как решают, что надо уволить?
8. Как ты лично сможешь повлиять на их бизнес и атмосферу, какие рычаги будут, чтобы улучшить среду, в которой окажешься? Какие возможности расти самому и растить компанию?
9. Используете ли вы Agile? Почему именно Agile?

Привет :) . Выложили видео с митапа: https://www.youtube.com/watch?v=FnfNnn-EZok :) ... Весьма близко к моей второй лекции про Data Vault/Anchor Modeling, но по английски, в полтора раза больше материала, и в конце есть упоминания нашего нового продукта, youta.app

The core problem with working longer hours is that time is a finite resource. Energy is a different story. - цитата из статья HBR Manage Your Energy, Not Your Time

Совершенна другой угол обзора на насущную проблему - мы работаем много часов и устаем. Мы считаем часы. Но редко задумываемся про энергию. Возможно у вас есть моменты в истории, когда вы делали интересную работу 12 часов, а потом еще пошли вечером в барчик и утром с удовольствием брались за работу полны сил.

А может быть наоборот, после 6-8 часов "прокрастинации" вы как выжитый лимон. Важно понять, что дает вам энергию, что вас заряжает и драйвит. Делать упор на это, а что мешает убирать.

Как только будет четкое понимание, вы сможете заправляться правильной энергией. 🎢