Всем привет, завтра (6 июля, среда) вебинар в 20:00 по мск
Мы продолжаем серию общеобразовательных вебинаров о том как работает наш мозг, про умение думать и мыслить и все в этом духе)))

Ссылка на вебинар: https://youtu.be/KL4RV8BsPbI
⚠️ Описание вебинара:
Добрый день, меня зовут Рустам, я создатель крупнейшего в рунете сообщества изучающего принципы управления, организации и работы со знаниями. Неожиданно для себя открыл, что критическому мышлению, которым многие мечтают овладеть, просто невозможно научиться.

Сегодня хотелось бы поразмышлять вместе с Вами о том что такое критическое мышление, какую роль во всем этот играет рациональность и что вообще это такое. Попробуем разобраться могут ли математические алгоритмы создавать знание и как далеко нам до ИИ, а также какое препятствие стоит у нас на пути к написанному в строках кодах сознанию и почему меня пугает AlphaGo.

Ну и в заключении поговорим о мышлении в широком смысле слова. Подходах, инструментах, процессу переработки и системах создания знаний. И как бы нам не хотелось компьютеризировать этот процесс, он пока еще исключительно антропоцентричный и никаких серьезных изменений в этой области не предвидится.

📕 Ссылки на ресурсы спикера:
🔗 Канал в телеге: https://news.1rj.ru/str/Zettelkasten_ru
🔗 Цифровой сад: rustamagamaliev.ru
🔗 Форум: zttl.space

🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!

📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале https://datalearn.ru/

👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.

🔥 Самые актуальные новости про аналитику в Telegram канале:
https://news.1rj.ru/str/rockyourdata
🔥 Телеграм канал DataLearn:
https://news.1rj.ru/str/datalearnru

Очередная саркастичная картинка про “Modern Data Stack”, вот и вопрос, как же войти в профессию с чего начать, что делать, куда бежать?

Как было раньше хорошо, был Oracle и SQL Server как хранилище и несколько ETL инструментов с UI либо процедурные языки от баз данных, а теперь вот 🙈🙊

Кстати другой момент, что на всех этих картинках нет инструментов для моделирования хранилищ данных, потому что это трудозатратно и требует опыта.

И кстати утверждение, что в облаке нам не нужна модель данных - отчасти верна, мы можем взять большой кластер и выполнить запрос, но вот цена вопроса будет другой, поэтому модель данных это уже не про перформанс, а про цену compute. А мы знаем (из модуля 5 и 6 datalearn, compute - дорого!)

Через 20 минут начинаем:
https://youtu.be/KL4RV8BsPbI

dbt - инструмент для трансформации данных внутри хранилища, то есть T в процессе ELT, достаточно прост и удобен, да еще и бесплатный.

Вот некоторые ресурсы по нему:

В облаке google:
DBT at scale on Google Cloud — Part 1
DBT at scale on Google Cloud — Part 2
DBT at scale on Google Cloud — Part 3

Serverless dbt on Google Cloud Platform

Serverless architecture on Google Cloud with dbt

В облаке AWS:
Build a modern data architecture on AWS with Amazon AppFlow, AWS Lake Formation, and Amazon Redshift
Build a modern data architecture on AWS with Amazon AppFlow, AWS Lake Formation, and Amazon Redshift: Part 2

В облаке Azure:
Run DBT in Azure Data Factory: A Clean Solution

И просто примеры решений:
Building a Robust Data Pipeline with the “dAG Stack”: dbt, Airflow, and Great Expectations

How Rittman Analytics does Analytics Part 2 : Building our Modern Data Stack using dbt, Google BigQuery, Looker, Segment and Rudderstack.

dbt and Snowflake

Transform your data with dbt and Serverless architecture

Building an End-to-End Open-Source Modern Data Platform

Ну и наш вебинар про введение в dbt - ВВЕДЕНИ В DBT / СОЗДАНИЕ МОДЕЛЕЙ ПРИ ПОМОЩИ DBT / УПРАВЛЕНИЕ ТРАНСФОРМАЦИЕЙ ДАННЫХ / РИШАТ МИНГАЗОВ

Вот ещё от в JetBrains блоге https://blog.jetbrains.com/big-data-tools/tag/dbt/

В целом, инструмент хороший, можно использовать, большое сообщество, прост и быстр в обучении.

Классный документ про 11 законов, которые популярны в tech индустрии, например 2 pizza rule, принцип парето и тп. (эти 2 я использую очень часто).

Отличный материал для начинающих или для тех, кто учит английский.

Моя презентация 2016 года про миграцию отчетности с Oracle, Excel, Crystal Reports на Redshift и Tableau.

Еще одно техническое собеседование для Амазон:

Задание 1:
Есть 2 таблицы А и Б, нужно сказать сколько строк выведется при соединении.
TableA
id1
1
1

TableB
id2
1
1
1
1
NULL


Please provide the count of rows for each join for Table A and Table B:
Left join:
Right join:
inner join:
full join:


Задание 2:
Department table (id, name)
D1 Finance Dept
D2 HR Dept
D3 AR Dept
F1 AP Dept

Employee table (id, name, deptNo, sex, hireDate, Salary,effectiveDate)
E1, sample1, D1,M,01/01/2000, 5000, 01/01/2000
E1, sample1, D1,M,01/01/2000, 6000, 01/01/2001
E1, sample1, D2,M,01/01/2000, 6000, 01/02/2001
E2, sample1, D2,M,01/01/2000, 6000, 01/02/2001
E3, sample1, D1,M,01/01/2000, 5000, 01/01/2000
E3, sample1, D1,M,01/01/2000, 6000, 01/01/2001
E4, sample1, F1,M,01/01/2000, 5000, 01/01/2000
E4, sample1, D1,M,01/01/2000, 6000, 01/01/2001
E4, sample1, D3,M,01/01/2000, 8000, 01/02/2001
E5, sample1, D3,F,01/01/2001, 8000, 01/02/2001
E6, sample1, D3,F,01/01/2001, 9000, 01/02/2001

1.Write a query to display latest salary of each employee

2. Write a query to display department name where employees count in the department is
more than 2

Задание 3 (code):
Given two strings, output the words that are unique to each string.
Example:
String 1: The quick brown fox jumped over the lazy fox
String 2: The slow blue whale swam over the quick shark

Output: slow, brown, blue, fox, whale, jumped, swam, lazy, shark


Задание 4 (моделирование):
Employee Seat Assignment
Daily some employees in the organization transfer from one manager to another manager.
This transfer leads to new seat assignment at his new work location.

Can you do a data model to maintain the history of work location changes? (нужно прикинуть какой подход для моделирования использовать, какие колонки будут в таблице, как отображать историю)

В июне вышла новая книга Fundamentals of Data Engineering с хорошим рейтингом.

This book will help you:

- Get a concise overview of the entire data engineering landscape
- Assess data engineering problems using an end-to-end framework of best practices
- Cut through marketing hype when choosing data technologies, architecture, and processes
- Use the data engineering lifecycle to design and build a robust architecture
- Incorporate data governance and security across the data engineering lifecycle

446 страниц

O'Reilly опубликовал результаты опроса по tech зарплатам в штатах.

Из интересного:
- самые популярные языки SQL (везде) и Python
- облако AWS самое популярное
- Linux более популярен, чем MacOs для разработчиков
- Terraform и Docker больше всех востребованы среди доп инструментов
- Сертификация гугла коррелирует с более высоким доходом
- Большинство на удаленке
- Manager и Engineer получает почти одинаково, а вот director получает на 25% выше (в среднем).
- Очень важная разница между РФ и Штатами - максимальный доход в 45-54 года. Тут не ищут молодых. В РФ должно меняться отношение к взрослым специалистам, HR на заметку!!!
- Штат Оклахома имеет самые высокие ЗП (это где вообще?)
- У мужчин все еще ЗП выше, чем у женщин☹️ Но при этом, у женщин ЗП растет быстрей.
- Средняя ЗП в районе 150к - 175к в США. У нас например есть инженеры из штатов, получают 180к. База 180 это ОК, вопрос в стоках и бонусах. Топ компании могут платить базу 200+, но это скорей исключение. Если нужно получать больше, то надо платить меньше налогов, а это надо работать через корпорацию (аналог ООО и ИП).

Теперь даже Amazon Redshift доступен как сервис - Amazon Redshift Serverless is now generally available

Что такое serverless? В модуле 5 datalearn мы проходили облачные вычисления и рассматривали типы сервисов:
- IaaS - инфраструктура как сервис - пример это виртуальная машина, на которую мы ставим софт. В этом случае мы должны отвечать за все, кроме hardware.

- PaaS - платформа как сервис - как раз классический Redshift это PaaS - пару кликов, и у нас уже работающий Redshift, но мы должны еще делать сами бекапы, управлять нагрузкой, оптимизировать хранение данных (частично админы), но нам не надо переживать за операционную версию кластера и другие вещи.

- SaaS - софт как сервис - то есть пару кликов и у нас готовый сервис, который сам будет масштабироваться и мы будем платить только за использование. Примеры - Snowflake, Databricks managed Spark), недавно появился Amazon EMR serverless, AWS Glue (managed spark), Amazon Athena, BigQuery, Azure Synapse Serverless SQL (DWH). И список довольно большой. А самые первые сервисы это Google sheets, slides, docs и SalesForce.

Значит ли это, что можно забыть про инфраструктуру и кликать только мышкой? В теории звучит, как будто то да, а вот на практике ситуация обратная. Обычно все работает гладко, пока "коса на камень" не случится. Большой объем данных, требования к безопасности, требования DevOps и ИТ к использованию CI/CD, инфраструктуры как код, приватность данных и многое другое. То есть на практике, все эти serverless решения лишь только отвлекают нас от инженерной сути происходящего. Поэтому знать и понимать разницу хорошо.

Автор статьи Data teams are getting larger, faster рассуждает про рост дата команды и идеальный размер. Вопрос хороший, легко быть маленькой командой в 2-3 человека, но когда кол-во человек переваливает за 10, уже начинается хаос.

Есть ли у вас опыт с резким ростом команды и как все происходило? Стало лучше/хуже?

Когда мы строим ETL, один из первоочередных вопросов, как мы хотим забирать данные из источника. Один из самых популярных терминов - CDC (Change Data Capture). То есть, мы хотим забрать только инкремент свежих данных с минимальной нагрузкой на ETL и источник.

Есть много способов внедрения этого подхода, начинаю с классчиских сервисов репликации как Oracle Golden Gate или AWS DMS и заканчиваю open source продуктами как Debezium.

Как у вас успехи с CDC?

PS есть хорошие материалы по debezium?

Хорошая статья, которая рассматривает стоимость современных аналитических решений в облаке, на первый взгляд все стоит дёшево,а по факту может получиться кругленькая сумма. https://blog.dataminded.com/why-rising-cloud-costs-are-the-silent-killers-of-data-platforms-52a98b371f28

Сегодня услышал интересный statement в Microsoft. Тот случай когда и смешно и грустно одновременно. Я пообщался с другой командой про internal transfer, и все вроде бы хорошо, только есть одно маленькое НО. Для senior инженеров сначала должны рассматриваться кандидаты отвечающие требованиям diversity&inclusion, поэтому предложили подождать лучших времен😁

Зато когда общался с обычной SaaS компанией про позицию Data Engineer, меня собеседовало 5 мужиков (инженеры и менеджеры). Про D&I там пока не заморачиваются. И я ответил им на вопрос про Time&Space Complexity алгоритма! Вот это повод собой годиться😂

Недавно посетители книжного клуба пригласи автора небезызвестного "кабанчика" на встречу - Interview Martin Kleppmann

Всем привет.

Поделюсь своей историей и статистикой откликов по мотивам Алексея.

На datalearn наткнулся в мае прошлого года. За спиной был пройденный обрезанный бесплатный курс от Я.Практикума и отсутствие глобального плана действий. В итоге не очень расторопно прошел 1, 2 и 4 модули. Также прошёл курс от Анатолия. Потом были разные курсы и тренажёры SQL. Постепенно пришло понимание, куда двигаться и на что опираться в дальнейшем.

Важным моментом было пройти стадию вечного ученика и перейти к решительным действиям. Придумал несколько петпроектов, которые применил на текущем (на тот момент) месте работы. Ну и со всем этим начал откликаться на вакансии (hh в основном). Начал это все после майских праздников.

По статистике:
~250 откликов (значительная часть которых так и не были просмотрены)
3 скрининга
5 тестовых
4 собеседования (одно из которых составное)
1 оффер

Сейчас на испытательном сроке.

Откликался разными резюме, на примерно одинаковые вакансии (все по классике). В основном SQL/BI.
Из опыта только курсы/петпроекты.

В общем хотел сказать спасибо @dimoobraznii за курс, ну и за возникновение такого сообщества👍

Вот еще один отзыв:
Так получилось, что когда я начала проходить курс “SQL for beginners” на DataLearn, я уже не была новичком в SQL. До этого у меня был модуль по SQL в курсе от Яндекс.Практикума, плюс на работе была развёрнута база MySQL, к которой я довольно бодро писала SELECT-запросы. Очень хотелось использовать в работе оконные функции и конструкции с WITH (тогда я ещё не знала, что они правильно называются CTE), но текущая версия нашей базы MySQL это не поддерживала, а ради моих аналитических «хотелок», естественно, никто не собирался её поднимать.

Также мне очень хотелось узнать больше про базы данных и, помимо DML-, писать также DDL-запросы. Но на работе на это мне было наложено табу. И я пошла искать курс в Интернете. И как раз мой куратор из Яндекс.Практикума и посоветовал мне “SQL for beginners” на DataLearn на основе большого числа положительных отзывов от студентов.

Я просмотрела этот курс «от корки до корки». Большое спасибо Анатолию за такое полное и систематическое изложение материала по классическому SQL, за большое количество практических заданий, каждое из которых детально рассмотрено и объяснено! Помимо DML и DDL-операций, подробно излагается теория по CTE, оконным функциям, а также преподаватель заглядывает «под капот» СУБД и рассказывает про планы выполнения запросов, физические соединения таблиц и производительность.

И в заключение хотела рассказать про смешной случай. Как я уже упоминала, у меня на работе не поддерживались оконные функции. При прохождении технического интервью на новую работу запросы с использованием оконных функций я писала только на основе знаний, полученных на лекциях Анатолия. И написала ведь! Но когда вышла на новое место, то оказалось, что оконные функции и у них не поддерживаются по причине нехватки ресурсов. Я смеялась )))
Дмитрий, я стала смотреть Ваш курс по DE. Вообще-то в плане были другие курсы и пара книг, но я очень хотела Ваш курс, поэтому повысила ему приоритет.

Я пока смотрю первый модуль. Мне нравится - тем, что даётся целостная картина. Мне как раз этого не хватает. Сейчас у меня осколки знаний, хочется сложить их.

#testimmonial