Командная строка это важный инструмент для инженера и разработчика.

Я общался с некоторыми инженерами, кто использует командную строку (CLI) абсолютно для всего, включая редактирование текста и создания заметок, написание и выполнение SQL запросов, само собой разумеется любого другого кода. Даже вместо Excel они используют CLI и IPython/Pandas чтобы сделать CNTR+C в командную строку и создать Data Frame.

Вот такое вот искусство. Я тоже пытаюсь не отставать и делать больше задач в CLI, чем UI.

Обычно всех пугает VIM, ведь недаром это один из самых популярных вопросов - How do I exit Vim?

Аналог VIM это nano редактор, он проще, но и команд там меньше. Поэтому есть отличный tutorial для Vim - OpenVim.

Еще один важный элемент - внешний вид CLI. По умолчанию это просто черно/белый экран. Поэтому всем рекомендую использовать Oh-My-Shell плагин.

После азов командной строки, можно уже переходить к более интересным вещам, например создание шаблонов Terraform для инфраструктуры и выполнение команд в Makefile.

И потом все эти знанию пригодятся для создания CI/CD pipelines и других DevOps/Инфраструктурных вещей.

Материалы по Spark

Установка Spark
Java Download
Spark Download

Основы Spark
Spark Starter Kit
Apache Spark Fundamentals
Spark Full Course | Spark Tutorial For Beginners
Scala and Spark 2 - Getting Started
Spark and Python for Big Data with PySpark
Best PySpark Tutorial for Beginners

Примеры проектов на Spark
Real-Time Spark Project
Spark Kafka Cassandra
PySpark Realtime Use Case Explained
End to End Project using Spark/Hadoop
Spark End to End Project : Sentiment analysis Twitter : Kafka and Spark Structured Streaming

В коменты присылайте свои материалы и книги

Очень хороший пост про повышение в Амазон. Оплачивают за результат, а повышают за ваше отношение к работе. То есть, допустим вы много работаете и закрываете задачи и проекты, за это вам платят и дают бонус условный, а чтобы перейти на следующий уровень вам необходимо уже фокусироваться на behaviour, взаимоотношениях с коллегами, engineering best practices. Часто человек может делать одно, но неочень делать второе (как я например), но стараюсь исправиться в будущем😇

Один в один мое первое рабочее место в Канаде в Виннипеге. Environment была там совсем не fast-paced. Но я этого не знал. После черногорского FinTech я бегал как ужаленный по этажам, полон идей и желанием все улучшить.

В один прекрасный зимний день, меня вызвал начальник и отправил домой, так как я был в пиджаке с темными джинсами, а в джинсах нельзя. Получилось, как в том анекдоте - "и плачу и смеюсь". В -40 пришлось на 2х автобусах сгонять домой переодеть штаны и обновить резюме.

Как говориться, "нет худа без добра". В итоге устроился в Амазон и переехал в British Columbia, где вообще нет зимы.

Спустя несколько лет наконец-то получилось организовать offline user group для Tableau, как в старые добрые времена - pizza и drinks в хорошем офисе😜

Детский квест - проплыть 20 км на SUP и каяке с детьми и палаткой, собрать карту и найти клад.

Если вы работаете с AWS, то обычно все данные хранятся в S3 (cloud storage). Часто для локальной разработки или процесса CI/CD нам нужно проверять наш код, например Spark Jobs Unit Tests. Возможно без доступа к облаку, так как для доступа вам нужно использовать credentials.

Попалось очень хорошее решение для такой задачи - How to mock AWS services in local development?

То есть запускается сервис, который имитирует s3://

Кто-то собрал список data influencers в Linkedin https://docs.google.com/spreadsheets/d/1OALYhi-7wlGxX4MYr_GACunVqhqDejN3OokTN7ITshY/edit#gid=0

Новый игрок в BI был замечен на рынке после недавних инвестиций в 12млн от знающих толк в data людей

Most BI tools are thin applications with no г engine of their own, and only as fast as the database they sit atop. Rill, on the other hand, is a thick application that comes with its own embedded in-memory OLAP engine (DuckDB in Rill Developer, and Apache Druid in Rill Cloud). This is the not-so-secret reason why our dashboards offer incredibly high performance,” the company wrote in a blog post announcing the funding.


https://techcrunch-com.cdn.ampproject.org/c/s/techcrunch.com/2022/08/04/rill-wants-to-rethink-bi-dashboards-with-embedded-database-and-instant-ux/amp/

Посмотрим как пойдёт у них

Databricks VSCode Extension https://blog.gbrueckl.at/2022/08/databricks-vscode-extension-release-v1-0/

FAANG компании отслеживают интересные метрики - Revenue per employee и Free cash flow per employee.

Согласно статье Why Mark Zuckerberg and Sundar Pichai Are Worried About Productivity эффективность труда падает, и как говорит Цукенберг Realistically, there are probably a bunch of people at the company who shouldn’t be here.

Как вам такой подход? Я знаю, что такой подход хорошо работает на уровень зарплаты (total compensation), и поэтому там такие высокие зарплаты, а вот наоборот, искать взаимосвязь между производительностью конкретного инженера и доходом компании это может обернуться "охотой на ведьм". Возможно причины в неудачных long term решениях.

А так то, кому сейчас легко?😆

Пока вы учите Python, SQL, Airflow и другие полезные ништячки на работе, я прохожу sexual harassment тренинг с элементами сериала 90х.

Вот один из вопросов:
(google сделал перевод для вас)

Несколько сотрудниц офиса являются друзьями на Facebook. Однажды ночью дома одна из женщин публикует рейтинг «Лучших мужских задниц в моем офисе», зная, что она дружит на Facebook только с сотрудницами, которые не обидятся. Когда это видит друг друга друга, он чувствует себя униженным, потому что он занял последнее место. Он сообщает об этом как о сексуальных домогательствах.

Это сексуальные домогательства?

Вопрос конечно серьезный и даже очень полезный для некоторых, но в Канаде тут с этим не шутят, за неудачный комплимент могут вызвать полицию или уволить с работы одним днем. Поэтому тут лучше молчать и глаза не поднимать. 🙈

У меня был еще другой тренинг, но он мне оказался не по силам, я запутался в терминологии и цветах радуги.

Очень классная статья - Cloud-native Computing, Workloads, and Elasticity - про экономию в облаках.

Казалось бы, если у нас есть кластер для ETL и он будет тратить X денег за 7 часов, то если мы удвоим кластер, то будем платить 2X за 7 часов.

Но в облаке будет работать по другому. При удвоении мощности, наш ETL процесс закончится как минимум в 2 раза быстрей, то есть мы заплатим 2X/2=X. Та же цена, но в 2 раза быстрей. И там можно дальше. Все благодаря преимуществам облака и тарификации за работающие ресурсы.

Я конечно утрирую немного, но в статье смысл про это, от ветерана MPP платформ Rob Klopp (Greenplum, Hana)

Интересный путь у товарища

Отличная картинка. Только вместо ERP и CSV можно использовать хранилище данных. Пользователи мега креативны и найдут способ создать одинаковый показатель с разной логикой и результатом, даже если уже такой есть.

И это будет не их вина. Это проблема отсутствия правильной документации, инструмента для отображения документации и on-boarding тренингов.

Хотя нет, даже при наличии всего этого, все равно придумают чего-нить (и никому не скажут)

Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.

Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, про то, как все устроено и с какими проблемами сталкиваются DE и команды.
А еще взгляды автора совпадали на некоторые аспекты и процессы совпадали с моими, приятно осозновать, что я практики, до которых я дошел самостоятельно или научился у других, оказываются, и правда хорошие. Спасибо моим учителям =)

А теперь из прикольного: у ребят в datatalks.club в слаке есть канал book-of-the-week, где эту неделю автор книги отвечает на все вопросы. Советую заглянуть и почитать треды.

@ohmydataengineer