Всем привет.
В рамках развития сообщества @dbt_users мы проводим второй митап, затрагивающий уже более технические подробности инструмента.
14 июня в 19-00 в онлайне ребята из Wheely, ADV/web-engineering co., Space307 и NabuMinds расскажут:
- надежанная дружба clickhouse и dbt
- data quality в modern data stack
- куда расти в зрелых dbt-проектах
- dbt для байтовозов с маленьким t в elt
Слоты фиксированы по времени, можно подключаться на любой доклад. Ссылка на ютуб придет как обычно перед началом митапа.
До встречи :)
https://space307.team/dbtmeetup

Phone Screening из Amazon - 2 задачки SQL + 1 Python.

Новости из мира аналитики

The evolution of event data collection at Vimeo, part 1: the Fatal Attraction era - статья про аналитическое решение для сбора данные в Vimeo, используют Looker, Snowflake, Kafka, Airflow.

Software Architectural Patterns in Data Engineering - попытка натянуть Software Development практики и архитектуры на аналитические решения.

Meet Dash-AB — The Statistics Engine of Experimentation at DoorDash - культура экспериментирования очень важна, door dash рассказывает про свою реализацию.

This is how I onboarded more than 10 Data Engineers and got excellent reviews and feedback. - менеджер рассказывает про свой подход в развитии команды и найме инженеров.

A PySpark style guide for real-world data scientists - примеры оформления и написания читаемого PySpark кода.

Data Science on AWS - множество примеров для AWS на питоне.

Классный комикс про друзей, которые решили встретится через 10 лет после окончанию универа и обсудили свои провалившиеся мечты - Why most of us won't achieve Financial Independence early.

Тот случай, когда несколько потерянных строк имеют значение. Если в вкратце, то сделали решение, даже было тестирование, но каждые 3-4 месяца терялись 1-2 строки из млнов. В результате отчетность поплыла, начальники в шоке и хотят всех уволить, хотя проблема в источники. Мы же знаем - "shit in - shot out". Очевидно, что проблема не в команде инженеров, а менеджменте, который ищет "козла отпущения"

Кол-во кандидатов на рынке растет, а кол-во вакансий на рынке падает. Везде свои причины. В Северной Америке это экономический спад - Tech hiring freeze doesn't mean people won't leave. (и таких статей вагон и маленькая тележка, и это только начало, еще официально все хорошо)

Даже тесла собирается уволить 10% своих сотрудников. Компании, которые не сокращают просто останавливают найм.

Если посмотреть с другой стороны, то пузырь нехватки кандидатов лопнул и может получиться ситуация, что скоро будет кандидатов больше, чем работ.

Те компании, которые еще набирают людей, теперь могу повышать требования. Все компании с кем мне доводилось недавно общаться спрашивают ваш любимый топик - Data Structures and Algorithms. С одной стороны, это вещи могут не понадобиться в работе никогда, а с другой стороны без "зубрежки" этой темы не получится никуда устроиться на хорошую работу.

Поэтому вчера я снова подписался на leetcode и начал смотреть курс - Data Structures and Algorithms: The Complete Masterclass

Накидайте в комменты хороших материалов по этой теме на русском и на английском.

Согласно автору статьи Panic in Startupland - все плохо! Навыки рыбалки и охоты вам пригодятся, а еще можно грибы собирать и заменить бензиновую машину на теслу велосипед, каникулы на море на палатку у озера. Как говорится, живем в историческое время! 🤠

На самом деле после спада, всегда бывает рост, надо просто переждать✊

Если уж Chief Data Officers Struggle To Make A Business Impact то чего ждать от нас, простых смертных🧃

git init -- превращает обычную папку в Git репозиторий и начинает версионировать файлы в нём (появится .git файл)

git remote add origin -- позволяет связать данный локальный репозиторий с удалённый, причем назначить этот удалённый репозиторий основным (origin)

git add -- добавляет содержимое рабочего каталога в индекс (staging area) для последующего коммита.

git status -- показывает состояния файлов в рабочем каталоге и индексе: какие файлы изменены, но не добавлены в индекс; какие ожидают коммита в индексе. Вдобавок к этому выводятся подсказки о том, как изменить состояние файлов.

git commit -- берёт все данные, добавленные в индекс с помощью git add, и сохраняет их слепок во внутренней базе данных, а затем сдвигает указатель текущей ветки на этот слепок.

git push -- используется для установления связи с удалённым репозиторием, вычисления локальных изменений отсутствующих в нём, и собственно их передачи в вышеупомянутый репозиторий.

PS в комменты накидайте хорошие ресурсы для читателей по гиту

Google Colab - бесплатные ноутбуки для Python добавили новую фичу, наверно еще давно, но штука полезная!