Да, трудное и очень дурацкое время, мы все все понимаем. Но все же…

Ребята из CityMobil проводят очередной Data Meetup.

Темы снова две:

- Сбор и валидация субъективных данных на примере заказов по пути домой

- Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездок

Регистрация доступна по ссылке тут

Так, среди всех новостных подписок и ресурсов мне очень нравится The Pragmatic Engineer. Это тот самый, который про 3-modal компании (tier 1, tier 2, tier 3) популярный пост писал и видео снимал.
У него очень много полезного материала в его рассылке, и часть из них платная. Подписка стоит $15 в месяц (12, если платить за год сразу), но если ему написать на почту hello at pragmaticengineer dot com, чесно признаться, что вы из России, то можно получить скидку в 55%.
Вот такой вот хороший оффер! Подписку честно советую!

Можете в письме мягко упомянуть “Hello from Simon” =)

Всем привет!
С 28 числа в этом канале не было сообщений. Сами знаете почему.
Тут недавно в твиттере проскакивало две фразы, которые мне сильно зацепились.

“Ребята, если хотите сохранить кукуху - найдите для себя свой, личный способ выхода энергии. Нестерпимая ситуация рождает боль, боль рождает желание её уменьшить.“

и

"Может ли булочник печь булки во время войны?".

Так вот, у меня есть продолжить желание писать сюда в канал. Мне нужен этот выход энергии.
Странно, конечно, спрашивать “А вы не против, если я продолжу писать сюда?”, ведь это мой канал 😁

Но я понимаю, что есть люди, которые могут не разделить мою позицию, мол “Почему ты продолжаешь писать про айтишку, когда идет специальная военная операция война?”
Наша жизнь продолжается, в каком-то новом измерении, и в этом измерении я все еще хочу быть дата инженером и заниматься своими любимыми вещами. Поэтому я хочу продолжить писать про DE и вокруг.

Поэтому если вы не разделяет мою позицию по прекращению тишины в канале, сейчас самое время отписаться. Я буду скучать по вам, я люблю каждого своего подписчика.

Если вам есть что сказать, приходите в комментарии, там можно меня даже послать куда подальше за такое, никаких репрессий за это не будет =)

Страшные ужасы вендор-лока.
Например, Vertica запретила скачивать драйверы со своего сайта всем, кто заходит с Российского IP.
Конечно, VPN решает проблему, но кто знает, что будет дальше…

https://drecon.org/

Открылась регистрация (бесплатная) на очередной Дрекон, кхе-кхе)

Темы, правда, пока не известны…

Стабильно, несколько раз в неделю мне пишут с запросом на рекламу и денег предлагают.
Но нет, в этом канале платной рекламы не будет никогда, а если я закидываю какую-то ссылку, то это потому, что у меня у самого возник к этому интерес и мне захотелось с вами этим поделиться.

Рубрика #НамБыДжуна давно себя изжила, и мне бы не хотелось превращать свой канал в джоб борд (у нас для этого есть (@datajobs чат и @datajobschannel фид). Но, в виде исключения, хочу запостить две вакансии.

Первая от Ивана, просто потому что это очень классное описание вакансии, без всякого булшита корпоративного, честно и прямо. Стек, что делать, с кем и как работать - такое описание читать приятно и сразу понимаешь, что и куда. Контакты, собственно, в сообщении. Ну и на канал советую подписаться 🤪

Всё ещё го дата-инжинирить

Оказывается, прошло уже почти три месяца после моего поста, где я ищу дата инженера в команду в fishbrain.com 🇸🇪. Тяжко идёт найм: перспективные кандидаты чаще всего хорошо умеют либо в дата моделлинг, либо в ETL/ELT/платформу; но не то и другое вместе. А хочется, чтобы умели, чтобы было чему поучиться, да ещё и чтобы произошло культурное совпадение!

В общем, я всё ещё ищу DE, который согласится работать с таким фриком как я. Будем клепать ELT, дорабатывать дата модели в обожаемом мной dbt, покрывать тестами, запилим гугловский стриминг, а в перерывах будем ходить на фику по гугл митс и рассказывать друг другу восхитительные истории.

По технологиям: Python, SQL, облако преимущественно GCP, но есть немного AWS; BigQuery, Airflow, dbt. В компании английский язык и полный интернационал: шведы (в меньшинстве, хех), славяне, турки, филиппинцы, американцы и другие. Работа удалённая, платят валютой.

Ништяки
— Кайфовая культура. Бирюза, Servant Leadership, взаимоуважение и поддержка безо всякого унылого корпо-буллшита. Слово пацана даю. Собственно, это даже на найм влияет — много кандидатов с улицы отсеиваются именно по культуре — так что всё это не случайность.
— Кайфовый стек. Последние/предпоследнии версии питона/эйрфлоу/дибити и всего, до чего мои руки уже дотянулись. Модели данных жирно обмазаны тестами. Для страждущих говнокод найдётся, но его реально мало.

Пишите уже короч в личку мне @skatromb. Описание вакансии тут.

Для тех, кто любит dbt, там регистрация на Coalesce открылась.
И Call for Papers тоже.

Тут AirBnB ввел интересную политику про одинаковые зарплаты:

https://news.airbnb.com/airbnbs-design-to-live-and-work-anywhere/

Вот основные пункты:
1. You can work from home or the office
А значит, можно продолжать работать удаленно, а не как Apple всех гонит обратно в офис на 3 дня в неделю.

2. You can move anywhere in the country you work in and your compensation won’t change
This means you can move from San Francisco to Nashville, or from Paris to Lyon. If you move, your compensation won’t change. Starting in June, we’ll have single pay tiers by country for both salary and equity. If your pay was set using a lower location-based pay tier, you’ll receive an increase in June.

То есть если вы жили в Bay Area, а потом переехали к бабушке Элли в Канзас, зарплата у вас останется старая.

3. You have the flexibility to travel and work around the world
Starting in September, you can live and work in over 170 countries for up to 90 days a year in each location.

Ну это с Сбербанка слизали, они тоже разрешали месяц в году работать откуда-то не из домашней локации. 😁

4. We’ll meet up regularly for team gatherings, off-sites, and social events
Ну оффсайты всегда прекрасно!

5. We’ll continue to work in a highly coordinated way
А это классика про core hours вокруг часовых поясов.


В AirBnB работает прикольный чел по имени Zach Wilson, дата инженер (ex-Netflix), который ведет интересный блог на LinkedIn, советую подписаться!

Так, мне тут рассылка от DataTalks.Club (Это те ребята, которые делали Zoomcamp DE - https://news.1rj.ru/str/ohmydataengineer/172) принесла еще одну конференцию про DE - The ML Data Engineering Conference


Ссылка на регистрацию и темы на два дня - тут

А давайте поговорим еще разок про блоги и паблики?

Я для чтения и слежения за всякими блогами пользуюсь древней как Греция технологией под названием RSS. И очередной раз просматривая ленту Medium и Reddit по теме Data Engineering, бегло читая заголовки в поисках хорошей статьи или новости, я натыкаюсь на 856 статью про то, как начать пользоваться DBT, с десяток вопросов в стиле “Чем отличается Data Engineer от Big Data Engineer?” и т.д. И мне становится от этого грустно.

Потому что количество материала растет, а его качество - падает. Причем очень стремительно. Поэтому я решил, что нужно немножко почистить ленту, уменьшить количество источников, откуда приходит контент.

И в рамках этой очистки данных (оценили шутку, да? 😋) я понял, что в моей ленте есть несколько блогов и рассылок, которые действительно качественные и крутые. Именно знания и информация, которую я подчерпнул оттуда, больше всего меня продвинула вперед по моему развитию, карьерной лестнице и вот это все.

Все эти блоги про то, как быть хорошим инженером, просто классным специалистом. Не web developer, не software developer, не DE и не QA. А именно специалистом, то есть инженером с высоким уровнем технической подкованности, умеющим видеть проблему, предлагать решения, искать компромиссы, умеющим в софт скиллы и продукт.

Первая партия блогов выглядит вот так (потом будет еще):


The Pragmatic Engineer
Автор (в чатиках именуемый как *Венгр*) был EM в Uber, а сейчас полностью сосредоточен на своем блоге, который приносит ему денег больше, чем работа в Uber. Не зря эта рассылка № 1 в категории Tech на Substack.
Автор хорошо известен, например, по вот этому видео https://www.youtube.com/watch?v=h8Xpapy6I9E или вот этой https://newsletter.pragmaticengineer.com/p/perfect-storm-causing-a-hot-tech-hiring-market статье про рыночек.
https://blog.pragmaticengineer.com/ - это сам блог, но он там не очень часто пишет.
https://newsletter.pragmaticengineer.com - вот эта рассылка, несколько бесплатных статей, но много платного контента. Если автору написать в твиттер, даст 50% скидку. Вот только с оплатой из РФ будут проблемы, сами знаете.


The Senior Engineer Mindset
Вообще это книга https://swizec.com/senior-mindset, но если побродить по сайту, то можно подписаться на рассылку, а там уже приходят очень клевые и классные тексты.


From Junior to Senior
Это тоже книга https://www.learninpublic.org, но есть опция купить книгу с доступом в сообщество инженеров, оно средней активности, но довольно мотивирующее тебя развиваться и даже писать о том, что ты изучаешь. Кстати, вот тут еще видел подобное: https://education.borshev.com/relocate курс + доступ в сообщество. Кажется, что сообщество будет сильных специалистов, раз они задумываются о релокации и т.п., но я не уверен. Не реклама, никто не платил за нее, курс не смотрел и не покупал (только первое видео видел, потому что подписан на Senior Software Vlogger), какое сообщество на самом деле там будет - не знаю.


No Idea Blog
Тоже прекрасный блог, хоть и не очень активный. Этого автора я узнал давно, когда попал в похожую ситуацию, которую она описывает в одном из своих выступлений (я смотрел вот это https://www.youtube.com/watch?v=5cr2Yn_MrKg, но у нее вроде вышло более развернутое на эту же тему https://www.youtube.com/watch?v=KClAPipnKqw.



Кстати, в комменты можно присылать ссылки на блоги, которые вам нравятся!
Ну а в следующих подборках будут еще ютубчики!

https://www.getlago.com/blog/why-billing-systems-are-a-nightmare-for-engineers


Работа с биллингом - боль. В смысле, это очень сложно и mission critical, любая ошибка стоит дофига денег.
По ссылке выше прекрасная статья о сложностях, с которыми приходится сталкиваться при работе над биллингом.

В продолжении разговоров про блоги и статьи…

https://roundup.getdbt.com/p/avoiding-traps

У DBT, кстати, кроме подкаста, есть очень хороший дайджест - The Analytics Engineering Roundup. Раз в недельку они собирают интересные статьи и интервью.
На этой неделе в подкасте был Justin Borgman, CEO Starbust (SaaS поверх Trino), и ребята обсуждали работу Data Teams.
Краткая выдержка и не только по ссылке выше, а выпуск подкаста доступен тут -> https://roundup.getdbt.com/p/ep-27-to-move-or-not-to-move-data

Мой глаз зацепился за вот эту "пропискую" истину:

Conventional wisdom in software engineering suggest that teams should be spending roughly:
- 50% of their time on net new capabilities
- 20% on “KTLO” (keeping the lights on…scaling systems, incident response)
- 20% on quality improvements
- 10% on internal tooling

Фактически, почти 50% - это работа над техническим долгом команды. Хочется узнать, а какое распределение у вас в команде?

Капец я актуальный, конечно.
Тут Мета фризит найм, а Нетфликс, Болт, Better, Klarna, Robinhood и еще куча компаний увольняют людей, в том числе разработчиков, а я вам принес статью про… онбоардинг!

https://leadership.garden/onboarding-engineers/

На самом деле это капец как важно! Пока на своем не очень большом и длинном пути я не встречал компанию, которая делает все классно. Частички и даже большие куски полезных и качественных процессов присутствуют в той или иной степени в каждой компании, что чтобы прям все как по маслу - редкость.
Статья о том, как онбордить и как онбордиться за 90/150 дней.

https://github.com/DataTalksClub/mlops-zoomcamp

Новость с опозданием небольшим, ну простите 😢

Ребята из DataTalks Club, те самые, которые проводили DE Zoomcamp https://news.1rj.ru/str/ohmydataengineer/172, сейчас проводят ML Ops Zoomcamp.
То, что новость с опозданием не очень страшно, можно ж в self-paced проходить, если вам не очень важно, чтобы вашу домашку проверяли, а главное - получить знания.
Zoomcamp`ы у ребят клевые, дают базовые и фундаментальные понимания того что и куда.

ML & Data Ops упало в мои обязанности на работе, поэтому лично для меня это очень вовремя.

https://platformcon.com/

Вот тут еще наткнулся на виртуальную конференцию для тех, кто делает платформы.

Есть парочка интересных докладов, но очень не хочется завышать ожидания от них. На DRECon тоже так было, а в итоге такой воды налили…. =(

- Код чаще читается, чем пишется!
- Важней не код, а как ты коммуницируешь с людьми!
- Да я свой билд жду по 40 минут, потому что на М1 не пересел!


Мы тратим время на написание кода, его чтение, дебаг и тушение пожаров, общение с коллегами в зуме и с коллегами на кухне с кофе. Не одна сотня копий сломана на теме “На что разработчики тратят время?”.
Ребята из ReTool (клевый low-code инструмент для создания внутренних инструментов) провели опрос под названием “The State of Engineering Time”, в котором пытались понять, на что больше всего тратится времени у инженеров.

https://retool.com/reports/state-of-engineering-time-2022/

Не подсматривая в статью, есть идеи, что больше всего кушает времени? Встречи и созвоны?