26 мая был Google Data Cloud Summit, можно посмотреть запись.

Презентация - Principal Engineers - Who Needs Them? Интересные bullet points. Сама презентация про SDE, но для DE тоже подойдет.

Для меня это идеальная карьерная цель стать Principal Data Engineer в Microsoft или Amazon, не знаю насколько она реальная, но точно хорошая альтернатива менеджера и по $ не обижают😎

Несмотря на то, что Delta Lake ,книга выйдет в Апреле 2022, уже сейчас можно получить к ней доступ на O'Reilly
https://www.oreilly.com/library/view/delta-lake-the/9781098104580/

Никто не пробовал Amazon Warehouse Services?)) Читаю Game Analytics Maximizing the Value of Player Data. Купил в ноябре и вот теперь только начал читать, так как стал пользоваться метро и появилось доп время на чтение.

Сегодня посмотрел Key Note Data+AI, очень качественный эвент. Сначала минут тридцать играет диджей, потом сам ПАПА хранилищ данных, Бил Инмон, рассказывает о Lakehouse и о своей новой книге. Раза 4 он говорит, что писать 61ю книгу ему лучше, чем играть в гольф, он видите ли, так отдыхает. Он показывает несколько картинок из своей новой книги (или все таки документации databricks), короче он продался…Но нам не жалко, databricks хороший продукт и delta lake ничего!

Затем Atlassian рассказывает о своей дата эволюции, которую вы видите на картинке: Postgres->Redshift->Data Lake on S3 -> Lakehouse. Все логично, я бы так же сделал🤙

А потом рассказывают про новые фичи, главная из них это Delta Lake V1 и Data Catalog внутри Databricks (наконец-то!), ну еще парочка.

В конце, чувак из Microsoft, говорит нам про Synapse, я не понял зачем он там со своим Synapse, рановато пока, надо еще годика 2 его до ума доводить, а потом понял, они же спонсоры конференции))

Немного из истории Канады. Мы знаем, что Северная Америка это была земля индейцев (aboriginal people или first nations), потом приплыли колонизаторы, европейцы и дальше вы знаете. Сейчас вскрылось ужасное преступление, о котором даже написали в медузе - В Канаде нашли останки 215 воспитанников интерната для детей из коренных народов.

Канаде всего 150+ лет, но в ее истории очень много темных мест. Одно из них это Residential School (школы интернаты). Идея была простоя, “диких” детей индейцев отбирали у родителей и помещали в интернат, где из них хотели сделать “нормальных”людей. Многие погибали, кто выживал - получал травму на всю жизнь. По сути это был геноцид, который начался с временем завоевания Северной Америки. Школы интернаты закрыли в 1996 году. Страшно представить сколько горя перенесли эти люди.

Я не эксперт в этом вопросе, но решил добавить немного информации, чтобы у вас был контекст. Сейчас у first nations много benefits от государства, они не платят налоги, рыбачат и охотятся когда хотят и где хотят и тп., но при этом государство продолжает игнорировать их требования/просьбы/традиции и законы (мягко говоря). Зачем им benefits, если реки и озера загрязнены и отравлены, рыбы в океане нет, и лес на их земли вырубили и продали в Китай.

Сейчас происходит еще одна история, но уже локальная - вырубка Old Grown леса (это деревья, которым по 1000-2000 лет на острове Ванкувер). Их всего осталось в Канаде единицы. В этом раз много людей и наших знакомых “вписались” за деревья. Вопрос пока не решен, но все больше и больше людей пытается спасти эти деревья. Я даже написал в Microsoft Indigenous Community (группа, которая представляет интересы First Nations в Microsoft), может они как-нибудь смогут спасти деревья. Лично я поддерживаю first nations, они действительно заботятся о природе и окружающей среде.

Можно будет теперь коллег просвещать. Для моих детей у нас обязательный ежегодный просмотр Брат, Брат 2, Сестры в воспитательных целях🤠 Есть ещё рекомендации?

Бесплатный курс от Microsoft -Architecting Distributed Cloud Application. https://m.youtube.com/watch?v=xJMbkZvuVO0&list=PL9XzOCngAkqs0Q8ZRdafnSYExKQurZrBY&ab_channel=JeffreyRichter

Новая книжка про клиентское поведение: The Secret Lives of Customers: A Detective Story About Solving the Mystery of Customer Behavior

У Xbox есть центральная команда аналитики и она ищет себе Data Engineer. Роль для US/Canada (вдруг кто в этих краях и ищет). Сейчас Xbox это классно, они делают игры по подписке с Game Pass, запустили xCloud и выпустили новые крутые консоли, я думаю они меняют игровую индустрию. Вот вакансия. Еще есть интересные вакансии у Minecraft, тоже US/Canada. Но есть еще студия Rare и Turn10, они в UK.

Про организацию дата команд у нас был замечательный вебинар - ДАТА КОМАНДА: ЦЕЛИ, СТРУКТУРА И УПРАВЛЕНИЕ / ВЛАДИМИР ЛАГУТИНСКИЙ

А вот свежая статья Organizing Data Teams — Where to Make The Cut

Анастасия опубликовала видео 2 модуля 3 по своему курсу DS&ML101 https://youtu.be/ogJni5wpmac

В нашем слаке опубликовали интересную статья - оригинал и перевод от пьяного разработчика. Но я например трезвым такие же советы давал на хабре.

Вот примеры:
- не нравится работу, ищите новую
- хотите больше денег, ищите новую
- не парьтесь с языками, выучите только SQL, а там дальше видно будет
И так далее.

Вчера я сдал экзамен (в своем стиле без подготовки). Нужно было минимум 70%, и я набрал 70🙈, вообще оказалась что для сотрудников Microsoft экзамены бесплатны, сдавай-не хочу))) при желании все материалы для подготовки тоже бесплатны на сайте Microsoft (или большинство)

А это может быть вам интересно, на Upwork можно свои черты заказать и искать работу по прилансу. Уверен там есть по дате проекты, но вот как со спросом/предложением не знаю. Обычно эксперты из Индии за 5$ в час обладают всеми сертификатами и знаниями))

Недавно читал про Jeff Wilke, он работал в Амазон с осени 1999 на позиции VP и General Manager of Operations. Я его сам никогда не видел в живую, но мужик был мировой. Когда я перешел в последнюю команду Customer Behaviour Analytics, он возглавлял это направление и смотрел много его видео про квартальные встречи, когда готовился к эвенту в mail.ru - Как технологии помогают Amazon быть самой клиентоориентированной компанией на Земле?


Он тоже ушел на пенсию в 2021 после Безоса. Про него есть одна история про клетчатую рубашку (flannel shirt). Тут его прощальное письмо и история про рубашку. По началу он брал людей из корпоративного офиса и помогал на складе и всегда носил клетчатую рубашку. Уже когда Амазон вырос, он все равно продолжал носить клетчатую рубашку, чтобы напоминать корпоративному офису про тяжелую работу на складах, в общем эти рубашки стали символом, и теперь можно их купить в Амазон под брендом Amazon Essentials.

У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал:
https://digest.deordie.org/04_A_spark_of_the_summer_sun/
_____
Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues