Новости аналитики

Welcome to the world PyScript - недавно были новости про Python в HTML, и вот Anaconda уже рассказывает про PyScript - PyScript is a framework that allows users to run Python and create rich applications in the browser by simply using special HTML tags provided by the framework itself.


Choosing a Data Catalog - дата каталог, business glossary и data lineage - все это элементы data governance. У меня уже есть неудачный опыт использования Azure Purview, поэтому стал смотреть в сторону Open Source решений. Пока мне понравился OpenMetadata от Uber. В статье автор рассматривает разные решения и подходы для документации аналитического решения - Documentation coming from analytics teams must enable anyone to quickly find and understand any data asset they’re looking for to deliver value.

Data Vault Techniques on Snowflake: Immutable Store, Virtual End Dates - Snowflake готовит серию постов про Best Practices построения data vault.

What Is Well-Modeled Data for Analysis? - автор рассматривает важность моделирования данных в хранилище данных.

Data for Product Managers (Part 1/2) - я часто говорил, что data команде нужен не начальник аналитики, а product manager, который будет управлять data продуктами. В статье рассматривают чем же занимается product manager в контексте аналитики.

Tuning Whatnot’s Data Platform for Speed and Scale - компания Whatnot рассказывает про свое аналитическое решение, технологии и принципы data engineering.

From Junior Software Engineer to Engineering Manager: a 10-year career path review. - статья про карьерный путь инженера. Несмотря на то, что он iOS разработчик, его опыт применим для карьеры любого инженера.

"Do I want to switch to a more Senior or Principle Engineer position or to an Engineering Management one?"
"How could the Engineering Management role be a great opportunity for me, my team, and my skills?"
"Why is Engineering Management difficult for your confidence?"
"Why do I feel lonely as a manager?"

Data Engineering is about making data usable - отличный вариант и вообще не важно как мы это делаем, на SQL, Python или еще чего.

Правда автор умолчал про момент один - кто ему этот Jupyter Hub установил, если без инфраструктуры, то это уже для меня analytics engineer, а если мы сами сделали end to end решение, которое собирает данные, хранит и трансформирует, чтобы “making data usable”, то уже data engineer.

Как все быстро меняется, совсем недавно акции Амазон стоили 3500US$ за штуку, а теперь 2200. И в такой же пропорции упал весь tech. Акции Tesla и Microsoft просели. Amazon вообще показал квартал с отрицательной прибылью. Сегодня, Netflix уволил 150 человек, хотя они были образцом успешной компании с максимальной оплатой инженерного труда. Facebook тоже не ice. Крипта упала. Если раньше все акции любой технологической компании росли вверх, то теперь пузырь стал сдуваться💨 Так то весь мир трещит по швам.

Зато вот Microsoft, наоборот сообщил, что надо всем поднять зарплату в 2 раза! Это неожиданно, так как Microsoft платит меньше всех из всех компаний. Как раз в мае в Microsoft будет Performance review, вот и проверим.

Для всех фанатов Tableau, сейчас идет конференция по Tableau и вчера была презентация новых фич, если кратко, то можно ознакомиться здесь - Power your analytics advantage—new product innovations from Tableau Conference 2022

Запись Dev on Stage вы можете найти здесь.

Давно хотел рассказать забавный момент.

Когда я работал инженером в Amazon Alexa в Бостоне, точнее в Кембридж (их разделяет река), я был единственным инженером. Я работал с несколькими BI инженерами, которые строили все дашборды "на лету", то есть без хранилища данных. Вся логика была на SQL, никакой историчности, очень медленно и сложно. Так же, данные тянулись из трех регионов AWS, и где-то потом склеивались в файлах и SQL😱

Для меня сразу стало очевидно, что нужно хранилище данных, интегрировать данные вместе, из SQL запросов сделать data pipelines и все автоматизировать, что я и сделал на базе Redshift. Можно сказать, что это было мини хранилище для конкретных кейсов и одним из источников был папа Redshift (центральное хранилище данных для бизнес метрик Alexa).

В то время LakeHouse был еще в зародыше, а GDPR требования нужно было соблюдать (удаление клиентских данных). Мы могли легко удалить данные из базы данных и практически нереально удалить customer_id из озера данных на S3. Поэтому папа (а может мама) Redshift работал из последних сил на максималках - 128 нод dc2 (compute optimized). Явно не справляясь с нагрузкой.

Однажды меня попросили пересчитать все данные в нашем локальном Redshift за 2 года. То есть мне нужно выполнить 730 циклов наших запросов (один день за раз, иначе запрос не справляется). Я решил не заморачиваться и через API сервис внутреннего ETL инструмента запусти 730 джобов параллельно.

Главный недостаток Redshift - concurrency (кол-во одновременных запросов). Оказалось мои 730 запросов заняли очередь этого редшифта и больше никто не мог им пользоваться несколько дней. Команда поддержки тоже не понимала, что не так, так как "редшифт же работает". Потом они нашли виновных😊

Но это не самое главное. Стало очевидно, что нужно копировать логику к себе и строить независимую платформу. Для этого я потратил пару месяцев на создание Press Release, в котором написал, почему мы это делаем, сколько стоит, какие преимущества и тп.

Самый приятный момент в этой истории - выбор кодового названия платформы. Идея была простая, есть основное файловое хранилище данных Alexa, а я создаю платформу, которая как бы рядом, что напомнило мне Землю и Луну (луна в данном случае спутник земли). Да еще русские запустили первый спутник в космос - "Спутник -1". 🛰

Это был в конце 2018. Название платформы "Sputnik" всем понравилось и плотно вошло в обиход за пределами нашей команды вверх по вертикали. Советская космонавтика тоже всем понравилась.

Ну а дальше вы знаете, первая вакцина от Covid - Спутник и далее по списку.

Недавно разговаривал с коллегой, кто пришел на мое место, он доложил, что Спутник еще живет, хотят его название confusing.😎

Вышла новая книга - Data Algorithms with Spark. Я ее еще давно приметил.

In each chapter, author Mahmoud Parsian shows you how to solve a data problem with a set of Spark transformations and algorithms. You'll learn how to tackle problems involving ETL, design patterns, machine learning algorithms, data partitioning, and genomics analysis. Each detailed recipe includes PySpark algorithms using the PySpark driver and shell noscript.

1. Introduction To Spark And PySpark
2. Transformations In Action
3. Mapper Transformations
4. Reductions In Spark
5. Partitioning Data
6. Graph Algorithms
7. Interacting With External Data Sources
8. Ranking Algorithms
9. Classic Data Design Patterns
10. Practical Data Design Patterns

dbt известны своей относительной простотой, так как дает возможность создавать все трансформации данных на SQL. Согласно их roadmap на 2022 год, они добавляют поддержку Python - Python-language dbt models

Готовлю загадки для дня рождения дочки. Загадки почему-то напомнили собеседования FAANG и другие компании с замороченными вопросами😂

Примеры:
• Что было «завтра», а будет «вчера»? (сегодня)
• Что принадлежит вам, но другие используют это чаще? (ваше имя)
• У броненосца две передние ноги, две задние, да еще две левые и две правые. Сколько ног всего? (четыре)
• Каких камней нет ни в одном море? (Сухих)
• Какая птица из яйца родится, а яйца не несёт? (петух)
• Как далеко в глубь леса может забежать заяц? (до середины, дальше уже выбегает из леса)
• Может ли страус назвать себя птицей? (нет, страусы не разговаривают)
• Что не вместится даже в самую большую кастрюлю? (крышка от этой кастрюли)

Можете добавить к себе в список вопросов для кандидатов🦧

Курс - Python, Bash and SQL Essentials for Data Engineering Specialization на курсере.

Состоит из 4х частей:
- Python and Pandas for Data Engineering
- Linux and Bash for Data Engineering
- Scripting with Python and SQL for Data Engineering
- Web Applications and Command-Line Tools for Data Engineering

Инфраструктура как Код (Infrastructure as Code) - Модель «Инфраструктура как код (IaC)», которую иногда называют «программируемой инфраструктурой», — это модель, по которой процесс настройки инфраструктуры аналогичен процессу программирования ПО. По сути, она положила начало устранению границ между написанием приложений и созданием сред для этих приложений. Приложения могут содержать скрипты, которые создают свои собственные виртуальные машины и управляют ими. Это основа облачных вычислений и неотъемлемая часть DevOps. (Источник - Инфраструктура как код, выигрываем на масштабе)

Есть еще такое определение (нужна же практика иностранного языка) - Infrastructure as Code provides a way to describe or declare what infrastructure looks like using code. The declarative nature of Infrastructure as Code is sometimes referred to as the desired state. In the code, you describe the result of the infrastructure and how it should look after the code runs. The code then builds out the infrastructure as described. Any deviation from this declared state can be remediated using the denoscription of the infrastructure as code.

IaC - часть DevOps. Уже многие из вас попробовали создавать ресурсы в AWS, Azure, GCP или даже в Яндекс облаке. Когда мы создаем 1-3 ресурса, потыкать мышкой нам не западло, а вот если надо сделать 50 виртуальных машин, да еще дополнительные сервисы к ним, и потом все продублировать на среду разработки, тестирования и в продакшн, то можно приуныть.

Поэтому ленивые умные люди изобрели возможность описывать инфраструктуру как код.

Лидер тут безусловно - Terraform (ждем когда можно будет в яндексе создавать ресурсы в терраформ).

Terraform allows writing denoscriptions of infrastructure using very human-readable and intuitive denoscriptions of resources using blocks, arguments, and expressions. These denoscriptions of infrastructure in code allow quickly building, changing, modifying, and versioning infrastructure.

Я уже пробовал Terraform в Azure и AWS, это крутая штука. Если вы в западном облаке, было бы неплохо изучить азы.

у Microsoft все всегда по-своему, и у них есть Azure Bicep - Fundamentally it is a transpiler, taking a new language and translating that into ARM templates like you can do any other time to deploy on Azure. If you have multiple different languages, you could have a situation where something is supported in one language but not the other.

Если вы уже работали в Azure, то возможно заметили, каждый раз как создаете новый ресурс, у вас в конце есть ARM template - это JSON файл, который описывает конфигурацию Azure ресурса(ов). А bicep - это user-friendly интерфейс, чтобы уйти подальше от практически non human readable json и к более практичному подходу, почти как у terraform.

Мне "повезло" в двойне, с одной стороны мне надо описать всю инфраструктуру на Azure, которую я так долго и усердно кликал мышкой, с помощью Azure Bicep, а с другой стороны мне нужно создать Terraform template для EMR, SageMaker, Glue, Redshift и кучи других AWS сервисов.

А вот слайды тренинга по Azure Bicep. Вдруг вы очень сильно любите Azure 🤪

Мужик рассказывает какой он молодец, пришел на встречу, а на доске нарисованы всякие сервисы модные для стриминга, больших данных и тп. И он спрашивает - а что вы будете делать с данными?

Да ктож его знает, пока не придумали - отвечают инженеры

Тогда смелый мужичек взял стерку и все стер, оставил только S3 и Athena (Serverless SQL engine). И сказал им - раз не знаете, не надо усложнять, начните easy и как поймете, что бизнес хочет делать с данными, так и построите полноценное решение. А если будет все медленно - купите Snowflake.

Мораль простая, мы как инженеры, любим все усложнять, пробовать новые тулы, рисовать красивые архитектуры, и часто забываем, что нужно бизнесу, или вообще зачем мы это делаем. (1й модуль даталерн).

А что касается Athena и S3 тут есть другая проблема. У нас как раз такой случай, в течение 2х лет ребята строили решение на Athena + DBT + S3. И теперь это technical debt, и мы не можем перейти на что-то нормальное.

Во 1х, оно и так работает и приносит пользу бизнесу. (c Excel так же можно быть)
Во 2х, бэклог из задач от бизнеса растет и уже задача на пол года вперед. Интересный момент, когда было 3 инженера задач было в 4 раза меньше, чем сейчас с командой из 11 инженеров.

Я несколько раз предпринимал попытка миграции на Databricks, Snowflake и Redshift, но все без успешно. Да что там миграция платформы, мы не можем обновить dbt с версии 0.19 на 1.0.1, потому что у нас есть CUSTOM элементы.

Лично для меня все понятно, решение, мягко говоря, не ice. Я бы все удалил и заново построил🏰 чем продолжать кормить монстра и растить technical debt💣.

В конце-концов мое дело маленькое - получать зарплату и приходить на daily standup😇

Стоки FAANG компаний продолжают опускаться без лишнего шума. Цифры можете посмотреть и сами, в целом печально, особенно когда это составляющая часть зарплаты. Цены на бензин и продукты выросли, ставка по ипотеки поднялась с 1.6% до 4,5% (это по Канаде), и бум недвижки прошел, когда только ленивый не купил себе 1-2 недвижимости. Кто не успел, тот опоздал. Если раньше можно было выставить дом на продажу и он уйдет в первые выходные на 10-20% больше чем вы хотите, то теперь все наоборот. Это только из моих личных наблюдений.

А если посмотреть на заметки знающих людей из The Information, то там совсем все печально.

Самый топовый VC Sequoia Capital (они инвестировали одни из первых в Google, Apple and Airbnb и знают в этом толк) в 2008 году выпустили известную презентацию из 52 слайдов - RIP Good Times, в которой они объясняли своим подопечным, что происходит и как быть. В 2020 они снова подготовили доклад - “Coronavirus: The Black Swan of 2020.” И снова они говорят о спаде в экономике:

Its latest warning to its portfolio companies takes the form of a 52-slide presentation, a copy of which was viewed by The Information. Sequoia described the current combination of turbulent financial markets, inflation and geopolitical conflict as a “crucible moment” of uncertainty and change. Sequoia told founders not to expect a speedy economic bounceback akin to what followed the start of the pandemic because, it warned, the monetary and fiscal policy tools that propelled that recovery “have been exhausted.” The firm suggested founders move fast to extend runway and to fully examine the business for excess costs. “Don’t view [cuts] as a negative, but as a way to conserve cash and run faster,”

В общем все просто - затяните пояса и не бойтесь увольнять людей пачками, это нормально.

Возможно поэтому мы видим сообщения об увольнении людей и оптимизации бизнеса. Например, PayPal уволил людей - PayPal to cut over 300 jobs from its Irish operations, и это только начало.

• Getir is cutting 14% of staff, or an estimated 4,480 positions, according to Techrunch.
• Gorillas said it would cut 300 employees.
• Bolt is laying off about 230 workers, according to The New York Post.
• Swedish fintech company Klarna said it would cut about 500 employees. (10% сотрудников)

Layoffs and hiring pullbacks have spread throughout the tech industry in recent weeks, a sharp reversal from 2021, when firms hired aggressively. Robinhood, Cameo and Netflix are among the companies that have laid off employees, while Meta Platforms, Uber and Coinbase have said they’ll slow down hiring.

Оказывается есть сервис Layoffs.fyi Tracker, в котором можно найти такую информацию. И почему-то на главной странице я сразу вижу "airtable . com’s server IP address could not be found." - наверно уволили дата инженера.

Даже у Илона дела так себе, не может купить какой-то там твитер. - "deal on hold". 🌚

Если раньше все были успешные инвесторы, крипто бароны и landlordы, то теперь оказывается, что все просто плыли по течению изобилия, которое было создано искусственно. Так что дата и аналитика как обычно смогут прояснить картину и понять, что не так. Легких денег на всех не хватит. 🦥

А есть ли хорошие новости? Конечно есть, скоро лето!☀️

В обще пришел к выводу, что все очень быстро меняется, сегодня может быть все прекрасно, а завтра будет все ужасно, поэтому наслаждайтесь и радуйтесь жизнью пока есть возможность. 😊

Как в песни "Мелочи" группы Ленинград:

Кончилась эпоха – сказал мой корешок
Так-то жили плохо, но как-то хорошо

Примерно неделю назад мы — маленькая команда из Сибири со специализацией на трафике в Facebook&Instagram из России, проснулись без работы.
Как многие ребята из digital-мира, наших друзей и коллег.
Это я к тому, что если сейчас вам нужно много решать, думать, учиться и перестраиваться, многое делать с нуля – мы понимаем 🤍

Да, ушли и клиенты, и возможности.
Но не все. Мы уже сориентировались. Выбираем новую стратегию и будем бить в неё каждый день. Важно продолжать действовать.

_____

Полгода до этого утра я учила английский язык, чтобы расти в команде канадского проекта как закупщик и постепенно через UpWork брать все больше клиентов «оттуда».

Из проекта уволили. Отрубили ото всех кабинетов без предупреждения в момент, потому что у меня паспорт гражданки РФ.

Да, неприятно, но пара-тройка идей, что делать дальше, уже есть.

А ещё есть 23 якутские лайки, наша команда трафик-менеджеров, большое желание помочь клиентам как можно скорее адаптироваться к новым условиям и, конечно, готовность много-много работать и учиться каждый день.

А значит, здравый смысл вновь подсказывает, как расставить запятые во фразе:

«Ребята давайте жить нужно»

🤍

P.S.: как-то это был шуточный канал на несколько потосв, а сегодня появились просьбы делиться материалами по адаптации к новым реалиям для диджитал-специалистов, поэтому мы сделаем подборку, которая поможем перейти в VK в ближайшее время.

А ещё постараемся делиться мыслями и шагами, которые помогают нам продолжать решать, думать и действовать 😌

Я выше расшарил пост, и все думал лайки это собаки или это «лайки» под постами. Оказалось собаки для упряжки, даже есть Инстаграм у них https://instagram.com/sibodyssey

Хотелось бы помочь найти контакты для этого агенства, если что пишите хозяйке канала.