Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Вот и книжку уже пишут про #datamesh. Как уже обсуждалось это про большие enterprises у которых много команд, много решений, вендоров и пользователей.
Концепт из Амазона - One-way/Two-way decision. Когда я работал в Бостоне в Alexa, все продукт менеджеры сыпали разными амазоновскими терминами. Я так часто слышал про эти “двери”, но не успевал понять, что же они имеют ввиду. В общем дошло не сразу.🤪

Идея простая, и возможно есть аналогия на русском. Очень часто мы тратим много времени на принятие решения. Но если, решение можно отменить легко и с минимальными последствиями (two way door), то и думать не надо, решаем сразу и вперед. Если, что-то изменилось в будущем, делаем по другому - это эффективней, чем ждать, собирать митинги и гадать.

А вот если решение очень серьезное и его невозможно будет откатить, то тут уж потратьте время на его обсуждение и принятие.

🚪One-way door decisions are decisions that you can't easily reverse. These decisions need to be done carefully.
🚪Two-way door decisions can be reversed. You can walk through the door, see if you like it, and if not go back. These decisions can be made fast or even automated.
Кто-нибудь заморачиваться по Emotional Intelligence?
На фотки студии Microsoft/Xbox. Я уже познакомился с командами аналитики в половине студий. Ну и все игры поиграл. Недавно ещё заказал новый Xbox Series S, и купил у коллеги руль с педалями Logitech G920. Осталось найти время поиграть, но детям нравится моя новая работа🤙
13 мая Steve Wexler расскажет про свою новую (несомневаюсь - крутейшую) книгу - The Big Picture. Регистрация https://us02web.zoom.us/webinar/register/WN_M0CIUP6dSAaL7XDfmpI9UA
Есть ещё одна лаба, которую я хочу сделать. 6й модуль будет про аналитические хранилища данных. И Терадата это одна из первых MPP платформ. В лабе я хочу, скачать готовую VM с Терадата, запустить её в VMware, загрузить туда данные через Pentaho (с локальной машины), то есть опять нужно настроить сеть, чтобы локальный и VM были вместе. (У меня есть инструкция). А дальше можно позапускать запросы, чтобы посмотреть на разные фичи MPP базы, которые будут так же актуальны и для AWS Redshift. В общем, если, кто хочет заморочиться, чтобы сделать и описать все в markdown, пишите в комментариях.
Согласно github, datalearn 10 мая был 1 год!
Урок 5.4 Основы безопасности облачных решений.

Безопасность одна из самых важных и скучных тем, по крайней мере для меня. Очень важно понимать возможности облачных провайдеров и знать основные правила создания облачных решений. В этом уроке я расскажу про:

📌 Cloud Shared Responsibility Model (Модель общей ответственности в облаке)
📌 Security Terms (Термины безопасности)
📌 Cloud Security Threats (Облачные угрозы безопасности)
📌 Cloud Security Mechanisms

На лабораторной работе мы посмотрим примеры сервисов для безопасности облачных решения и воспользуемся AWS CLI.
Ребята в процессе создания лабораторных работ для модуля 5. Уже готовы:

Запуск экземпляра EC2 в частном виртуальном облаке (Virtual Private Cloud - VPC)
В этом практическом занятии у вас будет возможность изучить и понять фундаментальные и вычислительные сервисы, предоставляемые AWS. Мы создадим частное виртуальное облако (Virtual Private Cloud - VPC), подсети в нескольких зонах доступности (Availability Zones - AZs), маршруты (routes) и интернет-шлюз (internet gateway), а также добавим группу безопасности. Эти сервисы являются основой сетевой архитектуры внутри AWS и охватывают такие концепции, как инфраструктура, дизайн, маршрутизация и безопасность.
Автор: @erfolg5862

Создаем статичный веб-сайт на Amazon S3
В этой лабораторной работе мы с вами создадим простой статичный веб-сайт и зададим базовые настройки его конфигурации. Этот пример продемонстрирует, как легко можно создать хостинг для веб-сайта, который будет содержать файлы: HTML, CSS, JavaScript, шрифты и изображения.
автор: @edgar_lakshin

Создаем лямбда функцию в AWS Console
В этом практическом лабораторном сценарии вы напишете лямбда-функцию Node.js, которая проверяет URL-адрес (например, www.amazon.com) и возвращает код состояния, который показывает, работает ли веб-сайт или нет. Во время этой лабораторной работы у вас будет возможность изучить консоль Lambda, код функции, роли выполнения, тестовые события и результаты выполнения. AWS Lambda позволяет писать краткие функции и беспокоиться только о своем коде. Поскольку Lambda является бессерверной, AWS управляет базовой инфраструктурой за вас.
Автор: @AlexMadeAnotherOne

И в процессе еще много лабораторных работ по модулю 5, 6 (облачные DW), и 8(big data в облаке).

Хотите, что-то выучить? Лучший вариант это учить других;) Можете тоже добавить лабораторную работу.
как же знакомо…🤣
Материалы “Cheat Sheet” по подготовки к сертификации по Google Cloud Platform. https://www.startcloudnow.com/google%20cloud.html
original.pdf
1.2 MB
Azure Synapse Analytics Playbook
IoT аналитика всегда интересна. Примеры решений на Azure Databricks (Spark). IoT проект включает в себя:
- создание Delta Lake (3 слоя Bronze, Silver, Gold)
- создание streaming pipelines
- дашборды на Power BI

Part 1
Part 2
Part 3