Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Microsoft Azure показывает очень крутые результаты продаж. Возможно пандемия помогла клиентам переместиться в облако. AWS продолжает выпускать новые продукты и фичи буквально еженедельно, а вот про GCP как-то нечего сказать, так как они не так популярны в моей ленте🤗
6 Мая Tableau проведет онлайн мероприятие на весь день - Tableau Live. Будет много интересного.
Если вам интересно с чего начинается история cloud computing - то вот она. В 1961 году профессор John McCarthy сказал в MIT: “Computing may someday be organized as a public utility just as the telephone system is a public utility, Each subscriber needs to pay only for the capacity he actually uses, but he has access to all programming languages characteristic of a very large system … Certain subscribers might offer service to other subscribers … The computer utility could become the basis of a new and important industry.”

#datalearn модуль 5.2 все еще в процессе🥸
Self-service это north star для любого крупного аналитического проекта. Хочется, чтобы инженеры и аналитики создавали дата продукты, а пользователи самостоятельно ими пользовались. На практике это работает редко. Еще один взгляд на эту проблему Why is self-serve still a problem?
Статья “An Offline to Online Data Pipeline at WePay” про real time data pipelines на Google Cloud Platform и использование Airflow и Kafka. https://wecode.wepay.com/posts/an-offline-to-online-data-pipeline-at-wepay
Через 1,5 часа стартует вебинар с ребятами и booking.com про product management. Мне самому очень интересно послушать так как аналитика и управление продуктами это как data science и data engineering, должны работать вместе и иметь одну цель.
11 мая snowflake расскажет про data ops практики. Врятли вам нужен snowflake, но возможно они расскажут что нибудь дельное про DevOps для хранилища данных.
Ещё одна возможность написать книгу, если есть опыт по табло и желание, можно сделать!) Есть желающие?
Знаете, где тусит народ из gaming компаний по пятницам во время пандемии?

Они собираются в Gather Town. Очень классная идея, как будто играем в денди, но можно поговорить с народом и даже познакомиться с коллегами, которых никогда не видел. Кстати бесплатно до 25 пользователей, попробуйте для онлайн team building.
Намечатеся маркетинговое мероприятие The State of Data Cloud https://pages.matillion.com/webinar_the-state-of-the-cloud-panel-discussion
Подходит ко всему)
У нас идет модуль 5 про cloud computing. Cloud Computing это must have skills по всему миру. AWS запустил challenge по сертификации базовому экзамену AWS Cloud Practitioner. Очень вам рекомендую записаться на него, он будет идти 60 дней. В своем курсе я рассматриваю AWS и Azure и вам будет отличная возможность сдать на экзамен в конце! Совмещайте приятное (курсы datalearn) с полезным (экзамен AWS).

Если кто справится с challenge, обязательно о вас напишу!
Как поговаривал мой любимый Остап Бендер в 12-ти стульев - «Лёд тронулся, господа присяжные заседатели!». Вашему вниманию представляю видео ВВЕДЕНИЕ В ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ (CLOUD COMPUTING):

📌 Несколько кейсов из прошлого
📌 История зарождения облачных вычислений и идеи utility computing
📌 Ключевые бизнес драйверы и риски
📌 Определения, терминология и характеристики облачных вычислений
📌 Основные компоненты облачных вычислений и датаценров

Так же на лабораторной работе я рассмотрел:
📌 Free trial account AWS и Azure
📌 AWS Virtual Private Cloud, Subnets, Security Groups - (виртуальная сеть, с этого начинается любой проект в облаке).
📌 Создали виртуальную машину EC2 и подключились к ней через протокол SSH с использование командной строки и ключа

В нашем учебнике на git DE-101 я добавлю все ссылки на документы и полезные YouTube видео.

На следующем уроке мы будем рассматривать Cloud Deployment Models и Cloud Delivery Models, а на лабораторной работе скачаем AWS CLI, чтобы управлять ресурсами через AWS API с локальной машины. Запустим web server и подключим его к Load Balancer.