Урок 5.4 Основы безопасности облачных решений.

Безопасность одна из самых важных и скучных тем, по крайней мере для меня. Очень важно понимать возможности облачных провайдеров и знать основные правила создания облачных решений. В этом уроке я расскажу про:

📌 Cloud Shared Responsibility Model (Модель общей ответственности в облаке)
📌 Security Terms (Термины безопасности)
📌 Cloud Security Threats (Облачные угрозы безопасности)
📌 Cloud Security Mechanisms

На лабораторной работе мы посмотрим примеры сервисов для безопасности облачных решения и воспользуемся AWS CLI.

Ребята в процессе создания лабораторных работ для модуля 5. Уже готовы:

Запуск экземпляра EC2 в частном виртуальном облаке (Virtual Private Cloud - VPC)
В этом практическом занятии у вас будет возможность изучить и понять фундаментальные и вычислительные сервисы, предоставляемые AWS. Мы создадим частное виртуальное облако (Virtual Private Cloud - VPC), подсети в нескольких зонах доступности (Availability Zones - AZs), маршруты (routes) и интернет-шлюз (internet gateway), а также добавим группу безопасности. Эти сервисы являются основой сетевой архитектуры внутри AWS и охватывают такие концепции, как инфраструктура, дизайн, маршрутизация и безопасность.
Автор: @erfolg5862

Создаем статичный веб-сайт на Amazon S3
В этой лабораторной работе мы с вами создадим простой статичный веб-сайт и зададим базовые настройки его конфигурации. Этот пример продемонстрирует, как легко можно создать хостинг для веб-сайта, который будет содержать файлы: HTML, CSS, JavaScript, шрифты и изображения.
автор: @edgar_lakshin

Создаем лямбда функцию в AWS Console
В этом практическом лабораторном сценарии вы напишете лямбда-функцию Node.js, которая проверяет URL-адрес (например, www.amazon.com) и возвращает код состояния, который показывает, работает ли веб-сайт или нет. Во время этой лабораторной работы у вас будет возможность изучить консоль Lambda, код функции, роли выполнения, тестовые события и результаты выполнения. AWS Lambda позволяет писать краткие функции и беспокоиться только о своем коде. Поскольку Lambda является бессерверной, AWS управляет базовой инфраструктурой за вас.
Автор: @AlexMadeAnotherOne

И в процессе еще много лабораторных работ по модулю 5, 6 (облачные DW), и 8(big data в облаке).

Хотите, что-то выучить? Лучший вариант это учить других;) Можете тоже добавить лабораторную работу.

как же знакомо…🤣

Материалы “Cheat Sheet” по подготовки к сертификации по Google Cloud Platform. https://www.startcloudnow.com/google%20cloud.html

Azure Synapse Analytics Playbook

IoT аналитика всегда интересна. Примеры решений на Azure Databricks (Spark). IoT проект включает в себя:
- создание Delta Lake (3 слоя Bronze, Silver, Gold)
- создание streaming pipelines
- дашборды на Power BI

Part 1
Part 2
Part 3

GDPR и Privacy - вызов для дата инжиниринга. Тут нужно либо потратить много времени для дизайна будущей системы, чтобы она отвечала всем требованиям, либо потратить ещё больше времени на модификацию существующей.

NY times рассказывает про свой случай.

В Амазоне я застал время до и после законов GDPR. В один прекрасный момент все наши озера данных (данные в S3 в виде файлов), стали вдруг не complaint. Решение были разные:
1) перезагружать все данные каждые 90 дней
2) хранить только последние 30 дней
3) хранить только в базе данных Redshift
4)Delta Lake на EMR+Spark

Все вдруг стали очень занятыми и у нас появилось много новой работы))

Daniel Kahneman: ‘Clearly AI is going to win. How people are going to adjust is a fascinating problem’

Daniel Kahneman, 87, was awarded the Nobel prize in economics in 2002 for his work on the psychology of judgment and decision-making. His first book, Thinking, Fast and Slow, a worldwide bestseller..В общем понятно, что за “кент”))

https://www.theguardian.com/books/2021/may/16/daniel-kahneman-clearly-ai-is-going-to-win-how-people-are-going-to-adjust-is-a-fascinating-problem-thinking-fast-and-slow

Вы просили, мы постарались, отдельное спасибо Никите Бабурову, который помог списаться со спикером))
В четверг 20 мая в 19:00 по МСК вебинар с Романом Зыковым.

Роман - автор нашумевшей в последнее время книги "Роман с Data Science"... Проведет для нас вебинар на тему: Как научить менеджеров правильно работать с data scientists?

О чем пойдет речь сможете прочитать в описании под видео.

Всем кто хочет, добро пожаловать на вебинар, если будут те, кто уже прочел его книгу, сможете задать вопросы.
Ссылка на вебинар: https://youtu.be/zPUNZZtMvNI

Всех обнял, до встречи на вебинаре и не забывайте подписываться на наш ютуб!

Всем привет, я как-то скидывал эту анкету, чтобы собрать контакты людей, у кого есть хороший опыт в DS, DE, BI. Так как канадская компания Rock Your Data активна и иногда появляются интересные проекты, поэтому хочу освежить лист контактов.

Мне кажется, что после пандемии спрос возрастет среди Канадских компаний и будут писать чаще.

Небольшой урок английского. Что скрывается за красивыми словами корпоротивного мира и не только.

…I present you this new symbol of togetherness and cooperation this flag which shall be the emblem of the new free Jones plantation he held up the new flag but most of those listening were still too amazed to respond and this shall be our motto mr. Smith announced we work together as free men for our mutual benefit pledging our allegiance to the Jones plantation which stands for prosperity liberty and
justice for all to celebrate everyone has the rest of the day off enjoy your freedom do as you please and be back here tomorrow morning bright and early so that we may begin work on this great and noble new
endeavour as equal freemen….

Всем хорошего и продуктивного дня, as free men and women! 🤫😇😜

Бизнес-форум онлайн INFADAY2021

Когда: 25 мая (вторник) 2021 года с 10.00 до 18.00 (по Москве), онлайн.

Организатор: DIS Group (dis-group.ru)

О мероприятии: За последний год в области цифровизации и искусственного интеллекта было сделано больше, чем за последние 20 лет. Особенно много новинок появилось в сфере управления данными. На форуме мы обсудим тренды в управлении данными, реальные кейсы о том, как данные помогают бизнесу, технологические новинки 2021, и многое другое!

Темы дискуссий:
✔️ Культура управления данными. Время пришло.
✔️ Как Data Governance помогает бизнесу стать эффективнее
✔️ Управление данными в реальном секторе
✔️ Новые источники данных. Анализ и моделирование сценариев
✔️ Четыре типа СDO, кто главный?
✔️ Обзор технологических новинок 2021

Ссылка на мероприятие: https://bit.ly/3tWYd0H

Мероприятие бесплатное, но регистрация обязательна.

PS максмально поддержали фонд #vsevsevmeste💪

Это так же относиться и к другим data позициям.

Топ ресурсы по Data Engineering и Analytics:
- Телеграм канал Инжиниринг Данных 🕺
- Курсы Data Learn 💃
- KDnuggets https://www.kdnuggets.com/news/index.html
- Cloudera | Data Engineering https://blog.cloudera.com/product/data-engineering/
- Silectis https://www.silect.is/blog/
- The RudderStack Blog https://rudderstack.com/blog/
- Facebook Engineering https://engineering.fb.com/
- Snowflake | Inside the Data Cloud https://www.snowflake.com/blog/
- Precisely Blog https://www.precisely.com/blog
- Data Engineering in Towards Data Science https://towardsdatascience.com/tagged/data-engineering
- SmartData Collective https://www.smartdatacollective.com/
- WeCloudData https://weclouddata.com/blog/
- Uber Engineering Blog https://eng.uber.com/
- Team Data Science Blog https://www.teamdatascience.com/blog
- Secoda Data Discovery Blog https://www.secoda.co/blog
- AWS Big Data Blog https://aws.amazon.com/blogs/big-data/
- Data Mechanics Blog https://www.datamechanics.co/blog
- ActiveWizards | Data Science and Engineering Lab https://activewizards.com/blog/
- Data Wow Blog https://datawow.io/blogs
- Pinterest Engineering https://medium.com/@Pinterest_Engineering
- Yelp Engineering and Product Blog https://engineeringblog.yelp.com/
- Netflix TechBlog https://netflixtechblog.com/
- LinkedIn Engineering Blog https://engineering.linkedin.com/blog
- Databricks Blog https://databricks.com/blog
- Knoldus » ML, AI and Data Engineering https://blog.knoldus.com/category/tech-blogs/machine-learning/
- XenonStack » Big Data Engineering https://www.xenonstack.com/blog/category/big-data-engineering/
- Dataquest » Data Engineering https://www.dataquest.io/blog/tag/data-engineering/
- Scribd Technology Blog https://tech.scribd.com/blog/
- Learn Data Engineering https://learndataengineering.com/blog
- data.world Blog https://data.world/blog/
- Ripple Engineering » Data https://engineering.ripple.com/tag/data/
- Jesse Anderson Blog https://www.jesse-anderson.com/category/blog/

Интересно следить как складывается ситуация у MicroStrategy. Они влили много денег в биткоин и их акции взлетели с 200$ до 1200$, но потом биткоин просел немного и акции пошли вниз. Очень интересно, что будет в итоге. Я как то не решился в крипту вкладываться. У вас как с этим дела?