Практически закончили подготовку к Workshop в Ванкувере про облачное хранилище данных на Azure. Я прикрепил содержание, если интересно.

Это был нон стоп марафон последние 2 недели, пришлось с 0 изучать Azure DW, но знания AWS очень помогли, посути все тоже самое. В целом от Azure SQL DW ожидал большего, но оказалась, что тут много настроек - индексы, партиции. Это вам не Snowflake.

А еще, получили серебряный статус партнера Майкрософт по ” Платформе Данных”, это позволило добавить услуги на маркетплейс, вот пример курса для США https://azuremarketplace.microsoft.com/en-us/marketplace/consulting-services/rockyourdata.clouddw8hoursworkshopus но можно добавить все, что угодно. Посмотрим как работает.

Tableau выпустила новую верси 2019.3, много классных фич. Один из трендов - BI вендоры добавляют AI элементы в их продукты. Это можно увидеть и в Power BI, Tableau, QuickSight, да и другие. Другой важный элемент - это Data Catalog и Data Lineage. Это не новые слова, но раньше существовали отдельные решения Enterprise класса, а теперь мы может все это найти в BI решении.

Data Catalog - поможет нам иметь общий список показателей и измерений и их описание. Я знаю хороший продукт - Alation, но достаточно дорогой.

Data Lineage сможет вам показать всю трансформацию показателя сверху вниз. Такое было много лет назад у SAP BusinessObjects (BI) и SAP Data Services (ETL), я видел дело еще в 2011 но не впечатлило.

Кстати в августе в Амазоне была внутренняя конференция по аналитике и одним из трендов было - Data Catalog и Data Lineage, но для более сложный кейсов, когда у нас и озеро данных, и Spark и Redshift и ML

Попробуйте пройти тест на гражданство Канады http://www.yourlibrary.ca/citizenship/mobile/

Обзор скилов необходимых для ,Data Engineering, Data Science, Data Analysis, Machine Learning.

Если у вас есть Alexa и вы хотите ее учить говорить по русски, то есть возможно запустить app для Alexa - Cleo, он будет помогать изучать язык. Так же у AWS есть сервис - Polly - переводит текст в слова, и там поддерживается 24 языка;

Попался профайл знакомого, он работает старшим аналитиком в государственной конторе. Я только увидел, что у него 135 сертификатов!!! OMG!! То есть получается ваша карьера и ваша зарплата ну никак не коррелирует с количеством сертификатов. 1-2 сертификата это хорошо, но 10 уже подозрительно, а 135, это уже странно совсем. Так же и с книгами, 1-2 написать норм, но 6 уже перебор. Но я их для пишу, чтобы потом выдавать их не за свои книги, а за книги компании.

Пока в России пилят бюджеты, в Канаде в Министерство Финансов обсуждает эффективность аналитики и инвестирует в развитие этого направления и финансирует канадские университеты, чтобы они обучали и повышали квалификацию. Вот я и вписался в University of Victoria, помогать студентам грызть гранит облачно-аналитической науки. Я еще заметил в Канаде нельзя просто взять и продать что-то, нужно выстраивать отношения с людьми, компаниями, 100% персональный подход, и только потом можно будет уже предлагать услуги.

Топ 8 облачных хранилищ данных, а вы в облаке?

Меня подтвердили на Enterprise Data World, San Diego, March 2020, если кто поедет дайте знать, в прошлом году я встретил руководителей из ВТБ.

7 главных угроз безопасности для решений облачной аналитики
- Crytopjacking
- Data breaches
- Denial of service
- Insider threats
- Hijacking accounts
- Insecure applications
- Inadequate training

Попалось про Инженера данных. Я в один слай вставил 4 блока.
1) Топ скилы
2) Что делает инженер данных и основные качества
3) Что включают в себя обязанности
4) Какие скилы не обходимо развивать
Я совсем согласен, добавил бы еще, было бы классно выбрать одну облачную платформу и на ней учиться. Опять же не уверен про массовость использования AWS/Azure/GCP в России

Ex google tech lead (канал на ютубе) опубликовал видео про суицид сотрудника их Facebook. И объясняет причины. В целом это обратная сторона работы в таких компаниях как Facebook, Google. С одной стороны все просто, работаешь хорошо, все хорошо, если есть проблемы, то начинается стресс. Если вы не умеете бороться со стрессом то становиться хуже. В этом случае, сотрудник из Китая был на H1B виза, у него были проблемы с менеджером, ему запретили перевестись в другую команду. Возможно для него было не вариантом вернуться обратно в Китай, возможно было бы стыдно перед родственниками.

Факт остается факто, работа в крупной компании может быть стрессовой. И нужно учиться "не париться" и нужно всегда иметь запасные варианты. Я сам знаю не по наслышке о проблемах работы в Штатах по H1B визе. Если вы на этой визе вы в группе риска, и совершенно не важно насколько вы круты. В Амазон я знаю такие примеры, когда людям приходилось вернуться обрытно в Индию. Поэтому программы Канады и Австралии более безопасные, но более долгие.

Всегда хорошо знать обратную сторону красивой картинки, например веселых селфи в камусе Facebook/Google и правильно оценивать все возможные риски связанные с иммиграцией;

Старбакс очень крутая компания с точки зрения аналитики и они крупнейший клиент Azure по аналитике. Кстати в Бостоне очень мало Старбакс и все пьют Donkey Donuts. Анализировать потребление по геолокация это важно.

Работая в Алексе, классно видеть новые устройства и делать их лучше, и повышать качество голосового помошника, используя данные. Алекса придумывает новые устройства и собирает новые типы данных, а я учусь как с ними работать и какой технологический стек подойдёт для задачи. Обычно это все в рамках AWS.