Амазон проводит много конференция, но самая инновационная это re:MARS.

Это про будущее, космос, ракеты и тп, только недавно узнал побробности про нее.
M = Machine Learning
A = Automation
R = Robotics
S = Space

На этой недели я в Сиэтле, сегодня выступаю на конференции SubTech2019, ничего космического, топик - создание Data Lake, как, зачем и почему. Вместе со мной будут выступать ребята из Twitch, они будут про свой подход рассказывать, у них там все серьезно, несколько тысяч таблиц в озере. Я расшарю свою презенташку потом. Еще из интересного, я попробовал сегодня комментировать stories in Instagram, про Сиэтл и Амазон, если интересно заходите))

В субботу полечу в Edmonton, выступать на конференцию Microsoft, буду рассказывать про Cloud Analytics на Azure, хороший challenge, если учесть, что я не работал с Azure. Это же классика - fake it till you make it, интересно, что получится.

После всех своих многочисленных выступлений, я понял, что все оценивают презентацию только по одному критерию, скучно или нет. Как мне сказал директор Tableau по Канаде, "не надо быть скучным и говорить про ценность данных и аналитики, люди хотят театр", и действительно, хотите получить внимание аудитории, подарите им театр. А то вчера я почти заснул на конференции тут, театра не было.

Из моей презентации, Озеро Данных - для чайников. На примере, мы делаем фотку, сохраняем в облаком (Ingestion and Storage), фото обрабатывается и собираются метаданные (Process), и мы можем обращаться к данным (Catalog and Search), ну конечно все очень Secure.

А так выглядит data lake by AWS. Все данных сохраняются в S3. Главный challenge это собрать метаданные, чтобы люди могли самостоятельно найти данные, которые им нужны.

Вот мой кейс, когда traditional ELT не смог справиться с объемом, загрузка одного файла в Redshift занимает 1мин, у меня 5600 файлов в день. Поэтому использовал EMR (Hadoop) + Spark (PySpark где описал логику трансформаций). Результат сохраняется в S3 в Parquet формате. AWS Glue Crawler сканирует файлы и обновляет External Table (Hive Metastore), как результат пользователи могут писать SQL запросы через Redshift Spectrum. Примерно такое же решение можно собрать в Azure и GCP.

А вот ребята из Twitch, у них все по взрослому, 96 нод Redshift Cluster и 2.2 PB Parquet озеро данных в котором 1300 exernal tables. Главный challenge - Metadata

Они написали свои тулзы - Sheik, для трансформаций

Mode для exploration данных, аналог looker. Кстати про looker сказали, что хрень полная))

Табло у них тоже есть

Сейчас они активно внедряют Alation, как я понял очень крутой инструмент, собиарет метаданные из табло, хранилища и тп, собирает статистику по использованию таблиц, и вообще замечательный продукт. Такой же отзыв я слышал от ребят из GoDaddy.

Когда мы говорим про Cloud Analytics, важно знать типы сервисов IaaS, CaaS, PaaS, FaaS, Saas. На картинке с пиццей видно преимущество каждого сервиса.

Свежый отчет Gartner по Традиционным Хранилищам Данных.

Сегодня посещу Edmonton, а вот и презентация по Microsoft Azure Data Analytics https://www.slideshare.net/dimoobraznii/building-modern-data-platform-with-microsoft-azure

Хорошая визуализация разделения ответственности между провайдером и клиентом

Вот это крутая штука - бесплатная БД mysql - https://remotemysql.com/ всамый раз поучиться или собрать аналитику для своего проекта