Слайды из Бостона про создание Хранилища данных на AWS, так же включает в себя добавление озера данных (Data Lake на Redshift Spectrum), и Big Data (EMR + Spark), и стриминг с помощью Kinesis Firehose.
Интресный факт, что все задачи были решены сначало с помощью Redshift и Matillion ETL и уже потом были заменены на более подходящие решения.
Интресный факт, что все задачи были решены сначало с помощью Redshift и Matillion ETL и уже потом были заменены на более подходящие решения.
SlideShare
Building Modern Data Platform with AWS
Building Modern Data Platform with AWS - Download as a PDF or view online for free
Написал пост про стратегии миграции для облачной аналитики https://medium.com/rock-your-data/cloud-analytics-migration-strategies-74af248de066
Medium
Cloud Analytics Migration Strategies
Nowadays, speed and timing matter. This agility combined with innovation has proven to be a game-changer for several organizations across…
Мы все тут говорим про роботов, автоматизацию, большие данные, аналитику и все в этом духе. А вот Амазон выпустил свою линию Beauty продуктов.
Опять же без данных не обошлось. Все банально просто. Amazon это marketplace. У вас есть уникальный продукт и вы его продаете на Amazon, данные собираются, а потом, раз и Amazon выпускает свой бренд. Если вы знакомы с AmazonBasics, то это другой бренд, там батарейки, коврики, посуда. Все, что там есть, это тоже не просто так, значит эти товары пользовались большим спросом, кто-то неплохо зарабатывал на этих категориях.
Вот так вот Amazon, забирает все самое лучше, и становиться еще богаче.
Вот вам простой пример ценности информации.
Опять же без данных не обошлось. Все банально просто. Amazon это marketplace. У вас есть уникальный продукт и вы его продаете на Amazon, данные собираются, а потом, раз и Amazon выпускает свой бренд. Если вы знакомы с AmazonBasics, то это другой бренд, там батарейки, коврики, посуда. Все, что там есть, это тоже не просто так, значит эти товары пользовались большим спросом, кто-то неплохо зарабатывал на этих категориях.
Вот так вот Amazon, забирает все самое лучше, и становиться еще богаче.
Вот вам простой пример ценности информации.
Amazon
Belei
Belei Skin Care: Moisturizers, Serums, Cleansers and more for your skin care needs
А вот резльтаты сравнения Netflix, они запускали Hive и Presto (SQL движок для Hadoop) на базе Amazon S3 и HDFS (локальный сторадж Hadoop). Они сравнивали производительность TXT, ORC и Parquet.
Medium
Using Presto in our Big Data Platform on AWS
low-latency interactive data exploration
Dive into Deep Learning
An interactive deep learning book with code, math, and discussions http://d2l.ai/
An interactive deep learning book with code, math, and discussions http://d2l.ai/
Привет, вот есть вакансия Data Engineer:
Data engineer в частный российский банк, которому предстоит погружение в классные проекты (не скоринг) по продуктам банка.
Обязанности:
• Развитие хранилища данных на базе Hadoop. Ответственность за построение data lake.
• Помощь аналитикам данных (data scientist) с загрузкой, обработкой и обогащением данных
• Обеспечение соответствия систем требованиям бизнеса и отраслевым практикам
• Разработка новых инструментов и сервисов
Требования:
• Минимум 2 года опыта на аналогичной позиции
• Практические знания стека Hadoop (Spark, Flink, Kafka, Hive, Scoop итд).
• Уверенное владение одним из языков программирования: Java, Scala, Python
• Опыт работы с промышленными SQL и NoSQL базами данных
• Фокус на бизнес-ориентированность в сочетании с аналитическим мышлением.
• Инновационное мышление, открытость к переменам и стремление к совершенству.
Зарплатная вилка 250000 рублей гросс/нетт
писать Варваре Матиссен-Рожковой в телеграм @heinin или на почту varvaram@marksmans.ru
Data engineer в частный российский банк, которому предстоит погружение в классные проекты (не скоринг) по продуктам банка.
Обязанности:
• Развитие хранилища данных на базе Hadoop. Ответственность за построение data lake.
• Помощь аналитикам данных (data scientist) с загрузкой, обработкой и обогащением данных
• Обеспечение соответствия систем требованиям бизнеса и отраслевым практикам
• Разработка новых инструментов и сервисов
Требования:
• Минимум 2 года опыта на аналогичной позиции
• Практические знания стека Hadoop (Spark, Flink, Kafka, Hive, Scoop итд).
• Уверенное владение одним из языков программирования: Java, Scala, Python
• Опыт работы с промышленными SQL и NoSQL базами данных
• Фокус на бизнес-ориентированность в сочетании с аналитическим мышлением.
• Инновационное мышление, открытость к переменам и стремление к совершенству.
Зарплатная вилка 250000 рублей гросс/нетт
писать Варваре Матиссен-Рожковой в телеграм @heinin или на почту varvaram@marksmans.ru
Пример использования snowflake и matillion с инструкцией https://community.snowflake.com/s/article/Getting-Started-with-Snowflake-and-Matillion
“Life is pretty simple: You do some stuff. Most fails. Some works. You do more of what works. If it works big, others quickly copy it. Then you do something else. The trick is the doing something else.”
― Tom Peters
― Tom Peters