#dataengineering

Отличная статья про роль и задачи Инженера Данных, этот перевод статьи сделан SkyEng. Кстати они используют Redshift и Matillion. И тут у меня возник вопрос, возможно вам будет полезно.

Если вы используете Google BigQuery или Amazon Redshift и у вас стоят задачи автоматицазии потоков данных, можно просто назвать ETL, или вам нужна автоматизации маркетинга, или интеграции ETL с BI инструментом, то вам следует посмотреть на Matillion ETL, уже несколько компаний в России используют его,и с одними я недавно общался и показывал, что можно делать. SkyEng уже использует год и очень довольны.

Если вам интересно и у вас есть такие задачи, то напишите мне, я смогу вам показать, как я использовал Matillion и какие задачи можно решать без кодинга и другого гемороя. Или у вас сложности с текущим иснтрументом (Talend, Pentaho, Informatica, и тп).

Возможно весной сделаю вебинар по Аналитическим Решениям на русском минут на 60 (бесплатно😎).

Для любителей усреднять:)

Looker White Paper - Analytics-Drive Marketing for Action

Отличный эвент про современные аналитические решения, посути, все то, о чем я часто здесь пишу https://tdwi.org/webcasts/2019/03/adv-all-modern-data-analytics-in-the-cloud-achieving-an-end-to-end-strategy.aspx

Отличный ресурс сравнения AI https://skymind.ai/wiki/comparison-frameworks-dl4j-tensorflow-pytorch

Написал новый пост по Deep Learning. Если честно сам не очень понял, но выглядит внушительно: https://medium.com/@RockYourData/getting-started-with-aws-deep-lerning-using-a-multi-layer-perceptron-neural-network-model-afc39c71f53e

Я всегда хотел что-нибудь делать в университете, особенно в Северно Американском. Мне нравиться находиться в стенах университета, что-то в этом есть для меня.

После долгих попыток как-нибудь наладить контакт с университетами BC, а тут их 2 University of Victoria и University of British Columbia, наконец получилось. Я присоединился к nonprofit организации HighTechU, это инициатива департамента Computer Science Uvic, в качестве Mentor and Program Owner, и теперь по субботам, пока мои дети учат русский в Uvic (и такое тоже есть у нас тут для маленьких детей), я помогаю студантам строить их маленькие проекты, используя Agile, coding, collaboration and team work. Ну и конечно, я их посвящаю в полезность данных, вот презентация - "Hey, what is about Data?", которую я им рассказывал.

А сегодня, всей толпой учавствовали в Battle Snake - это местное мероприятие, где учавствуют все тех компании (было больше 1000 человек). Вам нужно запрограмировать змейку, и потом запускают по 4 змейки и смотрят, кто выигрывает. Можно скачать и запустить, может получится неплохой задачей для собеседования, у кого змейка победит:)

#dataengineering

Я обновил архитектуру текущего решения. Тут есть и Streaming (Kinesis Firehose), и Big Data на базе Elastic Map Reduce и Spark, и NoSQL на базе DynamoDB, и Data Lake на базе Redshift Spectrum и Glue. Каждое решение дополняет друг друга и справляется со своей задачей отлично. В качестве главного ETL - Matillion, BI - Tableau.

Я подготил этот слайд для конференции, Enterprise Data World 2019, которая пройдет в Boston уже через 2 недели, где я буду рассказывать про это решение.

Все супер, только лететь придется за свой счет. Зато, бесплатно попаду на конференцию, а так бы цена 3K+$. В прошлом году, я выступал на EDW18 в San Diego, было там семьей и гуляли по городу, не посетил ни одной презентации. В этом году, один лечу и послушаю все и вся:) И конечно посещу MIT и Harward. Так же там есть Amazon Robotics и Amazon Alexa команды.

Modern Cloud DW

Супер новости от Google Cloud Platform - Big Query Sandbox, то есть вы можете использовать его для своих целей, лимит 10 Gb, и кредитная карта не нужна https://cloud.google.com/blog/products/data-analytics/query-without-a-credit-card-introducing-bigquery-sandbox

AWS начали делать свои процессоры.