Чувак очень правильно заметил, каждый должен занимать своим делом! Я бы добавил еще, что каждый дольже обязательно понимать всю картину целиком end-to-end хотя бы верхнеуровне. Но не нужно тратить время не на свои задачи. Я недавно потрали 2 недели времени на работу SDE, в итоге не сделал задачу. SDE смог бы это сделать за 2 дня. А я пытался понять основы и найти документацию. В итоге я передал задачу SDE.

Приходите 20го на митап, привезу стикеров https://www.meetup.com/Moscow-Business-Analysis-School/events/265849525/.

Технологии позволят эффективно распознавать лицо человека, и мы помогаем это делать каждый раз когда кого-то отмечает на фотографии, интересная статья про распознавание лица http://nymag.com/intelligencer/2019/11/the-future-of-facial-recognition-in-america.html

в коллекцию колажей

Обзор решений MLOps на Azure вместе с DataBricks (Spark) и Azure Data Factory https://www.linkedin.com/pulse/understanding-mlops-azure-databricks-raki-rahman/?trackingId=1cLnff%2Be6j7mVBeaSuhUMg%3D%3D

AWS опубликовала новость под заголовком "Как предоставить возможность работать с ML для каждого аналитика и разработчика", другими словами, все вендоры упрощают ML/Data Science, AI. Примерно так же как и алгоритмы сортировки в Computer Science, основы программирования. Но сейчас мы не задумываемся, какую сортировку выбрать, используем готовый пакет. Так же и с BI, мы просто перетягиваем нужные объекты и получаем график. Так же и с Hadoop, в облачной среде, пару кликов, и у нас Hadoop с SQL интерфейсом. Другой вопрос, что нужно понимать способы применения. На рынке ценятся специалисты, кто знает, какую модель для чего нужно применять, а "руки" всегда найдутся.

Попался классный курс по Data Engineering! Нет hardcore по всяким Hadoop, Kafka. По содержанию интересный, всего по чуть-чуть, подойдет всем кто работает с данными BI, ETL, DW. Если вы в начале пути, или делаете только BI, то стоит посмотреть!

Вот так вот выглядит самое современное хранилище данных. * На месте Matillion может быть любой инструмент, обычно ELT.

Один из читателей @Shtock 😝 заметил, что Matillion не очень хорошее решение, мягко говоря. Я согласен, у него есть свои достатки и преимущества. По сути можно любим решением решить задачу, если хорошо владеть им. Например, можно взять Excel и построить отличный дашборд, который будет решать бизнес задачи, хотя многи скажут, что excel плохой BI инструмент. Поэтому совершенно не важно какое решение мы используем, его главная задача приносить пользу бизнесу. Я, например, использовал Matillion на последних 2 проектах, потому что, я знаю как в нем сделать быстро то, чего хочет бизнес, хотя я мог бы использовать Apache Airflow или AWS Glue. Поэтому критерий "хороший/плохой" очень относительный.

Зато оказалось, что Александр, отлично разбирается в облачных хранилищах данных и поделился
1) Своей презентацией Cloud DW deep Dive. "в презентаци идёт попытка доказать, что копирование традиционных star- и snowflake-схем не позволяет получить максимальную производительность в таких хранилищах как Amazon Redshift и Google Big Query, но и приводит к дополнительным финансовым затратам.

Также рассказано почему модели данных одного и того же хранилища должны быть разными между Redshift, Big Query и Snowflake и как эффективно использовать возможности данных СУБД."
2) Записью выступления на митапе Cloud DW and data models optimization.

Если есть чего интресного из по теме канала присылайте, расшарим!

Data Visualization Fashion:)

ebook - 20 python libraries that you don't use but should

Еще одна программа для Data Engineer, уже на 5 месяцев, включает в себя Cloud DW, Spark, NoSQL.

Пример использование Embedded Power BI на государственном сайте Канадского правительства который показывает сколько и какого типа машин было зарегистрировано. Отчет опубликован 19 ноября, но данные до 2018 года. Да и сам дашборд чего-то совсем скучный.

p-value на одной картинке