Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
поддерживает московское время
«Иногда для решения самых сложных задач требуется меньше усилий».

Если вы любите выполнять работу быстро, но часто так же быстро страдаете от ограничений процесса - то книга Спринт Джейка Кнаппа, в которой описан усовершенствованный инновационный подход, используемый в Google Ventures будет вам интересна. Это книга будеи интересна руководителям, владельцам цифровых продуктов, а также дизайнерам / разработчикам - редко можно отнести одну книгу к категории всех этих профессий.

Одна из замечательных особенностей этой книги заключается в том, что в ней рассматриваются некоторые основные аспекты гибкой / бережливой методологии, но она объединяет их в прагматичную и полезную структуру. Сосредоточение внимания на небольшой автономной команде с четкими целями и небольшими размерами партий звучит как основа для гибкой команды разработчиков, но в этом случае эти концепции используются для быстрых целенаправленных инноваций.
Интересная статья про сравнения Oracle (классическое решение для хранилищ данных) и Snowflake (современное облачное решение) от человека, который работал с Oracle с 1987 года. https://www.analytics.today/blog/oracle-vs-snowflake
“Using Oracle on a DEC VAX was like going from a model T-Ford to a Porsche 911 at half the cost.” - то есть идея понятна, когда Oracle вышел на рынке, это был прорыв. Новый подход и новая технология. Так же было и с Amazon, проект, о котором я рассказывал - Rolling Stone (отказ от Oracle баз данных и миграция на AWS), не потому что Oracle плохой, просто в его основе лежат устаревшие технологии. В то времчя. когда Amazon начинал строить свое решение, Oracle был лучшим решение на рынке, но с развитие облачных вычисление, он потерял свои позиции. У вас все еще есть возможность построить решение на Oracle on-premise, которое будет быстрым, но его цена может быть в 10-50 раз больше, например за цену Redshift. А теперь, возможно, тоже самое происходит и со Snowflake, это продукт обещает вам Porshe 911 за пол цены. Я не работал с крупным внедрение Snowflake и не могу сказать, но среднее хранилище 10-20ТБ, работает без проблем, и действивтельно и дешевле и быстрей.
Согласно последнему отчету World Economic искуственный интелект (AI), сможет самостаятельно решать следующие задачи в будущем. Но это не значит, что всем надо бежать учить AI, и это нам даст гарантированно высокую зп. Я много раз говорил, ваша ценность в том, как вы можете помочь бизнесу стать эффективней. Для этого часто достаточно знания Excel и понимание бизнес процессов. Сделайте шаг назад от фокуса на конкретную технологию, и попробуйте понять, какую проблему вы хотите решить.
У вас есть замечательная возможно выучить Azure для аналитики. Есть бесплатный (и платный курс) на edx, в котором есть все необходимое. Я записался на Azure DW, Azure Data Prep (ETL), Azure HDInsights (Hadoop) и Azure Real Time Analytics. Выбрал бесплатную версию. За платную версию вы сможете пройти всю специализацию и получить сертификат. Я потом отдельно хочу сдать экзамен на Azure Data Engineer.
=>https://www.edx.org/microsoft-professional-program-big-data#edx-product-discovery-cards

Как ни крути, облачные продукты надо знать, просто нужно выбрать AWS, Google или Microsoft. Вся информация по Google есть на Coursere. Но к сожалению в бесплатной версии нет лабораторных работ.
=>https://www.coursera.org/specializations/gcp-data-machine-learning

А по AWS много материалов у AWS.
1)Overview of AWS: AWS Cloud Practitioner Essentials (Second Edition) - 6hours
=>https://www.aws.training/learningobject/curriculum?id=27076
2) Data Analytics Fundamentals 3.5 hours
=>https://www.aws.training/learningobject/wbc?id=35364
3)Amazon Redshift Tutorial (бесплатно)
=>https://docs.aws.amazon.com/redshift/latest/gsg/getting-started.html

Для экстремалов есть Alibaba Cloud:
=>https://edu.alibabacloud.com/
Интересный факт, вот я уже в Канаде почти 4 года, вроде каждый день говорю на английском, и вот, что мне на это написали: “Your English structure makes me wonder whether your firms main task is human-foolable chatbottery!” По-моему это связано со знанием английского🤦‍♂️
Вакансия ко мне в команду https://www.amazon.jobs/en/jobs/867536/business-intelligence-engineer-internal-slu-analytics-product Узнаю про рабочую визу, но в принципе все возможно, я предложил найти rock star из Европы/России, мой начальник думает, хочу продать ей такую идею.
Всеми любимый Michael Stonebraker (или не всеми). У меня была тут презентация раньше, а вот теперь и видео нашлось! Спасибо Yerbol!