МОДУЛЬ 7-2-1 САМЫЙ МИНИМУМ PYTHON ДЛЯ SPARK (JUST ENOUGH PYTHON FOR SPARK)

Вдруг вы плохо знаете Python? Тогда для вас есть express course:)

Прежде, чем начать работать с Apache Spark, мы должны иметь необходимый минимум работы хотя бы одного из поддерживаемых языков программирования. Один из самых популярных языков - Python. Поэтому в этом уроке мы посмотрим, какие команды нам необходимо знать на примере Databricks notebooks. У вас будет замечательная возможность попрактиковаться, и если вдруг вы мало используете Python, то самое время попробовать его, так как дальше нам очень понадобится.

В этом видео:
📌 Что такое Databricks
📌 Как запустить Community Edition Databricks и какие есть еще варианты для бесплатного Spark
📌 Переменные и типы данных в Python
📌 Условия и циклы
📌 Методы, функции и библиотеки
📌 Коллекции и классы

В видео я упоминал papers про big data:
(я их добавил в git учебник)

Papers
- The Google File System
- MapReduce: Simplified Data Processing on Large Clusters
- Bigtable: A Distributed Storage System for Structured Data
- The Hadoop Distributed File System
- Spark: Cluster Computing with Working Sets

Не знаю насколько вы далеки от Депп/Эмбер разбирательств, но это была тема №1 в Северной Америке в прошлом месяце. Маркетинг уровня БОГ))

Новая книга с интересным названием - AI-Powered Business Intelligence

Use business intelligence to power corporate growth, increase efficiency, and improve corporate decision making. With this practical book with hands-on examples in Power BI, you'll explore the most relevant AI use cases for BI, including improved forecasting, automated classification, and AI-powered recommendations. And you'll learn how to draw insights from unstructured data sources like text, document, images files.

- Learn how AI can generate business impact in BI environments
- Use AutoML for automated classification and improved forecasting
- Implement recommendation services to support decision-making
- Draw insights from text data at scale with NLP services
- Extract information from documents and images with computer vision services
- Build interactive user frontends for AI-powered dashboard prototypes
- Implement an end-to-end case study for building an AI-powered customer analytics dashboard

Update: Книга вроде как 💩

Иногда вам могут выслать домашнее задание, в котором попросят вас что-нибудь сделать. У вас есть 2 варианта:
1) сделать как есть, кратко и по делу
2) расписать все достаточно подробно и сделать больше чем требуется

Я обычно всегда за 2ой вариант. В целом я не люблю тратить время на такие вещи, потому что они ничего не гарантируют. Но иногда бывает вдохновение и я решил подойти творчески к решению задачи.

Нужно было для epic games:
1) Придумать архитектуру для конкретного кейса - Software Version Tracking
2) Написать код аля leetcode.

Я сделал целый репозиторий в котором написал большой трактат про аналитические решения, архитектуру и пример delta lake подходы с pyspark для ответа на 1й вопрос. Это почти как White paper для игровой индустрии на Spark.

Для 2го я использовал GitHub actions и pytest - то есть идея CI/CD pipeline, когда мы используем аналитическое решение и пишем код.

С epic не срослось, но зато остались "артефакты" - https://github.com/dimoobraznii1986/AssignmentExample

Сегодня узнал, что если в github .com заменить на .dev то откроется Visual Code в браузере!

А вот еще один life hack - в браузере DuckDuckGo можно ввести префикс !so и результат будет искаться на stackoverflow

Вот мы говорим - язык программирования это сложно. Хотя обычно там все слова на английском.

Но вы не знаете, что такое сложно - Creating an Arabic Programming Language.

С таким же умным видом можно рассказывать иностранцам про язык 1С наверное🥸

Простой и понятный доклад про Apache Kafka.

Про модели данных...

Хорошая статья про Slowly Change Dimensions.

Николай Голов написал продолжение статьи про Data Modelling @ManyChat - Data modeling in the world of the Modern Data Stack 2.0

Так же Николай попросил рассказать о сообществе, в котором обсуждают тему по аналитики и решения, вот свежая запись - Designing Data-Intensive Applications. Глава 12 The Future of Data Systems (хорошая идея вместе читать и потом обсуждать).

У меня эта книга лежит на столе уже больше года, обязательно прочитаю ее!

"Нежное" введение в Spark и Delta Lake.

PS накидайте хороших материалов по Spark. Кроме datalearn модуль 7.2)))

Если вкратце, то это беспредел. На примере Coinbase, кучу народа уволили, им выдали акции по 300 баксов (стоки), а теперь они не знают как продать по 50, да и вообще, они не знали, что они могли продать из по 300. Зато топы знали и продавали.

В целом сейчас отличное время посмотреть всю подноготную успешного ИТ сектора, стартапов силиконовой кремниевой долины и инновационных технологий 🍿

Потихоньку dbt сообщество развивается. Запись недавнего митапа.

Запись выступления про решения для игровой индустрии игр ААА. https://youtu.be/tcTIQoo0I7Y

Собрали много алгоритмов на Python в одном месте https://github.com/TheAlgorithms/Python

Бодренькое видео Introduction to Data Roles and Infrastructure - авто рассказывает, что такое Data Pipeline и какие основные дата роли существуют (на английском). Если вы хотели посмотреть на дата терминологию на английском, то это отличный старт.

⚡️ Аналитика данных - блог ведущего Дата саентиста, работающего с данными в Uber, одного из авторов легендарного🔥 Machine Learning. Материал канала поможет реально вырасти до профессионала по работе с данными и получить самую высокооплачиваемую ИТ-профессию.

1 канал вместо тысячи учебников и курсов, подписывайтесь: 👇👇👇

@data_analysis_ml