Обязательно подпишитесь на youtube 🤗https://www.youtube.com/watch?v=Ei21wxKKCMI

Огого - 20 мая 10 лет BigQuery! https://www.youtube.com/watch?v=O4_q2fQ1sJw&feature=youtu.be

Для Северной Америке главный интерес сейчас вокруг миграции DW (не важно откуда и куда, но главное все мигрировать и модернизировать), обычно это будет одна из 4х платформ Redshift, Azure Synapse, Big Query, Snowflake. (Или это просто мой feed и мой bias)

Проблемы с данными

Из комментариев:

Dmitry Pimkin
13:56
По алгоритмам и структурам данных есть два очень крутых курса на русском:
https://stepik.org/course/1547/syllabus
https://stepik.org/course/217/syllabus
Они даже переведены на английский и достаточно популярны на Coursera: https://www.coursera.org/specializations/data-structures-algorithms

Знакомый подписчик рассказывает от том, как собрать governance as a code на основе Open Policy Agent https://ritfest.ru/2020/abstracts/6857 . Есть идеи как использовать данный продукт в хранилищах данных?

Обзор вакансий data engineer, аналитик, bi разработчик на hh, indeed, amazon. На что я обращаю внимание, и заодно можно разглядеть 2 типа инженера.https://www.youtube.com/watch?v=A18WOwkInoQ (подписывайтесь!🤗)

А вот про архитектуру аналитического решения https://youtu.be/_M8yxr2Inyo

С сентября в University of Victoria я буду преподавать Cloud Computing для студентов MBA и для курсов повышения квалификации. Скорей всего это будет AWS Educate + Azure. Заодно можно будет и на русском сделать этот курс для data learn

Data Learn начинался как супер ресурс для Data Engineering. Но программа получилась такая, что она пойдет даже тем, кто вообще без опыта (и мне даже так легче, последовательно). Реальный DE начнется в модуле 5-6. Но зато всем будет понятно, что это.

Если есть простые вещи, просто пропустите и мы дойдем до вещей по сложней. Зато, возможно ваши знакомые кто, слышал про ИТ и думает, что это только программирование, computer science и Machine Learning, смогут отрыть для себя новый мир, где нет высоких входных требований, и от простого идти к сложному.

В общем небольшой обзор Excel. Это такой опциональный вариант, для аудитории, кто совсем без опыта. Уверен много классных ресурсов по Excel (скиньте в комменты ссылки).

Один из учеников - Павел Новичков создал дашборд для примера и пишет пошаговую инструкцию, как можно сделать такой же.

Учите Python? Попался классный ресурc Learn Python on AWS Workshop

Пообщался с командой, которая будет строить центральное Озеро Данных для Amazon Human Resources. Первое требование - coding для Data Engineer. То есть нужно знать SQL и Python. Про R вообще не слышно, как будто нишевой продукт.

Вот некоторые из реальных business cases применения Machine Learning, которые могут применяться к компаниях:
1. Ranking (ранжирование) - на сайте Amazon вы вводите ключевое слов и получаете список продуктов. Задача Amazon показать наиболее релевантный продукт клиенту.

2. Recommendation (рекомендации) - показать клиенту то, что ему нужно, желательно только один продукт.

3. Classification (Классификация) - создание категорий и подкатегорий продуктов.

4. Regression (Регрессия) - используется для численных значений, например прогноз продаж.

5. Clustering (Кластеризация) - группировка клиентов по схожим признакам, например для рассылки email с рекламой.

6. Anomaly Detection (Предсказание сбоев) - Можно использовать серверные логи в дата центре, чтобы предсказать следующий отказ.

7. Natural Language Understanding - Alexa трансформирует звук в текст, и извлекает семантику и выполняет конкретное действие.

8. Computer Vision (компьютерное зрение) - распознавание изображений, например по фотографии можно определить категорию продукта.

Напишите в коментах еще примеры

Парадо́кс дней рожде́ния. В группе, состоящей из 23 или более человек, вероятность совпадения дней рождения (число и месяц) хотя бы у двух людей превышает 50 %. Например, если в классе 23 ученика или более, то более вероятно то, что у какой-то пары одноклассников дни рождения придутся на один день, чем то, что у каждого будет свой неповторимый день рождения