В Microsoft проходит внутренняя конференция по ML. Конференция как конференция, куча непонятных штук про ML. А вот, что мне понравилось, что есть сессии для детей и родителей, например построить голосового помощника или собрать Raspberry PI и другое. Я такого вообще никогда не встречал. К сожалению все эти вещи уже booked. Это вообще супер крутая идея для онлайн конференций, организаторам на заметку)

Еще из интересного, у Microsoft есть Garage. То есть это помещение, где стоят станки, 3D принтеры и другое оборудование и все могут приходить и учавствовать и изучать новые вещи, причем с детьми. Конечно сейчас это все онлайн.

Разница в культуре между Амазоном и Майкрософт большая, хотя я тут всего неделю.

Кстати, я нашел крутой ресурс - Space Data Camp для детей и их родителей. Очень рекомендую - английский попрактикуется, с детьми будет чем заняться. И там еще много ресурсов и workshop для детей связанных с ИТ.

Согласно исследованиям MIT Sloan - How to build a data-driven company, главным катализатором является культура компании, культура по работа с данными и общая грамотность (data literacy). Одних дорогих аналитических инструментов и опытных data engineer/scientist/bi недостаточно.

Скоро начнется Data Cloud Summit (Snowflake). Очень рекомендую посмотреть keynote, чтобы понять куда движется индустрия.

Слышали про pseudo code? Это как бы код, но нет код. Отличный вариант, когда не знаем как решить задачу и написать настоящий код. Мы можем нарисовать решение использую псевдокод. Так же работает для собеседований.

Data+AI бесплатная конференция от Databricks. https://databricks.com/blog/2020/10/18/announcing-summit-keynotes-malcolm-gladwell-dr-kira-radinsky-jeremy-singer-vine.html

SCD — Slowly Changing Dimensions

На одном собеседовании меня спросили как бы я спроектировал табличку для хранения показателей датчика, который иногда но нерегулярно меняется; и так, чтобы потом можно было найти показание за определённую дату простым запросом, не перебирая всю таблицу.

Сначала я долго тупил, но потом минут за 30 мы с собеседующим пришли к рабочему варианту… это оказался вариант по типу SCD2 — уже давно придумали как надо правильно.

Всего типов 6 — вот небольшая статья с примерами данных для каждого типа:
https://habr.com/ru/post/101544/

Вышло обновление книги по визуализации данных, от главного тренера и евангелиста по Табло - Andy Kirk - Data Visualisation: A Handbook for Data Driven Design

Другой крутой мужик по Табло это Ryan Sleeper, у него есть 2 книги по Табло, и я их видел в PDF.

Завтра выступаю https://data-science-ua.com/conference/wp-content/uploads/2020/10/9th-Data-Science-UA-Conference-Agenda.pdf от Амазон, хотя уже не в амазон😝, на последок так сказать

Netflix создал еще одно решение - Бульдозер, для экспорта данных из хранилища данных в NoSQL. https://netflixtechblog.com/bulldozer-batch-data-moving-from-data-warehouse-to-online-key-value-stores-41bac13863f8

Еще один термин, который чем-то зацепил - Data Discovery Platform. Подробности тут.

Довольный большая серия постов “Building data-driven organizations”.
Part 1: What it means to be data-driven
Part 2: Why organizations fail to make data-driven decisions
Part 3: How to operationalize better decision-making

Как часто мы забываем о конечном потребителе и углубляется в технические дебри

Pandas vs PySpark, статья про то, когда, что использовать.

В продолжение capcha