Если вы совсем новичок и хотите работать с данными, то можно начать с простого - с Экселя. Вот и курс. Курсы на английском. Это хорошо, нам не нужно искать легких путей. Все термины по аналитике на английском, не обходите курсы на английском.

В Алексе мне часто приходиться првоодить собеседования для BI и Data Engineer. Я это очень не люблю. Собеседование занимает 1 час, потом еще надо писать подробный отчет, это еще 30 минут. Самое обидное в этой истории, что на эти вакансии я собеседую только специалистов из индии. Они классные ребята, они учатся программирования с детского садика, в их резюме можно найти все технологии мира и все ключевые слова по специальности, они знают все и ничего не знают. Например скоро буду собеседовать Top-Tier IT Consultant (Data Management Expert | Innovation Leader | Visualization Enthusiast), это я не придумал, а скопировал у него.

Меня больше интересует вопрос, что делают Канадцы и Американцы? Почему все Research Scientist/Data Science позиции занимают китайцы, а все BI/DE/BigData индусы. Конечно есть и местные ребята и из Европы из России и Украины, но это больше исключение из правил. Одно можно сказать точно, они могут хреначить круглосуточно (учиться, работать, карабкаться вверх). За счет этого они пробиваются вверх. Шансы у всех равны и возможности тоже, а вот мотивация разная. Если бы мне попался русскоговорящий кандидат, я бы наверно обрадовался; Другой вопрос, что собеседования в Амазон построены таким образом, что сразу собеседуют 5-6 человек и каждый отвечает за свою маленькую область.

Отличный white paper - Google BigQuery экономически выгодное решение и стоимость TCO (Total Cost of Ownership - цена владения) 26-34% меньше, чем у аналогов. Конечно, тут и маркетинг, но в целом облачное хранилище дешевле и проще в эксплуатации.

Из документа

Яндекс успешно развивает облако в России. Вот запись с последнего мероприятия Yandex Scale

Я раскрыл секрет успешности на Linkedin. Пишите про Snowflake и вас все лайкают и шарют. Пишите что-то другое более важное, возможно получите лайки от друзей. Очень сильная поддержка у Snowflake.

Чувак, который создавал Apache SuperSet (open source BI) и Apache Airflow (open-source ELT) создал новую компанию это коммерческая версия SuperSet. Должно быть, что-то дельное.

Рейтинги правят миром! Огорчил меня рейтинг на книжку мою по табло. Он бы еще написал бы, что почтальон был не вежлив🤣

Завтра в Ванкувере выступаю на Табло Юзер группе. В Ванкувере есть офис Табло, но там разработка продукта именно. На картине одна из фич Snowflake - возможность писать запросы прям поверх semi structured файлов (Avro, Parquet, XML, JSON). Обычно, чтобы писать запросы к таким данным, нам нужно распарсить это все дело ETL/ELT и сохранить результат в DW или же мы будем использовать Hadoop+(SparkHive/Presto и тп) чтобы все это дело преобразовать, то есть целое решение Big Data надо построить. А у Snowflake есть тип данных Variant, он хранит такие файлы и можно писать запросы, как на картинке. Еще в Snowflake есть sample погоды, ну как sample 240 млн строк и 400Gb. В общем им я покажу Ванкувер. Ради интереса выбрал Россию, это Лето 2019 года, максимальная температура по городам. Кстати есть очень крутые кейсы когда открытые данные погоды используют для бизнес аналитики. Я о таком мечтал в 2011 году в Сбербанке на проекте Терадаты. Ну в общем там всем было на погоду ***😇

Подкаст про дата инжиниринг https://www.dataengineeringpodcast.com/kedro-data-pipeline-episode-100/

Табло выпустил Tableau Hyper API, как известно хайпер это поколоначная база данных и теперь у нас есть возможность писать к ней запросы и меня содержимое использую SQL.

Что делать с данными?

Вчера прошла в Ванкувере Tableau User Group, где я рассказал и показал как использовать Snowflake и Tableau. В целом не очень круто все прошло, так как у меня было не достаточно время подготовиться. Ну что есть, то есть. Презентацию не буду шарить, там ничего особенного, зато поделюсь насколько сложно добираться до Ванкувера одним днем. Я вышел из дома в 10 утра, а был дома в 1 ночи, чтобы провести 2 часа в Ванкувере. Вот как выглядит маршрут. Денег пока не заработал на самолет/вертолет (тут есть такая опция, стоит 150-200 долларов в один конец). А Автобусы и паром получается гдето до 45 за день. Но самое ужасное это время и кол-во автобусов.

Если вы еще не распечатали А3 формат эту картинку, еще не все потеряно! Украшайте ваше помещение правильными картинами😏

Кстати смешно но факт! Главный инструмент для BI это калькулятор - все время нужно считать цифры и мтерики. А вот главные инструмент для Data Engineer это календарь! Все время ищу дау начала и конец нужной недели, проверяю кол-во дней в месяце и многое другое. Мой секрет data engineering, я все стараюсь делить на дни, потому что так удобней забирать данные из источника по дням, проверять кол-во дней, кол-во строк за день и тп. Можно дальше агрегировать по месяцам и неделям.

— Ма-аам! Можно я из операционки выйду?
⠀
— Не поняла.
⠀
— Ну, буду управленческие функции делегировать, бизнес масштабировать и пассивный доход получать.
⠀
— Какой интересный набор звуков. А скажи мне, будь добр, ты аналитику внедрил?
⠀
— Ну, да.
⠀
— Что «да», сынок?! Что «да»?! Табличка в экселе «сколько потратили, сколько продали» — это не аналитика. Метрики сквозные чтоб были мне через неделю! Отчётность финансовая! Не умеешь сам — найми людей! Если процессы не измеряются — процессов нет!!! Как можно делегировать то, чего нет? Ты мне не скажешь?
⠀
— Ну, а вот стартапы же...
⠀
— Какие стартапы?! При чём тут стартапы?! Там люди чужими деньгами сорят, а ты тут — семейными! У тебя готовая бизнес-модель. То, что в ней бардак управленческий, не делает из тебя стартап!
⠀
— Ла-адно...
⠀
— Во рту прохладно! Так. Позиционирование расскажи своё.
⠀
— У меня хорошее качество по честной цене.
⠀
— Не смей травмировать мать!!! Отличие уникальное в чём? Чего вдруг именно у тебя покупать надо?
⠀
— У нас команда профессионалов...
⠀
— Ох, не жалеешь ты меня... А кому она упёрлась твоя команда? Ты у людей спрашивал вообще, что им нужно? Аналитику предпроектную делал? Конкурентов и аналоги изучал? Инсайты, барьеры, драйверы покупательские выявил? Нет! А ведь мы об этом говорили! Говорили ведь?
⠀
— Ну, говорили...
⠀
— Конечно. Но зачем маму слушать? Мама же всего-то всю жизнь в консалтинге проработала. Вряд ли она в бизнесе волочёт. Мы без маминых советов обойдёмся... Я тебе так скажу. Чтобы из операционки выйти, нужно сначала в неё зайти. А я тебя там пока что не обнаруживаю.

(с) Андрей Саламатов (Andrey Salamatov)

Это Ричард Феймэн, известный физик. Он был прородителем AI. Его известная цитата "Если я не могу это воссоздать, значит я этого не понимаю". Он использовал алгоритмы, чтобы лучше понимать окружайщий мир и сознание. У него была простая техника изучения материала: 1)Выбрать предмет/топик 2)Объяснить этот предмет кому-нибудь, кто совершенно этого не понимает, как ребенку 3)Выявить проблемы в своем понимании 4)Изучить их и дальше упростить обучение. Вывод: В общем, если вы хотите что-то новое изучать, начните учить этому других. Я с этим полностью согласен, я учил других SAP BusinessObjects, Tableau, Microstrategy и многое другое, и впроцессе обучения сам разбирался в предмете. Так же когда мы учим других, это очень помогает карьере, так как всегда приветствуется и поощряется!