Если бы Шерлок Холмс был бы в ИТишечке, он бы насил бы такой кепарь от Gucci и Adidas за 520 фунтов!

Отличный вариант для fully remote (ZOOM), 2 в 1! спортик и лухари, под настроение!

Предзаказы принимаются!

Наконец-то я закончил замечательную книгу, наверно лучшую в своем роде - Python Crash Course (3rd edition).

Книга состоит из 2х частей:
1) теория + упражнения про обычные питоновские вещи, но все объяснено очень понятным языком (наверно за это очень любят эту книгу). Я давным-давно закончил часть1.
2) а вот 2ю часть все откладывалась. Это набор разных проектов на питоне.

Я загрузил свой код к себе в репо. Так же там есть популярные cheetsheets от автора.

Проекты:
- сделать игру на PyGame, используется много файлов и классов
- визуализация данных с помощью Matplotlib, Plotly, генерация данных
- работа с API на примере GitHub, HackerRank
- достаточно большой проект на Django, в котором будет много HTML.

PyGame и Django мне вряд ли понадобятся, но моя задача просто чаще использовать питон, и эти проекты отлично подошли. Даже промелькнула мысль сделать английскую версию datalearn на django, но быстро ее отбросил.

Следующая книгу по Python - Fluent Python. В ней много базовых вещей, но это как вода, которая должна заполнить пустоты в стакане с песком:)

Что вам еще по питону нравится?

Визуализировал 12+ лет карьеры, основные технологии, которые учил (не использовал), а именно учил по книжкам, курсам и тп.

Оказалось 2020 +/- вообще был на дне морально.

Обе попытка делать "бизнес" дали многогранный опыт, особенно в части soft skills.

Моя самая любимая картинка - The 2023 MAD (Machine Learning, Artificial Intelligence & Data) Landscape

Почему любимая? Ну потому что очевидно же, чем дальше, тем больше новых инструментов, больше хаоса.

Новичку даже с "пол литра" не въехать в это дело, столько всего надо знать?!

This year, we have a total of 1,416 logos appearing on the landscape. For comparison, there were 139 in our first version in 2012.

С чего начать, как поступить и тп. Именно поэтому такой ресурс как datalearn решает такую проблему, в этом и есть моя сильная сторона, я могу абстрагироваться от этой кучи ярких лого, и рассказывать про суть.

Ссылка на статью https://mattturck.com/mad2023/

‘Tableau has been killed by Salesforce’: Past and current Tableau employees gather at ‘Irish wake’

По заголовку статьи понятно, что табло было лучше, когда это была самостоятельная компания, так же как и BusinessObjects когда-то. Возможно и с Looker похожая история, продукт мекрнет на фоне большой компании, видение размывается, продает фокус.

Хотя с Power BI все наоборот, медлено и верно продукт развивается. Первый раз с ним познакомился в 2015 году, тогда казался каким-то кривым и смешным, а теперь клиенты кешируют сотни гигабайт в Power BI и делают классные дашборды.

Но это мнение сотрудников табло, по себе я сильно заметил как просело сообщество, кол-во крутых визуализаций в linkedin и других классных штук, за что мы все любили продукт.

А вам как кажется? Tableau скатилось на задворки SalesForce или нет?

Кто бы мог подумать, что сегодня я буду использовать Azure ML, чтобы подключиться Azure Data Explorer, и самое главное подключилось и работает.

Вчера было небольшое собеседование с компанией https://www.pilotplans.com/about, мне они понравились, что там официально 4 дня рабочая неделя и они про путешествия. Типа chatgpt для планирования путешествия, пока бесплатно и в бете. Они искала дата инженера на небольшие деньги (думал как подработку).

Я реально провтыкал 2 собеседования, но на 3й раз не пропустил. Пообщался с 2мя парнями из Индии, один был одет как в фильмах боливуда. Сюдя по шумам вокруг, они были в эпицентре крупного индийского города🛺

Рассказал им, как я бы делал платформу данных и какие технологии использовал бы. Как на картинке. Так и выглядит современное аналитическое решение🙈

Но ребята реально сами не знают чего им надо, время спрашивали про ML познания, на что я им смело говорил, мне это вообще не интересно, но теорию рассказал. Спрашивали про всякие другие вещи типа web scrapping и NoSql.

Про инвестиции сказали, что их нет, только ангел инвестр. Зато не просили питон писать на white board, а то я уже открыл вкладку chatgpt.

Накидайте хороших ресурсов по Airflow

Четкая презентацию про дата инженера

Подробная инструкция как читать Query Plan в Snowflake.

Один из самых популярных вопросов на собеседовании - как решать проблемы с производительностью запросов (отчетов, дашбордов). И ответ обычно начинается с изучения плана запроса и затем уже решается, что делать - compressions, partitions, indexing, bucketing, sharding и другие вещи, которые делают запросы быстрей.

В каждой базе данных свой запрос (логический план выполнения), и как правило во всех аналитических хранилищах (распределенных системах) очень много схожестей.

Поэтому этот пост будет интересен для всех.

А вы знаете еще ресурсы по оптимизации запросов? Или вопросы с собеседований.

Вдруг вам скучно!? Самое время выучить Rust для Data Engineering.

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.

Ближайшие мероприятия:
• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.
• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.
• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DWH Яндекс Маркета.

Зарегистрироваться

#реклама

1. FROM (выбор таблицы)
2. JOIN (комбинация с подходящими по условию данными из других таблиц)
3. WHERE (фильтрация строк)
4. GROUP BY (агрегирование данных)
5. HAVING (фильтрация агрегированных данных)
6. SELECT (возврат результирующего датасета)
7. ORDER BY (упорядочивание датасета)
8. LIMIT (лимитирование датасета)

SQL реально прост и является главным инструментом инженера или аналитика.

Вот например я, одинаково использую SQL в независимости от роли - Staff DE, Sr. DE, DE, BI. Вопрос лишь в том, что я еще использую кроме SQL и насколько могу оптимизировать запросы или писать "чистый" и "читаемый" SQL.

Всем всем всем, кто хочет начать работать с данными, выучите SQL и дальше будет легко.

Организуйте коллективное использование BI-системы легко и безопасно!

На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделится паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Разберёт как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.

Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.

Участие бесплатное, нужно только ➡️ зарегистрироваться

#реклама

Если вы ищете к себе в команду опытного инженера данных, то вот вам отличный кандидат. Мне кажется круче не бывает в этой области. Можете ознакомится с его списком достижений. И несмотря на такой богатый опыт, был сокращен в SalesForce.

Раньше как было, если попал в гугл или другой фаанг, то во всех компаниях тебе зеленый свет. Но обычно, это было не важно, так как вряд ли другие компания могли тягаться с зарплатами гугла.

А теперь наоборот, ваше резюме даже не захотят рассматривать, потому что не всем подходит стиль работы гугла и уж тем более нет возможностей по зарплате.

Будем считать, что мне повезло, я не попал в гугл.😅

Мы слышали про мету и желание уволить middle managers. Так вот эти менеджеры в панике! В статье цитаты про то как они не достигнут цели в 1млн баксов и как они не смогу сделать FIRE (Financial Independence, Retire Early) то есть уйти на покой в 45.

А вот рядовые американцы не сильно переживают за них, даже рады=)

А вообще вопрос хороший как перестать работать в 45, кто-нибудь планирует FIRE? Возможно в таком изменчивом мире нам не светит😬

Довольно часто можно видеть как компания использует сразу больше одного BI инструмента. Для своих коллег, я давно хотел сделать вебинар про сравнение процесса разработки дашборда в Looker и Tableau. Так как используются сразу 2 инструмента поверх хранилища на Snowflake.

Делюсь презентацией. Конечно ее будет сложно понять без пояснения и демо, но в целом, кто работает с BI, тот поймет. Везде слева Tableau, а справа тоже самое, но в Looker.

В конце главный слайд по Summary +/-.

PS У меня до сих пор работает looker instance, который мне выдали года 4 назад, когда rock your data стала партнером looker в Канаде.

Возможно стоит провести вебинарчик по этой теме.

Мой товарищ в Ванкувере написал отзыв, кратко про свой переезд в Канаду и поиск первой работы, и потом 2й. С 1й работой тяжело в Канаде, с 2мя полегче, тем более с большой семьей.

Добрый день!
Хочу поделиться своей историей, как DataLearn и сообщество помогли мне в кратчайшие сроки получить первую работу в Канаде.

До 2022 года, в течение 10 лет, я активно трудился в ТОП-3 банке в РФ. Строил хранилище (Teradata, Oracle, MS SQL), ETL, BI, аналитика, репортинг, поиск инсайтов, все дела. Последние 3 года был кластер лидом, 3 команды в подчинении, ~50 чел. Кодить перестал в 2017 году. Все время проводил на бесконечных встречах. Одним словом менеджер аж ужас-ужас.

Я сделал PR в Канаду в 2019, но все никак не решался покинуть насиженное место. Однако, 24.02 все изменилось....
В середине марта я прилетел в Ванкувер. Денег – 10 тыс наличными, карты все заблокированы. Сразу стало понятно, что этой суммы хватит максимум на 2 месяца. В течение этого времени надо было кровь из носа найти работу, которая позволит прокормить семью из 5 человек.
Написал резюме, апплаился везде, где мог на позиции DE/DA. Исходил из формулы 10 апплаев дают 1 интервью, 10 интервью дают оффер.

После первого же интервью стало понятно, что главная проблема – отсутствие опыта с облаками (не важно AWS,GCP,Azure). Написать в резюме можно было все, что угодно, но на технических интервью меня снимали.

Перепробовал кучу разных курсов, как у самих AWS и MS так и на курсерах и юдемаях, но это все было не то. Либо очень поверхностно и без практики, либо слишком серьезно и долго.

И тут я узнал про курс Введение в инжиниринг Данных и Аналитику. Это было то, что нужно: cбалансированная Теория + Практика. Прошел за 2 недели усердной работы. В итоге появилось детальное предсталение об облачных техонологиях, архитектуре решений связанных с данными, ушел страх и появилось понимание куда идти, если нужно будет копать глубже.

Результат – 1 мая вышел на постоянную удаленную работу.

Результат за год – 2 постоянные удаленные работы. Продолжаю собеседоваться и конечно обучаться.

Спасибо создателям DataLearn, мне действительно очень помогло!