1. FROM (выбор таблицы)
2. JOIN (комбинация с подходящими по условию данными из других таблиц)
3. WHERE (фильтрация строк)
4. GROUP BY (агрегирование данных)
5. HAVING (фильтрация агрегированных данных)
6. SELECT (возврат результирующего датасета)
7. ORDER BY (упорядочивание датасета)
8. LIMIT (лимитирование датасета)

SQL реально прост и является главным инструментом инженера или аналитика.

Вот например я, одинаково использую SQL в независимости от роли - Staff DE, Sr. DE, DE, BI. Вопрос лишь в том, что я еще использую кроме SQL и насколько могу оптимизировать запросы или писать "чистый" и "читаемый" SQL.

Всем всем всем, кто хочет начать работать с данными, выучите SQL и дальше будет легко.

Организуйте коллективное использование BI-системы легко и безопасно!

На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделится паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Разберёт как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens.

Темы для обсуждения:
🔹 права, доступы и сохранение нужного уровня безопасности;
🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens;
🔹 карта и система дашбордов для подразделений;
🔹 типы дашбордов и почему важно их разделять;
🔹 настройка кросс-ссылок между дашбордами;
🔹 будущая система управления контентом.

Участие бесплатное, нужно только ➡️ зарегистрироваться

#реклама

Если вы ищете к себе в команду опытного инженера данных, то вот вам отличный кандидат. Мне кажется круче не бывает в этой области. Можете ознакомится с его списком достижений. И несмотря на такой богатый опыт, был сокращен в SalesForce.

Раньше как было, если попал в гугл или другой фаанг, то во всех компаниях тебе зеленый свет. Но обычно, это было не важно, так как вряд ли другие компания могли тягаться с зарплатами гугла.

А теперь наоборот, ваше резюме даже не захотят рассматривать, потому что не всем подходит стиль работы гугла и уж тем более нет возможностей по зарплате.

Будем считать, что мне повезло, я не попал в гугл.😅

Мы слышали про мету и желание уволить middle managers. Так вот эти менеджеры в панике! В статье цитаты про то как они не достигнут цели в 1млн баксов и как они не смогу сделать FIRE (Financial Independence, Retire Early) то есть уйти на покой в 45.

А вот рядовые американцы не сильно переживают за них, даже рады=)

А вообще вопрос хороший как перестать работать в 45, кто-нибудь планирует FIRE? Возможно в таком изменчивом мире нам не светит😬

Довольно часто можно видеть как компания использует сразу больше одного BI инструмента. Для своих коллег, я давно хотел сделать вебинар про сравнение процесса разработки дашборда в Looker и Tableau. Так как используются сразу 2 инструмента поверх хранилища на Snowflake.

Делюсь презентацией. Конечно ее будет сложно понять без пояснения и демо, но в целом, кто работает с BI, тот поймет. Везде слева Tableau, а справа тоже самое, но в Looker.

В конце главный слайд по Summary +/-.

PS У меня до сих пор работает looker instance, который мне выдали года 4 назад, когда rock your data стала партнером looker в Канаде.

Возможно стоит провести вебинарчик по этой теме.

Мой товарищ в Ванкувере написал отзыв, кратко про свой переезд в Канаду и поиск первой работы, и потом 2й. С 1й работой тяжело в Канаде, с 2мя полегче, тем более с большой семьей.

Добрый день!
Хочу поделиться своей историей, как DataLearn и сообщество помогли мне в кратчайшие сроки получить первую работу в Канаде.

До 2022 года, в течение 10 лет, я активно трудился в ТОП-3 банке в РФ. Строил хранилище (Teradata, Oracle, MS SQL), ETL, BI, аналитика, репортинг, поиск инсайтов, все дела. Последние 3 года был кластер лидом, 3 команды в подчинении, ~50 чел. Кодить перестал в 2017 году. Все время проводил на бесконечных встречах. Одним словом менеджер аж ужас-ужас.

Я сделал PR в Канаду в 2019, но все никак не решался покинуть насиженное место. Однако, 24.02 все изменилось....
В середине марта я прилетел в Ванкувер. Денег – 10 тыс наличными, карты все заблокированы. Сразу стало понятно, что этой суммы хватит максимум на 2 месяца. В течение этого времени надо было кровь из носа найти работу, которая позволит прокормить семью из 5 человек.
Написал резюме, апплаился везде, где мог на позиции DE/DA. Исходил из формулы 10 апплаев дают 1 интервью, 10 интервью дают оффер.

После первого же интервью стало понятно, что главная проблема – отсутствие опыта с облаками (не важно AWS,GCP,Azure). Написать в резюме можно было все, что угодно, но на технических интервью меня снимали.

Перепробовал кучу разных курсов, как у самих AWS и MS так и на курсерах и юдемаях, но это все было не то. Либо очень поверхностно и без практики, либо слишком серьезно и долго.

И тут я узнал про курс Введение в инжиниринг Данных и Аналитику. Это было то, что нужно: cбалансированная Теория + Практика. Прошел за 2 недели усердной работы. В итоге появилось детальное предсталение об облачных техонологиях, архитектуре решений связанных с данными, ушел страх и появилось понимание куда идти, если нужно будет копать глубже.

Результат – 1 мая вышел на постоянную удаленную работу.

Результат за год – 2 постоянные удаленные работы. Продолжаю собеседоваться и конечно обучаться.

Спасибо создателям DataLearn, мне действительно очень помогло!

Видео 1985 года Richard Feynman: Can Machines Think?

Закончил читать первую главу Fluent Python. Книга действительная не простая, но обязательная для тех, кто уже знает базу питона. Когда вы думаете, что уже знаете питон и используете его на работе, а потом читаете первую главу этой 1000+ страничной книги, вы понимаете, что вообще ничего не знаете🫣

Если есть PDF 2nd edition бросайте в комменты.

Вот некоторые ссылочки из первой главы, которые я сохранил:
Story of Jython
Тhe Original Hacker's Dictionary
Python Data Model
The Zen of Python
Built in Types
What is the difference between __str__ and __repr__?
Doc Test

Наверно у всех есть привычка сохранять ресурсы (ссылки, посты, статья, книги, видосики и многое другое) на потом.

Отличное видео Много книг, статей и курсов, отложенных на потом. Что делать? от Максима Дорофеева.

Лично я практически перестал что либо откладывать и сохранять на потом, почему? Потому что в 90% случаев "потом" не наступит никогда, а если наступит, то информация может устареть.

📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре

⏰ Когда: 16 марта, 17:00 по Москве
📍 Регистрация

На каждом из этапов развития бизнеса компании требуется определенный технологический стек для работы с данными. На вебинаре рассмотрим построение систем аналитики разных уровней сложности для интернет-магазинов в облаке.

Вы узнаете, как собрать решение с базовым набором инструментов, развить его до продвинутого уровня и затем построить решение «промышленного класса».

Подробно разберем стек технологий и обсудим архитектурные схемы решений для анализа продаж, маркетинговой аналитики, управления ассортиментом, ценообразованием, а также для клиентской аналитики (в том числе с применением ML).

В программе:

🔸 Описание уровней (этапов) построения систем аналитики для e-commerce и задач на каждом из них

🔸 Обзор подходов к архитектуре для систем аналитики разной степени сложности

🔸 QA-сессия

Спикер:

🔹 Алексей Белозерский, архитектор VK Cloud

Зарегистрироваться

#реклама

Видео 7.3 Начало работы в Apache Spark опубликовано.

В этом уроке:

- Скачаем и запустим Apache Spark
- Посмотрим как запустить Spark на Windows
- Посмотрим на Spark UI
- Узнаем про основные компоненты Spark
- Начнем использовать PySpark
- Начнем использовать spark-submit

Лабораторная Работа
1. Ваша задача установить Apache Spark на ваш компьютер и запустить PySpark. Этого может хватить вам для изучения спарка, практически до конца модуля. Так как команды везде очень похожи, а вот интерфейс и конфигурация разные.
2. Вам нужно взять программу про M&Ms из нашего репозитория и также взть файл с данными в том же репозитории в папке data.
Запустить спарк программу используя spark-submit и передать в качестве аргумента месторасположения файла с данными.
3. Вам необходимо взять тот же код про M&Ms, но теперь нужно будет его выполнить в интерактивном режиме. Я это сделал на примере Databricks, если есть доступ к нему, сделайте там, если нет, используйте командную строку или попробуйте вот этот рецепт Get Started with PySpark and Jupyter Notebook in 3 Minutes

Девушки, с праздником 8ое марта! Я бы вам сделал бы скидку на курсы datalearn, но они и так бесплатные!😏

Учитесь, развивайтесь и занимайтесь любимы делом! Кто хочет войти в ИТ, входите, кто не хочет не входите😝

Полностью согласе с товарищем, все эти разговоры про миссию компании, team building, обеды и разговоры про изменения мира - это всего лишь прописанные методы по поддержанию вашей работоспособности. А после массовых увольнений можно даже больше и не притворятся. Я уже ничего не могу с собой поделать, очень сильно отдалился от корпоративной хрени, как будто отключили от Матрицы. Мне кажется люди, которые наслаждаются видением компании, верят в обещания руководителей и разделяют миссию, более счастливые, они меньше задают вопросов, и лучше работают.

Вот простой пример, в компании меня очень любят и ценят, говорят как хорошо я работаю, делюсь знаниями, помогаю, и еще много прекрасных слов, но при этом моя зарплата процентов на 30 меньше рынка, и никто мне ее не поднимет, даже если в лепешку расшибиться, потому что "рынок", "все так получают", "политика партии" или еще чего. То есть задача компании, получать от вас максимум пользы, за минимум денег.

А как у вас?

PS gif в тему в комменте))

В Канаде налоги рассчитываются в конце года, вам необходимо собрать информацию о доходах и расходах, отправить в налоговую Canada Revenue Agency и вам скажут сколько вы должны еще доплатить. В этом году меня обрадовали на сумму 54301.91 канадских долларов. Это мне нужно доплатить не считая всех остальных налогов, которые уже были вычтены из зарплаты. На эти деньги можно купить новую Audi Q5. Теперь вы знаете из первых рук про высокие налоги в Канаде, наверно поэтому и дороги хорошие🙄

Заканчиваю тему доходов, хотелось бы обсудить еще одну тему.

Все кто знает меня лично, знают, что практические первый вопрос, который я задаю это "Сколько ты зарабатываешь?" И я это спрашиваю у мало знакомых людей. Это примерно как выпить стопочку самогона из Альберты из "царской" (это мне прислали рюмки которые были в 19 веке) рюмке при первом знакомстве, такая вот проверка на совместимость.

Для многих людей, их заработок, даже маленький, это личное. Они берегут информацию как зеницу ока. По мне в информации по доходам нет ничего секретного, если вы конечно не наркоту толкаете.

Почему я считаю важным говорить про свои доходы и шарить инфу с коллегами и друзьями? Такой вод income awareness☺️

1. Работая в индустрии, зная сколько получают люди моей профессии с большим/меньшим опытом, выше и ниже должностями даст мне понять - есть ли у меня перспектива роста или потолок? Я был бы несказанно рад, если бы другой инженер получал бы в 2 раза больше, это значит и я смогу столько получать, то есть есть место для роста.

2. Я могу понимать рынок, я знаю, в какой компании, на какой должности кто сколько получает, я просто накапливаю данные, анализирую и когда настанет врем просить оффер в новой компании, я буду точно знать на что я могу рассчитывать и понимать, платят мне выше или ниже рынка. В Канадском рынке я 100% аккуратен, так информации все время обновляется, я никогда не упущу возможности спросить о доходах☺️

3. Спрашивать у людей не из ИТ про их доходы, особенно если это бизнес, сложней, и тут ничего не поделать, возможно секрет фирмы, опасность конкурентов или еще чего, но если получается получить такую информацию, то очень помогает оценить рынок найма VS работать на себя, да и еще оценивать разные индустрии, такие как франшизы, коммерческая недвижимость, дропшиппинг и тп.

Поэтому, не стесняйтесь, спрашивайте о доходах коллег и друзей, делитесь своими, у кого не получается, помогайте им. Это же прекрасно, когда все вокруг успешные и хватает на жизнь. Возможно вся эта история про сокрытие доходов связана с тем же, что было в недавнем посте про корпоративную культуру.

А так вообще мне очень нравится культура First Nations (коренное население), которое было истреблено белым человеком. У них все было просто, они ценили природу и окружающий мир. Для них материальные вещи ничего не значили. Ведь я живу сейчас на их земле. 😇

А как у вас? Вы считаете, что доходы это личное или нет?

На одном проекте мы уже год обсуждаем о возможностях мигрировать с serverless Amazon Athena на нормально решение типа Snowflake и Dabaricks. Идеи про open source даже не хочу рассматривать, у нас и так там open source на опен сорсе и все трещит по швам🫠

Вообще считаю, если у компании есть деньги надо брать лучший инструмент на рынке. Отрытое ПО вроде бесплатное, а если посчитать усилия большой команды, то это еще спорный вопрос. И даже открытое ПО надо где-то хостить.

Как и с вопросом по зарплате, так и с ПО люди разделятся на 2 лагеря за и против😆

Это очень круто уметь работать с опенсорсом и кодить много, но тут возникает обратная ситуация, когда коллеги начинают на каждый чих создавать новые shell скриптики и изобретать велосипед в питоне.

В общем у нас дискуссия идет, директор по инжинирингу как страус спрятал голову в песок, команда каждый день фиксит упавшие пайплайны, а пользователи все жду. VP аналитики не технический и строит космические корабли в отрыве от команды. Придумывает OKR без нас, но для нас:)

Из последнего предложили сделать on-call 24/7, вместо того чтобы решить проблему кардинально (то есть скзазать, Дима был прав - наше решение гавно)и взять ответственность на себя, чтобы исправить ситуацию, мы сидим и ждём, прям очень интересно, чем все закончится. Пару идей было про миграцию на редшифт, но это шило на мыло.

Это была предыстория к статье про миграцию redshift на snowflake.

В следующей статье я расскажу про build trap и outcome lead organisation. Будет в тему этого поста.

Миграция с SAP BW/4HANA на платформу данных Arenadata

Какой подход к миграции на платформу Arenadata выбрать? Как загружать данные из SAP систем? Как не потерять разработки, мигрировать данные и сохранить отчеты пользователей?

Об этих и других темах команда Sapiens solutions поговорит на вебинаре 15 марта в 11:00 с коллегами из Arenadata и Sapland.

Содержание вебинара

• Знакомство с платформой, ее компонентами, архитектурой, преимуществами и особенностями работы
• Демонстрация, как с помощью Airflow организовать загрузки из SAP ERP, используя экстракторы.
• Особенности загрузки данных в MPP базу данных.
• Возможность снижения трудозатрат на перенос модели данных.
• Обеспечение необходимой скорости обработки данных и эффективного их хранения.
• Ответы на интересующие вас вопросы.

Регистрация по ссылке. До встречи на вебинаре!

🗓 15 марта, 11:00 мск • Онлайн

#реклама