Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Норм?

▪️ 82% (33) 🔥
🔸🔸🔸🔸🔸🔸🔸🔸

▫️ 7% (3) 😳


▪️ 7% (3) 🙊🙈🙉


▫️ 2% (1) 😭


▪️ 0% 😤🤬

👥 40 - всего голосов
Сегодня я увидел статью с заголовком "BI тренды 2019", давайте посмотрит, в каком направление движется индустрия BI (имеется ввиду BI инструменты):
1 Рассвет понятного AI - организации все больше используют AI и ML, но для многих это лишь черный ящик, и возникает вопрос, а можно ли доверять? AI, ML должны помогать, но не заменять. Если посмотреть топовые BI инструменты, они предлагают статистические методы, например прогноз есть у всех (даже у в мое подразделении, бизнес используюьт Tableau прогнозирование для автоматизации бюджетирования, потому что это быстро, но вот насколько точно, это вопрос). Надеюсь, у вендоров есть идеи, как сделать результат более понятным и прозрачным для конечных пользователей.

2 Использование речи для взаимодействия с данными - Power BI представил такую возможность еще давно, а вот Tableau лишь только недавно, вы можете попробовать это новой бете. Идея проста - зачем кликать мышкой, давайте просто спросим: "Сколько продали вчера?" и инструмент предложит варианты отчетов. Как вы понимаете, тут много нюансов, но, если заменить SQL запросы обычными фразами, может чего и получиться. Я пока не планирую это использовать, мне бы просто документацию сделать по тому, что есть.

3 Решения должны приниматься с использование данных (я думал это из 80х), все новое это хорошо забытое старое.

4 Данные и аналитика должны иметь положительный эффект на общество - вот, например известный кейс Tableau - борьба с Малярией в Африке при помощи визуализации данных, и это действительно работает.

5 Этика данных - всем видели новости про проблемы с персональными данными, GDPR. Без этого никуда, особенно сложно международному бизнесу, в каждой стране свои заморочки. Раньше были только с налогами, а теперь еще нужно шерстить все хранилище данных, чтобы соответствовать GDPR.

6 Процедуры по управления данными (data management and data goverance) - опять же это довольно старое понятие, но сейчас появляется много современных инструментов, которые позволяют управлять данными. Например Alation - это облачное решение, которое позводяет хранить информацию о ваших моделях жанных в DW и в Tableau. Помимо этого есть множество других процедур связанных с данными. Например, у меня до сих пор нет каталога данных, так как Excel или Confluence не эффективно, а автоматическое решение также требует кучу времени на внесение информации, так и живем.

7 Истории - все уже знаю насколько круто рассказать историю подкрепленную графиками (данными). Получается, что даже в закоренелых компанию осознали, что визуализация, интерактивных дашборды это не только красиво, но и эффективно. Ну конечно у Tableau всегда было опция Story Telling.

8 Корпорация стали умнее и легче адаптирубтся к аналитическим решениям - возможно это мы могли слышать каждый год с начала использования BI решений. Но факт, остается фактом, все крупные организации понимают ценность BI решений и готовы инвестировать в решения и специалистов (а вы попрсоили оплатить тренинг?)

9 Демократия данных позваляет аналитикам данных (data scientist) использовать данные, чтобы вносить изменения в бизнес процессы. Имеется ввиду, что данных мы собираем много, и може найти insights, и так же можем правильно донести информацию до руководителей, что они все поймут и действительно примут правильные решения. В моем случае, мне понадобилось 2 года, чтобы донести ценность BI до высших руководителей

10 Мое любимое - Облачные решения ускоряю процесс создания аналитического решения и его адоптацию и внедрение. #rockyourdata
2019_BI_Trends_report.pdf
147.2 KB
Вот и сам отчет, красивый. Другие вендоры тоже делают такое, но в целом AI и NLP будут в топе.
Вчера была проезентация - Best Practices on Scaling Amazon Redshift (лучшие практики по масштабированию Редшифт). Вообще слово "масштабирование" очень хорошее, не стесняйтесь его использовать, оно подойдет для любой технической и бизнес темы👻

Редшифт был создан в феврале 2013, как конкурент ведущей MPP базы данны Терадата, но он был создан в облачной инфраструктуре (AWS), то есть вам не надо покупать железо (сервера) за млн долларов, вы платите за то, что используете. Я всегда вспоминаю свои проекты по внедрению аналитической системы в Сбербанке, проекты были убыточные, вместо 6 месяцев длились 2 года, зато все получали свой lean (бережливы).

Если вы еще не пробовали Amazmo Redshift, так попробуйте, это бесплатно, у них на сайте есть step by step tutorial (1й создание кластера, создание таблиц, загрузка данных в них, 2й создание таблиц и загрузка 250млн строк и дальнеяшая оптимизация). Опять же зная Redshift на простом уровне, вы будете знать про MPP архитектуру и понимать как работает Big Query, Azure DW и другие облачные или аналитические продукты.
Очень интересная мысль президента “Сколково”:

”Мы живём в мире VUCA (VUCA — это аббревиатура из английских слов volatility (нестабильность), uncertainty (неопределённость), complexity (сложность) и ambiguity (неоднозначность). Чтобы описать это состояние VUCA, лектор привёл несколько цифр:

— 90% информации в мире появились за последние 2 года;

— ожидается, что средняя продолжительность жизни детей, родившихся в 2007 году в США, Италии, Франции и Канаде, будет 104 года;

— стоимость хранения 1 Гб информации с 1980 года снизилась в 1 миллиард раз;

— стоимость секвенирования генома 1 человека снизилась в 100 тысяч раз;

— 75% населения планеты имеет доступ к мобильной связи, но не все из них имеют доступ к чистой воде;

— ещё 10 лет назад не существовало как минимум 10 профессий, которые сегодня входят в число самых востребованных и высокооплачиваемых (специалист по BIG DATA, APP-разработчик, оператор дрона и т.д.).

Нетрудно заметить, что мир VUCA связан с 4 промышленной революцией, но он затрагивает не только экономику или национальные интересы, но и людей, каждого из нас. Чтобы стать успешным в этой ситуации, нужно меняться. “

Статья тут: https://www.kantiana.ru/news/142/209523/
#началокарьерысданными

Я закончил МГТУ Станкин по специальности инженер конструктор. Я мечтал о работе в Германии на автозаводе. К сожалению, университету было неважно, о чем мечтают студенты. На 4 курсы я пошел на практику на ГКНПЦ им Хруничева и осел там на 3 года, работал инженером и мастером смены (по факту возил телеку с металлом). Уже тогда я решил создать выдуманное резюме, где у меня уже несколько лет опыта и аспирантура, разместить на HH и посмотреть отклик. Результата не было.

У меня был товарищ, он работал ассистентом проект менеджера в ИТ, у него зп была 50 тысяч (2010 год), а у меня была 15т (и по трудовой я значился как «начальник участка»), то есть очевидно, куда надо было двигаться. На заводе с горем пополам мы с товарищем перевились в отдел с компьютерами, где время остановилось в 86году, и мы слышали истории автоматизации того времени. В это время были освоены Counter Strike и Half-Life в совершенстве

Как пробиться из машиностроения в ИТ (или из X в Y индустрию)? Я открыл рейтинг РБК, выписал ТОП 40 компаний, и разослал письма, откликнулся на вакансии. Результат = 2 звонка и одно собеседование все мимо. Главная проблема, у меня не было «наставника», того, кто мог бы мне показать короткий путь.

Мне повезло, одно из моих резюме нашли на HH «Стажер ИТ» и предложили поработать 3 месяца бесплатно, в качестве BI разработчика в Франциском банке. Слова SQL и BI я слышал первый раз в жизни. На вопрос «Вам знаком SQL? Это единственное требование», я не растерялся и ответил «Конечно! У меня дипломный проект использует SQL и базы данных». Уточнять не стали. Вскоре было понятно, что SQL не мой конек, как и английский. И то и другое я подтягивал через учебные материалы SAP Business Objects.

Так я начал работать с Business Intelligence, мне всегда нравилось, что я на стыке бизнеса и ИТ, нужно понимать бизнес процессы и уметь руками создавать решения, для сбора данных, которые генерятся бизнесом.

Если вы чего-то не знаете, это не страшно. Всегда можно компенсировать не знание временем. Например, вам нужно выполнить задачу. Например, для опытного специалиста, нужно на задачу 4 часа, а вам нужно намного больше. У вас есть в запасе вечера и выходные. Даже если у вас будет все получатся медленно, но вы будете вкалывать, это заметят и вас оценят. Всем своим junior я всегда говорю, будьте готовы 24/7, вы будете работать много, но это принесет плоды.

В Канаде, это работало против меня. Я взял себе на стажировку студентка на 12 месяцев. Товарищ был и Индии. Я ему сразу сказал, что к чему и как нужно работать. В общем я его по привычке много напрягал и просил часто все переделать. Мне казалась, что я делаю лучше для него, он получит классный опыт и будет хорошим специалистом через 12 месяцев и сможет найти полноценную работу. Но он так не думал, он жаловался менеджерам. В итоге, мне сказали, что я не прав, и это повлияло на мое review. Поэтому, что работает у нас, не работает у них. Проблема в моем случает была, что я сильно на него давил, это могло плохо повлиять на долгосрочные отношения с сотрудником и компанией. Необходимо создавать благоприятною атмосферу для всех, давать свободу действий (он сделает лучше то, что ему нравиться, чем то, что я его прошу).

Самый популярный ответ, который я слышал от бизнес: “This isn’t in my job denoscription”. Каждый раз, когда я пытался сделать Self-Service BI и перекладывал часть обязанностей на бизнес пользователей. В Москве я никогда не читал свои обязанности, а в Канаде это святое

Выводы:
1) Совершенно не важно какое у вас образование, вы можете создать карьеру в любой области. Чтобы сэкономить время, спросите у эксперта, как достигнуть результата наикратчайшим путем.
2) Если вы чего-то не знаете или не справляетесь, у вас всегда есть в запасе куча времени, включая выходные, чтобы все успеть и сделать. А во 2-х, усердный труд всегда заметят.
3) Одного «сухого резюме» не достаточно, вы просто один из множества, нужно постараться, чтобы привлечь внимания, желательно, делать то, что не делают другие кандидаты.
4) Что работает в России, может совершенно не работать за границей.
Все виды графиков, которые вам могу понадобиться:)
#diversity #разнообразие
Попалось интересная подоборка книг для женщин на внутреннем сайте Amazon от VP Коммуникаций https://www.linkedin.com/in/suzanneskyvara/

В Амазоне очень сильное комьюнити женщин, например Women in Tech и тп, и это здорово, потому что, девочки очень классные инжинеры и аналитики, если у вас мало женского пола в команде, обязательно наймите!

5 Career Books for Women That Are Not “Lean In”
Suzanne Skyvara is the Vice President of Communications at Goodreads -- the world’s largest site for readers and book recommendations, and an Amazon subsidiary. Since 2007, Goodreads has been helping people find and share books they love.

One way readers share what they are reading is by creating personally curated lists, and in the list below, Suzanne shares 5 Career Books for Women That Are Not “Lean In”.

"Working at Goodreads means I get to indulge not only my love of books, but also my curiosity about new ideas. In particular, I’m always looking for new perspectives for women and careers. “Lean In” tends to be the default recommendation, but there are several other strong books worth exploring. The following five books are all ones that have given me information I’ve either used myself and/or found myself sharing frequently with others."

Вот книги:
Playing Big: Find Your Voice, Your Mission, Your Message https://www.goodreads.com/book/show/25310678-playing-big
"I have recommended or given this as a gift to so many women and have yet to find someone who didn’t find it helpful. The section on fear, with 15 different ways to tackle it, provides insights that I haven’t seen in any other book. And I find myself frequently telling people about the chapter on “hiding." “Hiding” is where we think we are diligently moving forward but, in reality, are finding ways to stall and procrastinate on a new and scary project. Mohr also talks about how what helped a woman “win” when at school,​​ fails to translate into successful strategies in a career."

How Women Rise: Break the 12 Habits Holding You Back from Your Next Raise, Promotion, or Job https://www.goodreads.com/book/show/36204301-how-women-rise
"As one Goodreads reviewer noted, this should almost be called “What Got You Here Won’t Get You There: For the Other Half of the Workforce.” Goldsmith wrote the bestseller What Got You Here Won’t Get You There based on his experience coaching (predominantly male) CEOs, but he realized that women face different challenges so he teamed up with women’s leadership expert, Helgesen, to write this insightful book. Their push for women to do a better job of claiming their achievements is a must-read — all too often, women put their heads down, do the work, and believe that this will earn them recognition. It’s one of the major habits that hold women back so read this book to learn how to overcome it. And their chapter on “ruminating” is a very healthy reminder for women about how to move on from mistakes — I really liked how Helgesen and Goldsmith used their own experiences to show how women and men handle failure differently."

The Myth of the Nice Girl: Achieving a Career You Love Without Becoming a Person You Hate https://www.goodreads.com/book/show/35721133-the-myth-of-the-nice-girl
"Fran Hauser, who has held senior positions at Time Inc, People, and Moviefone, and is now a start-up investor focused on female founders, provides an excellent mix of theory with practical advice in her book. While it is a little lightweight in the beginning, the book includes a lot of valuable advice. I appreciated how Hauser shares her own mistakes to show readers how everyone’s road to success has multiple hard lessons along the way. In her chapter about investing in yourself, she gives some of the most actionable tips I’ve seen on networking and finding a mentor — and everyone should read her section on why asking to pick someone’s brain is the kiss of death!"
The Right-and Wrong-Stuff: How Brilliant Careers Are Made and Unmade https://www.goodreads.com/book/show/34523809-the-right-and-wrong-stuff
"While Hauser gives great tips on how to find a mentor, if you’re struggling to make that kind of connection, reading Cast’s book is an excellent next step. It’s like sitting down for a series of insightful conversations with an experienced, supportive leader. While today’s business world is leaning into “focusing on your strengths,” Cast wants to help people avoid the kinds of things that can derail or limit a career. His “Derailer Assessment” was developed and tested with MBA and executive students at Kellogg School of Management to understand which traits and behaviors are holding you back. A second quiz is about understanding what motivates you at work; the five fundamental factors are achievement, affiliation, power, autonomy, and purpose. I was pretty convinced I knew what motivated me, but my results led to an ‘a-ha’ moment for me."

Organize Tomorrow Today: 8 Ways to Retrain Your Mind to Optimize Performance at Work and in Life https://www.goodreads.com/book/show/24693651-organize-tomorrow-today
"This will feel like a very “male” book with lots of sports analogies and anecdotes involving male professionals, but I highly recommend women read it for two reasons: 1) there are some great organizational strategies that will really help you prioritize for success, and 2) there is a useful section on communications. A mentor of mine once told me that your leadership potential is judged on how well you communicate and I see it all the time in meetings. People who are crisp with their answers earn more respect from leaders. If you are down in the weeds with your answers, you’re viewed as being down in the weeds in your work."
#чтение
Если честно, я не люблю читать. Но чтение, это посути единственный источник знаний для меня. В своем канале, я буду писать про хорошие книги, которые я читал или которые рекомендуют в Амазон для развития сотрудников. Читайте проф литературу обязательно, там вы найдте много интресного и полезного! Кстати на #матемаркетинг, я получил кнингу Супербоссы. Сегодня мне попалась интересная мысль, она будет интересный для HR тоже. Как правило мы хотим брать на работу людей с высшим образование (не дай бог, человека отчислили) и еще мы хотим, чтобы он работал на одном месте не меньше 2-3х лет. Я тоже в это верил, но чувствовал, что-то здесь не так. В книге была мысль о том, что если человек отчислили из университета, то это не значит, что он глупый, он просто независимый и им сложнее управлять. А если человек часто меняет работу, это не значит, что он плохо работает, это значит, что ему скучно на работе. Как-то так, поэтому надо избавляться от шаблонов, если такие есть. Не стесняйтесь быть собой.

Выше пост был про книги для девушек. У Амазон есть книги для всех. Сегодня будет список для топ менеджеров, их называют S Team (Senior VP), они обязательны к прочтению.
Creation: Life and How to Make it by Steve Grand http://www.amazon.com/Creation-Life-Make-Steve-Grand/dp/0674011139

The Innovator's Dilemma: The Revolutionary Book that Will Change the Way You Do Business by Clayton Christensen http://www.amazon.com/Innovators-Dilemma-Revolutionary-Business-Essentials/dp/0060521996

Moneyball: The Art of Winning an Unfair Game by Michael Lewis http://www.amazon.com/Moneyball-Art-Winning-Unfair-Game/dp/0393324818

Slack: Getting Past Burnout, Busywork, and the Myth of Total Efficiency by Tom Demarco http://www.amazon.com/Slack-Getting-Burnout-Busywork-Efficiency/dp/0767907698

The Black Swan: The Impact of the Highly Improbable by Nassim Nicholas Taleb http://www.amazon.com/Black-Swan-Improbable-Robustness-Fragility/dp/081297381X

Steve Jobs by Walter Isaacson http://www.amazon.com/Steve-Jobs-Walter-Isaacson/dp/1451648537

By Jim Collins
Built to Last: Successful Habits of Visionary Companies http://www.amazon.com/Built-Last-Successful-Visionary-Companies/dp/0887307396
Good to Great: Why Some Companies Make the Leap...and Others Don't http://www.amazon.com/Good-Great-Companies-Leap-Others/dp/0066620996

By Patrick Lencioni
The Three Signs of a Miserable Job http://www.amazon.com/Three-Signs-Miserable-Job-Employees/dp/0787995312
The Five Dysfunctions of a Team http://www.amazon.com/Five-Dysfunctions-Team-Leadership-Fable/dp/0787960756
Death by Meetinghttp://www.amazon.com/Death-Meeting-Leadership-Fable-About-Business/dp/0787968056
The Four Obsessions of an Extraordinary Executive http://www.amazon.com/Four-Obsessions-Extraordinary-Executive-Leadership/dp/0787954039
The Five Temptations of a CEO http://www.amazon.com/Five-Temptations-CEO-Leadership-Lencioni/dp/0470267585

(Я уверен, все они есть на русском)

Из этого списка я читал только From Good to Great, и действительно, мне потом было любопытно смотреть на мою компанию и лидеров, и смотреть насколько они соответствуют или не соответствуют критериям.

С 3мя маленькими детьми, я читаю сейчас про Карика и Валю, но скоро они научаться читать и каждый день мы будем читать 30-60 минут перед сном, и это будет так же как почистить зубы.

Я лично еще слушаю аудио книги, мне на работу 15 км на велосипеде (электро😎) а это 45 минут, как никак.
👍2
Я заказал себе новую книжку - How to Measure Everything https://www.amazon.com/dp/1118539273 Поделюсь интерсным, если что найду.
#dataengineering
Если вы работаете с текстом, особенно в случае, когда у вас есть форма для ввода данных, то у вас возникает проблема с качеством данных, вам необходимо чистить данные. Вот какие используются техники (их много), я укажу несколько наиболее популярных. (Я думаю вариантов очень много, и может оказаться, что мои примеры не самые лучшие).

Произношение – алгоритм находит слова, которые звучат похоже. Для такой задачи используется алгоритм Metaphone 3, который индексирует слова по их произношению. Этот алгоритм используется для большинства проверщиков грамматики (как мне его не хватает в Телеграм🙈). К сожалению, он работает для English words.

Схожие символы – алгоритм находит и группирует значения у которых буквы или цифры схожи. Используется ngram fingerprint алгоритм, который индексирует слова, по их уникальным символам после удаления знаков препинания, пробелов и дублей. Данный алгоритм поддерживает все языки. Например, такой алгоритм поймет «Дмитрий Аношин» и «Аношин, Дмитрий», потому что обе эти строки имеют одинаковый ключ. К сожалению, этот алгоритм не учитывает произношения и строка «Антон Шмирдий» будет иметь такой же ключ.

Орфография – алгоритм находит и группирует текстовые значения, у которых схожая орфография. Используется алгоритм Levenshtein distance, который вычисляет расстояние между двумя значениями с использованием фиксированного порога по умолчанию. Затем он группирует их вместе. Этот алгоритм поддерживает все языки.

Теперь возникает вопрос, кто должен это делать? В идеале аналитик данных (data scientist), кто хорошо разбирается в алгоритмах и имеет опыт с подобными задачами, строит модель на репрезентативной выборке, затем инженер данных или ETL разработчик) автоматизирует процесс загрузки данных, их очистку и добавляет модель в процесс загрузки данных. Его задача, масштабировать решение и сделать его эффективным и быстрым, а задача аналитика, сделать модель наиболее точной.

Если вы один, то лучший вариант это google, найти, например, пример python или R скрипта, и попробовать его использовать для своих данных.

Такие задачи важны для Market Place, когда у вас есть Продавцы и Покупатели. Как правило, продавцы загружают свой товар самостоятельно и используют freeform для заполнения описания, и тут начинается самое веселое. Представить, допустим у вас 400млн уникальных товаров от 10 тысяч продавцов, и вам необходимо правильно разбить на категории ваши продукту, так как покупатели будут искать товары в определенных категориях, и, если «Постер» попадет в раздел детских игрушек, его будет сложней купить. Часто обогащения данными недостаточно. Например, современную книгу можно идентифицировать по коду ISBN. А если вы продаете книги до 1967 года (коллекционные), то вам ничего не остается, кроме как воспользоваться Machine Learning и постараться «прочитать» описание товара.
#dashboard #datavisualization
Какой самый быстрый способ получения business insights? Конечно же, череж dashboard. С появлением Tableau, планка по качеству визуализации данных значительно поднялась. И таким динозаврам, как SAP BO, Microstartegy, Oracle BI, Cognos, Miscrosoft Reporting Service стало тяжело, и все бросились создавать аналоги Tableau, у каждого вендора есть свой аналог. Несмотря на то, что Tableau лидер и всем он нравится, у него, на мой взгляд, есть одна большая проблема – мы не можем создать единую модель данных. Каждый Tableau Data Source – это лишь одна область бизнеса. В крупной компании, невозможно все засунуть в один источник данных, и мы создаем много источников, так же, простота интерфейса и Self-Service позволяет на создавать быстро много Tableau Workbooks, Tableau Data Sources, без какой-либо документации. То-есть Tableau, круто, когда у вас человек 20, а если 100, 1000, 30000 (например, Wells Fargo) пользователей, то необходимо создавать множество правил (Data Governance) и неукоснительно следовать им.

Возвращаюсь к дашборду. Всем нужен дашборд. С чего начать? Лучше начать с того, чтобы посмотреть какие они бывают. Самая лучшая книга – это The Big Book of Dashboards. И я случайно увидел Pdf этой книги - https://yadi.sk/i/rRBfJrjI3QCCyQ. Дашборды в этой книги созданы в Tableau, но это не важно, вы можете такой же создать, где угодно. Зато в книге хорошо раскрыты принципы и методы.

А есть ли shortcut (короткий путь) для создания дашбордов? Да он есть. В 2015 году я работал в Черногории в отделе маркетинга, и там я попробовал https://www.klipfolio.com (сегодня я увидел, что у них появилась бесплатная версия, раньше не было. Клипфолио позволяет подключаться напрямую к любым источникам данных и обновлять данные в реальном времени. Мы например, повесели у нас в отделе большой телевизор и вывели все метрики на экран, включая результаты A/B тестов. В Амазоне, я не могу ее использовать, у нас все строго. Амазон очень серьезно относиться к безопасности данных.
🐳1
#зарплаты

Для меня самый интересный вопрос, всегда был о зарплате. Всех своих знакомых я всегда спрашивал сколько они зарабатывают, и сейчас, я все равно интересуюсь этим вопросом. Зачем это? Все просто, понимая разброс зарплаты вы можете понять:
1)Сколько вы теоретически сможете зарабатывать максимум в своей индустрии?
2)Какие возможности роста у вас есть в вашей компании?

Если вы читали книгу «Цель» (Goal by Goldratt), то в ней есть одна простая идея, цель любого бизнеса зарабатывать деньги. (Если не читали, то прочитайте, я еще вернусь к этой книге. Она написана как роман, и читатель вместе с героями думает над решением бизнес проблем, очень интересная). То же самое и у нас, мы ходим на работу, чтобы зарабатывать деньги. На собеседование, мы можем рассказывать, что зарплата не важна (я так и делал/ю), но по факту это важный фактор, (вы можете со мной не согласится, и это нормально, чем больше мнений, тем легче найти, то, что действительно правильно для вашего случая). Зарплата не важна в начале карьеры, можно хоть бесплатно работать, ради перспективы, но вы должны знать уровень зарплат, чтобы знать, что просить и на что рассчитывать. Если попросите слишком много, вы ничего не получите, если попросите мало, то получите маленькую прибавку. Например, работаю с данными, я иногда имел доступ к базам данных HR, но и конечно же я всегда интересовался зарплатами;)

Всегда интересуйтесь рынком и уровнем зарплат. Когда я работал в Москве, у меня было любимое хобби проходить собеседования, мне это очень нравилось, даже если мне не нужна работа, я всегда с удовольствием проходил собеседования, поэтому мне было проще помочь другим устроиться на работу. Если коротко, нужно говорить то, что хочет услышать работодатель, по меньше говорить «мы делали», нужно говорить: «Я делал». Вам нужно знать «боль» индустрии, и говорить про это, говорить как вы можете решить конкретную «боль» и как вы это раньше делали, даже если не делали.

Про цифры. Возможно, у меня немного устаревшие данные по нашей индустрии, но тем не менее:
-Начало карьеры – 50к (даже если у вас нет опыта, но не забудь пройти какие-нибудь курсы онлайн)
-1-2 года работы – 90-100к
-2-5 года работы – тут самое интересное, очень много факторов тут, но это будет 120-160

Дальше начинается самое интересное (все цифры настоящие), по факту вам будет сложно получать больше, но можно найти хорошую вакансию, например пойти Архитектором в банк или Старшим разработчиком, и у вас будет 250к. Можно пойти работать Pre Sales к вендуру и получать бонус (например, при зп 200к в месяц получать в конце года 1-2млн рублей). Можно пойти начальником в банк, уже 300-350к (обычно банки платят лучше). Можно попробовать открыть ИП, и делать консалтинг со ставкой 25к в день. Так же я встречал зп по 350к (опять же знаю про банки) на роли архитектора или старшего специалиста по внедрению enterprise business application. Еще могут быть и бонусы.

В общем мой совет, если вы не знаете сколько получает в вашей отрасли в среднем и максимум и сколько вы можете зарабатывать через 1,2,3 года, то вы плывете по течению, и работодатель воспользуется этим и даст вам минимум. Про Канадские зп я тоже расскажу потом. Но к сожалению Канадцы очень закрытые, очень сложно с ними поговорить про зп=)
#dataengineering
Я заметил, что Google Big Query популярен в РФ. Кстати, как я понял можно создать себе бесплатное хранилище, если объем данных не больше 5гб в год. У Azure SQL Server можно точно на год получить БД. Так что если, нужно где-то хранить данные и не хотите зависить от ИТ, это будет отличное решение. (PS аккуратна с sensitive данные, так как это может быть не хорошо, выгружать данные куда-нибудь).

В приложение white paper Optimizing Google BigQuery (оптимизация BQ). 60 страниц про BQ и лучшие практики. Данный документ предоставлен Matillion ETL (облачное решение ETL, работает с Redshift, Snowflake, BQ), я их использую, недавно он получили 20 млн инвестиций, и очень активно развиваются. Правда цена от 7к$ в год.
А как вы ищете business insights в данных?😏
🌚1