Инжиниринг Данных – Telegram
Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Статья про снижение цена на аналитическое решение при использование Озера Данных. Это факт, современные технологии позволяют это делать. https://blog.pythian.com/reduce-costs-by-adding-a-data-lake-to-your-cloud-data-warehouse/
Обзор рынка по облачной аналитики. Несмотря на то, что отчет стоит 4к $, можно в summary увидеть основные тезисы о стремительном росте популярности.

Облачные решения и аналитика уже не инновация, это уже повседневные инструменты для функционирования бизнеса. Есть случаи, когда облако не панацея, например для гос учреждений, но это лишь вопрос времени.
Всы слышали про правило 10000 часов? Это когда вы хотите овладеть каким либо навыком в совершенстве, то нужно потратить 10000 часов не тренировку. Data Engineering? Data Science? Machine Learning? Оказывается это не все, нужно еще спать нормально, хотя бы 8 часов в сутки. А то я и смотрю, почему все так получается, оказывется просто не мучаю себя ранними подъемами и не сижу до поздна.
Для всех пользователей Табло и особенно тех, кто интересуется Advance Analytcs, отличная возможно послушать 4 вебинара, вот ссылки https://www.linkedin.com/feed/update/urn:li:activity:6529772615559716864
Статья про сравнение Power BI, BusinessObjects и Tableau https://infosolblog.com/businessobjects-and-powerbi-may-lead-to-hair-loss/ Не понятно к чему они SAP BO притянули, но в целом я поддерживаю. Самый частый аргумент не в пользу Power BI - это стоимость решения за 2-3 года (туда входит не только бесплатный Power BI Desktop, но и цена сервера, скрытые fee и тп)
PySpark Cheatsheet. Используется для Apache Spark.
Starbucks используют преимущество облака (Microsoft Azure) для развития своего бизнеса. Отличный пример применения облачных решений для развития бизнеса.
https://www.geekwire.com/2019/microsoft-teams-starbucks-predictive-drive-thru-ordering-bean-cup-blockchain/
Tableau предоставляет удобный сайт для Tableau User Group. Я буду проводить уже второй у нас на острове, вот пример - https://usergroups.tableau.com/victoriatableauusergroup. Я посмотрел, Москва есть в списке, но группы нет, это отличная возможность взять инициативу в свои руки для кого-нибудь, Питер тоже.
Чаще всего мы слышим про то, что расти, нужно выйти из зона комфорта, другой вопрос, а находимся ли мы сейчас в зоне комфорта. Я никогда не работал больше, чем 1,5 года на одном месте, но сейчас я уже работаю 3 года в одной команде, в классном офисе с ocean view 360, я много раз ездил в Seattle, Vancouver на всякие мероприятия Амазон. Казалось бы все классно, работай себе и получай удовольствие. Но я совершенно не вырос профессионально, с точки зрения повышения зарплаты или карьерного роста, и это очень depressed, Амазон это большая бюрократическая машина, тут работает старый добрый принцип, на что пришел, на том и сидишь. В Москве решается вопрос проще, меняешь работу с повышение зарплаты. Здесь я живу на острове и у меня такой возможности нет, покидать остров тоже не хочется.

В сентябре я решил попробовать сделать консалтинг компанию, так появилась Rock Your Data, она еще ничего не заработала, но из достижений, мы единственный и главный партнер Tableau в British Columbia, единственный партнер Snowflake в Western Canada, и первый партнер Matillion в Канаде (не считая Slalom, но они международные лидеры в облачных технологиях). Ну и само собой Azure, GCP, AWS.

Благодаря Tableau через нас проходят все клиенты Табло, но мы столкнулись с проблемой Product/Market Fit, это когда есть классный продукт, но рынок еще не готов, так что пока пытаемся создавать рынок для партнеров. По сути это у меня full time 2ая работа за бесплатно, но помогло переключить фокус с нытья про повышения зарплаты. Также я заметил, что на работе я мало разговаривал по английски и мог вообще не говорить целый день. Благодаря RYD я снова стал со всеми общаться ездить на встречи, учить новый технологии и учить, как продавать solution. Всем все равно, что ты знаешь, главное в Канаде это relationship, то есть это возможность “подружиться” с людьми.

Одно из моих наблюдений показало, что когда мы работаем на кого-то, то мы считаем себя в безопасности, но это не так. Если что-то случиться с работой, то вы никому не нужны. Если вы делаете что-то на стороне, то вы знакомитесь с людьми, общаетесь, и это намного безопасней, чем ходить на работу. И много других плюсов.

Помимо этого, каким-то образом в Бостоне я затусил с Amazon Robotics и они звали меня на работу, но не очень активно. Потом через них на меня вышла Amazon Alexa команда, тоже из Бостона, и стала активно привлекать. Ради интереса я про собеседовался с 4 мя менеджерами, и все очень захотели, чтобы я к ним пришел. За 3 года мне удалось заработать хорошую репутацию в Амазоне, потому что я активно участвовал во всех community (Amazon Tableau User group ~2500 человек, BI Tech Talk 100 BI команд по всему миру), я всегда отвечал почти на все вопросы в communities и помогал людям, также участвовал во всех внутренних конференциях Амазон, и сделал с 0 несколько проектов, которые интересны другим.

В итоге после долгой возни, все пришло к тому, что мне дали оффер в Amazon Alexa в Бостон, но с возможностью работать с Vancouver Island, звучит круто, живешь на West Coast и работаешь на East Coast. И еще катаешься между Seattle и Boston. Прям приключение. К сожаления мне не прибавят зарплату, не повысят, и вообще я окажусь в опасном положении. Так как одно дело делать аналитику для marketplace, а другое дело для Alexa. Но с другой стороны, Alexa это стратегический продукт Amazon, в этой команде работают люди из Harvard и MIT (профессоры, mba и тп), то есть это космическая возможность поработать с такими людьми. С точки зрения аналитики это будущее, там везде ML, NLP и космический объем данных.

Я еще официально не согласился, но хотелось с вами поделиться, так как возможно многие находятся/находились в похожих ситуациях. И я всегда думаю о том, что живем мы один раз, и надо пускаться во все приключения. Отличный пинок из зоны комфорта.

И конечно придется дальше развивать RYD, так как должен быть бэкап и я верю, что идея облачной аналитики дойдет до нашей части Канады и мы встретим во всеоружии))
❤‍🔥1
Я думаю все из вас знают Shopify, конструктор для создания интернет магазинов, особенно удобно для dropshipping. Мне попалась статья сегодня о том, что их акции выросли в цене. Там написано детально почему так произошло. Но идея поста не о Shopify, а о том, как аналитика, инжиниринг данных приносят business value для компании. Я уверен, весомая доля их успехов, именно в создании правильной аналитической платформы, сбора данных, поиск скрытых закономерностей и использование Machine Learning. Все это позволяет компании видет возможности для роста бизнеса и обрубать расходы.