Вчера провёл вебинар для Data Learn, где подробно разобрали сервисы Google Cloud и в каких кейсах их можно применять. Получилась целая лекция о Cloud Computing)

Презентация с выступления: https://docs.google.com/presentation/d/141TXFvCSl7tYaw1ODzYdlDxcWLJsHMM0roCj0YbbfYc/edit?usp=sharing

Полезные ссылки, которыми просили поделиться после вебинара:

Решение на GitHub для стриминга данных Google Analytics на базе App Engine и Google BigQuery (решение опубликовано давно и использует Python 2, поэтому при использовании его нужно будет обновить и причесать)

Пример того, как захостить ваш R-скрипт на Cloud Run

На этой неделе Netflix взял на работу Mike Verdu на позицию vice president of game development. Нетфликс лидер в видео стриминге и подписке и теперь они хотят двигаться в gaming.

The idea is to offer video games on Netflix’s streaming platform within the next year, according to a person familiar with the situation.

Недавно я заметил интересный формат мультиков - интерактивные. Дети смотрели сериал Minecraft и там зрителю дают возможность выбрать сценарий (один из двух возможных), очень необычный формат и детям очень понравилось.

В автороской заметке The Information, автор пишет совсем смелые мысли:
Here’s one idea that might jumpstart Netflix in the market: It could buy a well-established gaming business, perhaps Microsoft’s. That would give Netflix a portfolio of gaming studios—including Bethesda, which Microsoft recently acquired—that would give Netflix an edge in original game production, in addition to Microsoft’s nascent Game Pass subnoscription service. Microsoft might be happy to unload the business in exchange for a stake in Netflix, particularly if it kept the cloud business and captured Netflix’s cloud business from AWS. The only fly in the ointment might be Microsoft’s Xbox hardware business, which we now know is a money-loser. Maybe Netflix could sell that to Roku, which knows how to translate low-margin hardware into a robust business.

Не думаю, что это случится, так как у Microsoft все хорошо с Gaming и сервисом game pass. А то что консоли продаются в убыток это ивестный факт, главное продать подписку, так же и с Amazon Alexa и другими гаджетами. Тем более, консоли уже и не нужны, чтобы играть, благодаря сервисам стриминга можного играть полноценно через streaming app.

Факт остается фактом - gaming развивается и все больше людей готовы платить за это, ну значит и работы в game индустрии будет больше и будет нужно делать больше аналитики. Я так то рад, если Netflix будет делать игры, так как у них самые высокие зарплаты))

PS А вот свежее исследование рынка игр by Accenture:
Gaming has always been a social experience, but never more so than it is today. Accenture surveyed 4,000 gamers and made in-depth interviews with industry leaders from game developers and platforms. Learn what gamers want today and how can gaming companies up their game here.

Компания Dbt Labs анонсировала - The Foundry Program:

What exactly is the Foundry Program?
It is a 6-month program designed to give:
- aspiring software engineers training and experience in writing code in production at a software company, and
- aspiring analytics engineers experience working with the modern data stack including, of course, dbt.

Классный метод продвижения продукта и его внедрения в массы. Уверен будет интересный контент, вы можете попробовать записаться, не знаю как у них там по географии и по лимитам. Они ищут новичков.

Теперь вы можете увидеть все каналы в одном месте - Ребята из @it_resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍

Теперь вам точно будет, что почитать на предстоящих выходных 🙃
Подробнее - в статье

Создание дата команды в стартапе https://erikbern.com/2021/07/07/the-data-team-a-short-story.html

Уже завтра Виктория Олейник, расскажет о работе в Quantum Black(это дочка McKinsey с фокусом на DE и DS, это самая моя любимая компания вместе с McKinsey) и McKinsey в своем докладе Pipelines and Deadlines. Виктория закончила Высшую Школу Экономики и у нее крутой опыт работы в топовых консалтинг компаниях! Готовьте свои вопросы и не пропустите ивент!

https://youtu.be/v1CR4GotN-w

погнали:
https://youtu.be/v1CR4GotN-w

Dremio будет проводить панель по озерам данных с топовыми спикерами онлайн https://www.dremio.com/subsurface/live?_ga=2.203573072.1949877702.1626636985-1007574036.1626636985

Когда мы создаем аналитическое решение, часто нам нужно сделать те или иные решения связанные с дизайном и архитектурой аналитического решения, вот ключевые моменты design decisions:
- Verbosity
- Latency
- Completeness
- Access Frequency
- Compliance and Privacy
- Security
- Developer Efficiency
- Retention
- Cost
- Developer Satisfaction and End User Friendliness

В процессе создания решения возникают следующие challenges:
- Documentations
- Scale
- SLA
- GDPR and Privacy
- Consistency

Если в первый год жизни вы не начали изучать темы из книг на картинке, возможно уже поздно!🤣

Следующий этап - Neural Network для беременных и потом для Бабушек и Дедушек.

Я всегда говорил - надо 20-30 собеседований завалить, чтобы пройти одно заветное. И уж точно, компании мечты должны быть в конце списка, а не наоборот)) Если что, есть план Б - 80 собеседований провалить - я бы разделил на 40 собеседований в РФ, 20 в Украине и по 10 в Казахстане и Беларусии. И тогда будет вам счастья. Но это для СНГ. А вот для Европы и Северной Америке другая пропорция;)

Все так😔 Если вы не смотрели на Netflix - Social Dilemma, очень интересно про нашу зависимость к социальным сетямhttps://www.thesocialdilemma.com/

Протестировал разные кластеры в Databricks (Spark) для задачки с минимальными трансформациями - staging etl. Основная задача - писать в delta lake. Все совпадает с документацией - для простого ETL лучше подойдут маленькие кластера compute optimized. Заметил еще один + такой эластичной среды - для staging я могу использовать один тип кластера, для fact tables - другой, для BI будет 3й тип и для DS 4й. И платить за все это только за активное время работы кластеров. В модуле 7-8 вы сами увидите как это работает.

30 июля пройдёт Tableau User Group Moscow 🎉
Будут очень интересные доклады, советую послушать! Например, там выступит замечательней Виталий Ковалёв из нашей команды. Он расскажет как мы издеваемся над дашбордами, чтобы реализовать в них асинхронную загрузку визуализаций. 🤪

Жалко только, что всё опять онлайн, корона уходи! 😷
#ссылка

От читателей я наслышал о проблемах с work life balanced, о нездоровой среде и рабочей атмосфере, где перерабатывать, сидеть по вечерам и выходным это нормально. Я хочу провести опрос и узнать насколь это касается вас или вашей компании.

Перерабатывать - это нормально, если это добровольно, если у нас мало опыта и у нас нет дома семьи, если у нас нет личных дел и личной жизни. Но часто бывает, что все это есть, но нам приходится сидеть на работе. Да еще и чувствовать себя виноватыми за то, что не успели.

Я до сих пор помню как в РФ компаниях на меня коллеги могли посмотреть косо, когда я уходил вовремя или раньше или как мне было не комфортно. Как я отвечал в 11 вечерам на письма коллег и менеджера и думал о том - какой же я молодец, заслужил "звездочку". Но по факту всем плевать и менеджеру и руководству.

За ошибки и проблемы планирования и приоритетов сверху приходится рассплачиваться вам. Если у вас такая среда, то у вас не компетентный менджменд и руководство.

Давайте наведем порядок в аналитических рядах (по возможности) и если у вас на работе беспредел, давай анонимно расскажем в телеграм канале о нем. Присылайте сообщение о вашей ситуации, названии компании и тп, обязательно опубликую и вынесу на обсуждение.

И давайте возьмем за правило - если мы не на on-call (это тех поддержка), нам не платят сверурочные, мы не изучаем новые концепции, то мы шлем все в баню, так как это нормально провести выходные с семьей и друзьями, отключиться от работы, набратиься сил и вдохновения.