Инжиниринг Данных – Telegram
Инжиниринг Данных
23.4K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Не самая лучшая реклама mail ru cloud в статье про создание аналитического решения. Я ее прочитал бегло, мне показалось, что автор статьи явно далек от аналитики и главное, хотел разрекламировать облако. После такой статья, я бы точно mail cloud не использовал. Часто вижу набор несвязанных терминов.

С точки зрения эффективности AI (AI ли?), у них:

По сравнению с прогнозами, которые формировались ранее с помощью Excel Enterprise, точность новых алгоритмов оказалась на 17,5% выше для регулярных продаж и на 21% — для промопродаж. Это внушительный прирост по меркам нашей отрасли.

Отличные показатели, я бы сразу писал бы 48,75% эффективности, чего мелочится! И это на Oracle Exadata, на котором еще и OLTP живет. Все благодаря Excel Enterprise.

Картинка с сырыми данными в виде стейков, на красном фоне - это конечно не уважение к веганам!)
Когда я был в Alexa, а алекса находится в Amazon Devices (включая kindle и другие девайсы), на одной из презентаций в Seattle по результатам квартал, куда я зашел перекусить 🤫, рассказали о планах Амазон запустить спутниковый интернет - Kuiper, примерно такая же идея как у StarLink (некоторые товарищи ждут интернет от Маска, потому что он обещал дать бета доступ Канадцам, а если вы живете в ###нях, то вам только такой интернет и нужен😝)

Я тогда загорелся идеей пойти инженером данных в спутники или в Amazon Solar/Wind - куда-нибуть поинтересней, но им пока не нужны аналитики и инженеры данных.

Зато сегодня увидел новость, что Амазон купил команду из Facebook , я не знал что ФБ тоже в том направление работал:

Last year Facebook launched what it told regulators was a single experimental low-earth-orbit satellite called Athena in order to determine whether it could efficiently transmit internet signals to underserved areas using millimeter wave frequencies.

А вообще это новая для меня идея, когда компании покупают сотрудников у другой крупной компании.

It’s not unheard of for big companies to buy groups of employees from one another, just as they often buy small startups to beef up staff in various parts of their business. For instance, in 2015 Uber acquired more than 100 maps-related employees from Microsoft, along with some intellectual property.
У Ашана с AI пока не срослось, а вот чувак сделал умную поливалку, отличный AI кейс! Я так хотел кошек отгонять, которые писали в детскую песочницу🤬
Автор сравниваю стоимость лицензии разных BI инструментов. https://crackerzin.com/bi-tools-license-comparisons/
По-моему это что-то крутое, но ещё не пробовал, хотя все чаще вижу в сети последние 2 дня, про то как git помогает писать код лучше и быстрей. Кто пробовал?

Можно будет теперь все interview на раз два проходить))
Мы тут часто обсуждали Snowflake и его акции, а они сегодня такие же как и год назад. Они так хотели разогнать стоимость IPO что совсем забыли о самом продукте и его ценности.
Herman Miller делает лучшие стулья! На канале мы про них говорили. А вот небольшой press release, что они используют для data stack - Astronomer (коммерческий Airflow), Snowflake https://www.astronomer.io/blog/herman-miller-case-study
Еще один хороший кейс AI - в Белгии все заседания политиков стриятся в ютуб, с помощью модели и ПО можно смотреть, сколько политиков откликаются на телефон

'The Flemish Scrollers' is software automatically tagging distracted Belgian politicians when they use their phone on the daily live streams. https://driesdepoorter.be/theflemishscrollers/
Заключительное видео по модулю 5 - Python в Облаке AWS на базе AWS Python Workshop. Так же Сергей перевел весь воркшоп на русский, я сам его прошел и остался очень довольный, все как мы любим - от простого к сложному.

Python является самым популярным языком программирования и используются абсолютно для любых задач. В будующих модулях 07. Spark, 08. Big Data и 09. Data Lake мы начнем использовать Python для аналитики, трансформации и инжиниринга данных, поэтому мы решили вв конце модуля про облычные вычисления провести Workshop по Python на AWS. Воркшоп доступен на английском и русском языках. Из него вы на парктики узнаете основы работы с Python:

📌 Переменные
📌 Типы данных
📌 Пакеты
📌 Функции
📌 Аргументы и параметры
📌 Циклы и Условия
📌 Логирование и Ошибки
📌 Python библиотека boto3 для работы с AWS
📌 Cloud9 - AWS IDE

Модуль 5 оффициально окончен. Все материалы по нему - в git, включая сертификат для linkedin и значок открытка для социальных сетей.

Далее я начну модуль 6, а Рома портирует модуль про облачные вычисления как отдельный самостоятельный курс на степик. Мы явно опережаем время с облаками, но это был важный элемент в современной аналитике.
Интересный пример, мужик решился вдохновиться историей успеха другого мужика и за 1,5 года упороться в java. И потом написал развернутый ответ как он ненавидит этого человека и что все его советы лажа
Forwarded from Smart Data (Denis Solovyov)
Вчера провёл вебинар для Data Learn, где подробно разобрали сервисы Google Cloud и в каких кейсах их можно применять. Получилась целая лекция о Cloud Computing)

Презентация с выступления: https://docs.google.com/presentation/d/141TXFvCSl7tYaw1ODzYdlDxcWLJsHMM0roCj0YbbfYc/edit?usp=sharing

Полезные ссылки, которыми просили поделиться после вебинара:

Решение на GitHub для стриминга данных Google Analytics на базе App Engine и Google BigQuery (решение опубликовано давно и использует Python 2, поэтому при использовании его нужно будет обновить и причесать)

Пример того, как захостить ваш R-скрипт на Cloud Run
На этой неделе Netflix взял на работу Mike Verdu на позицию vice president of game development. Нетфликс лидер в видео стриминге и подписке и теперь они хотят двигаться в gaming.

The idea is to offer video games on Netflix’s streaming platform within the next year, according to a person familiar with the situation.

Недавно я заметил интересный формат мультиков - интерактивные. Дети смотрели сериал Minecraft и там зрителю дают возможность выбрать сценарий (один из двух возможных), очень необычный формат и детям очень понравилось.

В автороской заметке The Information, автор пишет совсем смелые мысли:
Here’s one idea that might jumpstart Netflix in the market: It could buy a well-established gaming business, perhaps Microsoft’s. That would give Netflix a portfolio of gaming studios—including Bethesda, which Microsoft recently acquired—that would give Netflix an edge in original game production, in addition to Microsoft’s nascent Game Pass subnoscription service. Microsoft might be happy to unload the business in exchange for a stake in Netflix, particularly if it kept the cloud business and captured Netflix’s cloud business from AWS. The only fly in the ointment might be Microsoft’s Xbox hardware business, which we now know is a money-loser. Maybe Netflix could sell that to Roku, which knows how to translate low-margin hardware into a robust business.

Не думаю, что это случится, так как у Microsoft все хорошо с Gaming и сервисом game pass. А то что консоли продаются в убыток это ивестный факт, главное продать подписку, так же и с Amazon Alexa и другими гаджетами. Тем более, консоли уже и не нужны, чтобы играть, благодаря сервисам стриминга можного играть полноценно через streaming app.

Факт остается фактом - gaming развивается и все больше людей готовы платить за это, ну значит и работы в game индустрии будет больше и будет нужно делать больше аналитики. Я так то рад, если Netflix будет делать игры, так как у них самые высокие зарплаты))

PS А вот свежее исследование рынка игр by Accenture:
Gaming has always been a social experience, but never more so than it is today. Accenture surveyed 4,000 gamers and made in-depth interviews with industry leaders from game developers and platforms. Learn what gamers want today and how can gaming companies up their game here.
Компания Dbt Labs анонсировала - The Foundry Program:

What exactly is the Foundry Program?
It is a 6-month program designed to give:
- aspiring software engineers training and experience in writing code in production at a software company, and
- aspiring analytics engineers experience working with the modern data stack including, of course, dbt.


Классный метод продвижения продукта и его внедрения в массы. Уверен будет интересный контент, вы можете попробовать записаться, не знаю как у них там по географии и по лимитам. Они ищут новичков.
Теперь вы можете увидеть все каналы в одном месте - Ребята из @it_resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍

Теперь вам точно будет, что почитать на предстоящих выходных 🙃
Подробнее - в статье
Уже завтра Виктория Олейник, расскажет о работе в Quantum Black(это дочка McKinsey с фокусом на DE и DS, это самая моя любимая компания вместе с McKinsey) и McKinsey в своем докладе Pipelines and Deadlines. Виктория закончила Высшую Школу Экономики и у нее крутой опыт работы в топовых консалтинг компаниях! Готовьте свои вопросы и не пропустите ивент!

https://youtu.be/v1CR4GotN-w