Мне понравилась реклама Сбера, душевненько). Тем более без ml не обошлись.

Mac OS всегда была особняком. Все облачные вендор предлагают нам Linux или Windows. И вот, AWS выпустил новый EC2 инстанс с поддержкой MacOs. Это значимое событие для облачных провайдеров.

А вот другая новость (уже не новая), но тоже интересная. Стриминг крутых игр на мобильные устройства. У гугла есть stadia, ну о них нет студий, которые делают игры. А Xbox может создавать контент (игры), стримить через Azure. Это новый рынок для облачных гигантов и игровой индустрии, так как без поддержки облаков, такой сервис будет очень дорогим, Интересно, отечественный cloud будет строить игровой стриминг на своих мощностях?

Правдивая история. Недавно знакомый рассказывал как его не взяли пожарным по этим же причинам - белый гетеросексуальный мужчина. На них квоты не было…

Еще одна компания по data, получила хорошие инвестиции. Раньше не слышал про них. Сервис занимается мониторингом data pipelines и ML моделей.

“Our users were in a constant battle with ETL (extract transform load) logic,” said Benamram, who spoke to me from New York (the company is based both there and in Tel Aviv, and also has developers and operations in Kiev). “Users didn’t know how to organize their tools and systems to produce reliable data products.”

Databand’s approach is to use big data to better handle big data: it crunches various pieces of information, including pipeline metadata like logs, runtime info and data profiles, along with information from Airflow, Spark, Snowflake and other sources, and puts the resulting data into a single platform, to give engineers a single view of what’s happening and better see where bottlenecks or anomalies are appearing, and why.

Добрый день :) ... Не реклама.
У нас новая статья вышла, про архитектуру хранилища ManyChat на базе Snowflake + Anchor Modeling, возможно читателей канала "Инжиниринг данных" заинтересует.
https://habr.com/ru/company/manychat/blog/530054/

Отцы основатели хранилищ данных и методов работы с данными уже не молодые. https://liliendahl.com/2020/12/02/the-start-of-the-history-of-data-and-information-quality-management/amp/

Agile разработка продукта (data product) от Slalom _built (это подразделение, которое занимается внедрением, они очень красиво упаковали свой консалтинг - Build as a Service).

Я заметил интересную особенность - рост аудитории телеграмм канала “Инжиниринг данных” или ютуб “datalearn” очень медленный. Сначала это расстраивало, но потом я понял это даже хорошо, так как тут меньше хайпа как с AI/ML. Тут реальные вещи и знания, которые решают конкретные задачи, ну и конкуренция на рынке меньше, так как все ломятся в data science🤗

Из канала slack data learn, который про SQL

Всем привет!

Меня зовут Денис Соловьёв, я web-аналитик и Data Engineer в компании Promodo. Я решил создать канал про Data Engineering, аналитику и данные в целом, так как уверен, что полезный контент помогает находить оптимальные решения для бизнеса и развить критическое мышление.
Благодаря этому, мы развиваем индустрию и делаем этот мир немножко лучше 🌎
Это, так сказать, миссия нашего канала)

Здесь я буду публиковать посты, ссылки, видео и подкасты, которые затрагивают общие принципы работы с данными, полезные инструменты из арсенала инженеров данных и аналитиков, облачные технологии а также главные тренды data-индустрии.
Я хочу, чтобы читатели не просто зацикливались на конкретных инструментах, но и понимали, как их переложить на конкретные задачи бизнеса и приносили реальную бизнес-ценность. Поэтому постараюсь дополнять материалы примерами кейсов, где имеет смысл применять тот или другой инструмент.

Также побуждаю всех к здоровой дискуссии в комментариях, так как именно в дискуссии рождаются крутые идеи для оптимизации существующих решений и создания классных продуктов.

Я планирую каждый пост помечать хештегом. Пока есть идея размечать посты по уровню сложности: #easy, #medium и #hard. Возможно, потом придумаю какую-то систему для объединения постов в темы. Обязательно об этом расскажу)

И напоследок немного о себе:
- финансист по образованию, но свой карьерный путь начал в digital-маркетинге
- 1 год работал менеджером по платному трафику, потом стал руководителем отдела
- руководить мне не понравилось, и я начал изучать всё, что касается данных
- люблю строить современные аналитические платформы в облаке
- анализировать умею, но больше кайфую от инжиниринга
- отдыхаю, проводя время с близкими людьми)

P.S. Пожалуйста, в комментариях относитесь друг к другу с уважением. У всех разный уровень знаний и навыков, но все мы учимся и канал как раз для этого и создан.

Сейчас многие хотят в штатах работать, может в 2027, все захотят в Китае быть, если они станут топ страной, хотя там уже будет все автоматизировано и роботизировано. Интересное выступление, не знаю насколько оно правидивое. А может к 2027 Россия встанет с колен, ну или точнее после 2036.

Импортозамещение? Open-source? Интересно зачем покупать Postgres Pro за 267млн рублей, наверно кто-то потом дачу новую построит себе и не одну. Сколько можно облачных сервисов гонять в облаке за эти деньги. Кто-нибудь знает, что это за pro?

Недавно я скидывал про анонс мероприятия от СЕО Microsoft про аналитику. Он презентовал Azure Synapse Analytics. Это облачное хранилище данных от Microsoft с интеграцией других продуктов Azure. Когда мы будем делать Redshift на Datalearn, сделаем synapse тоже.

3х недельная конференция от AWS - reInvent. Будем много про аналитику.

Amazon Quicksight неплохо прокачался за год!

Небольшой Q&A про data engineering.

Snowflake подарил книжку (я же data hero) - The rise of the data cloud.

В США случился новый и несколько неожиданный наезд на Facebook, который может коснуться и других технологических компаний -- и уж точно не останется без их внимания. Министерство юстиции объявило, что выдвигает обвинения против Фейсбука; компания виновна в том, что с 2018 года последовательно дискриминировала граждан Америки при найме, предпочитая им иммигрантов. Компания при этом помогала с получением временных рабочих виз.
"Our message to all employers -- including those in the technology sector -- is clear: you cannot illegally prefer to recruit, consider, or hire temporary visa holders over U.S. workers."
Интересно, насколько пострадает ФБ и как изменится практика глобального найма, которая не только для ФБ характерна

https://abcnews.go.com/Business/justice-department-alleges-facebook-discriminated-american-workers-lawsuit/story?id=74523040