У нас было (Жиза)

💾 17 ETL джобов из ниоткуда в никуда, которые загружали под крышку MPP базу на 50 ТБайт

💾 Красивый технологичный AI Layer который делал непонятно что

💾 Дата Каталог который никто не обновлял 4 года. И никто не смотрел в него

💾 Алерты на качество данных, замьюченные у всех

💾 Ручной загружатор CSV

💾 5 аналитиков, которые рисовали сводные в экселе и вставляли их картинками в Павер Поинт. На разных слайдах были разные цифры по месячной выручке.

Вопросы со стрима часть 2

Спасибо, Сергей Сафронов, за вопрос!

1️⃣ Если не говорить про управляемые облака, то, кажется, что ограничением по по объему данных для унифицированного LakeHouse на S3 opensource движках (Minio, Ceph) будет примерно 1ПБ. А если нужно больше, то, или смотреть в сторону облаков, или делать несколько кластеров S3 с усложнением и архитектуры хранения-обработки?

Для дата команды S3 - базовая инфраструктура. Сколько там кластеров, какие они и как распределены по ЦОДам - вопрос к инфраструктуре. Сейчас довольно много способов получить S3 либо в SaaS, либо развернуть у себя в контуре - как самостоятельно, так и просто купив S3 как продукт или ПАК.

2️⃣Кажется, что Вадим несколько лукавил про простоту и быстроту миграции на LakeHouse данных. Все-таки, факторы бэклога инженеров, их компетенции в новых технологиях, сетевая доступность и разная конфигурация (разное шардирование) кластеров источника и приемника, разный формат хранения, возможно, разная архитектура слоев данных и многое другое. Поэтому, слабо верится, с учетом этого, что миграция может пройти за месяц (если я правильно понял срок)

Тут речь шла про прикладную миграцию данных. Data Vault в Гринпламе на Data Vault в Lakehouse. Для такого не нужно много времени и переделки архитектуры.

3️⃣ Есть ли какие-то best practice по оптимальной архитектуре слоев данных в LakeHouse с учетом разных движков доступа (Trino +) и разных сценариев использования? С точки зрения технических ограничений и особенностей (для примера, в ClickHouse нет смысла делать Data Vault и вообще 3NF)

В крупных организациях почти везде DV так или иначе. Плохеет ли от ДатаВолта распределенной системе - конечно плохеет. Но мы снова платим оверхедом за удобство и скорость разработки. К тому же проблему «неудобной» для МРР архитектуры данных можно решить добавив ресурсов в некоторых разумных проблемах.

Нет смысла подгонять архитектуру данных под инструмент. Пусть работает, как нам удобно, тупая железяка! 😎

-----------------------------

Разбор стрима

Вопросы со стрима - Часть 1

-----------------------------

💾💾💾💾💾

Плейлист Lakehouse #3

Пополняем плейлист видео!

1️⃣ Разговоры на архитекторском - Вадим Белов (Х5)
Обсудили как крупные российские компании пришли к пониманю плюсов и минусов лейкхауса. Также Вадим проливает свет на процесс миграции данных на Lakehouse с классических аналитических систем.

2️⃣Стрим про развитие аналитических систем с Алексеем Рыбаком (DevHands)
Обсудили развитие аналитических систем, КХД и Озер Данных. И как мы пришли к жизни такой, что нам нужен Lakehouse
Youtube
VK Видео

Предыдущие плейлисты: #1 #2

Все видео по теме я выкладываю на ВК Видео в плейлист.

Подпишитесь на мой канал и сообщество ВК.

Классная книга, для всех кто строит команды, кому интересно и важно понимать как они развиваются. Для меня эта книга абсолютный маст хев:

🌟 📕 Лидер и племя (Tribal Leadership) Дейв Логан, Джон Кинг

Помогает понять где культура вашей команды сейчас и как с этого уровня двигаться к более здоровому. Много примеров и практических советов что делать чтобы перейти с одного уровня на другой.

Читается легко, буквально за пару вечеров.

Ну и кратко прикольная и простая типизация команд (племен):

1. Жизнь — отстой. «Все против всех»:
Характеризуется отчуждением и негативными взаимоотношениями. Люди на этом уровне чувствуют себя отчужденными
и разделяют мнение "жизнь – отстой”, считают, что в их неуспехе виновата сама жизнь и обстоятельства.

2. Моя жизнь — отстой.
Я — винтик, от меня ничего не зависит. Апатия, выученная беспомощность, работа строго по инструкции. Типично для бюрократичных или выгоревших команд. Каждый сам за себя:
люди на этом уровне больше плывут по течению и винят в своих неуспехах например руководителя, считают, что их везде ограничивают.

3. Я крут, а вы — нет. Все работают на звезду.
Классическая корпоративная гонка. Соревновательность, борьба за признание, подковёрные игры. Все заняты собой, вклад команды обесценивается.

4. Мы крутые
Командный дух, доверие, общее дело. Спорят по существу, делятся ошибками и радуются успехам других. Цель важнее эго. Каждый работает на то, чтобы у каждого все получилось: на этом уровне люди ориентированы на командную работу и поддержку друг друга.

5. Жизнь — прекрасна
Высокий смысл и вдохновение. Такие команды не просто работают, они верят, что делают что-то важное — и действительно меняют мир. Люди счастливы и ощущают удовлетворение от своей работы, создают прорывные идеи и наслаждаются жизнью.


Как думаете где ваша команда сейчас?

1️⃣ 2️⃣ 3️⃣ 4️⃣ 5️⃣

Технический вебинар по Айсбергу

Вы хотели технического мяса? Мы вам его даем!

🗓 3 сентября - вебинар по особенностям работы Iceberg.

1️⃣ Что именно вдруг поменялось в подходе, и почему про формат данных столько говорят.

2️⃣Как оно там под капотом.

И конечно же, живая демонстрация технологии в Облаке!

Приходите и приводите друзей!