👽Очень понравился тейк о том что, проблемы высоконагруженных систем решаются на уровне архитектуры, а не на уровне кода (если конечно разработчик не написал настолько плохой код, что тот валит хорошую архитектуру)

Отдельно хочется отметить как часть спикеров очень не любит вдаваться в детали, и на конкретные вопросы о практиках и технологиях - говорят «тут речь шла о методологии, техстек я тут не готов обсуждать - это наши внутренние решения» 🥶🥶🥶

Еще один инсайт - хранилища ВК суммарно держат в себе порядка 1 эксабайт данных.

(На фото - игра со станции Домклик)

Замечательный слайд сравнивающий переход от монолита к микросервисам.

🔆 Вот и подошел к концу Highload++ 2024.
Первый раз был на такой крупной конференции, и я конечно же восхищен.
Вот что я могу сказать, из плюсов

➕Очень удобный бот конференции в котором можно отслеживать доклады и устроить Random Coffee

➕Очень широкий спектр тем (от даты до архитектуры, маркетинга и безопасности)

➕Прекрасный кейтеринг

➕Куча C-levelов российского бигтеха с которыми можно вживую поговорить и задать вопросы (переборов страх быть кринжовым)

➕Колоссальные возможности для нетворкинга - я поставил себе цель, познакомиться и обменяться контактами с 10+ специалистами и перевыполнил эту цель в 1.5 раза, без особых усилий.

Из минусов (каинда):

➖стоит разделить конференцию на фестивальную часть и часть докладов - невозможно физически посетить все доклады и все стенды - я старался держать баланс, но охватил от силы 30 процентов стендов и 20 процентов докладов. (Доклады к тому же шли в параллель)

➖Звездами этой конференции были PHP и Golang - у меня немного другой стек

Ну и подводя итог, рекомендовал бы посетить эту конференцию, специалистам уровня Middle+
Тк у многих докладов есть неслабый порог вхождения, и вам нужно быть хотя бы специалистом конкретно вашей области + иметь хорошие знания в general computer science (вспоминаем о входителях в айти, говорящих, что алгоритмы, паттерны проектирования и прочая БАЗА никому не нужна) - иначе для вас конференция сведется лишь к фестивальной части.

В следующем посте, на основе данных этой конференции, расскажу о том когда вашему хадупу/S3 стоит задуматься об использовании Apache Iceberg.

🧊Итак, по холодным следам конференции, пост про айсберг (Apache Iceberg)

Если вкратце то мне показалось, что это Hive Metastore на стероидах, фактически iceberg сводит все метаданные в одно место и консистентно их обновляет предварительно разложив на более сложную структуру каталогов и снепшотов (4 типа файлов метаданных)

Ряд особенностей

🧊 Уходят проблемы HMS (Hive Metastore), в части скорости чтения и конфликтов читателей и писателей. (Очень актуально для моей команды)

🧊 К айсбергу можно подключить любые вычислительные движки и фреймворки (Trino, Spark etc)

🧊 Iceberg частично привносит ACID в дата лейки.

🧊 Айсберг не поддерживает кросс табличные транзакции

🧊 Метаданные обновляются по принципу схожему с гитом - те есть возможность сказать айсбергу - «обратись к таблице на такой то момент времени»

🧊 Атомарность реализуется с помощью систем каталогов. Самые популярные в СНГ HMS каталоги. Есть JDBC каталоги. Самые перспективные - REST каталоги их в основном используют в западных командах - на них в конечном счете все перейдут.

Подводя итог:

Главный selling point айсберга - универсальность движков
- увеличение скорости обращения к данным
- условно реализуется ACID для больших данных


Рекомендуется внедрять если

✅У вас много разных вычислительных движков

✅У вас к одним и тем же данным обращается система визуализации, интеграционные процессы и например пайплайны обработки данных

✅Вы не хотите платить за не опенсорс решения вроде
Hudi, delta lake, Paimon

⚡️ Я проник на новую конференцию - CodeFest 15 …
Тематика на этот раз более общий computer science и programming, но есть доклады и про данные.
Так же никак не обошлось без AI

Конференция стартует завтра, вместе с серией новых постов от меня

P.S. забавно как меня пустили в павильоны до начала конференции