QA-сессия с Мартином Клеппманном и Крисом Риккомини

Вместо выпуска новостей, который обязательно состоится, но позже, делюсь содержанием и ссылкой на 30-минутную Q&A-сессию с Мартином Клеппманом и Крисом Риккомини. Это они сейчас пишут “второго кабанчика”.

- Мартин Клеппман - автор Designing Data-Intensive Applications. Исследователь в области распределённых систем и безопасности в Кембриджском университете. Ранее работал инженером-программистом и предпринимателем в интернет-компаниях, включая LinkedIn и Rapportive, где занимался разработкой инфраструктуры для обработки данных в больших масштабах.
- Крис Риккомини - соавтор The Missing README. Инженер-программист, инвестор в стартапы и консультант с более чем десятилетним опытом работы в крупных технологических компаниях, таких как PayPal, LinkedIn и WePay. На протяжении всей своей карьеры он активно участвовал в развитии open-source проектов, является автором Apache Samza, сейчас работает над SlateDB
- Беседу модерирует Цах Ливятан, VP of Product в ScyllaDB
Темы: 2-е издание «кабанчика» Designing Data-Intensive Applications, эволюция систем управления данными, влияние облачных технологий и будущие тренды.

Саммари составил ChatGPT (а DeepSeek провалил тест, “абсолютно, совершенно, херня полная” IYKWIM).
https://www.youtube.com/watch?v=T-d1wR7adB8

Сотрудничество Мартина и Криса
• Мартин и Крис познакомились в LinkedIn в 2013 году, работая над Kafka и Samza.
• Мартин начал писать Designing Data-Intensive Applications во время работы в LinkedIn, а затем покинул компанию, чтобы сосредоточиться на книге.
• Крис работает над вторым изданием, привнося свежий взгляд на современную инфраструктуру данных.

Почему сейчас выходит второе издание?
• Основные концепции баз данных развиваются медленно, но облачные технологии серьёзно изменили архитектуру данных.
• Главное изменение — рост популярности объектных хранилищ (например, S3) в качестве основного способа хранения данных.
• Разделение управления, данных и вычислений стало доминирующей архитектурной моделью.

Эволюция облачных технологий и баз данных
• Облачные технологии привели к модели SaaS-баз данных, которая даёт большую гибкость в развертывании и управлении.
• Набирают популярность edge computing и встроенные базы данных (DuckDB, расширения PostgreSQL).
• Дискуссии о компромиссах между облачными и самостоятельными (on-premise) моделями продолжаются.
• Экосистема расширений PostgreSQL (PG Vector, PG DuckDB) позволяет универсальным базам данных поддерживать специализированные нагрузки.
• Компании могут начинать с расширений, но со временем переходить на узкоспециализированные решения.
• Рынок одновременно консолидируется вокруг универсальных баз и поддерживает рост нишевых высокопроизводительных решений.

Вызовы при написании второго издания
• Основная структура книги осталась прежней, но текст серьёзно обновлён и переработан.
• Важно было найти баланс между необходимыми изменениями и избежанием избыточных добавлений.
• ИИ использовался для исследований, но не для написания текста.

В конце обсуждения участники рассказали о своих текущих проектах:
• Мартин исследует локально-ориентированное ПО, где основное хранилище — устройство пользователя, а облако — резервный вариант.
• SlateDB, open-source проект Криса, движок, разработанный для использования облачного объектного хранилища, обеспечивая масштабируемое и надёжное управление данными. Построенный на основе структуры LSM-дерева (log-structured merge-tree), он отличается от традиционных движков хранения тем, что записывает все данные непосредственно в объектные хранилища, такие как Amazon S3, Google Cloud Storage, Azure Blob Storage, MinIO и Tigris.

Но всё-таки выходной! Вот фокус двух моих любимых тем: музыкальная группа Скафандр в своём канале выложила видео о том, как Олег Артемьев с помощью коллеги надевает на МКС скафандр перед выходом в открытый космос (или просто тренируется). Всегда надо мечтать о чём-то великом и вдохновляться делами по-настоящему крутых ребят (включая весь состав Скафандра, конечно).

Однажды на МКС. Погрузка в скафандр

Канал пошёл чуть не туда, но вот классный человек, делает наверное одни из лучших автотематических видео. Там в главной роли ЗВУК. https://www.robbertalblas.nl/

И по теме. Подъехали видео с X5 tech митапа, где я был одним из спикеров на круглом столе. Получилось для меня спонтанно, но было интересно. Точно пойду еще раз, если что-то организуется.

А вот и первая польза от меня вам. Яндекс практикум разрешил поделиться, что я и делаю. Мне лично там очень нравится, прошел несколько бесплатных курсов и один платный интенсив.

Оплатите любой курс Практикума со скидкой 16% по промокоду B2B2CSTUDENT16 и делитесь им с коллегами. https://ya.cc/t/WLBkz_6k6SoMvH

p.s. Ну а если не надо и клоун не от желчи, снесу, но проблема.

Внезапно. Но как показывает практика, не один лишь python может в ML (сарказм-шутка).
https://github.com/arbox/machine-learning-with-ruby — список ресурсов, которые помогут в работе. В том числе статьи и видео. Конечно, никто не говорит, что это надо сегодня уже нести в работу. Но понять базовые принципы с привычным DSL почему бы и нет.

Отобрался на Saint Highload++.
В общем-то поэтому не до всего, работать бы только успевать.
Хотя в целом ситуация напоминает анекдот про басиста — "Ну а когда заниматься?! Гастроли-концерты..."

TIL; Как-то часто работаем с геоформатами в postGIS и не задумывался о том, в каком именно формате там хранятся геоданные, а ведь он должен быть. И таки вот https://en.wikipedia.org/wiki/Well-known_text_representation_of_geometry
WKT для отображения и WKB для хранения.

Впервые с 2016 побыл в долгом отпуске, путешествуя скорее в неизвестные области знания как, например, современные художники и художественные течения в стране после Оттепели. Короче, бездельничал.
Но теперь снова в рабочий ритм. Уже 16 числа сделаем с Гришей Петровым прогон моего доклада на saint P highload++, ну и вообще все те книги с нового года почти не читаны. Отдых состоялся и, надеюсь, не только у меня.

Пока что чем-то осязаемым снова не могу поделиться – много что в работе прямо сейчас – вот вам ссылка на свежий альбом от Kaela, LA based музыкант(ка?). Bandcamp https://kaela.bandcamp.com/album/supraliminal или сермяжный https://zvuk.com/release/37595773
Очень нравится. Автор работает с широко известным (в узких кругах) M83, её работа на трех или двух последних альбомах коллектива. Этот сольный вышел альбом на днях и вот уже который день в ротации. Когда не созвон, в ушах -- он. Слоган, например 🕸

Довольно хорошая статья о DAG в контексте распределённой системы контроля версий (или просто DVCS третьего поколения `git`)
https://ericsink.com/vcbe/html/directed_acyclic_graphs.html
В пятницу с коллегами всплыла тема по DAG. Не лишний раз прочитать.

Как будто нашёл чем буду заниматься в свободное от вахты время. https://github.com/patterns-ai-core/langchainrb Когда-то давно, в 2009 году, этим "чем" были Rails. Посмотрим, что выйдет на этот раз.