Аптаймы

Есть байка, что где-то у кого-то есть сервер с аптаймом 32 года. То есть не выключавшийся и не перезагружавшийся ни разу с 1993 года.

Интересно, есть ли ETL пайплайн, который работает ну хотя бы с 2015-го? 10 лет.

Рекорд, который я видел своими глазами, - 1100 успешных дневных запусков подряд. 3,5 года.

С огромной вероятностью, ни сервер, ни пайплайн в реальности никому не нужны и греют воздух бесполезно.

Хороший годный митап от коллег.

Всем привет! 24 апреля в Москве в офисе Лемана Тех пройдет очередной митап по технологиям Trino и Apache Iceberg! Также будет доступна онлайн-трансляция.

В программе:
- Доклад от Лемана Тех про миграцию на Trino
- Доклад от Азбуки Вкуса про использование каталога Nessie
- Круглый стол про проблемы внедрения lakehouse с инженерами T-Банк, S7 Airlines, Лемана Тех и Кверифай Лабс

Регистрация по ссылке: https://cedrusdata.timepad.ru/event/3299844/

Хозяйке на заметку

Отраслевые тесты для OLAP

Коллеги, поделитесь, какие вы используете тесты для изменения перформанса OLAP? Есть ли что-то кроме TPC-DS?

Есть у меня мой "авторский" на данных блокчейна Ethereum. Но к нему надо больше запросов написать как минимум и какой-то раннер прикрутить еще. Зато там данных много: Ehereum это около 6 ТБ данных транзакций, а Polygon 20 уже.

Подлинная революция

Пока мы тут про лейкхаусы, в российском ИТ случилась настоящая революция.

1С научился хранить файлы в S3.

На день космонавтики

64 года назад мы достигли многого. Мы вывели человека за пределы его колыбели и нюхнули свободы взрослого мира.

Сейчас многие вслед за Илоном нашим Маском мыслями обращаются к Марсу. И воображают что слетать туда все равно что в соседний город. Но если задуматься о масштабах, то все окажется совсем по-другому.

Упражнение с глобусом

Если взять в руки школьный глобус с диаметром 30 см, на какой высоте летал Гагарин и какая высота орбиты МКС? 1 сантиметр. Это уже для нас Космос!

А Луна? Луна на расстоянии 9 метров. Это уже соседняя квартира.

А Марс? Порядка 5 километров! 3 автобусные остановки или час пешком.

Ближайшая потенциально обитаемая планета? Очень повезло, она в ближайшей же звездной системе - это Проксима Центавра B, на ней может быть жидкая вода. Расстояние? Да забудьте - там 900 тысяч километров!

Теперь представьте поход на 23 раза обогнуть экватор в то время, как мы нормально освоили только 1 сантиметр этого пространства! Эволюционно мы на уровне инфузорий, которые и путешествуют за свою жизнь на несколько сантиметров. Теперь Илон предлагает нам приложить титанические усилия для эволюции, ну, в простейшую гидру, которая может теоретически утопать на 5 км от места своего рождения и выжить. А до звезд все еще нужен разум и реактивный самолет.

Человеку трудно представить масштабы этих расстояний и стоящих задач.

Но. Давайте в этот день праздновать. У нас есть важное отличие от инфузорий, оно в том, что мы способны осмыслить внутри себя самый дальний поход. Мы способны измерить, оценить, подсчитать, составить план. Мы даже способны вообразить задачи на сотни поколений вперед, где давно уже не будет никаких нас.

Люди на каноэ

Когда-то на берегу Тихого океана люди спустили на воду каноэ из тростника и поплыли в неизвестность. Они не знали, сколько плыть, не знали, есть ли там вообще пригодная земля. Неизвестно, сколько их сгинуло. Но известно, что все, даже самые удаленные, острова в океане на пол-Глобуса оказались заселены.

У нас огромное преимущество перед людьми на каноэ. Мы точно знаем, куда и сколько нам лететь. Мы знаем, что именно там находится. Мы в куда более лучшем положении чем люди на каноэ.

Почему мы хотим покорить Космос? Да потому что он, Космос, есть!

Выступаю на Arenaday 2025

Ровно через неделю, 22 апреля состоится большая ежегодная конференция Аренадата - ArenaDay 2025.

Совместно с архитекторами Аренадаты мы подготовили доклад об эффективном обеспечении отказоустойчивости кластеров ArenaDB.

Не так сложно организовать полноценную вторую площадку данных, имея x2-x3 бюджета основной. Но мы пошли дальше и предлагаем решение, которое использует механизмы облака для сокращения бюджета на DR. Причем даже этот резерв не будет бесполезно «греть воздух», а может быть переиспользован для задач аналитики и разработки.

Какие темы раскроем
⁃ Как перестать бояться отказов и начать использовать данные в реальных бизнес-процессах. И причем тут резервная площадка.
⁃ Что может предложить облако для отказоустойчивости данных
⁃ Как организовать ADB DR без кратного роста расходов на инфраструктуру данных
⁃ Как автоматизировать переключение между площадками с помощью сервисов облака
⁃ Как составить детальный DR-план, организовать DR-учения и не бояться отказов
⁃ Как переиспользовать вторую площадку для других задач: Dev/Test окружений, песочниц для разработчиков, сервинга данных для ML и LLM.

No system is safe. Даже самые крутые ЦОДы от ведущих мировых и российских компаний иногда падают. Даже самые безопасные системы ловят вирусов-шифровальщиков.

В мою бытность Head of Analytics меня не один и не два раза выручал тот факт, что у меня есть логический бекап данных в какой-то другой системе. Иметь рабочие механизмы данных в ситуации когда вся инфраструктура вашей компании испытывает проблемы - это гигантский бонус в вашу карму. Вы надежные, вам можно доверить серьезные бизнес-процессы.

22 апреля, вторник, Секция «Гибридное хранилище», 16:30

LLM Text to SQL

Работаем над технологией конвертации аналитического запроса на естественном языке в SQL и далее в ответ. Используем демо базу авиаперелетов от Postgres PRO.

Пока по моим наблюдениям такой бот максимально напоминает стажера-аналитика. На фото типичная ошибка джуна: перепутал время заказа билета с временем перелета. Только на джуна ты наорешь, и он исправится, а LLM так и останется глупеньким. Ну и самостоятельную работу джуну поручать нельзя.

Разобрался джун.

Раз на раз не приходится. Все что делает агент, надо перепроверять. А чтобы перепроверять, надо разбираться в датасете.

Управляем облаком с помощью команд LLM

https://news.1rj.ru/str/sterodata/219

Стримить данные в S3

В контексте развития лейкхауса часто возникает мысль - а было бы круто стримить данные сразу в S3! (Еще бы лучше прямо в айсберг формат с прогоном через метастор, но это мечты-мечты)

Шорт-лист вариантов, как это можно сделать.

1. S3Sink коннектор Kafka Connect.
https://github.com/Aiven-Open/s3-connector-for-apache-kafka
2. S3Stream для AutoMQ. AutoMQ - совместимый с форматом Кафки Cloud Native стриминг
https://www.automq.com/docs/automq/architecture/s3stream-shared-streaming-storage/overview
3. WarpStream - целая платформа вокруг этой идеи. Куплена Конфлюентом.

Honorable mentions

Обещания от Кафки KIP-1150 - disk-less topics. Звучит круто, подождем еще годочка три.
https://cwiki.apache.org/confluence/display/KAFKA/KIP-1150%3A+Diskless+Topics

TableFlow - подключаем топики Kafka как объекты в Iceberg Metastore. Не пуш, а пулл, но сгодится. Похоже, доступно только для проприетарного Confluent.

Кто стримится в лейк - расскажите как именно!

Последняя линия ментальной обороны (1/2)

Знакомо ли вам чувство крайней эмациональной усталости? Это когда угнетают проблемы, которые ты в спокойном состоянии легко бы решил. Или когда бомбишь от ситуаций, которые того явно не стоят? Некоторые еще на людей начинают бросаться, когда коллеги и близкие того не заслуживают.
Я работаю с энтерпрайзом, так что мне это состяние вполне знакомо 😄

Обычно борюсь пешими прогулками. Находим в календаре час-полтора (а 80% встреч можно скипнуть с минимальным ущербом) и иду бродить вот просто по дворам рядом с офисом или домом. Мозг человека вещь удивительная, и час без рутинной нервотрепки и месенджеров творят чудеса.

Истории, с которых полыхал буквально полчаса назад, делятся в голове на категории:
а) вообще не стоят внимания и ни на что не влияют,
б) можно отложить, срочность и важность надумана,
в) понятно, как делать или к кому обратиться за помощью.

Чтобы было одновременно важно, срочно и притом непонятно как - это все-таки редкость.

В большинстве случаев простой прием с прогулкой работает, и можно жить дальше.
Но случается и так, что прогулки по дворам не помогают. Все настолько плохо, что простые методы разгрузки не спасают. Так жестко навалилось, что эмоциональные патроны кончились.

Последняя линия ментальной обороны (2/2)

Как последняя линия ментальной обороны я достаю одно базированное видео. Оно довольно старое. Возможно вы видели его на ютубе лет 10 назад. Это речь на выпускном Техасского университета от одного из старших выпускников, высокорангового американского "лампаса". Кто разбирается в форме, сможет сказать точно, кажется, это двухзвездный адмирал. Пропускаем американизмы про изменения мира к лучшему, америакнскую мечту, обязательную вставку про дайверсити и переходим к базе.

В базовой части адмирал делится, как он проходил подготовку в лагере морских котиков SEAL. И успешно прошел, что очень полезно для карьеры. Он дает не то чтобы сверх много деталей, но сразу же вспоминается и "Цельнометаллическая оболочка", и "Майор Пейн". 90% рекрутов не выдерживают физических страданий и ментальных унижений и уходят в процессе подготовки.

Несколько банальных солдафонских истин:

1️⃣ Бывают ситуации, где ты неизбежно попадаешь под раздачу. Неважно, насколько ты хорош, неважно, что ты все делаешь правильно, неважно насколько стараешься. (Пример с инспекцией формы)
2️⃣ В сложном деле ты неизбежно где-то серьезно облажаешься. И тогда в твой и так адский график добавляется еще дополнительная тяжелая работа, боль и страдания. (Пример с "цирком"). Надо научиться не ломаться ментально от неберущихся авралов.
3️⃣ Людей оценивают по результатам (Шлюпочная команда). Результат часто не коррелирует с внешним видом или первым впечатлением.
4️⃣ Тебя и правда могу сожрать акулы. В серьезном деле ты столкнешься с опасными ситуациями или опасными людьми. Страх этих встреч надо преодолеть.
5️⃣ В самый ответственный момент надо быть лучшей версией себя. (Минирование судна)
6️⃣ Порой единственное что отделяет успех от неудачи, это надежда и вера в свет в конце туннеля.

Может все это и кажется супер-банальным в моем вольном переводе-пересказе, адмирал рассказывает образнее и красочнее.

Из видео я черпаю две мысли.

Первая. Как бы тебя сейчас не плющило, это ничто по сравнению с лагерем морских котиков. Причем, в лагере все находятся добровольно и в любой момент могут его покинуть. Одна из фишек буткемпа в том, что в любой момент можешь положить каску на плац, позвонить в колокол, и все прекратится. Никто никогда не скажет дурного слова - все знают, что это звздец.
Еще раз, люди добровольно берут на себя куда большие страдания, чем ты сейчас.
В мире есть вещи, ради которых стоит расплющиться. Может и твоя история, от которой ты так картинно изнемогаешь, одна из них?

Вторая. В любом большом деле бывают случайности не в твою пользу. Залеты и прилеты неизбежны и часто несправедливы. Местами надо просто смириться с этим и перетерпеть.

Мне комбинация этих супер-простых мыслей часто дает глоток воздуха, мой внутренний бомбист утихает на всемя. Раз в полгода - самое то.

Само видео тут.