Система управления базами данных — звучит страшно и очень громоздко. Но мы сегодня остановимся только на ключевом с точки зрения производительности компоненте — системе хранения данных.

Программист Владимир Комаров рассказал, как развивались системы управления базами данных:
✦ С чего все начиналось
✦ Как система хранения данных СУБД эволюционировала
✦ В каком состоянии эта область находится сейчас
✦ Существует ли идеальная СУБД, и если нет, то как приблизиться к идеалу

Читать статью

🔥 — уже читаю
❤️ — сохраню, вернусь позже
👍 — отправлю друллеге

🚀 Ищем волонтеров на крупнейшие IT-конференции в Москве!

HighLoad++ — это конференция в России и СНГ, посвященная разработке высоконагруженных систем, архитектуре, инфраструктуре и масштабированию.
TeamLead Conf — единственная профессиональная конференция для тимлидов и руководителей не только из IT.

Если тебе интересно увидеть закулисье одного из самых масштабных IT-событий страны, получить опыт организации конференции и стать частью сильной команды — присоединяйся к волонтерам 💪

🗓 Даты участия: 4–11 ноября (можно выбрать 4 дня или один из дней)
📍 Место проведения: Технопарк «Сколково»

Что тебя ждет:
– доступ к записям выступлений и атмосфера закулисья
– уникальный опыт работы на ведущих конференциях в России
– общение с экспертами и профессионалами из крупнейших IT-компаний
– понятные задачи и поддержка координаторов
– полноценное питание в дни работы
– и, конечно, участие в легендарном afterparty 🎉

Задачи волонтеров: работа в залах, помощь в логистике на площадке, регистрация участников, помощь в зоне выставки.

Участие предполагает присутствие в день до конференции, чтобы познакомиться с командой, подготовиться к работе и пройти инструктаж, и два дня самого события.

📩 Чтобы присоединиться, заполни анкету волонтера — мы свяжемся с тобой после рассмотрения заявки.

Расскажи о наборе друзьям, приходите вместе — давайте создавать легендарную атмосферу 🔥

Между стабильностью и скоростью: Redpanda или Kafka?
Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов:

Интересно, как поделились голоса: 40% и 60%. Хотя я и отдал свой голос за Redpanda, ожидал большего разрыва в пользу Kafka.

В проде мы с командой по-прежнему используем Kafka и постепенно переезжаем на KRaft. Остаёмся на ней, потому что за годы работы накопили большой опыт её поддержки: от эксплуатации и тюнинга до мониторинга и быстрого решения инцидентов. А главное — мы любим Kafka за большое комьюнити и зрелую экосистему.

Но для новых продуктов руки «чешутся» запуститься с Redpanda: один бинарный файл, меньше накладных расходов и более эффективное использование ресурсов. По бенчмаркам она выдаёт более высокую скорость и низкую задержку. Из дополнительных плюсов — совместимость с Kafka API.

Но перед тем как смело идти в прод с Redpanda, нужна экспертиза, чтобы уверенно закрывать SLA и обеспечивать доступность без сюрпризов. И вот мы оказываемся в ситуации «палка о двух концах»: без настоящего опыта экспертиза не растёт, а без экспертизы тащить в прод — опасно.

Компромисс: пилот на некритичном контуре и релиз с возможностью быстрого отката.

А как у вас идет переход на Kafka Kraft? Или уже смигрировали на Redpanda?

Друзья, добрый день!

Мы хотим обсудить с вами первые выводы из нашего двухмесячного исследования на тему "Что же не так с IT-конференциями?".
Конечно, очень хочется сказать - это всё экономический кризис, конференции тут ни при чём 🙂 Но это было бы непростительно поверхностно.
За последние пару месяцев мы (Онтико) поговорили с парой сотен человек: CTO, HRD, T&D, L&D, спикерами, членами ПК, участниками, в общем - с рынком.

Вот что получилось:
1. Знания стали commodity, знания легко найти (как в Интернете / GPT, так и на вендорских конференциях);
2. На первое место вышел контекст, самое сложное - интегрировать знания и решения в свой контур;
3. Взросление индустрии привело к сдвигу в сторону смысла - мы не просто что-то внедряем, мы задаемся вопросом - зачем, почему именно так и сейчас?
4. Лекционный формат перестал быть эффективным, он более не может быть единственным инструментом;
5. Усталость участников от лекционных форматов;
6. Программы конференций сфокусированы на бигтехах, интересы и запросы других акторов рынка учитываются слабо. И если раньше никого кроме бигтехов то и не было, то сейчас есть;
7. Мы наблюдаем смещение фокуса конференций с обмена прикладным опытом в сторону ярмарок тщеславия;
8. Экономическая ситуация требует жесткой связи с производительностью труда и финансовым результатом, многие технические роли начинают включать в себя продуктовое мышление;
9. IV промышленная революция видоизменяет систему разделения труда. EdTech, в целом, и конференции, в частности, не всегда это замечают.

Что бы вы добавили? С чем бы поспорили?

Целых полтора года в VK Tech строили MemCS — новый колоночный движок Tarantool для HTAP. И даже с индексами иногда не удавалось уйти от сплошного прохода таблицы.

Разработчик СУБД Tarantool Андрей Саранчин поделился в этой статье, почему команда не смогла миновать Sequential Scan и как удалось смягчить эту проблему с помощью Data Skipping ⚡️