Транзакционная работа с топиками: архитектура и сравнение решений в Apache Kafka и YDB Topics

С 2013 года в Яндексе использовали Kafka для потоковой передачи данных, но со временем она перестала справляться с растущими объёмами, и в 2017 году в компании перешли на собственное решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия.

Под катом — статья по мотивам доклада с Highload про архитектуру транзакций в системах и интересные для разработчиков детали и нюансы, которые обсуждались на конференции.

Чтобы принимать верные решения и создавать прорывные продукты, нужно постоянно быть в потоке: знать последние тренды, иметь доступ к лучшим практикам и уметь быстро применять их в работе.

Но как успевать за всем? Где брать время на поиск и фильтрацию тонн информации?

Представляем вам Поддерживающую базу знаний — ваш персональный пропуск в мир экспертизы для разработчиков, архитекторов и лидеров цифровой индустрии.

Что вы получите уже сегодня:
🚀 Мгновенный доступ к инсайдам. Записи всех конференций — уже через две недели после их проведения, а не через полгода, как для всех остальных. Вы будете первыми знать о ключевых обновлениях и трендах.
📚 Более 4000 единиц эксклюзивного контента с профессиональных конференций. Перестаньте тратить время на поиск — начните эффективно учиться и применять.
🔧 Практические руководства от экспертов. Мы не просто даем теорию. Мы собираем готовые алгоритмы действий из видео, статей и кейсов, которые ваша команда сможет использовать в проектах сразу же.
💡 Эксклюзив: встреча с экспертом. К каждому гайду мы организуем live-сессию с экспертом. Получайте ответы на свои вопросы и ценные инсайты из первых рук для ускорения развития и уверенности в каждом решении.

Переходите по ссылке https://clck.ru/3PWnhE, регистрируйтесь и получите полный доступ к библиотеке на 1 месяц в подарок.

С вас честное мнение, с нас приятный бонус 👀

Помогите нам сделать следующую конференцию Data Internals X еще лучше и полезнее, пройдя небольшой опрос!
В конце опроса — ссылки на ранний доступ к видео с докладами

В IT и науке в России полно крутых экспертов, которые делают масштабные tech проекты, но редко выходят в публичное пространство.

Мы, Tech Kitchen, делаем так, чтобы это менялось:

🙌 Помогаем экспертам делиться знаниями и получать обратную связь от сообщества

🚀 Создаем точку притяжения для тех, кто любит науку, технологии и хочет прокачивать экспертизу

🧠 Показываем технологии «под другим соусом», чтобы заглянуть на технологическую кухню и удивиться, что даже серьезные вещи могут быть увлекательными!

Подписывайся и залипай на тех, кто двигает tech!

Система управления базами данных — звучит страшно и очень громоздко. Но мы сегодня остановимся только на ключевом с точки зрения производительности компоненте — системе хранения данных.

Программист Владимир Комаров рассказал, как развивались системы управления базами данных:
✦ С чего все начиналось
✦ Как система хранения данных СУБД эволюционировала
✦ В каком состоянии эта область находится сейчас
✦ Существует ли идеальная СУБД, и если нет, то как приблизиться к идеалу

Читать статью

🔥 — уже читаю
❤️ — сохраню, вернусь позже
👍 — отправлю друллеге

🚀 Ищем волонтеров на крупнейшие IT-конференции в Москве!

HighLoad++ — это конференция в России и СНГ, посвященная разработке высоконагруженных систем, архитектуре, инфраструктуре и масштабированию.
TeamLead Conf — единственная профессиональная конференция для тимлидов и руководителей не только из IT.

Если тебе интересно увидеть закулисье одного из самых масштабных IT-событий страны, получить опыт организации конференции и стать частью сильной команды — присоединяйся к волонтерам 💪

🗓 Даты участия: 4–11 ноября (можно выбрать 4 дня или один из дней)
📍 Место проведения: Технопарк «Сколково»

Что тебя ждет:
– доступ к записям выступлений и атмосфера закулисья
– уникальный опыт работы на ведущих конференциях в России
– общение с экспертами и профессионалами из крупнейших IT-компаний
– понятные задачи и поддержка координаторов
– полноценное питание в дни работы
– и, конечно, участие в легендарном afterparty 🎉

Задачи волонтеров: работа в залах, помощь в логистике на площадке, регистрация участников, помощь в зоне выставки.

Участие предполагает присутствие в день до конференции, чтобы познакомиться с командой, подготовиться к работе и пройти инструктаж, и два дня самого события.

📩 Чтобы присоединиться, заполни анкету волонтера — мы свяжемся с тобой после рассмотрения заявки.

Расскажи о наборе друзьям, приходите вместе — давайте создавать легендарную атмосферу 🔥

Между стабильностью и скоростью: Redpanda или Kafka?
Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов:

Интересно, как поделились голоса: 40% и 60%. Хотя я и отдал свой голос за Redpanda, ожидал большего разрыва в пользу Kafka.

В проде мы с командой по-прежнему используем Kafka и постепенно переезжаем на KRaft. Остаёмся на ней, потому что за годы работы накопили большой опыт её поддержки: от эксплуатации и тюнинга до мониторинга и быстрого решения инцидентов. А главное — мы любим Kafka за большое комьюнити и зрелую экосистему.

Но для новых продуктов руки «чешутся» запуститься с Redpanda: один бинарный файл, меньше накладных расходов и более эффективное использование ресурсов. По бенчмаркам она выдаёт более высокую скорость и низкую задержку. Из дополнительных плюсов — совместимость с Kafka API.

Но перед тем как смело идти в прод с Redpanda, нужна экспертиза, чтобы уверенно закрывать SLA и обеспечивать доступность без сюрпризов. И вот мы оказываемся в ситуации «палка о двух концах»: без настоящего опыта экспертиза не растёт, а без экспертизы тащить в прод — опасно.

Компромисс: пилот на некритичном контуре и релиз с возможностью быстрого отката.

А как у вас идет переход на Kafka Kraft? Или уже смигрировали на Redpanda?

Друзья, добрый день!

Мы хотим обсудить с вами первые выводы из нашего двухмесячного исследования на тему "Что же не так с IT-конференциями?".
Конечно, очень хочется сказать - это всё экономический кризис, конференции тут ни при чём 🙂 Но это было бы непростительно поверхностно.
За последние пару месяцев мы (Онтико) поговорили с парой сотен человек: CTO, HRD, T&D, L&D, спикерами, членами ПК, участниками, в общем - с рынком.

Вот что получилось:
1. Знания стали commodity, знания легко найти (как в Интернете / GPT, так и на вендорских конференциях);
2. На первое место вышел контекст, самое сложное - интегрировать знания и решения в свой контур;
3. Взросление индустрии привело к сдвигу в сторону смысла - мы не просто что-то внедряем, мы задаемся вопросом - зачем, почему именно так и сейчас?
4. Лекционный формат перестал быть эффективным, он более не может быть единственным инструментом;
5. Усталость участников от лекционных форматов;
6. Программы конференций сфокусированы на бигтехах, интересы и запросы других акторов рынка учитываются слабо. И если раньше никого кроме бигтехов то и не было, то сейчас есть;
7. Мы наблюдаем смещение фокуса конференций с обмена прикладным опытом в сторону ярмарок тщеславия;
8. Экономическая ситуация требует жесткой связи с производительностью труда и финансовым результатом, многие технические роли начинают включать в себя продуктовое мышление;
9. IV промышленная революция видоизменяет систему разделения труда. EdTech, в целом, и конференции, в частности, не всегда это замечают.

Что бы вы добавили? С чем бы поспорили?

Целых полтора года в VK Tech строили MemCS — новый колоночный движок Tarantool для HTAP. И даже с индексами иногда не удавалось уйти от сплошного прохода таблицы.

Разработчик СУБД Tarantool Андрей Саранчин поделился в этой статье, почему команда не смогла миновать Sequential Scan и как удалось смягчить эту проблему с помощью Data Skipping ⚡️