Что такое Kafka своими словами❓

В иделе записать бы вам видео с объяснением работы, но пока видео не появилось думаю надо рассказать своими словами про этот инструмент.

Не могу сказать, что все тестировщики и автоматизаторы работают с кафкой, но в любом случае полезно знать.

Начнем с компонентов из которых все состоит:
1. Темы (Topics):
- Представьте себе темы как большие ящики, в которые можно класть данные. Каждый такой ящик может быть разбит на более мелкие отделения (разделы), чтобы легче распределять данные между разными серверами.

2. Продюсеры (Producers):
- Это те, кто кладет данные в наши ящики (темы). Например, продюсеры могут быть приложениями, которые генерируют события или записи и отправляют их в Kafka.

3. Консьюмеры (Consumers):
- Это те, кто берет данные из ящиков. Консьюмеры могут быть системами или приложениями, которые обрабатывают эти данные, например, анализируют их или сохраняют в базе данных.

4. Брокеры (Brokers):
- Представьте брокеров как менеджеров склада. Они следят за состоянием ящиков (тем), обрабатывают запросы на добавление (от продюсеров) и извлечение данных (от консьюмеров).

5. Zookeeper:
- Он действует как супервайзер. Он следит за состоянием всего склада (кластера Kafka), координирует работу брокеров и сохраняет важную информацию о системе.

Как все это работает?🤓

1. Продюсер отправляет данные:
- Допустим, у вас есть интернет-магазин, и каждую покупку вам нужно сохранить. Приложение-продюсер отправляет информацию о каждой покупке в тему "Покупки" в Kafka.

2. Хранение данных:
- Kafka сохраняет эти данные в соответствующих разделах в теме "Покупки". Всё хранится на жестких дисках серверов, чтобы ничего не потерялось.

3. Консьюмеры обрабатывают данные:
- Другие приложения-консьюмеры, например, система анализа продаж, берут данные из темы "Покупки" и обрабатывают их. Если у вас много данных, вы можете добавить больше консьюмеров, чтобы они параллельно обрабатывали покупки.

4. Отказоустойчивость и масштабирование:
- Если один из серверов (брокеров) выходит из строя, данные не теряются, потому что Kafka сохраняет несколько копий данных (реплики).

Kafka идеально подходит для приложений, где важна высокая производительность и надежность передачи данных. А нам тестировщикам все это нужно тестировать)

Ставьте 🔥 если это было полезно
Ставьте ❤️ если хотите увидеть видос на эту тему

Полезная подборка по брокерам сообщений от @protestinginfo:

Новые материалы:
- Apache Kafka для QA инженера
- Знакомимся с Apache Kafka. Основы
- применение Kafka для асинхронного взаимодействия и фоновых задач

🆓Читать статьи / посты:
📚Особенности тестирования с брокерами сообщений по моему опыту (мой пост)

📔Kafka: Что это такое и как тестировать

📓Как работать с Kafka в автотестах? (Python)

📙Что такое Kafka своими словами

📘Что такое RabbitMQ и как его тестировать?

📺Смотреть видео:
📺Kafka for QA

📺Как тестировать Kafka в интеграции с другими микросервисами

📺Лучший гайд по Kafka для начинающих

📺Автотесты для Apache Kafka (Java)

📺Apache Kafka: объяснение технологии обработки данных

📺Kafka и тесты производительности

📺Основы RabbitMQ для QA

📺Разбираем основы Kafka и RabbitMQ

📺Kafka, RabbitMQ

📺Зачем нужна Kafka? RabbitMQ и Kafka?

⌨️Проверить знания
⏳Тест по основам Apache Kafka и RabbitMQ

➕ Полезности от коллег

🔷 15 тестов для проверок API

🔷 Какие виды API встречаются чаще всего и что нам с ними делать?

🔷 Скрипт для аутентификации “за кадром” (не открывается - используй VPN)