Analyst IT – Telegram
Analyst IT
12.4K subscribers
149 photos
99 videos
7 files
1.14K links
Авторский канал для аналитиков в индустрии ИТ. Все, что надо знать аналитику в одном месте.

Сотрудничество: @the_real_bird
BA/SA: @ba_and_sa

Регистрация РКН: https://knd.gov.ru/license?id=673c6a15b7aeb106ce045ee5&registryType=bloggersPermission
Download Telegram
55 систем управления проектами: самый полный обзор рынка 2025

33 мин | 🟡⚪️⚪️

Читать статью | Analyst IT
Please open Telegram to view this post
VIEW IN TELEGRAM
9
Зачем аналитику знать Kafka?

🎯Главная цель: зачем системному аналитику знать Kafka?

Kafka
— это не просто технология для разработчиков. Аналитик, понимающий её принципы, может проектировать более эффективные системы, улучшать процессы сбора данных и точнее ставить задачи команде.

Зачем аналитику разбираться в Kafka?

1. Проектирование потоков данных
- Аналитик часто участвует в проектировании интеграций между системами.
- Kafka помогает организовать гибкую передачу событий (например, заказы → аналитика → CRM → склад).
- Без Kafka такие потоки часто делают через прямые вызовы API или базы данных, что сложнее масштабировать.

2. Работа с реальными данными (event-driven аналитика)
- Современные системы генерируют потоки событий (клики, платежи, логины).
- Kafka позволяет собирать их в реальном времени и передавать в аналитические хранилища (ClickHouse, BigQuery и др.).
- Без Kafka данные могут теряться или приходить с задержкой.

3. Упрощение ETL-процессов
- Раньше данные выгружали пакетами (раз в час/день), теперь можно стримить их непрерывно.
- Например:
- Данные из мобильного приложения → Kafka → обработка → витрины данных.
- Логи веб-сервера → Kafka → анализ аномалий.

4. Общение с разработчиками на одном языке
- Если аналитик говорит: *«Нам нужно подписаться на топик user_actions и агрегировать данные»* — это понятнее, чем *«Сделайте выгрузку из БД каждые 5 минут»*.
- Понимание Kafka помогает уменьшить разрыв между аналитикой и разработкой.

5. Оптимизация нагрузки на БД
- Если система пишет данные напрямую в PostgreSQL / MySQL, при высокой нагрузке могут быть тормоза.
- Kafka буферизирует данные и отдаёт их потребителям в удобном темпе.

⛔️ Когда Kafka НЕ нужна?

- Если данные обновляются редко (раз в день).
- Если система маленькая и нет проблем с производительностью.
- Если команда не готова поддерживать Kafka (это всё же дополнительная инфраструктура).

📌 Вместо вывода

Аналитику Kafka нужна, чтобы:


Лучше проектировать интеграции.
Работать с данными в реальном времени.
Упрощать ETL и снижать нагрузку на БД.
Говорить с разработчиками на одном языке.

📖 Полезные материалы для аналитика:

1. Официальная документация Kafka – база для понимания.
2. Введение в Apache Kafka для системных аналитиков и проектировщиков интеграций - основы в одном месте
3. Kafka для самых маленьких разработчиков, аналитиков и тестировщиков. - немного теории для самых маленьких

Если в вашем проекте есть много событий, микросервисы или большая нагрузка — Kafka стоит изучить 🚀

Источник: @ba_and_sa
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍5
НФТ к документации: Своя игра

4 мин | 🟡🟡⚪️

Читать статью | Analyst IT
Please open Telegram to view this post
VIEW IN TELEGRAM
1