🖥 Собеседование: Архитектура потоковой обработки событий с откатом состояний

🟢Условие задачи:

Вам нужно спроектировать и реализовать на Java следующую систему:

1. Система подключается к непрерывному потоку событий (EventStream).
2. Каждое событие (Event) имеет структуру:

   class Event {
       String entityId;
       Instant timestamp;
       String eventType;
       Map<String, Object> payload;
   }
   

3. В реальном времени нужно собирать и поддерживать текущее состояние каждой сущности (Entity), применяя полученные события.
4. Система должна поддерживать откат состояния:
- Пользователь может запросить состояние любой сущности на любую произвольную временную точку (Instant timestamp).
- После отката система должна продолжать обрабатывать новые события без остановки и потери данных.

🟢Дополнительные требования:

- Потокобезопасность обработки событий и запросов на откат.
- Высокая производительность: обработка миллионов событий в минуту.
- Быстрый откат состояния (target: < 100 мс).
- Только стандартные библиотеки Java (java.util.concurrent, java.time, коллекции и т.д.).
- Архитектура должна позволять добавлять новые типы событий без модификации существующего кода.

🟢Бонус:

- Реализация механизма снимков (snapshot) состояний для оптимизации откатов.
- Автоматическое создание snapshot'ов каждые N событий для каждой сущности.
- Поддержка нескольких стратегий отката (например, быстрый откат по ближайшему snapshot + события, или чистая перемотка всех событий).

📌 Что оценивается:

Архитектура: Четкая декомпозиция слоёв, масштабируемость и возможность расширения системы без существенных изменений базового кода.

Работа с многопоточностью: Гарантия безопасности доступа к общим структурам данных в условиях параллельной обработки событий.

Производительность: Минимизация блокировок, эффективная работа с большими объёмами данных, оптимизация по времени отклика и использованию ресурсов.

Чистота кода: Понятные и логичные интерфейсы, чистая реализация без "грязных хака", хорошая читаемость и поддерживаемость кода.

Способность предвидеть риски: Умение анализировать потенциальные угрозы системе, например, рост очередей при перегрузке событий или замедление обработки данных.

Стратегии оптимизации: Эффективное использование snapshot'ов состояния, продуманная организация хранения и восстановления событий.

Обработка ошибок и отказоустойчивость: Умение проектировать систему так, чтобы она корректно вела себя при сбоях, сетевых ошибках и высоких нагрузках.

🟡Подводные камни:

- Проблема гонки состояний: если одновременно приходит событие и запрашивается откат — что происходит?
- Рост памяти: если хранить все события, как не "убить" память?
- Перепутанные таймстемпы: что делать, если события приходят с задержкой или не по порядку?
- Обновление типов событий: как легко добавить новый eventType без переписывания всей логики?
- Производительность при откате: как не делать полный перебор событий за годы работы?

🟢Рекомендация к решению:

- Используйте copy-on-write подход для состояний сущностей.
- Используйте параллельные структуры данных (ConcurrentHashMap, ConcurrentSkipListMap и т.д.).
- Реализуйте инкапсуляцию логики обработки событий через паттерн "Event Handler" или "Command Handler".
- Внедрите отдельный менеджер snapshot'ов и менеджер событий.

✅ Java библиотека #java

🦉 Apache ZooKeeper — координация распределенных систем без лишней сложности

В эпоху Kubernetes и сервис-мешей скромный ZooKeeper продолжает оставаться фундаментальным инструментом для управления конфигурацией и синхронизации распределенных систем. Последние версии проекта (3.5.5+) сохраняют минималистичный подход — чистые Java-бинарники, документация в Markdown и прозрачный процесс сборки через Maven.

Несмотря на появление альтернатив вроде etcd, ZooKeeper по-прежнему широко используется в Hadoop-экосистеме и как бэкенд для Apache Kafka.

🖥 GitHub

✅ Java библиотека #java

ℹ️ Паттерны для тех, кто уже покорил Singleton

— Порождающие паттерны:

🟢Abstract Factory: Family Creator — Создает группы взаимосвязанных объектов.
🟢Builder: Lego Master — Пошагово создает объекты.
🟢Prototype: Clone Maker — Создает копии полностью подготовленных объектов.
🟢Singleton: One and Only — Создаёт объект, который существует в единственном экземпляре.

— Структурные паттерны:

🟢Adapter: Universal Plug — Соединяет объекты с разными интерфейсами.
🟢Bridge: Function Connector — Связывает то, как объект работает, с тем, что он делает.
🟢Composite: Tree Builder — Формирует древовидные структуры из простых и сложных частей.
🟢Decorator: Customizer — Добавляет новые возможности объектам, не изменяя их основную структуру.
🟢Facade: One-Stop-Shop — Представляет всю систему через один упрощенный интерфейс.
🟢Flyweight: Space Saver — Эффективно использует небольшие, многократно используемые объекты.
🟢Proxy: Stand-In Actor — Представляет другой объект, управляя доступом или действиями.

— Поведенческие паттерны:

🟢Chain of Responsibility: Request Relay — Передает запросы через цепочку объектов до тех пор, пока он не будет обработан.
🟢Command: Task Wrapper — Превращает запрос в объект, готовый к выполнению.
🟢Iterator: Collection Explorer — Доступ к элементам коллекции по одному.
🟢Mediator: Communication Hub — Упрощает взаимодействие между различными классами.
🟢Memento: Time Capsule — Сохраняет и восстанавливает состояние объекта.
🟢Observer: News Broadcaster — Уведомляет классы о изменениях в других объектах.
🟢Visitor: Skillful Guest — Добавляет новые операции в класс, не изменяя его.

💬 Какие паттерны вы использовали в реальных кейсах?

✅ Java библиотека #java

🖥 Agrona — библиотека Java, позволяющая писать более лаконичный и производительный код

Agrona предоставляет набор структур данных и вспомогательных методов, которые часто требуются при создании высокопроизводительных приложений на Java.
Многие из этих компонентов используются, к примеру, в Aeron для эффективной и надежной передачи IPC-сообщений по протоколу UDP и обеспечивают высокопроизводительную реализацию буферов для поддержки кодека сообщений Simple Binary Encoding.

Например, с помощью Agrona можно переписать код:

List<Integer> numbers = new ArrayList<>();
// fill numbers somehow
Map<Integer, Integer> counters = new HashMap<>();
for (Integer x : numbers) {
    counters.compute(x, (k, v) -> v == null ? 1 : v + 1);
}

вот так:

IntArrayList numbers = new IntArrayList();
// fill numbers somehow
Int2IntCounterMap counters = new Int2IntCounterMap(0);
for (int i = 0; i < numbers.size(); i++) {
    counters.incrementAndGet(numbers.getInt(i));
}

🖥 GitHub

✅ Java библиотека #java

ℹ️ 8 архитектурных подходов

🔵 REST: Каждый ресурс системы представлен уникальным URL и взаимодействие с ними осуществляется через стандартные HTTP-методы.
🔵 SOAP: Обмен сообщениями между сервисами происходит через строго структурированные XML-запросы и ответы.
🔵 GraphQL: Позволяет клиентам формировать запросы к API, точно определяя необходимые данные, минимизируя избыточность.
🔵 gRPC: Использует протоколы буферов и HTTP/2 для создания высокопроизводительных и масштабируемых сервисов с двусторонней связью.
🔵 WebSockets: Создаёт постоянное соединение между клиентом и сервером, и обеспечивает двусторонний обмен данными в реальном времени.
🔵 Webhooks: Асинхронное взаимодействие, где сервер уведомляет клиента о событиях через HTTP-запросы, инициированные самим сервером.
🔵 MQTT: Оптимизирован для IoT-устройств, поддерживает легковесный обмен сообщениями с низким потреблением ресурсов.
🔵 AMQP: Для высоконадёжных систем, ориентирован на очереди сообщений и гарантированную доставку данных между сервисами.

✅ Java библиотека #java

⚙️ 7 эффективных стратегий для масштабирования базы данных

🟢Индексация: Анализируйте запросы вашего приложения и создавайте подходящие индексы для ускорения работы.
🟢Материализованные представления: Предварительно вычисляйте результаты сложных запросов и сохраняйте их для быстрого доступа.
🟢Денормализация: Упрощайте сложные соединения для повышения скорости выполнения запросов.
🟢Вертикальное масштабирование: Увеличивайте ресурсы сервера (процессоры, оперативную память, хранилище) для улучшения производительности.
🟢Кэширование: Храните часто запрашиваемые данные в быстром хранилище, чтобы снизить нагрузку на базу данных.
🟢Репликация: Создавайте копии основной базы данных на разных серверах для увеличения объема операций чтения.
🟢Шардинг: Разделяйте таблицы на более мелкие части и распределяйте их по серверам для улучшения работы с записью и чтением.

💬 Какие еще методы масштабирования используете вы?

✅ Java библиотека #java

🖥 Изучаешь Java - создай проект. Перезагрузка.

Выпуск 7. JAR или WAR - вот в чем вопрос.

В этом выпуске мы попробуем разобраться, что в конечном итоге вам надо собрать - JAR или WAR.

🌐🗣СМОТРЕТЬ VKVIDEO

✅ Java библиотека #java

❓ API Gateway vs. Load Balancer: В чём разница?

Отличное понимание ролей API Gateway и Load Balancer является ключевым для проектирования масштабируемых и эффективных архитектур.

— API Gateway: Почтальон цифрового мира 📬

Работает как почтальон, направляя API-запросы к нужному сервису. А также выполняет роль охранника, управляя аутентификацией и авторизацией, переводчика, преобразуя запросы и ответы, и регулировщика движения, контролируя частоту запросов.

— Load Balancer: Регулировщик движения 🚦

Его задача — равномерно распределять трафик между серверами, предотвращая их перегрузку, улучшая надежность и обеспечивая автоматическое переключение в случае сбоя одного из серверов.

Оба компонента необходимы в современных архитектурах, но выполняют разные функции! 🌐

✅ Java библиотека #java

Совет по Spring Boot 🚀

Еесли вы хотите узнать, когда начинается и заканчивается транзакция #JPA, как повторно использовать существующую транзакцию в @Transactional или шаблоне TransactionTemplate, включите логирование DEBUG для `org.springframework.orm.jpa`.

✅ Java библиотека #java

🖥 Задача: Расположите в виде иерархии следующие интерфейсы: List, Set, Map, SortedSet, SortedMap, Collection, Iterable, Iterator, NavigableSet, NavigableMap

Ответ на картинке.

✅ Java библиотека #java

👩‍💻 Top 10 Spring Boot REST API Best Practices You MUST Know

Want to build clean, scalable, and secure REST APIs with Spring Boot? In this video, you'll learn the top 10 best practices every Java developer should follow when building RESTful APIs using Spring Boot. From HTTP status codes to DTOs, pagination, exception handling, and security.

🌐🗣СМОТРЕТЬ VKVIDEO

✅ Java библиотека #java

⚡️ every-programmer-should-know | Каждый кодер должен знать

Крутая подборка материалов про Computer Science. Неважно, какой ЯП вы используете, вам все равно стоит знать виды алгоритмов, структур данных, архитектуры и другую базу.


📌 Репозиторий проекта

✅ Java библиотека #java

Метод putAll()

Метод putAll() принадлежит интерфейсу Map и используется для добавления всех элементов из одной карты (Map) в другую. Этот метод принимает в качестве аргумента другую карту и добавляет все ее записи в вызывающую карту.

Например, если у вас есть две карты, содержащие данные, и вам нужно объединить их для выполнения операций на полном объеме данных, метод putAll() предоставляет простой способ объединения.

✅ Java библиотека #java

👩‍💻 Советы по Spring Boot 💡

Библиотека Spring Boot Startup Report генерирует интерактивные отчеты о работе приложений Spring Boot,и помогает понять, что влияет на время загрузки и запуска приложения, что может помочь в оптимизации

🖥 Github

✅ Java библиотека #java