🛠 Как можно нагрузить приложение? OLAP vs OLTP

Когда в вакансии пишут «опыт работы с высоконагруженными приложениями», что это значит? Это про миллионы запросов в секунду, как у соцсетей, или про сложные аналитические вычисления, как у систем отчетности?

На самом деле, здесь речь может идти о двух совершенно разных типах нагрузки: OLTP и OLAP.
Разберемся, чем они отличаются.


ℹ️ OLTP (Online Transaction Processing)
Это транзакционная нагрузка. То, о чем думают большинство людей, когда слышат словосочетание "высоконагруженное приложение".

Такая нагрузка подразумевает очень много не сложных операций.
На примере соц. сетей это могут быть - получение ленты подписок, получение всех диалогов пользователя, получение списка друзей, списка комментариев к записи, и так далее.

Выполнить одну такую операцию очень просто, но поддерживать доступность сервиса, когда таких запросов десятки тысяч в секунду - уже сложная задача.

Здесь пригодится знание кэшей, шардирования БД и скейлинга stateless сервисов.

🚛 OLAP (Online Analytical Processing)
Аналитическая нагрузка - полная противоположность. Самих операций очень мало, вплоть до 2-3 запросов в день, но сами запросы очень тяжелые.
Пример такой операции - анализ трат клиентов, выявление трендов, поиск по каким-то условиям, агрегация большого объема данных, прогноз спроса на товары на основе истории продаж за последние 5 лет.

Если OLTP запросы выполняются практически мгновенно, обработка OLAP запросов может занимать часы. В таком случае обычно используют асинхронный алгоритм.

Пользователь получает в ответ не результат, а id операции, которая запланирована к выполнению. С помощью этого id он может узнать статус операции, а когда выполнение закончится, получить итоговый результат.

Для такой нагрузки также стоит хорошо знать виды баз данных, партиционирование и шардинг, а также умение разбивать большую задачу на множество подзадач, которые можно выполнять независимо, а потом обрабатывать их результаты. Один из алгоритмов, которые можно применять - Map/Reduce.

Map/Reduce — это подход, который позволяет разбивать сложные задачи на более простые шаги: сначала обработка данных (Map), затем их объединение (Reduce). Такой подход активно используется в системах вроде Hadoop или Spark.

Вчера вышло новое видео про паттерн Transactional Outbox

Если готовишься к собесам на middle/senior бэкенд или просто нравится архитектура - must have к просмотру

Смотреть на YouTube 📹
Смотреть на Boosty (Без VPN) 💳

Есть Leetcode - тренажер для алгоритмических задач, есть sql-ex - тренажер для задач по SQL.

Но на многих собеседованиях предлагают сделать код-ревью какого-то production-like кода, где нужно учитывать особенности работы с бд, сетевых запросов, работу в многопоточной среде и читаемость кода.

Для таких задач сложно придумать тренажер, но с появлением нейронок можно сделать почти все, главное написать хороший промпт.

Мой вариант ниже, если есть что добавить - пиши в комменты ✉️

📎 Промпт для тренировки код-ревью с ChatGPT

Представь, что я хочу тренироваться в навыке код-ревью на языке {ЯЗЫК_ПРОГРАММИРОВАНИЯ}.
Сгенерируй для меня исходный код (например, одного файла или небольшого модуля), в котором специально внедрены ошибки. Ошибки должны быть разного уровня сложности: от базовых (логических, синтаксических, архитектурных) до более сложных, которые может заметить только опытный разработчик.
Пусть некоторые ошибки будут связаны с взаимодействием с базой или сетевыми вызовами, работой в многопоточной среде.

Формат:

Сначала просто покажи мне код, не объясняя и не перечисляя ошибки.

Жди, пока я самостоятельно отправлю тебе список найденных мною ошибок (в одном или нескольких сообщениях).

Когда я напишу, что "закончил" или "больше ошибок не вижу", сравни мой список с настоящим списком внедрённых ошибок:

Подтверди, какие ошибки я правильно заметил.

Укажи, какие ошибки я пропустил и почему они важны.

При необходимости — дополни контекстом или best practices.

Не подсказывай, пока я не попрошу или не завершу.

Вчера вышло новое видео, где рассказываю базу про IT собесы

Смотреть на YouTube 📹
Смотреть на Boosty (Без VPN) 💳