🚀 Оптимізація високонавантаженого бота.

Привіт! Сьогодні хочу поділитися з вами історією одного з наших проектів — мультибота для піару, над яким ми з командою працювали протягом останніх місяців.

До нас звернувся замовник, який попросив оптимізувати бота, бо він відповідав дуже повільно, а проєкт треба було розвивати, додавати нові фічі. Цей бот став для нас не просто черговим завданням, а справжнім викликом, який навчив нас багато чому.

🤖 Що робить цей бот?
Наш бот (@gram_piarbot) — це багатофункціональний інструмент для піару в Telegram. Ось його основні можливості:

1. Піар каналів та груп: Користувачі можуть просувати свої канали, групи та пости.
2. Віртуальна валюта: За виконання завдань з піару користувачі отримують віртуальну монету GRAM (не плутати з криптовалютою).
3. Бусти: Власники Telegram Premium можуть "заряджати" канали або групи, отримуючи за це віртуальні монети.
4. Обов'язкова підписка: Адміністратори груп можуть встановлювати обов'язкову підписку на певні канали для участі в обговореннях.

📊 Масштаби та виклики
Цей бот вже був дуже популярним, коли мене попросили його переписати, щоб оптимізувати його роботу.

⚠️ Зараз в боті досягається 100-250 запитів в секунду (мал. 2).

🏗 Початковий стан — Коли ми отримали бота, він був у такому стані:
- Весь код був написаний в одному файлі (понад 5000 рядків)
- Використовувався aiogram 2
- Взаємодія з базою даних була синхронною (pewee)

🔄 Перша спроба оптимізації — Ми вирішили повністю переписати бота, використовуючи сучасні технології:
- Перейшли на асинхронну SQLAlchemy
- Оновили до aiogram 3
- Впровадили NATS, Kafka для обробки апдейтів, і для виконання завдань
- Перевели бота на вебхуки

Але... несподівано бот став працювати ще повільніше! 😱

⚠️ Ключові проблеми:
1. Повільна робота бази даних: Наш початковий підхід не справлявся з високим навантаженням.
2. Неефективні ORM запити: SQLAlchemy іноді генерувала помилкові запити, що сильно сповільнювало роботу.

У наступному пості розповім про те, як ми вирішували ці проблеми та які уроки винесли з цього досвіду.

А поки що, поділіться в коментарях: чи стикалися ви з подібними проблемами при оптимізації високонавантажених ботів? Які підходи ви використовували? 👇

🚀 Оптимізація високонавантаженого бота: Частина 2

Тепер поговоримо про те, як ми вирішували ці проблеми і яких результатів досягли.

🛠 Процес оптимізації
1. Кешування:
- Ми частково перенесли взаємодію з базою даних на Redis. Це дозволило значно прискорити обробку запитів.
- Деякі запити, які не потребують миттєвого оновлення, ми винесли в кеш.

2. Аналіз та оптимізація запитів:
- Ми використовували EXPLAIN ANALYZE в PostgreSQL для виявлення неефективних запитів.
- В одному випадку ми виявили, що запит, який мав займати до 100 мілісекунд, виконувався 30 секунд через непомітну помилку в запиті, який створила ORM (Порада: Перевіряйте запити, які вона генерує, якщо вони складні).
- В іншому випадку (мал. 1-2) виявилось в яких місцях потрібно створити індекси в БД, що прискорило обробку запитів пов'язаних із завданнями в ~800 разів.

3. Оптимізація взаємодії з Telegram API:
- Ми зменшили кількість непотрібних запитів до Telegram API, що значно покращило швидкість роботи бота, і знизило кількість помилок TelegramRetryAfter.

4. Повна переробка UX:
- Ми переробили всього бота, щоб зробити його набагато зручнішим для використання.

5. Горизонтальне масштабування:
- Ми зробили ботів stateless з можливістю підняття багатьох реплік, що дозволило ефективно горизонтально масштабувати.

6. Моніторинг та логування:
- Ми перенесли логи і статистику в Grafana, а помилки сипляться в Sentry для кращого відстеження продуктивності та швидкого виявлення проблем.

💡 Ключові уроки
1. Важливість планування: Правильне проектування бази даних з самого початку може заощадити багато часу в майбутньому.
2. Постійний моніторинг: Регулярний аналіз продуктивності допомагає виявляти проблеми на ранніх стадіях.
3. Балансування рішень: Іноді доводиться шукати компроміс між ідеальною структурою та ефективністю.
4. Важливість кешування: Правильно налаштоване кешування може значно покращити продуктивність.
5. Аналіз запитів: Використання інструментів на кшталт EXPLAIN ANALYZE є критично важливим для оптимізації.