🔥 CPU Limits в Kubernetes: Как избежать троттлинга и ускорить приложения

Статья по докладу о CPU Limits в Kubernetes объясняет их влияние на производительность контейнеров. Автор разбирает концепцию CPU Requests и Limits, их связь с cgroups v2 и даёт рекомендации по использованию.

Самое главное ниже 👇

CPU Requests задают минимально гарантированное процессорное время для контейнера, а CPU Limits — максимальное.

Limits ограничивают использование процессора в "окне" 100 мс (например, при лимите 0.4 ядра контейнер получит 40 мс из 100 мс). Это реализуется через cgroups v2 в Linux, которые управляют распределением ресурсов.

Проблемы с CPU Limits:

Для приложений, чувствительных к задержкам, throttling критичен: могут не сработать liveness probes, пропуститься heartbeat-события, увеличиться задержка ответа.

Даже при низкой загрузке процессора (например, 50%) контейнер может троттлиться из-за многопоточности или ошибок в ядре Linux.

Как работает throttling:

Если задаче нужно 200 мс процессорного времени, но у вас лимит 0.4 (40 мс на 100 мс), то 160 мс придётся ждать новых "окон". Итог: задача займёт 440 мс вместо 200 мс, так как 60 мс в каждом окне — это простой. Throttling (замедление) возникает, даже если у узла есть свободные ресурсы.

Когда использовать CPU Limits:

⚪️ Нужно: в редких случаях, например, для пакетных задач (batch jobs), где задержки некритичны, или если есть баг в приложении, из-за которого оно потребляет слишком много CPU.
⚪️ Не нужно: для большинства приложений, особенно чувствительных к задержкам (веб-серверы, базы данных). Лучше полагаться на CPU Requests, чтобы гарантировать минимум ресурсов без искусственного замедления.

Рекомендации:

➖ Устанавливайте только CPU Requests, чтобы гарантировать минимум ресурсов без троттлинга.
➖ Если Limits всё же нужны, делайте их значительно выше Requests (например, в 2–3 раза), чтобы учесть пиковые нагрузки.
➖ Регулярно мониторьте метрики и корректируйте настройки, особенно при росте нагрузки.
➖ Проверяйте логи приложений на увеличение времени обработки запросов.
➖ Обновляйте ядро Linux до версий без багов CFS (Completely Fair Scheduler), которые могут вызывать лишний троттлинг.

@DevOpsKaz 😛

🔥 Участвуйте в AppSecFest 2025 — выигрывайте 4 Macbook-а и другие призы

Уже в эту пятницу 25 апреля мы встретимся на важном событии в мире IT, разработки и безопасности — AppSecFest 2025.
В программе:

⚪️ 2 конференц-зоны: App — инновации в разработке ПО, Sec — все о безопасности приложений
⚪️ 20+ ведущих спикеров: топовые эксперты поделятся своими знаниями и опытом
⚪️ 2+ панельные сессии: обсуждения горячих тем и трендов отрасли
⚪️ 1000+ участников — возможность для нетворкинга и обмена опытом
⚪️ Лидеры индустрии — познакомьтесь с ключевыми игроками и партнерами
⚪️ Игровая зона и дрон-футбол
⚪️ Подарки и розыгрыши
⚪️ OpenCTF

➡️ Регистрируйтесь здесь

Ждем вас на AppSecFest 2025 в Алматы!

#партнерский_пост

@DevOpsKaz 😛

🔥 Новости мира DevOps и не только

⚪️ Oracle Critical Patch Update

Oracle исправила 378 уязвимостей в MySQL, Java SE, VirtualBox и других продуктах в апрельском обновлении безопасности.

⚪️ Freedom Cloud в Казахстане

В Алматы началось строительство дата-центра Freedom Cloud с инвестициями 175 млрд тенге от Freedom Holding Corp. Проект усилит цифровую инфраструктуру, создаст рабочие места и будет соответствовать стандартам NVIDIA.

⚪️ Almaty Hub: трансформация инноваций

«Парк инновационных технологий» переименован в Almaty Hub (by Astana Hub). Новый гендиректор Ержан Тасмухан займётся развитием стартапов и привлечением инвестиций.

⚪️ Казахстанские стартапы в StartX

Наш клиент — Parqour (управление парковками), Aidentis (AI-диагностика в стоматологии) и TrustExam.ai (честность онлайн-обучения) прошли в летнюю программу акселератора StartX при Стэнфорде.

@DevOpsKaz 😛

🔥 Как Amazon справилась с нехваткой GPU

В 2024 году Amazon столкнулась с глобальной нехваткой GPU из-за бума ИИ-технологий и дефицита чипов NVIDIA. Это сильно ударило по ретейл-подразделению, где внутренние проекты начали тормозить из-за недостатка вычислительных ресурсов.

Если инфраструктура не справляется с нагрузкой, это напрямую влияет на скорость разработки, доставку продуктов и, в конечном счёте, на прибыль компании.

💡 Решение: Project Greenland и новые правила распределения

Компания ввела строгие правила, основанные на следующих принципах:

⚪️ Приоритет по ROI: мощности GPU распределяются по проектам, которые приносят наибольшую финансовую выгоду или снижают затраты. Если проект не оправдывает ожиданий, выделенные ресурсы могут быть отозваны.
⚪️ Централизованное управление: все запросы на GPU теперь проходят через Project Greenland, что позволяет отслеживать использование ресурсов и перераспределять их между командами.
⚪️ Максимальная утилизация: платформа следит за простаивающими серверами и перераспределяет их на более приоритетные задачи.
⚪️ Долгосрочный рост: распределение ресурсов должно способствовать увеличению свободного денежного потока компании в будущем.

Результат:

К 2025 году ситуация улучшилась. Дефицит GPU устранён, а их собственный чип Trainium начал удовлетворять потребности ретейл-подразделения к концу года.

Project Greenland показывает, как централизованное управление и приоритизация по бизнес-целям помогают справляться с ограничениями ресурсов. DevOps-команды могут адаптировать этот подход, особенно если работают с ресурсоемкими ИИ.

@DevOpsKaz 😛

🔥 Устройство файловых систем контейнеров

Контейнеры — это черный ящик для большинства инженеров. Предлагаем статью, которая позволяет лучше разобраться в том, как именно они устроены и работают.

После пояснения основных концептов на наглядных примерах создадим файловую систему контейнера, имитируя деятельность Docker.

👉 Читайте в блоге

@DevOpsKaz 😛

🔥 CORE 24/7 приглашает на вакансию DevOps-инженера

Алматы/Астана, офис
Опыт работы: 2-3 года
Полная занятость
ЗП: 450 000 — 1 000 000 тг.

Задачи:
— Поддерживать production так, чтобы бизнес был спокоен
— Спасать клиентов в случае аварий
— Выстраивать процессы CI/CD
— Переносить приложения в Kubernetes. Запускать и настраивать их
— Конфигурировать СУБД, серверы очередей и прочий софт. Делать более надежными и быстрыми.
— Разрушать стену между разработкой и администрированием

С кем вы будете работать:
— С клиентом, тимлидом и ПМом
— С командой разработки инструментов, сервисов и технологий для упрощения работы (автоматизация наше все)

Требования:
— Отличные знания Linux-систем - ежедневная эксплуатация от 3 лет, опыт в DevOps - от 1 года
— Понимание работы веб-приложений и опыт их эксплуатации - от 3 лет
— Понимание веб-стека (HTTP, TCP/IP), устройства и работы сетей, базовые навыки с iptables
— Понимание принципов СУБД, построения и эксплуатации распределенных систем
— Умение сформулировать алгоритм и писать скрипты

Что мы предлагаем:
— Погружение в передовые cloud-native-технологии и участие в разработке Open Source / AI продуктов.
— Уникальная открытая корпоративная культура: отсутствие строгой субординации, самостоятельность и доверие.
— Постоянное обучение у крутых коллег, которые готовы делиться опытом: у нас есть все необходимое для роста и развития.
— Курсы английского языка, отраслевую сертификацию, компенсацию тренажерного зала и прочие бонусы.

Писать сюда:
👉 aissabekova@core247.io
👉 @issaika

Полное описание вакансии

@DevOpsKaz 😛

🔥 Оптимизация ресурсов для инференса LLM без лишних сложностей

Если хотите не только обучить LLM, но и приручить ее (а выходные для этого само то 😂), мы поможем подобрать инфраструктуру.

Список полезных ресурсов помжет разобраться в настройке, тестировании и оптимизации больших языковых моделей:

⚪️ Модели и их документация

• Карточка модели Qwen2.5-32B-Instruct-AWQ на Hugging Face — содержит описание модели, параметры и инструкции по использованию.
• Документация по квантованию: GGUF, AWQ и GPTQ — полезно для понимания методов оптимизации памяти.

⚪️ Оценка и расчёт ресурсов

• Статья NVIDIA, как оценить требования к VRAM при выборе GPU для инференса.
• Онлайн-калькулятор VRAM LLM Calc — удобный инструмент для расчёта необходимой памяти в зависимости от параметров модели и квантования.

⚪️ Фреймворки для инференса

• Ollama — простой инструмент для локального инференса LLM.
• SGLang — фреймворк для ускорения инференса, с открытым кодом.
• VLLM — высокопроизводительный фреймворк для серверного инференса.
• Документация по настройке VLLM Engine Args — подробное описание параметров для оптимизации работы VLLM.

⚪️ Инструменты нагрузочного тестирования

Универсальные инструменты: Locust, k6, Gatling, Apache JMeter, Яндекс.Танк — подходят для тестирования производительности бэкендов.

⚪️ Инструменты NVIDIA для инференса:

• Perf Analyzer — утилита для анализа производительности инференса.
• Gen AI Perf — специализированный инструмент для LLM.
• Режимы Gen AI Perf: Analyze и Sessions — помогают анализировать производительность в различных сценариях.

⚪️ Бэкенды Triton для LLM

• VLLM Backend — интеграция VLLM с Triton Inference Server.
• TensorRT LLM Backend — бэкенд для ускорения инференса с использованием TensorRT.
• Triton CLI — упрощает импорт конфигураций и запуск инференса на Triton.

⚪️ Бенчмарки и сравнения

• TensorRT LLM Performance Overview — бенчмарки производительности TensorRT LLM от NVIDIA.
• Статья BentoML — сравнение различных бэкендов для инференса LLM.

Эта подборка охватывает все этапы работы с LLM: от выбора модели до тестирования производительности.

Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

📣 Приходите на большую облачную конференцию в Алматы

29 мая пройдет VK Cloud Nomad Fest — конференция про облачные технологии, работу с данными, построение карьеры в ИТ, развитие личного бренда. Вы узнаете про сервисы для работы с ИТ-инфраструктурой, коммуникациями и финансами.

Вас ждут 15 докладов от технических специалистов, ИТ-директоров и карьерных экспертов. А еще, панельные дискуссии и общение с новыми коллегами из сферы ИТ.

В программе:

⚪️ Катастрофоустойчивость инфраструктуры
⚪️ Работа с КВОИКИ в облаке
⚪️ Практическое применение AI в бизнесе
⚪️ Истории запуска стартапов с грантом VK Cloud
⚪️ Создание продукта с нуля — сессия QazCloud

В первой части будет активный обмен опытом и практика применения актуальных технологий. Во второй — активный отдых, неформальное общение, консультации от архитекторов и HR, барбекю на открытом огне, живая музыка и DJ-сет.

👉 Зарегистрируйтесь, чтобы узнать подробнее

#партнерский_пост

@DevOpsKaz 😛

🔥 GitHub пишет код для защиты кода — и активно использует CodeQL

Этот пост для вас, если хотите интегрировать CodeQL в CI/CD, улучшить безопасность кода без лишних затрат времени и защитить продукт от уязвимостей ещё на этапе разработки.

⚪️ В чем суть:

GitHub интегрировал CodeQL в свою платформу, чтобы автоматически сканировать код на наличие уязвимостей. Это особенно полезно для крупных проектов, где вручную проверять код слишком долго и дорого.

CodeQL поддерживает Java, Python, C++ и другие — и умеет выявлять типичные проблемы вроде SQL-инъекций, XSS-атак и других угроз.

⚪️ Как работает:

CodeQL создаёт базу данных из кода проекта, а затем применяет к ней запросы, которые ищут подозрительные паттерны. Например, он может найти места, где данные пользователя напрямую попадают в SQL-запрос без проверки. GitHub использует это в фиче Code Scanning, которая доступна в репозиториях и помогает сразу видеть проблемы.

Также CodeQL позволяет писать кастомные запросы, чтобы искать специфические уязвимости, которые важны для конкретного проекта.

👉 Узнайте больше, как GitHub применяет это на своей платформе

@DevOpsKaz 😛

📣 Подайте заявку на Pentest award 2025 и выиграйте призы

Новая яркая лампочка в гирлянде рынка кибербезопасности — компетентных специалистов, которые остаются за кадром большой работы по поиску уязвимостей.

Участие все еще бесплатное, а прием заявок продлится до 30 июня.

⚪️ Главный приз — Macbook и стеклянная именная статуэтка
⚪️ 2-3 место — призеры получат iPhone и смарт-часы.
⚪️ OFFZONE подарит финалистам билеты на свою конференцию 2025, а учебный центр CyberEd гранты на обучение.

Ну и конечно, самая ценная награда за участие — почет и уважение сообщества этичных хакеров.

👉 Отправляйте заявки на сайте, участвуйте и побеждайте!

#партнерский_пост

@DevOpsKaz 😛

🔥 Образовательный дайджест на май

Где можно прокачаться в IT в последний месяц весны? Рассказываем:

🔵 Успехи студентов курса DevOps Upgrade

Участники курса справились с самым сложным. За 6 месяцев они освоили CI/CD, глубоко погрузились в Kubernetes и узнали многое другое — и теперь готовы к следующему шагу. Осталось пройти финальное тестирование

DevOps Upgrade — это курс с высокой нагрузкой и большими результатами. Для IT-специалистов, которые хотят прокачать hard skills, повысить свою стоимость на рынке труда и построить карьеру подготовленного DevOps-инженера.

🔵 Вебинар «Траблшутинг K8s: инструменты и лайфхаки для разработчиков» — 14 мая в 21:00 (Алматы)

◼️ вспомним kubectl;
◼️ посмотрим сайдкар контейнеры и узнаем, зачем их использовать;
◼️ разберёмся с сетевыми проблемами;
◼️ научимся использовать strace для сложных случаев.

👉 Занять место

🔵 Курс «Kubernetes: База» — cтарт 12 мая

Получите фундамент навыков по работе с системой автоматизации развёртывания, масштабирования и управления приложениями в контейнерах.

👉 Какой подход вы используете, чтобы работать с долгоживущими сессиями от пользователей? Разбираем долгоживущие подключения в k8s в гайде.

🔵 Курс «Golang-разработчик» — старт 19 мая

Научитесь создавать реальные проекты, используя актуальные подходы разработки на Go и соберёте полноценный сервис для портфолио.

👉 Чек-лист готовности приложения на Golang, чтобы вы могли заранее оценить риски и убедиться, что ваше приложение готово к запуску в прод

🔵 Курс «Архитектура приложений» — старт 26 мая

Научитесь смотреть на систему, как архитектор и анализировать её; проектировать ПО, учитывая изменчивость ИТ-систем; рефакторить код и многое другое.

Бесплатный roadmap для развития архитектурного мышления поможет:

◼️ пересмотреть выбранные архитектурные решения;
◼️ понимать, как работают архитекторы, дополнять и корректировать их работу;
◼️ двигаться дальше по карьерному треку технического специалиста.

👉 Забрать roadmap

🔵 Курс «Kubernetes для разработчиков» — старт 26 мая

Научим правильно разрабатывать приложение под k8s и запускать его в кластере, смотреть логи, собирать метрики, писать Helm-чарты, CI/CD, дебажить приложения в кубе.

🔵 DevSecOps Bootcamp: безопасность без отрыва от продакшена — старт 7 июня

Для компаний, в которых безопасность — не просто compliance. DevSecOps позволяет предотвратить риски, внедрив безопасность на всех этапах разработки.

За 4 дня и неделю практики команда научится встраивать безопасность в процессы — от кода до CI/CD — чтобы ускорить релизы и снизить риски. Экспертиза двух лидеров рынка: Kaspersky + Positive Technologies.

🔵 DevOpsDays Tashkent 2025 — уже 24 мая

Покупайте билет и участвуйте в DevOpsDays Tashkent, чтобы набраться опыта и завести полезные связи.

@DevOpsKaz 😛

🔥 Как упростить работу с PostgreSQL в Kubernetes. Разбираем PGO от Crunchy Data

Если вы управляете базами данных в Kubernetes, то знаете, сколько времени уходит на настройку, мониторинг и обновления. В статье на Medium автор подробно рассказывает про PGO (Postgres Operator) от Crunchy Data — инструмент, который автоматизирует работу с PostgreSQL.

👉 Читать статью полностью и узнать, чем лучше Zalando Operator.

⚪️ Что такое PGO

Это оператор Kubernetes, который берёт на себя рутину: от развертывания PostgreSQL-кластеров до настройки высокой доступности (HA) и резервного копирования. Работает с Patroni, чтобы кластеры оставались на плаву даже при сбоях.

⚪️Чем поможет нам

— Автоматизация: разворачивайте кластеры, настраивайте реплики и бэкапы (pgbackrest) без ручной работы.
— Оптимизация: можно сделать мощный Primary и лёгкие реплики, чтобы не тратить лишние ресурсы.
— Мониторинг: встроенный pgmonitor (лучше postgres_exporter) даёт видимость состояния кластера. Интеграция с Grafana также доступна.
— Безопасность: контейнеры без root, суперпользователь ограничен — меньше рисков утечек данных.
— GitOps: PGO дружит с Helm и Kustomize.

❗️ Обновление мажорных версий PostgreSQL сложное — нужно использовать CRD и перезапускать кластер. Поэтому планируйте заранее.

PGO — отличный выбор, если нужна надёжная PostgreSQL в Kubernetes с минимумом ручного труда. Особенно для e-commerce или финтеха, где важны HA и отказоустойчивость.

@DevOpsKaz 😛

👀 No-as-a-Service (NaaS) — забавный API, который выдаёт случайные причины для отказа

NaaS предлагает креативные или реалистичные поводы сказать «нет» — будь то для шутки, симуляции отказа или даже интеграции в проекты.

Случайный текст отказа выбирается из базы с более чем 1000 универсальных причин — от серьёзных («Я занят, у меня дедлайн») до абсурдных («Я занят, у меня встреча с диваном, и он не принимает отказов»).

Как работает:

⚪️ API написан на Node.js. Вся база причин хранится в файле reasons.json
⚪️ После GET-запроса на /no API возвращает JSON с одной случайной причиной
⚪️ Есть лимит в 120 запросов в минуту на IP, чтобы избежать перегрузки (библиотека express-rate-limit)
⚪️ API можно встроить в чат-ботов или системы автоматизации, чтобы генерировать отказы в реальном времени
⚪️Проект под лицензией MIT, можно свободно использовать и модифицировать

Теперь вам точно есть, чем заняться в выходные 😜😂 Пробуйте и делитесь с коллегами 🫡

@DevOpsKaz 😛