🔥 Chaos Engineering: как не бояться ломать прод и спать спокойно

Немного о Chaos Engineering простыми словами. Представьте, что ваш сервис — это машина. Вы не ждёте, пока она сломается на трассе, а специально дёргаете за провода, выключаете двигатель, прокалываете колесо — делаете всё это в безопасной среде, чтобы понять: «А что будет? Кто заметит? Как быстро починим?».

Цель: создать систему, которая защищена от случайностей, а если падает — восстанавливается сама за секунды. Звучит просто.

На практике применить Chaos Engineering — непростая задача. Всегда есть страх «что-то сломать» и сложность технически реализовать.

LitmusChaos MCP Server — инструмент, который упрощает реализацию Сhaos Engineering. Этот сервер на Go предоставляет полноценный интерфейс для управления экспериментами, инфраструктурами, средами и тестами на устойчивость. БЕЗ кода, YAML и конфигов. Всё взаимодействие — в чате с ИИ. Страх что-то сломать будет куда меньше.

Что может:

⚪️ Удалять frontend pod’ы
⚪️ Изменять network latency
⚪️ Создавать http probe, которая проверяет API каждые 5 секунд
⚪️ Получать статистику о экспериментах и не только

👉 Посмотреть на GitHub

@DevOpsKaz 😛

🔥 Первый спикер Cloud Native Community Day — Илиев Тельман, Head of DevOps в Tele2/Atlel

Илиев Тельман — инженер с 15-летним опытом в IT-индустрии. Его экспертиза в Cloud Native технологиях подтверждена пятью сертификатами CNCF.

На митапе Тельман выступит с докладом «Istio и Envoy: От хаоса микросервисов к управляемому трафику».

Вы разберетесь, что такое Service Mesh и какие проблемы микросервисной архитектуры он решает. Получите сравнение популярных прокси-серверов и выясните, почему Envoy стал ключевым выбором для Data Plane. Посмотрите, как Istio позволяет контролировать и гибко управлять сетевым трафиком.

👉 Приходить послушать Тельмана бесплатно

Satbayev University
актовый зал
13 ноября в 16:00

@DevOpsKaz 😛

🔥 Кейс Sector Tree: оптимизация инфраструктуры и миграция в облако

Разработчик софта обратился к нам в Core 24/7 для миграции части сервисов в облако, а также за ускорением time-to-market своих разработок. Миграция была необходима, так как компания Sector Tree столкнулась с серьёзными проблемами в своём дата-центре, где частые перебои с электроэнергией приводили к отключению серверов.

Инфраструктура была построена на классических виртуальных машинах, что ограничивало масштабируемость и отказоустойчивость. Ключевые сервисы, включая мониторинг и приложения, страдали от сбоев, что угрожало операционной эффективности.

В результате наших работ критичные сервисы после миграции в облако больше не зависят от перебоев в дата-центре. А детальный мониторинг увеличивает прозрачность состояния инфраструктуры. Также сократилось время выпуска обновлений продукта на 30-40%.

👉 Узнайте, что мы делали, в новом кейсе

@DevOpsKaz 😛

🔥 Второй спикер Cloud Native Community Day — Дюсенов Сайран, Head of Infrastructure, «Aitu-Платёжные Решения»

Дюсенов Сайран — профессионал с 20-летним опытом в IT. С 2017 года успешно сдает профессиональные экзамены от IBM, Red Hat, CNCF и LPI как в офлайн, так и в онлайн формате. Работает с обширным стеком как в квазигосударственных, так и в международных компаниях. Имеет 5 действующих сертификатов Red Hat и 2 сертификата CNCF.

Дюсенов Сайран выступит с темой «Сертификации Kubernetes от CNCF» и расскажет обо всех нюансах, тонкостях и бенефитах: что даёт сертификация в СНГ-реалиях, какие есть экзаменационные лайфхаки, как готовиться к сертификации, а также roadmap на 25-26 года.

👉 Приходить послушать Сайрана бесплатно

Satbayev University
актовый зал
13 ноября в 16:00

@DevOpsKaz 😛

🔥 Третий спикер Cloud Native Community Day — Крамча Саин, DevOps Engineer, Core 24/7

Саин выступит с докладом на тему «Организация парка Kubernetes кластеров». В современном enterprise-ландшафте Kubernetes уже давно перестал быть единственным кластером в продакшене. В крупной организации их десятки, а иногда и сотни. Каждый кластер — это своя версия Kubernetes, свои CNI, CSI, Ingress-контроллеры, свои RBAC-политики и свои секреты. Ручное управление такой флотилией превращается в операционный кошмар.

Именно поэтому управление multi-cluster Kubernetes должно быть так же декларативным, как сами приложения, которые в нём работают.

Satbayev University
актовый зал
13 ноября в 16:00

❗️ ОТКРЫЛИ РЕГИСТРАЦИЮ ЗАНОВО

Для тех, кто не мог зарегаться из-за высокого спроса — теперь можете, открыли 50 дополнительных мест.

1. Переходим по ссылке и жмем Attend
2. Логинимся с почтой Google и заполняем данные
3. На последнем шаге выбираем continue with free plan

@DevOpsKaz 😛

🔥 Helm v4.0.0 только что вышел — через 6 лет после v3!

Релиз приурочен к 10-летию Helm, который стал стандартом для деплоя в Kubernetes, помогая командам упрощать CI/CD.

Ключевые обновления:

⚪️ Плагин-система на WebAssembly: полная переработка (HIP-0026) с Extism — плагины теперь sandboxed, кросс-платформенные, без рестарта. Post-renderers стали плагинами.
⚪️ Server-side Apply: нативная поддержка Kubernetes для лучшего разрешения конфликтов и управления полями.
⚪️ Chart v3: новая версия с обратной совместимостью v2, подготовка к экспериментальному API v3.
⚪️ Мониторинг ресурсов: интеграция kstatus watcher для ожидания статуса ресурсов.
⚪️ Кеширование чартов: локальное content-based caching для ускорения.
⚪️ Производительность и SDK: переход на slog (структурированное логирование), reproducible builds, улучшенный Go SDK с embeddable командами.
⚪️ Безопасность: улучшенная OCI-поддержка, валидация зависимостей.

⚠️ Breaking changes

Переименование флагов (--atomic → --rollback-on-failure), удаление deprecated (--no-update), строгий YAML-check. Существующие чарты v2 работают, но скрипты CI/CD нужно обновить.

v4 упрощает GitOps, повышает безопасность цепочки поставок и ускоряет деплой на 30%. Идеально для больших команд — меньше багов, больше автоматизации.

@DevOpsKaz 😛

🔥 Как не сломать сервис в Kubernetes: роль PodDisruptionBudget

Иногда плановые работы в Kubernetes (обновления или смена нод) могут вывести сервис из строя. Чтобы этого избежать, используйте PodDisruptionBudget (PDB) — это объект, который ограничивает количество недоступных подов во время "добровольных" операций (voluntary disruptions).

PDB не спасёт от аппаратных сбоев, но сделает вашу инфраструктуру предсказуемой и устойчивой к изменениям. С PDB вы устанавливаете правила: сколько подов минимум должно работать (minAvailable) или сколько максимум может быть недоступно (maxUnavailable). Это напрямую влияет на SLO — если сервис должен быть доступен 99.9%, PDB помогает это гарантировать.

Как PDB работает на практике:

⚪️ Рассчитайте параметры: для сервиса с 5 подами minAvailable=3 значит, что всегда должно работать минимум 3. maxUnavailable=1 — одновременно падает не больше 1 пода.
⚪️ Интегрируйте с другими инструментами: PDB работает с Horizontal Pod Autoscaler (HPA) — чтобы при масштабировании не нарушать лимиты. В CI/CD добавьте проверки PDB перед деплоем.
⚪️ Мониторьте нарушения: используйте Prometheus для алертов на eviction events — если PDB блокирует операцию, это сигнал пересмотреть настройки.

Когда внедрять PDB:

⚪️Для критичных сервисов (базы данных, API), чтобы избежать каскадных сбоев.
⚪️В продакшене: всегда, если используете rolling updates или node maintenance.
⚪️Совет: начните с minAvailable=1 для простых сервисов, чтобы не заблокировать операции.

PodDisruptionBudget — это не опция, а обязательный инструмент для любого продакшн-сервиса в Kubernetes.
В Core 24/7 мы помогаем внедрять такие практики, чтобы ваш бизнес не терял ни секунды.

@DevOpsKaz 😛

Cloupard Leaders Club №2 — IT-лидерлеріне арналған офлайн іс-шара 🐆

☁️ Кездесудің тақырыбы — «Қазақстандағы жергілікті бұлттағы шешімдер: практика, тәжірибе, мүмкіндіктер».

➡️ Формат — IT-компаниялар мен IT-бөлімшелерінің жетекшілеріне арналған жабық кездесу.

✅ Жарнама — минимум, тәжірибе мен басқарушылық инсайттар — максимум.
✅ Біз бұлттың инженерлік қырларын ғана емес, сонымен қатар стратегияны да талқылаймыз: өнім, GTM, экономика, масштабтау.

🎤 Спикерлер — серіктестер экожүйесінен және Cloupard командасынан көшбасшылар мен сарапшылар. Диалог, нақты кейстер, Q&A (сұрақ-жауап).

➡️ Үзілістерде — сапалы нетворкинг, дәмді жеңіл тағамдар және сыйлықтар ұтыс ойыны.

⏱️ 21 қараша, 10:00–17:00
📌 Most IT Hub, Алматы.

Қатысу — өтінім бойынша.

🔗 Сілтеме арқылы тіркеліңіз

🤍🤍🤍🤍🤍🤍🤍🤍🤍🤍

Cloupard Leaders Club №2 — офлайн-мероприятие для ИТ-лидеров 🐆

☁️ Тема встречи — «Решения в локальном облаке Казахстана: практика, опыт, возможности».

➡️Формат — закрытая встреча руководителей ИТ-компаний и ИТ-подразделений.

✅ Минимум «рекламы», максимум практики и управленческих инсайтов.
✅ Обсуждаем не только инженерные аспекты облака, но и стратегию: продукт, GTM, экономику, масштабирование.

🎤Спикеры — лидеры и эксперты из экосистемы партнёров и команды Cloupard. Диалог, живые кейсы, Q&A.

➡️ В перерывах — максимум качественного нетворкинга, вкусные угощения и розыгрыш призов.

⏱️ 21 ноября, 10:00–17:00
📌 Most IT Hub, Алматы.

Участие — по заявке.

🔗 Регистрируйтесь по ссылке

🔥 Записи выступлений с Cloud Native Community Day

Провели первый митап в рамках инициативы Cloud Native на площадке нашего партнера Satbayev University — готовы поделиться докладами с вами.

👉 Смотреть записи докладов

По ссылке доклады:

⚪️ Илиев Тельман, Head of DevOps, Tele2/Atlel — «Istio и Envoy: от хаоса микросервисов к управляемому трафику»
⚪️ Дюсенов Сайран, Head of Infrastructure, «Aitu-Платёжные Решения» — «Сертификации Kubernetes от CNCF»
⚪️ Крамча Саин, DevOps Engineer, Core 24/7 — «Организация парка Kubernetes кластеров»

И не забудьте подписаться на YouTube-канал Cloud Native Kazakhstan — впереди много интересных событий.

Фотки можно посмотреть здесь.

@DevOpsKaz 😛

🔥 Структурируем риски в Jira

20 ноября в 17:00 (UTC+5) приглашаем на онлайн-вебинар Optimizing Risk Management with Jira. На вебинаре расскажут, как сделать риск-процессы понятными, прозрачными и полезными для команды.

Темы:

⚪️ Удобная структура рисков и корректная taxonomy
⚪️ Workflow, который помогает, а не усложняет
⚪️ Дашборды, показывающие угрозы заранее
⚪️ Автоматизация для своевременных действий

❗️ Вебинар на английском. Участие бесплатное по регистрации

👉 Регистрация

#партнерский_пост

📣 Ingress NGINX уходит на пенсию — официально

Вышла новость от SIG Network и Security Response Committee Kubernetes — Ingress NGINX официально уходит в отставку. Это не шутка — проект, который обрабатывал миллиарды запросов по всему миру — ВСЁ (после февраля 2026 года).

Kubernetes объявил о завершении поддержки Ingress NGINX — популярного контроллера для входящего трафика. С марта 2026 года — никаких обновлений, фиксов багов или патчей безопасности. Репозитории на GitHub станут read-only, но существующие установки продолжат работать (пока не сломаются).

Одна из причин в том, что Ingress NGINX был слишком гибкий — через аннотации можно вставить любой конфиг, что приводило к уязвимостям. И команда решила, что риски перевешивают пользу. Также экосистема эволюционирует: Kubernetes фокусируется на Gateway API как на современном стандарте, чтобы избежать таких "монстров".

Что делать теперь, если используете Ingress NGINX:

⚪️ Запланируйте миграцию до марта 2026. Текущие деплойменты не сломаются сразу, но без патчей риски вырастут.
⚪️ Выберите альтернативу: например, Gateway API — это официальный преемник Ingress. Альтернативы контроллерам Traefik, Istio, Envoy Gateway.
⚪️ Проверьте ваши CI/CD-пайплайны — обновите Helm-чарты и мониторинг.

@DevOpsKaz 😛

🔥 PROFIT Education Day 2025 — роль ИИ в образовании

21 ноября, 9:20
Алматы, ул. Желтоксан, 181, InterContinental Almaty
Регистрация уже открыта

Из года в год PROFIT Events собирает качественную аудиторию, крутые кейсы и лучших IT-спикеров, знающих все о цифровизации. В этот раз тема встречи — ИИ в образовании.

На конференции продемонстрируют международный опыт, расскажут о тенденциях развития ИТ-индустрии, о новых образовательных программах и решениях. Также можно будет обменяться практическим опытом с коллегами, запланировать пути сотрудничества с вендорами, подискутировать об инновационной модернизации сферы образования.

Главные темы PROFIT Education Day 2025:

⚪️ Цифровые университеты, ИТ-инфраструктура вузов и цифровой образовательный процесс.
⚪️ EdTech. Новые технологии в образовании, технологические стартапы.
⚪️ Дистанционное образование.
⚪️ Применение искусственного интеллекта и машинного обучения в образовании.
⚪️ Расширенная реальность (AR) и виртуальная реальность (VR) в образовательном процессе.

Почему важно посетить PROFIT Education Day 2025:

⚪️ Точка притяжения: профессиональное сообщество.
⚪️ Сок рынка: лучшие эксперты делятся своим опытом.
⚪️ Фокус на кейсы: практический опыт, лайфхаки, возможность пообщаться со спикерами.
⚪️ Максимальное погружение: день, наполненный инсайтами, и никакой «воды».

👉 Регистрируйтесь

#партнерский_пост

👀 Постмортем сбоя Cloudflare 18 ноября

Сегодня мы подвели весь интернет. Проблема в сети Cloudflare ударила по огромным объёмам трафика. Сайты, компании и организации, которые используют Cloudflare, рассчитывают на нашу доступность, и я прошу прощения за тот ущерб, который мы причинили. Это не была атака. Та проблема, тот ущерб, который она вызвала, и то, сколько заняло восстановление — всё это неприемлемо

18 ноября 2025 года, Cloudflare устроил глобальный сбой — с 11:20 до 17:06 UTC (почти 6 часов хаоса). Это была классическая "тихая бомба" в конфигурации. Хронология событий:

11:20 Начало деградации — трафик не проходит через сеть Cloudflare. Пользователи видят HTTP 5xx-ошибки.
11:20–12:00 Подозрение на DDoS, статус-страница тоже падает.
12:00–14:30 Диагностика: проблема в Bot Management. Конфигурационный файл (feature file для ML-модели ботов) удвоился из-за бага в ClickHouse-запросе (дубликаты строк). Файл превысил лимит размера, вызвав краш в прокси-софте (FL и FL2).
14:30 Основной трафик восстанавливается — остановили распространение файла и вернули старую версию.
14:30–17:06 Зачистка последствий — повышенная нагрузка от возвращающегося трафика. Полное восстановление.

Затронутые сервисы:

⚪️ Core proxy (FL/FL2) — 5xx-ошибки
⚪️ Workers KV и Access — сбои
⚪️ сайты с bot-blocking правилами — ложные срабатывания (бот-скоры = 0)

Корень проблемы:

Баг в правах базы данных (ClickHouse) — дубликаты записей в feature file (конфиг для ML-модели Bot Management). Файл обновляется каждые несколько минут и распространяется по сети для адаптации к бот-угрозам.

👉 Смотреть полный разбор инцидента

@DevOpsKaz 😛

🔥 Результаты тестирования Alem.Cloud — казахстанского национального суперкомпьютера

АО «Национальные информационные технологии» (NITEC) развернул национальный суперкомпьютер Alem.Cloud.

Технические специалисты NITEC совместно с международными партнерами провели комплексное тестирование по методологии HPL (Linpack), глобальному эталону вычислительной мощности, чтобы замерить производительность системы и подтвердить ее готовность.

C радостью и гордостью сообщаем, что Alem.Cloud занял 86 место в международном рейтинге самых мощных вычислительных систем мира — TOP500. Желаем коллегам дальнейших успехов в их проектах!

@DevOpsKaz 😛