🔥 Сбой сервисов AWS и цепная реакция

Сбой AWS затронул не только Amazon, Snapchat, Prime Video, Canva, но и онлайн-магазины, кинотеатры, службы такси, мессенджеры, онлайн-игры и даже "умные матрасы" по всему миру. Сбой начался с US East-1, распространившись на другие регионы.

Предполагается, что:

1. Корень проблемы — в сбое, связанном с elevated level of errors (повышенным уровнем ошибок)
2. Возможно из-за проблемы DNS сервисы AWS перестали взаимодействовать друг с другом.
3. Это вызвало сбой DynamoDB, от которого зависят многие сервисы AWS.
4. Инстансы EC2 и функции Lambda начали выходить из строя по мере распространения проблемы.
5. AWS устранили проблему с DNS, но некоторые сервисы всё ещё восстанавливаются.

Пока ждем официального постмортема, важно понимать, что сбой подчёркивает риски облачных зависимостей и напоминает про мультиоблако.

@DevOpsKaz 😛

🔥 Helm v4 — что нас ждет

Новые архитектурные шаблоны и улучшенная функциональность при сохранении обратной совместимости для чартов — и не только.

⚪️ Основные архитектурные изменения

Полная переработка плагин-системы (HIP-0026) с использованием WebAssembly (Extism), интеграция server-side apply в Kubernetes для улучшенного управления ресурсами, внедрение Chart v3 с поддержкой обратной совместимости с v2, реструктуризация пакетов (например, pkg/chart/v2, pkg/release/v1) для обеспечения будущей совместимости.

⚪️ Изменения в CLI

Переименование флагов (--atomic → --rollback-on-failure, --force → --force-replace), удаление устаревших флагов (--no-update, --create-pods), рефакторинг структуры cmd/helm для использования Helm как Go-библиотеки.

⚪️ Основные новые функции

Мониторинг статуса ресурсов через kstatus watcher, установка из OCI-репозиториев по хэшу, улучшенная обработка шаблонов (многофайловые values, функции mustToYaml/mustToJson), поддержка JSON-аргументов, кастомных функций и пост-рендеринга для хуков.

⚪️ Технические улучшения

Оптимизация производительности (кеширование на основе содержимого, избежание дублирования зависимостей), усиленная безопасность (OCI-аутентификация, подпись чартов, улучшенная поддержка TLS), переход на Go 1.24, улучшение логирования (slog), обновление линтинга и очистка зависимостей.

⚪️ Плагины

Полная переработка с WebAssembly, поддержка распределения через OCI, изолированная (sandboxed) среда выполнения, интеграция пост-рендеринга как плагин-типа.

⚪️ Фиксы и стабильность

Улучшена идентификация ресурсов по GroupVersionKind, оптимизация работы хуков, поддержка кастомных ресурсов (CRD), устранение нестабильных (flaky) тестов, соблюдение XDG-стандартов и исправление race conditions (DNS, горутины).

⚪️ Влияние

— Для пользователей: улучшенный мониторинг (kstatus) и настройка конфигураций.
— Для плагин-разработчиков: необходимость миграции на WebAssembly-runtime.
— Для создателей чартов: новые возможности Chart v3 и улучшенная валидация.

Релиз Helm v4 запланирован на ноябрь 2025 года. Ждете? 😎

@DevOpsKaz 😛

🔥 Подборка инструментов DevOps

⚪️ k7

Инструмент позволяет поднимать инфраструктуру на легковесных VM. В составе: Kubernetes, Kata, Firecracker, Devmapper Snapshotter. Есть API и Python SDK.

⚪️ KubeVirt

Фреймворк для запуска и управления ВМ как нативных ресурсов Kubernetes через CRD: kubectl-управление, CNI/CSI-сети, live migration, cloud-init, интеграция KVM/QEMU. Единая платформа для контейнеров и виртуальных машин.

⚪️ Codeaudit

Утилита для анализа Python-проектов на уязвимости безопасности: сканирует код (>70 правил), выявляет проблемы в импортах (OSV Database), показывает SLOC/AST/сложность проекта и файлов. Генерирует красивые HTML-отчёты (JSON — через настройки). Идеально для быстрого code review безопасности.

⚪️ Dive

Инструмент для исследования образа Docker, содержимого слоев и поиска способов уменьшения размера образа Docker/OCI.

@DevOpsKaz 😛

🔥 Cloud Native Community Meetup Almaty

📅 13 ноября, 16:00 – 19:00
📍 Satbayev University, Алматы

QOSI (Qazaq Open Source Initiative) приглашает инженеров, SRE, DevOps и платформенные команды на главное cloud-native событие осени — Cloud Native Community Meetup Almaty!

На встрече вас ждут lightning-доклады, живые демо и открытые обсуждения о Kubernetes, observability, supply-chain security, платформенной инженерии и оптимизации затрат.

Организаторы: QOSI — Qazaq Open Source Initiative, Freedom Cloud, CORE 24/7 в партнёрстве с Cloud Native Kazakhstan.

👉 Регистрация на бесплатный Meetup

@DevOpsKaz 😛

🔥 Инфраструктура ML-кластера

Представьте: мы построили кластер, добились работоспособности инфраструктуры, настроили ROCEv2, DCQCN и прочие страшные слова, — «работает – не трогай….». А если все же копнуть чуть глубже?

В докладе Павла Михайлика вы найдете ответы, почему стоит оптимизировать сетевую инфраструктуру и к каким результатам это может привести. Описываются и подходы, и примеры. А разбираться там действительно есть с чем.

👉 Смотреть доклад

P.S. А скоро мы опубликуем доклады с DevOpsDays Almaty 25 😏

@DevOpsKaz 😛

👀 Почему рекомендуют мониторинг VictoriaMetrics для self-hosted решений

В 2024 году Prezi решила модернизировать устаревшую систему мониторинга на Prometheus (5+ лет, 5 млн активных серий, высокие затраты).

Цель: перейти на Kubernetes, упростить архитектуру и сократить расходы. После сравнения Thanos, Mimir и VictoriaMetrics выбрали последнюю за простоту и дешевизну (block storage вместо S3).

PoC: кластерная версия VictoriaMetrics показала отличную производительность (запросы 3–7 сек вместо 30+), экономию ресурсов (–70% хранилища, –60% RAM, –30% CPU). Однако межзонный трафик в AWS (VMInsert/VMSelect ↔️ VMStorage) резко увеличил счёт.

Финальное решение: отказ от кластера в пользу двух VictoriaMetrics Single в разных AZ (hot-hot HA), VMAlert рядом, балансировщик для Grafana. Трафик между зонами — только от агентов. Добавили отдельный VMSingle для долгосрочного хранения и VictoriaMetrics Operator для конфигурации через CRD.

Результаты:

⚪️ –30% затрат
⚪️ Быстрые запросы
⚪️ Упрощённая настройка
⚪️ Grafana Cloud + self-hosted через Private Data Connect

Миграция сделала мониторинг дешевле, быстрее и удобнее.

@DevOpsKaz 😛

🔥 Вакансия в CORE 24/7 — Middle DevOps-инженер

Одного инженера нашли, но два — всегда лучше 😜

Алматы, офис
Требуемый опыт работы: 1-2 года
Полная занятость, полный день
Заработная плата: 450 000 - 1 000 000 тг net
Контакты: Telegram @issaika

⚪️ Чем предстоит заниматься:

• Поддерживать production так, чтобы бизнес мог быть спокоен.
• Спасать клиентов в случае аварий: быстро, решительно, профессионально.
• Выстраивать процессы CI/CD.
• Переносить приложения клиента (на любом языке, фреймворке и технологии) в Kubernetes с помощью различных инструментов. Запускать и настраивать их.
• Искать способы сделать более надежными и быстрыми базы данных, серверы очередей и прочий софт.
• Разрушать стену между разработкой и системным администрированием; консультировать разработчиков клиента, вместе приходить к лучшим решениям и практикам.

⚪️ С кем вы будете работать:

• Со своей командой увлеченных профессионалов.
• С тимлидом и ПМом, которые всегда помогут, обучат и направят.
• Напрямую с клиентом, но в этом будут помогать тимлид и ПМ.
• С внутренними командами, разрабатывающими инструменты, сервисы и технологии для упрощения работы.

⚪️ Требования:

• Отличные знания Linux-систем — ежедневная эксплуатация от 3 лет; опыт в DevOps — от 1 года.
• Понимание того, как функционируют современные веб-приложения, и опыт их эксплуатации — от 3 лет.
• Понимание веб-стека (HTTP, TCP/IP), устройства и работы сетей, базовые умения работы с iptables.
• Понимание принципов работы СУБД, а также построения и эксплуатации распределенных систем.
• Умение сформулировать алгоритм и уверенно писать скрипты.
• Понимание того, что удалёнка — это серьёзная работа, а не оплачиваемый отдых.

⚪️ Пожелания:

• Опыт использования современных NoSQL-решений (особенно MongoDB и Redis).
• Опыт в Kubernetes.
• Опыт настройки реляционных баз данных для отказоустойчивых/высоконагруженных систем.
• Опыт разработчика.
• Хорошие знания основ системы виртуализации KVM и контейнеров Docker.
• Опыт работы с облачными платформами (Yandex clod, AWS, GCP, Azure и др).
• Знание Prometheus/Grafana.
• Знание Elasticsearch (ELK).
• Знание RabbitMQ.

⚪️ Писать сюда:

👉 aissabekova@core247.io
👉 @issaika

🔥 Супербыстрый reverse proxy на Rust для Kubernetes

Aralez — высокопроизводительный reverse proxy и service mesh на Cloudflare Pingora (Rust). Работает как Ingress-контроллер для Kubernetes с нулевой настройкой.

Ключевые фичи:

⚪️ Zero-config: автоматическая поддержка gRPC и WebSocket
⚪️ Динамика: hot-reload upstream'ов и SSL-сертификатов (без рестарта)
⚪️ Аутентификация: Basic Auth, API-токены, JWT (с генерацией токенов)
⚪️ Балансировка: Round-robin, failover с health-checks, sticky sessions
⚪️ Rate limiting: Глобальный + per-path
⚪️ Встроенный file server для статики
⚪️ Prometheus metrics из коробки

☄️ Бенчмарки показывают 120k+ RPS (лучше Traefik в тестах)

@DevOpsKaz 😛

🔥 Не прячьте Kubernetes — дайте разработчикам Environments

Инструменты DevOps уже достаточно зрелы и справляются с повседневными задачами, связанными с кластерами Kubernetes — большинство из них рассматривают K8s как ещё одну инфраструктуру. Легко найти решения для установки кубера, мониторинга кластера, обеспечения безопасности, оценки затрат и т.д.

Но сколько инструментов ориентированы на разработчиков и их задачи?

Некоторые компании даже пытаются полностью скрыть Kubernetes от разработчиков с помощью "дырявых" абстракций или так называемых developer portals. Такие инициативы почти всегда проваливаются — просто потому, что никто не спросил разработчиков, что им действительно нужно.

90% "developer-first" инициатив проваливаются из-за игнорирования реальных болей разработчиков. Что думают компании и что нужно dev’ам на самом деле — читайте в статье.

👉 Читать на Medium

Kubernetes — это не про кластеры, а про опыт, скорость и безопасность.

@DevOpsKaz 😛

Немного об ивентах на ноябрь. После этого уже все будут с мыслями о новом годе.
Помимо нашего ивента в ноябре планируется:

Yandex Neuro Scale – 5 ноября, флагманская конференция, где будут анонсировать новинки от клауда.

Peer Point Cloudflare – 12 ноября, проводится впервые, учитывая, что у нас есть точки в трех ЦОДах (Алматы, Астане и Актобе). Можно будет послушать интересные use case.

Google DevFest Almaty – 22 ноября, отличная возможность узнать про кейсы с GCP и работу с их сервисами.

Digital Kazakhstan – 26 ноября, ??? думаю будет интересно C-level аудитории.

Fintech Stars Battle - 14 ноября, битва стартапов, с инвестициями за первое место 50к $. Тут можно по нетворкиться.

Я конечно, больше люблю такие ламповые митапы, как, например, 31 октября от Bereke Bank. Если знаете еще ивенты - кидайте в комменты, соберем список.

🐈Подписаться

🔥 Образовательный дайджест на ноябрь

До Нового года 2 месяца — еще можно успеть реализовать планы на 2025. В том числе подтянуть или освоить новые навыки.

⚪️ Вебинар «DevOps в 2025: что изменилось и куда двигаться дальше», 11 ноября, 18:00

Границы DevOps продолжают размываться — в 2025 году роль инженера стала ещё более многогранной и сложной для определения. На вебинаре разберём, почему DevOps до сих пор разный для разных компаний, как читать между строк в вакансиях и отделять реальные требования от желаний, какие есть карьерные пути от Junior до Lead, а также стратегии роста в условиях, когда нужно знать сразу всё.

👉 Присоединиться

⚪️ Курс Ansible: IaC, 10 ноября

Вы освоите инструмент, с которым автоматизируете рутинные задачи, сократите количество ошибок и высвободите время для развития и масштабирования проекта. Научитесь писать плейбуки и роли, деплоить Flask-приложения, настраивать IaC в Gitlab, автоматизировать процесс управления IT-инфраструктурой и т.д.

👉 Подробности — по ссылке

⚪️ DevSecOps Bootcamp, 15 ноября

Security находит уязвимость → вы тратите день на правки → снова прогон сканера → процесс повторяется. Знакомо?

Проблема не в уязвимостях, а в процессе. DevSecOps про то, чтобы делать работу быстрее и не переделывать.

На интенсиве вы поймёте, как встраивать инструменты безопасности на всех этапах разработки и эксплуатации и сможете сокращать риски до 70%. А ещё это крутой способ прокачать свой CV. DevSecOps — один из самых востребованных и дефицитных скиллов 2025.

👉 Записаться на интенсив

⚪️ Курс Администрирование Linux, 17 ноября

Best Practices работы в Linux. За 7 недель вы изучите продвинутые аспекты конфигурирования и безопасности, научитесь автоматизировать и оптимизировать системы и закрепите навыки практикой на виртуальных стендах.

👉 Занять место

⚪️ Курс Docker для админов и разработчиков, 17 ноября

Курс не про набор базовых команд, а про то, как эффективно использовать Docker и быстро решать задачи, с которыми IT-специалисты сталкиваются каждый день.

👉 Узнать больше

⚪️ Курс SRE: data-driven подход к управлению надежностью систем, 17 ноября

За 3 недели на основе реального кейса научитесь мониторить, предотвращать инциденты и строить надёжные системы. Для этого протестируете себя в роли SRE для сервиса покупки билетов, решите бизнес-задачи и погрузитесь в реальную работу.

👉 Узнать больше

⚪️ Курс Kubernetes для разработчиков, 24 ноября

Фундаментальные знания для разработчиков. Подойдёт тем, кому важно научиться разрабатывать и развёртывать приложения в k8s, конфигурировать своё приложение в кластере, строить CI/CD пайплайн для Kubernetes. Акцент на разработке позволит полноценно использовать функции Kubernetes в своём проекте.

👉 Познакомиться с программой

⚪️ Курс Apache Kafka База, 24 ноября

Расскажем, как работать с Apache Kafka — платформой для передачи и обработки событий в реальном времени. Вы узнаете, как настраивать распределенный отказоустойчивый кластер, научитесь отслеживать метрики и станете гуру равномерного распределения нагрузки.

👉 Узнать больше

⚪️ Статья «Как Docker работает под капотом»

Разбираемся, из чего на самом деле состоит Docker. Когда вы поймете, что происходит внутри, вы перестанете воспринимать его как «волшебный чёрный ящик».

👉 Читать статью

@DevOpsKaz 😛

👀 Безопасность процесса сборки: последствия и рекомендации защиты

Наткнулись на статью о том, как хакеры могут взломать self-hosted GitLab через уязвимости в CI/CD, и мерах защиты. Автор фокусируется на сценарии с глобальными instance runners, где аутентифицированный пользователь может выполнить код на runner-хосте.

После небольших вводных описывается сценарий атаки:

⚪️ Доступ к GitLab: аутентификация через SSO (например, Azure AD)
⚪️ Создание тестового репозитория: проверка доступных runners в Settings → CI/CD → Runners
⚪️ Запуск тестового job: YAML с командами (id, uname -a, ip a, curl) для разведки (тип executor: shell — уязвимый, без контейнеризации)
⚪️ Reverse shell: замена на bash-reverse shell на порт 443 (HTTPS-трафик не блокируется)
⚪️ Доступ к хосту: выполнение как gitlab-runner (не sudo, но доступ к файлам других jobs)
⚪️ Поиск секретов: просмотр builds других пользователей (например, .env, SSH-ключи)
⚪️ Пивотинг в облако: через AWS metadata (IMDSv2) — получение IAM-роли (VulnerableSSMRole), перехват токена, аутентификация через awscli
⚪️ Компрометация других EC2: через SSM (Systems Manager) — выполнение команд (например, запись файла как root) на всех инстансах с SSM Agent

В конце — рекомендации.

👉 Читать статью

@DevOpsKaz 😛

🔥 Будущее командной работы уже в Алматы

06.11, 14:30 – 18:00
MOST IT Hub, Алматы

Приглашаем на ACE Almaty — Teamwork Reimagined: Cloud. Secure. Connected.

Событие объединит IT-руководителей, менеджеров проектов и продуктов, специалистов по сервисным процессам и всех, кто стремится сделать командную работу более прозрачной, безопасной и эффективной.

🔹 Новое видение совместной работы от Atlassian
🔹 Практические кейсы и советы от экспертов
🔹 Безопасные и масштабируемые облачные решения для современных компаний
🔹 Живое общение и обмен опытом с профессионалами отрасли

ACE — это не просто встреча, а пространство для идей, вдохновения и реальных решений, которые помогают командам работать лучше.

👉 Участие бесплатно после регистрации

#партнерский_пост

🔥 Подборка инструментов DevOps и один патч

⚪️ Патч Vault Enterprise 1.21

Vault 1.21 усиливает compliance и автоматизацию для DevOps, снижая риски в ИИ и облаках. Рекомендуем для zero-trust-архитектур. Ключевые фичи — SPIFFE Auth: авторизация агентов ИИ и сервисов по стандарту SPIFFE, а также восстановление отдельных секретов (роли БД, SSH-ключи) без полного отката кластера.

⚪️SOPS

Оператор для управления секретами в Kubernetes, созданными на основе пользовательских CRD SopsSecrets. Превращает зашифрованные данные в обычные секреты без риска утечки чувствительной информации. Идеально вписывается в GitOps, сохраняя удобство CI/CD и повышая безопасность инфраструктуры.

⚪️Trivy

Утилита для поиска уязвимостей, неправильных конфигов, секретов, SBOM в контейнерах, Kubernetes, репозиториях кода, облаках и другом. Направляет свои сканеры на проблемы безопасности, чтобы вы могли спать спокойно.

⚪️ Lens

Полнофункциональная IDE для Kubernetes с визуализацией кластера, встроенным терминалом и поддержкой расширений. Lens ускоряет работу с Kubernetes, делая управление кластерами через интуитивный интерфейс доступным даже для новичков.

@DevOpsKaz 😛