👀 Постмортем инцидента Google Cloud от 12 июня 2025 года

Инцидент, затронувший Google Cloud, Google Workspace и Google Security Operations 12 июня 2025 года, связан с увеличением ошибок 503 при внешних API-запросах. Это привело к перебоям для клиентов по всему миру. Давайте разберём, что произошло и как реагировали в компании.

Что произошло

В сервис Service Control (часть системы управления API Google) добавили новую функцию для проверки квот. Код не был защищён фич-флагом и не имел надёжной обработки ошибок. Далее изменение политики в региональных таблицах Spanner включило проблемный кодовый путь, который столкнулся с нулевым указателем (null pointer), вызвав крах бинарных файлов.

Из-за мгновенной глобальной репликации данных ошибка распространилась на все регионы, а перезапуск задач Service Control вызвал перегрузку инфраструктуры из-за отсутствия экспоненциального отката.

Затронуты десятки сервисов, включая IAM, BigQuery, Cloud Storage, Gmail, Google Drive и другие. Клиенты испытывали проблемы с доступом к API и интерфейсам, хотя стриминговые и IaaS-ресурсы остались нетронутыми.

Реакция Google

Команда SRE начала расследование через 2 минуты после начала сбоя, через 10 минут определила причину и через 25 минут подготовилась к отключению проблемного пути обработки.

Через 40 минут начали восстановление, сначала в меньших регионах, а затем в крупных, где потребовалось ограничение задач и перераспределение трафика.

Выводы и план улучшений

Google признал ошибки и пообещал:

⚪️Модулизацию Service Control для изоляции функций и отказа с сохранением работы API
⚪️Аудит систем с глобальной репликацией данных для постепенного распространения и проверки
⚪️Обязательное использование фич-флагов для критических изменений с отключением по умолчанию
⚪️Улучшение статического анализа, тестирования и внедрения экспоненциального отката
⚪️Повышение качества внешней коммуникации и обеспечение работы мониторинга даже при сбоях

Хотите защитить свою инфраструктуру от подобных рисков? Приходите на аудит к Core 24/7 — и мы заберем вашу головную боль.

@DevOpsKaz 😛

🔥 Чек-лист по управлению секретами от HashiCorp

Как безопасно хранить секреты, внедрять автоматизацию и масштабировать инфраструктуру? 18 правил с разъяснениями в статье от HashiCorp. Вот самое главное и не избитое:

— Используйте идентификацию на основе доступа (IBAC) для предотвращения несанкционированного доступа.
— Развёртывайте менеджер секретов для автоматической генерации динамических секретов.
— Устанавливайте более длительные сроки авторотации для систем с ограничениями.
— Реализуйте ротацию секретов с минимальными временными интервалами.
— Интегрируйте секреты с CI/CD-пайплайнами.
— Регулярно пересматривайте и обновляйте политику управления секретами.

@DevOpsKaz 😛

🔥 Подборка инструментов для DevOps

⚪️ Tinyauth — простая прослойка аутентификации для защиты приложений с помощью логин-экрана или OAuth (Google, GitHub и др.), интегрируемая с Docker-приложениями.

⚪️ InfraSight — модульная платформа на базе eBPF для наблюдения за Linux и Kubernetes. Все для глубокой видимости системных событий.

⚪️ Atlantis — автоматизированный инструмент для управления инфраструктурой через Terraform, интегрированный с GitHub/GitLab pull requests.

⚪️ Hera — Python-библиотека для работы с Argo Workflows, упрощающая создание и управление рабочими процессами в Kubernetes.

@DevOpsKaz 😛

🔥 10 бесплатных DevOps-лабораторий для вашей практики

⚪️ Платформа KodeKloud Engineer
Практикуйтесь на реальных задачах. "Рост" от системного администратора до DevOps-инженера и архитектора!

⚪️ Коллекция DevOps-лабораторий
Практические задания по CI/CD, мониторингу и автоматизации — без привязки к карте.

⚪️ Лаборатория Kubernetes
Развёртывайте кластеры, управляйте приложениями, осваивайте YAML.

⚪️ Лаборатория Docker
Скачивайте, собирайте и запускайте настоящие контейнеры.

⚪️ Лаборатория Git
Освойте потоки Git, ветвления и слияния.

⚪️ Лаборатория Terraform
Пишите инфраструктуру как код и смело развёртывайте ресурсы AWS.

⚪️ Лаборатория Linux
Изучите основы Linux — 90% DevOps-работы начинается здесь.

⚪️ Лаборатория Ansible
Автоматизируйте настройку серверов как профессионал.

⚪️ Лаборатория Jenkins
Создавайте реальные CI/CD-пайплайны с практическим опытом Jenkins.

⚪️ Лаборатория Python
Практикуйтесь в написании скриптов для автоматизации и работы с облаком.

@DevOpsKaz 😛

🔥 Воркшоп: «Данные как актив: практическая монетизация с ИИ» от Datanomix.pro

📅 24 июня, 17:00
📍 DoubleTree by Hilton Almaty

В программе вечера:

➖ Сгенерируете идеи монетизации данных с помощью готового фреймворк
➖ Отберёте high-value идею и оцените её по Impact × Effort
➖ Получите архитектуру реализации на Qlik + Talend
➖ Уйдёте с планом пилота

Для CDO, CTO, CIO, Head of Data, продуктовых и бизнес-руководителей, спонсоров инициатив

Причины прийти:

⚪️80% дашбордов не приносят ценности
⚪️только 12% компаний в Казахстане получили реальный эффект от AI
⚪️вы будете в числе тех, кто умеет извлекать прибыль из данных

👉 Регистрируйтесь здесь

#партнерский_пост

🔥 Управление зависимостями и их уязвимостями

Предлагаем вам аналитический отчет об управлении зависимостями в ПО. 46 страниц расскажут про вызовы и тренды в безопасности цепочек поставок программного обеспечения (SDLC), особенно в контексте использования сторонних компонентов (зависимостей).

Отчет разделен на 4 части: идентификация зависимостей и их уязвимостей, недостатки баз данных уязвимостей, трудности устранения известных уязвимостей и роль анализа состава ПО (SCA) в управлении зависимостями.

Что узнали:

⚪️ Зависимости (особенно OSS) экономят $8.8 трлн, но создают риски
⚪️ Фантомные зависимости (до 60% в Python-проектах) несут до 85% уязвимостей
⚪️ Публичные базы уязвимостей (NVD) задерживают данные на 25 дней, а только 2% содержат детали кода
⚪️ AI/ML-проекты усложняют задачу: разница в отчетах до 10%
⚪️ Reachability analysis снижает работы на 90.5%, а EPSS — шум на 98%

Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

🎯Ищете работу в IT и аналитике?

28 июня на DataBoom Birthday состоится самая масштабная ярмарка вакансий — и вас там очень ждут.

🔍 Топовые компании ищут специалистов

И что особенно круто — ищут не только опытных, но и начинающих. В офлайн-ярмарке участвуют:

Kolesa Group, Freedom Broker, Halyk Bank, Center Credit, Apple City, Tele2, Bereke Bank, Head Hunter, Freedom Bank, Smart Solutions.

💻 А если вы не в Алматы — будет ОНЛАЙН-ярмарка вакансий. Подключайтесь из любой точки мира!

📅 Когда? 28 июня, 13:00–19:00
📍 Где? г. Алматы, Гостиница Казахстан, Grand Palace

— Выступления от экспертов из Freedom, Kaspi, Kolesa Group, Choco, PS Cloud
— Панельная дискуссия про искусственный интеллект с участием героев рейтинга Forbes 30 до 30

🎁 А ещё будет розыгрыш призов:

— iPad
— Apple Watch
— Мерч
— И другие подарки

⚠️ Внимание! Осталось всего 50 билетов. ПРОМОКОД ДЛЯ НАШИХ ПОДПИСЧИКОВ: CORE

Успей забронировать — и встретимся уже в эту субботу!

#партнерский_пост

🔥 Внедрение «идеального» DevOps-подхода в реальных условиях

Насколько реалистично внедрение того DevOps, что нам рассказывают в книжках? Для большинства компаний из-за ограниченных ресурсов, сопротивления изменениям и нехватки квалифицированных кадров DevOps из учебника — это утопия.

Тут и сложности с внедрением CI/CD в малых командах и проблемы с мониторингом в условиях высоких нагрузок. Идеальная картинка реальна только для крупных компаний с большими бюджетами. Но что делать остальным?

👉 Автор статьи предлагает гибридный подход: адаптировать DevOps под конкретные нужды, начиная с базовой автоматизации (например, деплоя) и постепенно внедряя культуру совместной работы.

@DevOpsKaz 😛

🔥 Не используйте теги в Ansible

Многие восхищаются гибкостью тегов и рекомендуют разделять ими сценарии исполнения кода в одной кодовой базе. По сути теги в Ansible — это аналог оператора GOTO в инфраструктурном коде.

Итак, ключевые доводы против использования тегов:

⚪️ Снижение читаемости и поддержки кода. Теги разбивают плейбуки на фрагменты и усложняют понимание общей логики выполнения задач.
⚪️ Проблемы с предсказуемостью. Теги позволяют запускать только определенные части плейбука, но это нарушает последовательность выполнения.
⚪️ Усложнение отладки и тестирования. С тегами отладка становится сложнее, так как нужно вручную проверять, какие задачи выполнялись, а какие нет.
⚪️ Риск дублирования логики. Для избежания зависимостей разработчики могут дублировать код в разных тегах, что увеличивает объем кода и вероятность несогласованности.

Альтернативы есть — можно использовать модули (roles) и включения (includes) для структурирования плейбуков. Это позволяет разделить логику на логические блоки без необходимости прибегать к тегам.

@DevOpsKaz 😛

🔥 Подборка инструментов для DevOps

⚪️ WSL

Проект Windows Subsystem for Linux — open source (!) от Microsoft, который позволяет запускать Linux-дистрибутивы прямо на винде 10/11 без виртуальной машины.

⚪️ Kargo

Инструмент для оркестрации жизненного цикла приложений с поддержкой GitOps. Помогает управлять развертыванием в нескольких средах, идеален для работы с Kubernetes.

⚪️ kubewall

Платформа для визуализации и управления кластерами Kubernetes через графический интерфейс. Упрощает мониторинг и настройку, ориентирована на пользователей, работающих с K8s.

⚪️ dockprom

Набор для мониторинга Docker-хостов и контейнеров с Prometheus, Grafana, cAdvisor и AlertManager. Отлично подходит для всех, кто следит за производительностью.

@DevOpsKaz 😛

🔥 Почему выбирают Cilium

Cilium обеспечивает масштабируемые и устойчивые сетевые политики и мониторинг, поддерживая расширенные политики сверх стандартных K8s с оператором Cilium для управления ресурсами и агентом для работы с BPF-программами. Управление политиками интегрируется с KUBAP-сервером, где трафик внутри кластера сохраняет работоспособность даже при сбоях оператора и агентов.

Хуки трафика и TRC Hooks оптимизируют поток через физические, виртуальные и агрегированные интерфейсы, упрощая маршрутизацию подов и обработку VXL-трафика. Политики SNAT и DSR улучшают управление, а асимметричная маршрутизация ускоряет трафик с настройкой под стейтлесс-файрволы.

❗️ Версия 1.17 устранила проблемы масштабирования, а оптимизации повысили производительность для больших кластеров, хотя ресурсы требуют внимания.

👉 Также рекомендуем посмотреть видео наших коллег: Cilium: всё, о чём вы догадывались, но боялись спросить

Проект отказался от cuproxy ради производительности, несмотря на статус самого быстрого способа шифрования, из-за связанных проблем. А еще Cilium опережает Calico по поддержке сообщества.

@DevOpsKaz 😛

🔥 Вакансия в CORE 24/7 для специалистов технической поддержки (L1-инженеров)

Алматы, офис
Заработная плата: до 200 000 тг.
Можно без опыта
График: сменный (1/3, с 8:00 до 20:00)
Испытательный срок: 3 месяца

Компания Core 24/7 — лидер в сфере DevOps-аутсорсинга в Казахстане. Мы запускаем первую линию технической поддержки и ищем 2 начинающих специалистов.

Задачи:

• Регистрация и обработка обращений пользователей в системе заявок
• Разрешение инцидентов и поддержка пользователей по регламентам
• Подготовка и ведение документации: инструкции для решения проблем
• Мониторинг дашбордов и управление алертами для выявления критических изменений
• Обработка запросов, эскалация критических инцидентов при необходимости
• Своевременная реакция в чатах и обратная связь клиентам в течение 15 минут

Требования:

• Базовые знания ОС Linux и администрирования IT-инфраструктуры
• Умение работать в стрессовых ситуациях и принимать решения
• Грамотная устная и письменная речь
• Готовность к сменному графику работы
• Умение быстро находить информацию для решения задач (google, stack overflow, chatgpt)
• Желание обучаться и развиваться

Приветствуется, но не обязательно:

• Техническое образование (высшее, средне-специальное или среднее).
• Опыт работы с GitLab/GitHub CI/CD
• Знания AWS, Ansible или Kubernetes
• Навыки настройки SSL и работы с сетевым оборудованием

Мы предлагаем:

• Обучение с нуля и постоянное наставничество
• Программы повышения квалификации в сфере SRE/DevOps
• Сертификацию по ключевым направлениям (Kubernetes, AWS, Red Hat и др.)
• Компенсацию за тренажерный зал
• Премии за успешную работу
• Регулярные тимбилдинги
• Возможности для профессионального и карьерного роста

Если вы хотите расти в ИТ и стать частью команды профессионалов, отправляйте свое резюме. Мы ждем вас!

Писать сюда:

👉 aissabekova@core247.io
👉 @issaika

🔥 Кейс Transtelecom: отказоустойчивость и масштабируемость инфраструктуры

Телекоммуникационный оператор обратился к нам для модернизации своих IT-систем и обеспечения стабильной работы сервисов в условиях роста нагрузок.

Кратко рассказываем, какой стек технологий использовали, на какие решения перешли и чего добились.

👉 Читайте в новом кейсе

@DevOpsKaz 😛

🔥 Как DDPlanet строили KPI-систему

DevOps — это про то, чтобы любые процессы можно было посчитать, оценить и сделать их еще лучше. В таких реалиях желание видеть полную сводку по команде, без ручного копания в задачах, очень оправданно. Отсюда и вытекает идея идея — собрать свой KPI-сервис.

Он сам вытягивает данные из Azure DevOps и показывает всё на дашбордах. Руководители видят, кто как работает, а сотрудники — сколько времени потратили и на что. С этим уже можно работать: распределять задачи, оптимизировать процесс и так далее.

Простое решение на Grafana и Airflow, которое закрыло сразу несколько проблем.

👉 Рекомендуем статью на Habr

@DevOpsKaz 😛

🔥 Обновление фреймворка безопасности контейнеров

Зимой мы рассказывали про фреймворк безопасности контейнеров JCSF. Он помогает провести аудит собственной контейнерной инфраструктуры и запланировать дальнейшие действия по защите контейнеров.

Сегодня коллеги из DevSecOps Talks выложили обновление:

⚪️ Добавили маппинг JCSF на CIS Benchmark for Docker, CIS Benchmark for Kubernetes
⚪️ Актуализировали практики JCSF, а также частично переместили в другие домены
⚪️ Появился домен по безопасности Docker и Docker Swarm
⚪️ Улучшилось визуальное оформление, исправлены опечатки и ошибки

Проект в открытом доступе. Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

🔥 Образовательный дайджест на июль

🔵 Бесплатный вебинар «SRE: когда надёжность становится дорогой ошибкой» — 9 июля

Встречаемся в 19:00 по Астане с Кириллом Борисовым, разбираем кейс и обсуждаем:

— как гонка за 100% uptime съедает бюджет
— почему стремление к 100% аптайму может навредить бизнесу
— как SRE помогает найти баланс между стабильностью и развитием

👉 Занять место и получить ссылку на вебинар — в боте-помощнике

🔵 Летняя распродажа видеокурсов Слёрма — до 31 июля

Дарим скидку 50% по промокоду LETO2025 на курсы в записи, чтобы учиться в любом месте и в любое время. Получить новые компетенции и карьерные возможности с выгодой — по ссылке

🔵 Воркшоп «AI в DevOps» — 5 июля

Встречаемся завтра, чтобы учиться применять ИИ в DevOps-процессах. После воркшопа вы сможете:

— настраивать локальную среду разработки для продуктивной работы с AI-помощниками
— создавать или адаптировать Ansible-роль для настройки инфраструктурного компонента
— разрабатывать и улучшать Helm-чарт с возможностью последующего деплоя;
— использовать AI для анализа ошибочных YAML-манифестов

👉 Регистрируйтесь на воркшоп по ссылке

🔵 Проект «Честные вакансии 2.0»

Теперь поговорим про DevOps с другой стороной — c исполнителями. В формате видеоинтервью будем обсуждать специфику работы DevOps, задачи, зарплату, бонусы и и т.д.

👉 Если хотите принять участие и рассказать всю правду про изнанку своей работы, пишите @zubkova_ekaterina — она расскажет все подробности.

🔵 Бесплатный гайд по CI/СD «Качественный пайплайн за 8 шагов»

Подойдёт тем, кто уже работает с GitLab CI и хочет навести порядок, ускорить процесс и избежать типичных ошибок. А тех, кто хочет пойти дальше: прокачать практику, разобраться в GitLab CI и научиться решать реальные инженерные задачи, приглашаем на 3-недельный практикум по CI/CD.

👉 Все подробности — по ссылке

🔵 Chaos Engineering — 14 июля

Курс подойдёт всем, кто хочет повысить надёжность, снизить риски и повысить конкурентоспособность на рынке IT-специалистов. Заберёте лучшие практики и научитесь ломать систему так, чтобы она не ломалась сама.

👉 По промокоду LETO2025 на курс действует скидка 50%! Узнать больше — по ссылке

🔵 Docker для админов и разработчиков — 21 июля

Курс не про набор базовых команд, а про то, как использовать Docker и быстро решать задачи, с которыми IT-специалисты сталкиваются каждый день. Вы научитесь:

— собирать лёгкие образы, которые не стыдно заливать в прод
— настраивать взаимодействие сервисов без «а оно почему-то не видит базу»
— деплоить без страха, что всё упадёт в самый неподходящий момент

👉 Занять место — по ссылке

🔵 Kubernetes: Мега — 28 июля

За 7 недель научитесь:

— создавать надёжные кластеры под разные задачи, управлять ими и обновлять их
— улучшать существующие кластеры
— разрабатывать современные технологические решения на базе k8s и т.д.

👉 Выбрать тариф — по ссылке

🔵 Docker-практикум — 28 июля

Новый формат отработки навыков работы с Docker в Слёрме! Через решение реальных кейсов, с которыми сталкиваются инженеры в продакшене, вы поймёте:

— как создавать безопасные образы
— как работать не только с модным Go, но и паковать в Docker то, что используется в бигтехе
— модернизировать и оптимизировать приложения, делать их управляемыми и масштабируемыми

👉 Подготовили тест из 6 каверзных вопросов, чтобы проверить ваш реальный уровень знаний Docker. Пройти тест — по ссылке.

🔵 Воркшопы по Linux

В конце августа планируем цикл встреч по Linux с теорией и практикой. Программу и формат подстроим под вас! Для этого приглашаем пройти короткое интервью (до 1 часа): вы расскажете, какие темы и форматы обучения вам интересны, с какими трудностями сталкиваетесь при изучении и для чего в целом изучаете Linux, а мы по вашим запросам сделаем воркшопы максимально полезными.

👉 Записаться на интервью — по ссылке

@DevOpsKaz 😛