В ноябре 2023 года команда Quay.io перенесла базу данных c MySQL на Postgres. Хотя сама миграция прошла довольно гладко, для клиента это было не так.

Девопсы отметили нестабильность до и после миграции. Проблемы, с которыми они столкнулись, были связаны с увеличением трафика и различиями в поведении MySQL и Postgres под нагрузкой.

👉 Читайте интересный западных кейс, который поможет избежать подобных ошибок.

📝 Стек:
➖ Облачная платформа: Amazon Web Services (AWS)
➖ Сервисы баз данных: от MySQL до Amazon Aurora Postgres
➖ Инструмент миграции: AWS Data Migration Service (DMS)
➖ Платформа разработки: Red Hat OpenShift
➖ Хранилище: Amazon S3

#devops #postgres #mysql

@DevOpsKaz

🔥16 марта состоится Azure Day Eurasia 2024 — конференция с докладами сообщества разработчиков по Azure, ИИ и Copilot.

В программе:

➖ Топовые спикеры
➖ Истории успеха международных компаний
➖ Возможности Copilot
➖ Практические пути применения ИИ с примерами
➖ Миграция в облако
➖ LLMOPS в Azure ML Studio и Azure AI Studio
➖ Генеративный ИИ на базе Azurе
➖ Нетворкинг и дискуссия

👉 Присоединяйтесь

☄️ «DDoS для нас — это даже несколько банально»

👉 Статья от руководителя отдела сетевых инженеров в Таймвебе. У них помимо хостинга есть облако, на которое в прошлом году обрушились DDoS-атаки.

👀 24 тысячи просмотров за неделю не сами по себе набежали, как вы понимаете — читать очень интересно.

📣 Это не стандартный постмортем, а скорее история от первого лица. Рассказывают, каково это было изнутри — жить на энергетиках и пересобрать ядро сети всего за пару месяцев.

#timeweb #cloud #ddos

@DevOpsKaz

🔥 Подборка вакансий для девопсов

➖ Системный администратор (devops), Mybuh.kz, от $900 до $1500, Алматы
➖ Системный администратор Linux\Windows (DevOps), Effective Media Liaison, от $900, Алматы
➖ DevOps-инженер, OneVision, от $2200 до $3300, Алматы
➖ DevOps, Core Team, от $1300, Караганда
➖ Senior DevOps Engineer / Lead DevOps, Hard Code, от $1700, Астана
➖ Head of DevOps (RELOCATION Moldova), KIVORK, По договоренности
➖ Middle DevOps engineer, MAGNUM, По договоренности, Алматы
➖ Cloud DevOps Engineer, Autodoc Group, По договоренности, Алматы

#devops #DevOpsИнженер #sre #cv

@DevOpsKaz

Встречайте, TFTUI — текстовый пользовательский интерфейс, который позволяет легко просматривать и взаимодействовать с состоянием Terraform.

👉 Проект на GitHub

На что способен:
➖ визуализирует полное дерево состояния
➖ дает более глубокие представления о текущей конфигурации инфраструктуры
➖ есть возможность искать по дереву и проверять состояния отдельных ресурсов
➖ позволяет сосредоточиться на конкретных деталях для более глубокого анализа и управления
➖ помогает выбирать определенные ресурсы и выполнять действия над ними

Этим контентом поделился наш подписчик. Не забывайте делиться своими наработками, новостями или другим 🤝

@DevOpsKaz

☄️ Приглашаем к участию в AppSecFest 2024 Almaty — прорывной конференции по разработке и безопасности!

Мероприятие пройдет 3 мая в Алматы, Атакент-Экспо 10 павильон.

AppSecFest — это место, где миры разработки приложений и безопасности объединяются. Вы увидите, как инновации и лучшие практики безопасности формируют безопасное цифровое будущее и задают новые стандарты для всей ИТ-индустрии.

➖ Две конф-зоны: App и Sec
➖ 35+ спикеров
➖ Панельные дискуссии с экспертами
➖ 500+ участников, объединенных общей целью
➖ Встреча с ведущими представителями рынка
➖ Развлекательные активности, подарки и розыгрыши

🚩 Прием заявок от спикеров и партнеров уже начался. Заполните заявку и присоединяйтесь к сообществу экспертов

Спикеры поделятся знаниями, опытом и вдохновением на темы разработки ПО, DevOps в App Zone, или обсудите актуальные проблемы безопасности, AppSec, DevSecOps, Secure SDLC в Sec Zone. Также интересны новые идеи и решения в GovTech, Fintech, Business, Cloud.

Партнеры смогут продемонстрировать свои продукты и услуги, встретиться с ключевыми игроками отрасли и наладить контакты с потенциальными клиентами.

👉 Чтобы стать партнером, напишите на appsecfest@astlab.kz

Следите за новостями о конференции AppSecFest

☄️ Data Pipelines в облаке: Azure, AWS и GCP

Каждая платформа предлагает специализированные услуги на ключевых этапах: прием, хранилища данных, обработка, хранение и уровень представления. Выбор зависит от конкретных потребностей, бюджета и технического уровня.

👉 Ниже и на гифке краткое сравнение.

1️⃣ Ingestion

— AWS: предлагает конвейер передачи данных и Kinesis для масштабируемого использования.
— Azure: использует фабрику данных для эффективного сбора данных.
— GCP: использует Dataflow и Pub/Sub для потоковой передачи в реальном времени.

2️⃣ Data Lakes

— AWS: упрощает управление озерами данных с помощью Lake Formation.
— Azure: поддерживает иерархическое пространство имен с хранилищем Azure Data Lake.
— GCP: облегчает кросс-облачную аналитику с помощью BigQuery Omni.

3️⃣ Processing

— AWS: подготавливает и преобразует данные с помощью Glue.
— Azure: ускоряет обработку с помощью Azure Databricks.
— GCP: улучшает подготовку данных с помощью удобного для пользователя Dataprep от Trifacta.

4️⃣ Data Warehousing

— AWS: обеспечивает крупномасштабный анализ с помощью Redshift.
— Azure: интегрирует складирование и аналитику с Synapse Analytics.
— GCP: предлагает бессерверное масштабируемое решение с помощью BigQuery.

5️⃣ Presentation Layer

— AWS: QuickSight предоставляет аналитику с поддержкой MLP для всех пользователей.
— Azure: Power BI преобразует данные в полезные аналитические данные с богатой визуализацией.
— GCP: Data Studio предлагает простую в использовании отчетность и аналитику, превращая данные в настраиваемые инфопанели.

Сохраняйте себе и делитесь с коллегами 🤝

#devops #cloud #aws #azure #gcp

@DevOpsKaz

☄️ 4 метрики эффективности DevOps

1️⃣ Частота развертывания

Показатель того, как часто изменения выпускаются в продакшен. Более частые развертывания представляют меньший риск и обеспечивают непрерывную доставку. В идеале — ежедневно.

Элитные команды способны делать это по требованию.

👉 Как повлиять: вместо большого количества функций и изменений ваши выпуски должны представлять собой одну функцию или изменение, а каждое обновление должно быть как можно меньшим по объему.

2️⃣ Срок внесения изменений

Эта метрика — индикатор проблем процесса, она помогает выявить узкие места, замедляющие доставку программного обеспечения.

Элитной команде требуется менее часа с момента проверки кода до его развертывания.

👉 Как повлиять: используйте ПО, которое поможет определить, застряли ли коммиты, например, в ожидании тестирования качества. Как только вы обнаружите, что задерживает развертывание, вы можете автоматизировать тестирование или нанять дополнительных тестировщиков.

3️⃣ Среднее время стабилизации

Это среднее время восстановления после сбоя работы продукта или системы. Чтобы измерить это, необходимо знать время, когда произошел инцидент и когда его разрешили, а также, что помогло.

Элитной команде обычно требуется менее часа, чтобы снова запустить сервисы.

👉 Как повлиять: уменьшите размер развертываний — так вы сможете сократить радиус воздействия, если что-то пойдет не так.

4️⃣ Процент неудачных изменений

Это процент развертываний, которые привели к сбою. Метрика показывает стабильность кода, который выпускает ваша команда, а также его качество.

У элитных команд уровень неудачных изменений составляет 0–15 %, а у низкоэффективных — 16–30 %.

👉 Как повлиять: выясните основную причину неудач. Часто это человеческий фактор, плохое тестирование и плохое качество кода. Автоматизация процессов развертывания и тестирования может устранить человеческий фактор.

Сохраняйте себе и делитесь с коллегами 🤝

@DevOpsKaz

☄️ Релиз GitLab 16.10

Главная фишка релиза — семантическое управление версиями. Оно предназначено для компонентов в каталоге CI/CD. Также добавили управление доступом GitLab Duo, совершенно новые шаблоны для Wiki и интеграцию ClickHouse для высокопроизводительной DevOps-аналитики. Всего более 90 улучшений.

Познакомьтесь с релизом здесь и поделитесь с коллегами 🤝

#devops #gitlab #gitlab1610

@DevOpsKaz

☄️ Retina — платформа наблюдения за сетью Kubernetes с открытым исходным кодом, которая помогает в сценариях DevOps и SecOps. Не зависит от облака.

По сути — центр для мониторинга работоспособности и безопасности приложений и сети кластера. Retina собирает данные телеметрии, которые можно экспортировать в Prometheus, Azure Monitor и другие поставщики. А потом визуализировать в Grafana, Azure Log Analytics или где-то еще.

Retina позволяет исследовать проблемы сети по требованию и постоянно контролировать ваши кластеры.

👉 Посмотреть на GitHub

Пользуйтесь и делитесь с коллегами 🤝

#devops #devopsbooks

@DevOpsKaz

🔥 Troubleshooting Linux-серверов

👉 Попробуйте себя в сценариях дебага Linux-серверов и задачами, связанными с Kubernetes, Docker, Nginx, Apache, MySQL.

Есть простой уровень, средний и настоящий хардкор. Придется что-то делать, чинить или хакать.

Вот пример одной задачи:

Разработчик создал базу данных «main», но в ней отсутствуют некоторые данные. Вам необходимо восстановить базу данных, используя дамп "/home/admin/backup.sql". Проблема в том, что разработчик забыл пароль root для сервера MariaDB. Если вы столкнулись с проблемой при восстановлении базы данных, исправьте ее.

#devops #linux #kubernetes

@DevOpsKaz

☄️ Открыта регистрация на beetech conf 2024 https://beetech.kz/ — 27 апреля в Алматы в NARXOZ University.

Это ежегодная IT-конференция от Beeline Казахстан для продактов, agile-коучей, скрамов, разработчиков, QA-инженеров, безопасников, аналитиков и data-сайентистов.

📌 В этом году beetech conf 2024 это:

➖ спикеры казахстанских и зарубежных компаний. Эксперты из Beeline Казахстан, Booking, Тинькофф, Kolesa Group, Verigram и других компаний расскажут о неочевидных решениях своих кейсов и поделятся полезным опытом
➖ доклады по 3 направлениям: Management, Engineering и Big Data. Познавательно, актуально и без воды;
➖ воркшопы и квартирники, где участники смогут на практике разобрать интересующие кейсы и обсудить горячие темы!

Эксперты Beeline Казахстан и других компаний отбирают сильные доклады и совсем скоро темы будут опубликованы на сайте.

👀 Посмотрите, как проходила конференция в 2023 году.

👉 Покупайте билет по early bird price до 1 апреля за 10 000 тенге на официальном сайте https://beetech.kz/