KazDevOps – Telegram
KazDevOps
5.38K subscribers
1.3K photos
27 videos
19 files
1.3K links
Канал о DevOps во всех проявлениях: K8s, CI/CD, AppSec, AI/ML, Cloud, Linux
Поможем с DevOps: https://core247.kz/
По рекламе @UlKonovalova
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
☄️ Data Pipelines в облаке: Azure, AWS и GCP

Каждая платформа предлагает специализированные услуги на ключевых этапах: прием, хранилища данных, обработка, хранение и уровень представления. Выбор зависит от конкретных потребностей, бюджета и технического уровня.

👉 Ниже и на гифке краткое сравнение.

1️⃣ Ingestion

— AWS: предлагает конвейер передачи данных и Kinesis для масштабируемого использования.
— Azure: использует фабрику данных для эффективного сбора данных.
— GCP: использует Dataflow и Pub/Sub для потоковой передачи в реальном времени.

2️⃣ Data Lakes

— AWS: упрощает управление озерами данных с помощью Lake Formation.
— Azure: поддерживает иерархическое пространство имен с хранилищем Azure Data Lake.
— GCP: облегчает кросс-облачную аналитику с помощью BigQuery Omni.

3️⃣ Processing

— AWS: подготавливает и преобразует данные с помощью Glue.
— Azure: ускоряет обработку с помощью Azure Databricks.
— GCP: улучшает подготовку данных с помощью удобного для пользователя Dataprep от Trifacta.

4️⃣ Data Warehousing

— AWS: обеспечивает крупномасштабный анализ с помощью Redshift.
— Azure: интегрирует складирование и аналитику с Synapse Analytics.
— GCP: предлагает бессерверное масштабируемое решение с помощью BigQuery.

5️⃣ Presentation Layer

— AWS: QuickSight предоставляет аналитику с поддержкой MLP для всех пользователей.
— Azure: Power BI преобразует данные в полезные аналитические данные с богатой визуализацией.
— GCP: Data Studio предлагает простую в использовании отчетность и аналитику, превращая данные в настраиваемые инфопанели.

Сохраняйте себе и делитесь с коллегами 🤝

#devops #cloud #aws #azure #gcp

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍84🔥42
☄️ 4 метрики эффективности DevOps

1️⃣ Частота развертывания

Показатель того, как часто изменения выпускаются в продакшен. Более частые развертывания представляют меньший риск и обеспечивают непрерывную доставку. В идеале — ежедневно.

Элитные команды способны делать это по требованию.

👉 Как повлиять: вместо большого количества функций и изменений ваши выпуски должны представлять собой одну функцию или изменение, а каждое обновление должно быть как можно меньшим по объему.

2️⃣ Срок внесения изменений

Эта метрика — индикатор проблем процесса, она помогает выявить узкие места, замедляющие доставку программного обеспечения.

Элитной команде требуется менее часа с момента проверки кода до его развертывания.

👉 Как повлиять: используйте ПО, которое поможет определить, застряли ли коммиты, например, в ожидании тестирования качества. Как только вы обнаружите, что задерживает развертывание, вы можете автоматизировать тестирование или нанять дополнительных тестировщиков.

3️⃣ Среднее время стабилизации

Это среднее время восстановления после сбоя работы продукта или системы. Чтобы измерить это, необходимо знать время, когда произошел инцидент и когда его разрешили, а также, что помогло.

Элитной команде обычно требуется менее часа, чтобы снова запустить сервисы.

👉 Как повлиять: уменьшите размер развертываний — так вы сможете сократить радиус воздействия, если что-то пойдет не так.

4️⃣ Процент неудачных изменений

Это процент развертываний, которые привели к сбою. Метрика показывает стабильность кода, который выпускает ваша команда, а также его качество.

У элитных команд уровень неудачных изменений составляет 0–15 %, а у низкоэффективных — 16–30 %.

👉 Как повлиять: выясните основную причину неудач. Часто это человеческий фактор, плохое тестирование и плохое качество кода. Автоматизация процессов развертывания и тестирования может устранить человеческий фактор.

Сохраняйте себе и делитесь с коллегами 🤝

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍522🔥2👾2
С праздником Наурыз, дорогие ❤️

Ваш @devopskaz
18🔥9👍5🎉3
☄️ Релиз GitLab 16.10

Главная фишка релиза — семантическое управление версиями. Оно предназначено для компонентов в каталоге CI/CD. Также добавили управление доступом GitLab Duo, совершенно новые шаблоны для Wiki и интеграцию ClickHouse для высокопроизводительной DevOps-аналитики. Всего более 90 улучшений.

Познакомьтесь с релизом здесь и поделитесь с коллегами 🤝

#devops #gitlab #gitlab1610

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍64👾3
Продолжаем делиться опытом через книги.

👉 Сегодня это — Высоконагруженные приложения. Программирование, масштабирование, поддержка | Клеппман Мартин

Ключевые принципы, алгоритмы и компромиссы, без которых не обойтись при разработке высоконагруженных систем для работы с данными. Все рассматривается на примере внутреннего устройства популярных программных пакетов и фреймворков.

Прочитав эту книгу, вы легко ответите на многие вопросы в техническом интервью по базам данных.

Читайте и делитесь с коллегами 🤝

#devops #devopsbooks

@DevOpsKaz
👍9🔥433👎1
☄️ Retina — платформа наблюдения за сетью Kubernetes с открытым исходным кодом, которая помогает в сценариях DevOps и SecOps. Не зависит от облака.

По сути — центр для мониторинга работоспособности и безопасности приложений и сети кластера. Retina собирает данные телеметрии, которые можно экспортировать в Prometheus, Azure Monitor и другие поставщики. А потом визуализировать в Grafana, Azure Log Analytics или где-то еще.

Retina позволяет исследовать проблемы сети по требованию и постоянно контролировать ваши кластеры.

👉 Посмотреть на GitHub

Пользуйтесь и делитесь с коллегами 🤝

#devops #devopsbooks

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
43👍3🔥3👾2
🔥 Troubleshooting Linux-серверов

👉 Попробуйте себя в сценариях дебага Linux-серверов и задачами, связанными с Kubernetes, Docker, Nginx, Apache, MySQL.

Есть простой уровень, средний и настоящий хардкор. Придется что-то делать, чинить или хакать.

Вот пример одной задачи:

Разработчик создал базу данных «main», но в ней отсутствуют некоторые данные. Вам необходимо восстановить базу данных, используя дамп "/home/admin/backup.sql". Проблема в том, что разработчик забыл пароль root для сервера MariaDB. Если вы столкнулись с проблемой при восстановлении базы данных, исправьте ее.


#devops #linux #kubernetes

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍632
☄️ Открыта регистрация на beetech conf 2024 https://beetech.kz/ — 27 апреля в Алматы в NARXOZ University.

Это ежегодная IT-конференция от Beeline Казахстан для продактов, agile-коучей, скрамов, разработчиков, QA-инженеров, безопасников, аналитиков и data-сайентистов.

📌 В этом году beetech conf 2024 это:

спикеры казахстанских и зарубежных компаний. Эксперты из Beeline Казахстан, Booking, Тинькофф, Kolesa Group, Verigram и других компаний расскажут о неочевидных решениях своих кейсов и поделятся полезным опытом
доклады по 3 направлениям: Management, Engineering и Big Data. Познавательно, актуально и без воды;
воркшопы и квартирники, где участники смогут на практике разобрать интересующие кейсы и обсудить горячие темы!

Эксперты Beeline Казахстан и других компаний отбирают сильные доклады и совсем скоро темы будут опубликованы на сайте.

👀 Посмотрите, как проходила конференция в 2023 году.

👉 Покупайте билет по early bird price до 1 апреля за 10 000 тенге на официальном сайте https://beetech.kz/
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍4🔥42👎1
Forwarded from Just Security
РУКОВОДСТВО ПО ЦЕНООБРАЗОВАНИЮ ПЕНТЕСТОВ

Подготовили для вас полное подробное руководство по ценообразованию пентест-проектов со всеми инфографиками и таблицами, где наглядно показано соотношение рисков и ресурсов, зрелость ИБ-процессов и модель злоумышленника, грейды специалистов и уровень оплаты труда.

👉https://pricing.awillix.ru/ 👈

В конце есть тест, который поможет первично оценить уровень зрелости информационной безопасности в вашей компании и получить базовые рекомендации для его улучшения.

🔣Это еще один наш вклад в развитие рынка. Надеемся, что такой артефакт станет доступным и простым инструментом для более легкого и зрелого диалога между бизнесом и его кибербезопасностью.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥422
CORE 24/7 и KazDevOps ищут автора статей по DevOps

Что нужно делать:


— Писать статьи для блога по DevOps, SRE, Cloud Migration, Big Data, Web 3.0, Kubernetes, Docker, Grafana, Terraform, jFrog или другим технологиям, с которыми вы умеете работать
— Писать четко и по делу, рассказывать о лучших практиках и инструментах
— Делать это по плану или предлагать свои темы

Условия работы:

— Свободный график
— Не менее 5 статей в месяц
— Оплата за статью обсуждается

Для отклика напишите @shadofonspace в личку
💩9👍5🔥3🤮3
🔥 3 дистрибутива Kubernetes от Ubuntu.com

Разработчикам нужен быстрый способ настройки среды приложений. Опсам — легкая установка кластера с высокой доступностью и надежными обновлениями. В облаке важна автоматизация жизненного цикла кластера для интеграций приложений.

👉 Дистрибутивы Charmed Kubernetes и MicroK8s созданы, чтобы оправдать эти разные ожидания. Они просты в установке и обслуживании.

Canonical Kubernetes станет третьим дистрибутивом и основой для будущих выпусков MicroK8 и Charmed Kubernetes.

Дистрибутивы основаны на Kubernetes 1.30, имеют несколько встроенных надстроек, а установить их можно с помощью snap.

#devops #kubernetes

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍32🔥2
Lead DevOps в IT‑интеграторе Hilbert Team рассказал, как они используют возможности #ClickHouse для эффективного долгосрочного хранения метрик #Prometheus.

👉 В статье вы найдете рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics.

ClickHouse доступен в managed‑решениях в облаках, поддерживает SQL и распределение метрик по разным шардам, что обеспечивает удобную работу с Prometheus. Все это делает ClickHouse хорошим решением для компаний, которые уже используют его в качестве основы своей аналитической инфраструктуры и хотят обогатить свою аналитику метриками Prometheus.

@DevOpsKaz
👍7🔥432
📌 Cyber and Digital Security – 2024 поможет найти ответы на любые вопросы по кибербезопасности

Особенно, если знать, кому их задавать.

На передний план остро вышла тема промышленной кибербезопасности, защиты объектов КВОИКИ, государства и корпораций.

Каждый день, пробираясь между проверками на крепость AirGap, пытаясь накатить патчи в промышленном контуре, упираясь в сложности моделирования промышленных кибератак, защищая ключевые задачи ИБ перед руководителями АСУ, проверяя на безопасность поставщиков, курсируя между минами фишинговых кампаний, CIO и CISO промышленного предприятия не устают задавать себе вопрос: а нам это надо? Готовы ли мы к этим вызовам? Откуда придет следующий удар? Кто стоит за атакой на мой объект КВОИКИ?

Пришло время задать вопросы коллегам по отрасли, экспертам и практикам, а во многом — регуляторам и надзорным органам. Все это можно сделать в апреле на Cyber and Digital Security – 2024.

📆 Когда: 3-5 апреля 2024 года.
📍Где: Астана, МВЦ «Экспо»

Что послушать
👉 3 сессии кей-ноутов (4 апреля) — Промышленная и корпоративная инфраструктура, ИТ/ОТ данные и информационные системы, бизнес-партнерства и сервисные модели на производстве и не только
👉 2 дня лектория (топ-лекции, тренинги и кейсы, демо и воркшопы) (3 и 4 апреля)
👉 2 дня медиа-юрты (интервью из первых уст от первых лиц в прямом эфире)

💡 Кому задать вопросы
4 панельные сессии – Регуляторы и власть, Руководители ОЦИБ, Женщины в ИБ, Развитие человеческого капитала

💬 С кем поговорить в кулуарах
СЕО и Зампреды, Безопасники и ИТ-директора, рисковики и финансисты, СТО и тим-лиды, и конечно, везде — пентестеры и исследователи безопасности

📣 О чем поговорить
Риски и недопустимые события в промышленности и корпоративе, результативная безопасность и утечки данных в промышленном секторе, развитие кадров в ИБ и повышение киберграмотности, безопасная разработка и защита промышленности и объектов КВОИКИ.

🚀 Регистрация: https://cds-forum.kz/

Выбирайте пакет «Базовый», вводите промокод EPCDS1 — и вот вы уже гость форума
🔥5😎5👍432
☄️ Встречайте Kondense — инструмент Kubernetes, который помогает изменить размер контейнеров в поде. Особенно важно, если у вас не хватает памяти.

Он устанавливается как дополнительный модуль и определяет оптимальную память для каждого контейнера в модуле.

👉 Подробности и инструкции прилагаются

#devops #kubernetes #k8s #memory

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍2
Запись митапа «Как использовать облачные PaaS-сервисы, проектировать современную архитектуру и быть Cloud-Native» от 14 марта

Поговорили об использовании современных облачных технологий: ML и других PaaS-сервисов. Спикеры поделились трендами, кейсами и рассказали, как быстро и эффективно разворачивать инструменты, выстраивать процессы и работать с командой.

В программе:

Cloud Native и Cloud Agnostic — два важных подхода к разработке облачных приложений в 2024 году.
Вызовы при построении сервисов на основе Machine Learning и решения: опыт VK Cloud
Архитектура PaaS-сервиса
Нетворкинг

От нас (Core 24/7 и KazDevOps) выступил Арман Нургалиев, Cloud Architect.

Арман вещал на темы:

Обзор подходов к построению архитектуры
Как выбрать между Cloud Native и Cloud Agnostic
Какие инструменты используются в 2024 году
Какие решения используют наши клиенты в Казахстане

👉 Смотреть запись
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥52👾2
В последние несколько лет на передний план вышла тема кибербезопасности предприятий и корпораций, субъектов государственной власти и объектов критической инфраструктуры (КВОИКИ).

Новостную ленту сотрясают новости об утечках данных внутри государства и атаках на системы и сети извне, и первые лица компаний, финансисты, рисковики, ведущие руководители направлений и департаментов задаются вопросом, а готова ли организация к таким вызовам?

Наши друзья и партнеры, оргкомитет международного форума Cyber & Digital Security – 2024, подготовили ответы на такие вопросы, и 3-4 апреля 2024 года приглашают аудиторию нашего сообщества принять участие в деловой программе форума.

Именно в этом году Cyber & Digital Security, профильный конгресс кибербезопасности, выходит на абсолютно новый уровень бизнес-коммуникаций, включив в деловую программу с 3 по 5 апреля 2024 года:

👉 3 одновременных деловых потока
👉 4 разнообразные панельные дискуссии
👉 2 дня уникальных форматов Лектория (самые интересные доклады от исследователей и практиков) и Медиа-Юрты (прямые эфиры с первыми лицами рынка, отрасли и государства)
👉 2 дня практических сессии
👉 отдельный медиа-трек прямых трансляций с интервью первых лиц компаний и медиацентр для журналистов.

В рамках форума у участников будет возможность:
💡 обсудить самые острые кейсы национальной и корпоративной кибербезопасности
💡получить понимание об использовании новых технологий в бизнесе, промышленности и органах власти
💡лично увидеть самые актуальные сценарии кибератак и способы их отражения
💡ознакомиться с новыми принципами безопасности инфраструктуры, увидеть воочию процесс работы с средствами киберрасследований, аналитики и киберразведки.

На закрытой площадке будет самое полезное: руководителям, финансистам и рисковикам покажут эффективную сторону практической кибербезопасности, дадут возможность оценить риски, финансовые и имиджевые потери.

🚀 Регистрация: https://cds-forum.kz/

Выбирайте пакет «Базовый», вводите промокод SPCDS1 — и вот вы уже гость форума
5👍5🔥4
☄️ Дополнительные DevOps-метрики

В прошлый раз вам зашел пост об основных метриках, а сегодня выделим еще несколько, которые помогут построить фундамент DevOps.

1️⃣ Время цикла

Это показатель того, сколько времени потребуется вашей команде на выполнение задачи. Это время — про скорость доставки.

Как оптимизировать: если реализация функции заняла больше времени, чем ожидалось, посмотрите, сколько времени задача провела в бэклоге. Возможно, это ваше узкое место. Также проанализируйте процесс проверки кода. Именно на это обычно уходит большое количество времени.

2️⃣ Время развертывания

Сколько времени вам требуется для развертывания выпуска в среде тестирования, разработки или производства?

Как оптимизировать: если развертывание занимает более часа, то вероятно, что что-то не так. Решением может стать оптимизация конвейера CI/CD, чтобы он был более рациональным и имел необходимые ресурсы для передачи кода в рабочую среду.

3️⃣ Время безотказной работы

Показывает, сколько система может работать до того, как она выйдет из строя. Метрика помогает подготовиться к дорогостоящим сбоям системы.

Как улучшить MTTF: инвестируйте в мониторинг приложений, журналы и трассировку — это ключ к обнаружению и устранению сбоев. Вы также можете внедрить автоматизированные рабочие процессы, чтобы обнаруживать и документировать проблемы.

4️⃣ Коэффициент ускользания дефектов

Это количество ошибок, которые не обнаружены и проявились в продашкене. Метрика помогает определить эффективность методов тестирования.

Как оптимизировать: высокий уровень указывает на плохой анализ кода и плохие процессы тестирования. Команды должны стремиться выявить 90% дефектов на этапе контроля качества.

5️⃣ Использование приложения и трафик

Метрика про количество пользователей, у которых есть доступ к системе после развертывания. Отслеживание активности и трафика помогает получить представление о том, как выглядит “нормальный” трафик, чтобы при обнаружении отклонений от нормы можно было найти первопричину.

#devops

@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥322💩2