⌛ Инвентаризация хранилищ

Diskover — это бесплатная платформа для аналитики файловых систем и управления данными с 1,5k звезд на GitHub. Она проводит инвентаризацию хранилищ (локальных и облачных), помогает выявлять избыточные данные и оптимизировать использование ресурсов. А потом все это визуализирует.

➖ Сканирование и индексирование

Собирает подробную информацию о файлах и каталогах. Поддерживает разные типы файловых систем, сетевые и облачные хранилища.

➖ Интеграция с Elasticsearch

Хранит и обрабатывает большие объёмы метаданных. Можно наглядно анализировать структуру файловой системы, фильтровать по типам файлов и искать потенциальные дубли.

➖ Анализ и отчётность

Предоставляет детальные отчёты: сколько дискового пространства занимают определённые типы файлов, какие файлы не менялись долгое время и т.д.

➖ Гибкость настройки

Можно настроить различные политики сбора и анализа данных. Поддерживает скрипты и плагины для расширения функционала.

Применение

Diskover используют для оптимизации ресурсов на хранение и анализа данных, которыми не пользуются. Полезен при миграции данных в облако или на локальном консолидационном (упрощает понимание структуры и объёма хранилища).

Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

☄️ Новости и релизы инструментов DevOps

⚪️ Релиз GitLab 17.8

— Усиленная безопасность контейнерных репозиториев
— Отслеживание экспериментов с моделями машинного обучения
— Список развёртываний, связанных с релизом
— Хостинг раннеров на Linux для GitLab Dedicated
— Всего более 60 улучшений

⚪️ Debian 12.9

— 100+ исправлений ошибок и безопасности
— Обновленное ядро ​​Linux 6.1 со свежими стабильными версиями пакетов ansible, intel-microcode, nvidia-graphics-drivers, qemu, systemd, tzdata.
— Стабильные выпуски графических драйверов NVIDIA
— Исправление CVE для QEMU

@DevOpsKaz 😛

👀 Открыт набор на программу AWS Community Builders

Программа AWS Community Builders предлагает

— Доступ к активному сообществу (приватный slack-канал с NDA ресурсами)
— Технические ресурсы для вашего роста
— Отличные бонусы, включая кредит AWS на $500 и ваучер на сертификацию (на любую)
— Инсайты от экспертов AWS — прямиком от сервисных команд.

👉 Подайте заявку до 20 января

Заявки принимают только раз в год — не упустите момент.

@DevOpsKaz 😛

🔥 Доклады с первой конференции этого года — ShmooCon 2025

ShmooCon 2025 — это ежегодная хакерская конференция для обсуждения критических вопросов информационной безопасности.

⚪️День №1
⚪️День №2
⚪️День №3

Целых 24 часа видео, где в том числе обсуждали Kubernetes Security (тайм-код: A Commencement into Real Kubernetes Security (Jay Beale and Mark Manning).

Хотя каждый может найти что-то интересное и для себя — в каждом видео есть временные метки.

В этом докладе также был упомянут новый инструмент Seccomp-Diff, который может сравнивать Seccomp профили двух контейнеров и подсвечивать наиболее опасные системные вызовы. Может работать как CLI, так и через веб-приложение.

По традиции предлагаем использовать Яндекс Браузер со встроенным синхронным переводчиком, если английскую речь пока тяжело.

@DevOpsKaz 😛

📣 CORE 24/7 приглашает Специалистов технической поддержки (L1-инженер)

Алматы, офис
Зарплата: до 250 000 ₸ гросс
Можно без опыта
График: сменный (1/3, с 9:00 до 21:00)
Испытательный срок: 3 месяца

Компания Core 24/7 — лидер в сфере DevOps-аутсорсинга в Казахстане. Мы запускаем первую линию технической поддержки и ищем 4 начинающих специалистов.

Задачи:

• Регистрация и обработка обращений пользователей в системе заявок
• Разрешение инцидентов и поддержка пользователей по регламентам
• Подготовка и ведение документации: инструкции для решения проблем
• Мониторинг дашбордов и управление алертами для выявления критических изменений
• Обработка запросов, эскалация критических инцидентов при необходимости
• Своевременная реакция в чатах и обратная связь клиентам в течение 15 минут

Требования:

• Базовые знания ОС Linux и администрирования IT-инфраструктуры
• Умение работать в стрессовых ситуациях и принимать решения
• Грамотная устная и письменная речь
• Готовность к сменному графику работы
• Умение быстро находить информацию для решения задач (google, stack overflow, chatgpt)
• Желание обучаться и развиваться

Приветствуется, но не обязательно:

• Техническое образование (высшее, средне-специальное или среднее).
• Опыт работы с GitLab/GitHub CI/CD
• Знания AWS, Docker или Kubernetes
• Навыки настройки SSL и работы с сетевым оборудованием

Мы предлагаем:

• Обучение с нуля и постоянное наставничество
• Программы повышения квалификации в сфере SRE/DevOps
• Сертификацию по ключевым направлениям (Kubernetes, AWS, Red Hat и др.)
• Компенсацию за тренажерный зал
• Премии за успешную работу
• Регулярные тимбилдинги
• Возможности для профессионального и карьерного роста

Если вы хотите расти в ИТ и стать частью команды профессионалов, отправляйте свое резюме. Мы ждем вас!

Писать сюда:

👉 aissabekova@core247.io
👉 @issaika

🔥 Удобный способ взаимодействия с Apache Kafka

kaskade — текстовый пользовательский интерфейс для Kafka, который облегчает администрирование и чтение данных из очереди или топика, чтобы их обработать.

Кто не знает, Apache Kafka — это распределённая платформа для обработки данных в режиме реального времени для построения потоковой передачи данных, аналитики, интеграции систем и масштабируемых приложений. Мастхев для любого DevOps.

Кстати, у нас есть практический видеокурс «Apache Kafka База» от Слёрм — универсальное введение в платформу. Его записывали два практика, которые внедряли Kafka с нуля в крупные энтерпрайзы. По нашей ссылке казахстанцы получат региональную скидку.

Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

☁️ AWS re:Invent 2024 уже 30 января в 19:00

На мероприятии расскажут о последних обновлениях, новинках, трендах и инновациях в AI/ML, Generative AI, работе с данными, DevOps и многом другом.

📑

Алматы, ул. Ходжанова 2/2, MOST IT Hub, 8 этаж
30 января, начало в 19:00
Вход свободный, но количество мест ограничено

👉 Регистрация

@DevOpsKaz 😛

👀 Пользовательские дашборды Grafana — кейсы 2024 года

Grafana Labs поделилась самыми запоминающимися примерами использования Grafana сообществом за год. Что только люди не придумают! Приведем некоторые кейсы.

1. Подготовка к поездке на работу

SRE-инженер создал дашборд с Grafana Cloud и Prometheus, чтобы оптимизировать ежедневный маршрут на работу. Он интегрировал данные о погоде, трафике и расписании общественного транспорта. Так он определяет оптимальное время и способ передвижения каждое утро.

2. Обнаружение дефектов в стальных сплавах

Президент Theia Scientific разработал решение для мониторинга роста дефектов в стальных сплавах под воздействием радиации. Его команда визуализировала в Grafana данные с электронных микроскопов в реальном времени — анализ сократился с нескольких лет до нескольких часов.

3. Домашние проекты

⚪️Воспитание детей через панель управления
⚪️Отслеживание публикаций любимых YouTube-каналов
⚪️Мониторинг обменных курсов валют для путешественников
⚪️Удаленный мониторинг домашнего VPN
⚪️Мониторинг высадки на Луну в режиме реального времени
⚪️Климатические измерения в итальянских Альпах
⚪️Отслеживание здоровья ребенка, больного диабетом

Возможно, найдете интересные референсы. Делитесь с коллегами 🫡

@DevOpsKaz 😛

☄️ Почему AWS EC2 Autoscaling не панацея

AWS EC2 Autoscaling — мощный инструмент, но он не является универсальным решением.

Чтобы максимизировать его эффективность, важно учитывать ограничения, такие как задержки и рост затрат, и комбинировать его с другими подходами.

👉 Рассказываем максимально коротко в новой статье

Читайте и делитесь с коллегами 🫡

@DevOpsKaz 😛

🔥 Субъективный топ текстовых интерфейсов

Представляем быстрые, удобные и легкие TUI-приложения для DevOps'ов, разработчиков и админов. С ними не нужно переключаться между окнами или клацать мышью, а весь функционал всегда под рукой.

⚪️ mc (Midnight Commander)

Файловый менеджер в духе Norton для управления файлами и каталогами. Практически незаменим для линуксоидов. Также поддерживает работу с архивами и протоколами FTP.

⚪️ k9s

Управление кластерами прямо из терминала. Простая навигация, просмотр логов и под-менеджмент. Поддерживает большинство операций с Kubernetes и помогает забыть от ручной писанины команд.

⚪️ ctop

Мониторит ресурсы контейнеров, показывает потребление CPU, памяти и другие метрики для каждого контейнера. Полезен для быстрого выявления проблем.

⚪️ lazydocker

Инструмент для управления Docker-контейнерами и образами. Может запускать, останавливать, удалять, а также показывает логи.

👉 Если этого мало, загляните в полный каталог интерфейсов по категориям

Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

☄️ Фреймворк по аудиту и защите контейнерной инфраструктуры JCSF

Коллеги из DevOpsTalks выложили фреймворк Jet Container Security Framework (JCSF) в свободный доступ.

Он поможет провести аудит собственной контейнерной инфраструктуры и запланировать дальнейшие действия в области защиты контейнеров.

В разработке они объединили рекомендации производителей, лучшие практики и опыт в области безопасности контейнеров.

@DevOpsKaz 😛

🔥 Вредные советы по безопасности Kubernetes-кластеров

Как погубить кластер, действуя во благо? Подборка вредных советов из реальных кейсов и опыта от специалиста по безопасности контейнеров и Kubernetes.

📑 Все советы из реальных корпоративных требований и техзаданий, внутренней документации и описаний процессов

⚪️Установка антивируса на ноды кластера

Последствия:
— Неэффективное использование вычислительных ресурсов
— Негативное влияние на микросервисы

⚪️ Сканирование хостовой ОС на известные уязвимости в пакетах

Последствия:
— Гигантские отчеты об уязвимостях с большим количеством false positive результатов
— Огромные временные затраты высокооплачиваемых инженеров

⚪️ Блокировка выкатки образов с чувствительной информацией

Последствия:
— Срывы релизов
— Продолжение утечки критичной информации

⚪️ Блокировка выкатки образов на основании информации об уязвимостях

Последствия:
— Деградация приложений
— Аварийное завершение приложений
— Отказ в обслуживании

👉 Узнайте, как делать правильно в полной статье

@DevOpsKaz 😛

👀 Мировые тенденции DDoS-атак от Cloudflare

⚪️ Общие тенденции: за год системы Cloudflare предотвратили около 21,3 миллиона DDoS-атак, что на 53% больше по сравнению с 2023. В среднем это 4 870 атак в час.

⚪️ Рекордная атака: в неделю Хэллоуина зафиксирована крупнейшая DDoS-атака мощностью 5,6 Тбит/с, успешно отражённая Cloudflare.

⚪️ HTTP DDoS-атаки: большинство (73%) атак инициированы известными ботнетами. Ещё 11% маскировались под легитимные браузеры, а 10% содержали подозрительные HTTP-атрибуты.

⚪️ Популярные User-Agent'ы в атаках: часто использовались устаревшие версии браузера Chrome (версии 118–129), а также агенты, связанные с умными телевизорами и приставками, что указывает на возможный компрометацию этих устройств.

⚪️ HTTP-методы в атаках: наиболее часто использовался метод HEAD, который составлял 14% всех HTTP-запросов в атаках, несмотря на его редкое использование в легитимном трафике (0,75%).

⚪️ Целевые пути HTTP-запросов: 98% запросов к пути /wp-admin/ были частью DDoS-атак, что указывает на направленность атак на сайты Wordpress.

⚪️ Атаки на уровнях 3 и 4: наиболее распространёнными были SYN-флуд (38%), DNS-флуд (16%) и UDP-флуд (14%). Также отмечен рост атак с использованием ботнета Mirai на 131% по сравнению с предыдущим кварталом.

⚪️ Новые векторы атак: значительно выросли атаки с использованием Memcached (увеличение на 314% по сравнению с предыдущим кварталом), что связано с возможностью этих серверов усиления DDoS-атак.

⚪️ Гиперобъёмные атаки: количество атак с мощностью более 1 Тбит/с увеличилось на 1 885% по сравнению с предыдущим кварталом, а атак с более чем 100 миллионов пакетов в секунду — на 175%.

⚪️ Распределение атак по странам: Китай остаётся наиболее атакуемой страной. Филиппины впервые заняли второе место, а Тайвань поднялся на третье место.

⚪️ Наиболее атакуемые отрасли: телекоммуникации, поставщики услуг и операторы связи. Интернет-индустрия заняла второе место, а маркетинг и реклама — третье.

👉 Читайте статью полностью и делитесь с коллегами 🫡

@DevOpsKaz 😛

🔥 Доклады с Kolesa MLOps Meetup уже на YouTube

Смотрите записи докладов, основанные на реальных кейсах и практическом опыте по решению конкретных проблем:

⚪️ Что за зверь «MLOps Engineer»
⚪️ Создание и менеджмент ML-платформы на Kubeflow
⚪️ Data-centered MLOps: почему построение ML-инфраструктуры стоит начинать с данных?
⚪️ Автоматизация обучения и апдейтов модели

Делитесь с коллегами 🫡

@DevOpsKaz 😛

🔥 Кейс Klara: миграция инфраструктуры и настройка CI/CD в AWS

Klara — это приложение для финансовых операций, ориентированное на европейский рынок. Команда сервиса обратилась за помощью в миграции и за дальнейшей техподдержкой.

Особенность кейса в том, что всю инфраструктуру (EKS, MSK, OpenVPN, RDS) мы адаптировали под европейские стандарты обработки данных. А именно: минимизировали доступ, подключили шифрование данных, аудит и логирование всех критичных действий.

👉 Читайте в новом кейсе

@DevOpsKaz 😛

⚡️Оптимальный баланс между загрузкой CPU и скоростью его работы

Инженеры GitHub провели исследование — зеркалили трафик с прода в отдельное окружение и замеряли latency обработки операций. Цель — оставаться в рамках SLA и не позволять ресурсам простаивать.

Оптимальная утилизация CPU — ~61%.

👉 Читать полное исследование

Остается только настроить resource management и capacity planning, чтобы достичь этих оптимальных цифр.

Что думаете?

@DevOpsKaz 😛

⌛ Как пережить отказ дата-центра

Предлагаем к просмотру доклад о построении систем, которые выдержат отказ дата-центра.

А здесь поделимся ключевыми выводами из презентации:

➖ Не растягивайте Kubernetes между дата-центрами

Лучше использовать независимые кластеры в каждом дата-центре. Так вы меньше рискуете, а еще так проще управлять инфраструктурой. Без труда переживете инцидент.

➖ Тестируйте отключения дата-центра

Лучше отработать возможные инциденты на учениях, чем разбираться уже во время сбоя. Такие тесты помогут выявить слабые места в вашей инфраструктуре и подготовить команду к потенциальным проблемам.

➖ Внедряйте сценарии отказа

Если ваша архитектура ещё не застрахована, то самое время внедрить эти решения. Это обезопасит вас от серьезных проблем в будущем.

@DevOpsKaz 😛