Dev-Ops.su – Telegram
Dev-Ops.su
307 subscribers
79 photos
4 files
206 links
Полезные утилиты, статьи, доклады и обзоры.
Канал для DevOps, SRE, Архитекторов и прочих *Ops

https://dev-ops.su

#DevOps #SRE #DevSecOps #SecOps #ChatOps #GitOps #DocsOps #MLOps #FinOps #NoOps #CloudOps #CIOps #CDOps #AnyOps #BuzzWordOps

@woozymasta
Download Telegram
ingress-autoswagger - небольшое приложение на Go которое создает пользовательский интерфейс для API-интерфейсов OpenAPI.
Вы запускаете набор микросервисов поверх Kubernetes и раскрываете их с помощью Ingress на суб-путях. У каждого из них есть /api-docs своих API.
Запустите Ingress Autoswagger в корневом / пути, укажите имена сервисов в переменной и вы получите единый пользовательский интерфейс Swagger для всех сервисов.

#swagger #apidocs #ingress

https://github.com/adeo/ingress-autoswagger
nailgun - это клиент тестирования производительности DNS, написанный на Rust с использованием trust-dns-proto и tokio

#dns #perfomance #benchmark

https://github.com/leshow/nailgun
qrcode.show - сервис для генерации QR-кодов, в отличии от множества альтернатив, для таких утилит как curl и подобных, отдает ответ с ASCII QR-кодом.
Для удобства используйте функцию в вашем .bashrc:

qrcode () {
local input="$*"
[ -z "$input" ] && local input="@/dev/stdin"
curl -d "$input" https://qrcode.show
}

#qrcode #qr #curl

https://qrcode.show
SFTPGo - полнофункциональный и настраиваемый SFTP-сервер с дополнительной поддержкой FTP/S и WebDAV, написанный на Go. Поддерживаются несколько бэкэндов хранилища: локальная файловая система, зашифрованная локальная файловая система, S3 Object Storage, Google Cloud Storage, Azure Blob Storage, SFTP.
Поддерживает виртуальные каталоги, виртуальных пользователей которых можно хранить в SQLite, MySQL, PostgreSQL и т.п., chroot изоляцию, виртуальные разрешения на пользователя и на каталог, REST API, веб-клиент и веб-интерфейс администратора, 2FA, квоты, рейт-лимиты, метрики prometheus и много чего еще.

#sftp #ftp #webdav #scp

https://github.com/drakkan/sftpgo
KLoadGen - плагин генератора нагрузки kafka для jmeter, предназначенный для работы со схемой AVRO и JSON. Он позволяет отправлять сообщения в kafka, подключается к серверу Scheme Registry, извлекает тему для отправки и каждый раз генерирует случайное сообщение.

#kafka #jmeter #perfomance

https://github.com/corunet/kloadgen
Capsule - оператор для кластера kubernetes который решает проблему мультиарендности (multi-tenancy), объединяя несколько пространств имен в один тенант, ограничивая каждого клиента надежными границами определяемыми при помощи политик.

#k8s #kubernetes #multitenancy #operator

https://github.com/clastix/capsule
Kafka Lag Exporter - экспортер метрик лага Kafka consumer group.
Akka подобное приложение написанное на Scala. Метрики доступны для Prometheus, InfluxDB и Graphite. Имеется интеграцию с Strimzi оператором.

Одной из наиболее уникальных функций Kafka Lag Exporter является его способность предугадывать продолжительность времени, в течение которого consumer group отстает от последнего созданного значения для определенного partition.
Lag offset полезен, чтобы понять, что consumer group лагает, но он не дает представления о фактической задержке приложения-потребителя.

#kafka #strimzi #exporter #prometheus #influx #graphite

https://github.com/lightbend/kafka-lag-exporter
Cruise-control - это инструмент полностью автоматизирующий динамическую перебалансировку рабочей нагрузки и самовосстановление кластера Kafka, обнаружает аномалии, следит за утилизацией ресурсов брокерами, топиками и партишенами.

Поддерживает авторизацию HTTP Basic и JWT, аутентификацию. Также предоставляет параметры администрирования, такие как: добавление и удаление брокеров, ребалансировка, исправление реплик, перевыборы лидера, исправление аномалий и управление фактором репликации. А управлять всем этим можно через REST API или cccli утилиту командной строки.

#kafka #cccli

https://github.com/linkedin/cruise-control
Как LinkedIn настраивает Kafka для 7 триллионов сообщений в день
А вот подборка event listeners для Keycloak которые позволяют отправлять события в шины Kafka или RabbitMQ, что может быть полезно для аудита действий пользователей (UAM, User activity monitoring)

#keycloak #mqtt #kafka #rabbitmq #UAM #audit

Keycloak events listener - MQTT
Keycloak events listener - RabbitMQ
Keycloak events listener - Kafka
Keycloak Benchmark - инструменты для тестирования производительности Keycloak. Состоит из двух основных инструментов:

Dataset - предназначен для предварительного заполнения БД Keycloak большим количеством объектов. Создает клиентов, пользователей и области.
Benchmark - предназначен для запуска самого теста производительности и создания нагрузки (использует Gatling в качестве среды выполнения).

#keycloak #perfomance #benchmark

https://github.com/keycloak/keycloak-benchmark
prom-label-proxy - прокси сервер для Prometheus позволяющий разделять Prometheus и Alertmanager по меткам для каждого тенанта, что позволит создать мультиарендный доступ к одному Prometheus.

#prometheus #alertmanager #multitenancy

https://github.com/prometheus-community/prom-label-proxy
FaPro - Fake Protocol Server, кросплатформенная утилита которая позволяет легко запускать или останавливать несколько симуляций сетевых служб. Поддерживает кучу разных протоколов, таких как: DNS, Elasticsearch, FTP, Memcached, Modbus, MQTT, Redis, SMB, SNMP, VNC и много чего еще. Швейцарский нож для тестирования и отладки.

#fakeserver #fapro #rdp #vnc #dns #mqtt #modbus #smb #ssh #redis #imap #pop3 #snpm #smtp

https://github.com/fofapro/fapro
Тут DZone обзор на KubeMQ написали, это такая альтернативная Kafka, написанная на Go, нацеленная на cloud-native и kubernetes.
Из интересного, про прозрачную миграцию с кафки рассказывают при помощи KubeMQ Kafka connector. Я уж успел забыть про проект, а он оказывается растёт активно. Думаю, может взять протестить.
https://dzone.com/articles/seamless-migration-from-kafka-to-kubemq

#kubemq #kafka

https://github.com/kubemq-io/kubemq-community
Я вот написал небольшую статью, хозяйке на заметку, как готовить окружение для bash скриптинга.

Последнее время, у коллег скрипты на bash хромают, на подкастах IT тематических bash проклинают, на форумах тематических не осиливают и тянут nodejs для банальных задач в однострочник.
Решил сделать небольшой вклад, надеюсь кому-то да помогу преодолеть этот болевой порог.

#bash #sh #shell #vscode

https://habr.com/ru/post/583320/
KEDA - это инструмент автомасштабирования для Kubernetes, управляемый событиями. С KEDA вы можете управлять масштабированием любого контейнера в зависимости от количества событий, которые необходимо обработать.

Ранее вы возможно использовали Prometheus adapter для реализации custom.metrics.k8s.io в кластере и последующего использования их в HPA. KEDA же позволит вам обратится в Prometheus напрямую при помощи Prometheus scaler.

Так вот этих самых scalers (некий адаптер для сбора событий с приложений), существует довольно много, к примеру поддерживается:
- Apache Kafka
- AWS CloudWatch
- Azure Monitor
- Metrics API
- Kubernetes Workload
- CPU
- Cron
- Memory
- и много других ...

#keda #hpa #autoscaling #k8s #kubernetes

https://github.com/kedacore/keda
Наткнулся в вики AlmaLinux на табличку-сравнение для дистрибутивов бинарно соместимых с RHEL8, это те которые пришли на замену CentOS 8. Возможно поможет определиться с выбором.

Интересно, что AlmaLinux позиционирует себя как Non-Profit дистрибутив, т.е. не ради бабла.

Плюсом в копилку AlmaLinux скоро можно будет занести ELevate, это форк утилиты Leapp от шапки, которая позволяет делать апгрейд дистрибутива. Работать кстати будет с Rocky Linux и OracleLinux. Почему скоро? Оно еще не стабильно, и в прод тащить пока не рекомендуется. Напомню, EOL для CentOS7 2024-06-30 и время еще есть, ELevate точно допилят к тому времени.

#AlmaLinux #RHEL #OracleLinux #RockyLinux #CentOS

https://wiki.almalinux.org/Comparison.html