AWS: CDK – знайомство та приклади на Python

AWS Cloud Development Kit (AWS CDK) дозволяє описувати інфрастуктуру використовуючи мови програмування TypeScript, JavaScript, Python, Java, C# або Go. “Під капотом” створює CloudFormation стек, в якому створються ресурси, описані в вашому коді. Відповідь на питання “Нашо CDK, коли є Terraform?” можна знайти ось тут – 4 ultimate reasons to prefer AWS CDK over Terraform. Але…

https://rtfm.co.ua/aws-cdk-znajomstvo-ta-prikladi-na-python/

Terraform: початок роботи та планування нового проекту – Dev/Prod та bootsrap

Треба запланувати використання Terraform у новому проекті, а це включає в себе і планування структри файлів для проекті, і як створити бекенд (тобто bootstrap) і інші потрібні для початку роботи ресурси, і подумати на тему роботи з кількома оточеннями і AWS-аккаунтами. Взагалі, цей пост спочатку писався чисто про створення AWS SES, але я почав додавати…

https://rtfm.co.ua/terraform-pochatok-roboti-ta-planuvannya-novogo-proektu-dev-prod-ta-bootsrap/

Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail

Збирати логи у Grafana Loki з Kubernetes дуже просто – запускаємо Promtail у DaemonSet, йому вказуємо читати всі дані з /var/logs – і готово (насправді взагалі нічого не вказуємо – з Helm-чарту все працює з коробки). А от як бути з CloudWatch Logs? На новому проекті маємо купу AWS Lambda, API Gateways і т.д, і…

https://rtfm.co.ua/loki-zbir-logiv-z-cloudwatch-logs-z-vikoristannyam-lambda-promtail/

8 червня запрошуємо на єТема: Data Science edition!

єТема — це онлайн та офлайн мітапи, панельні дискусії, вебінари, воркшопи від спікерів SQUAD та запрошених фахівців IT-галузі.

Долучайтеся до найближчої події, та дізнайтеся:

▪️ Як розробити ефективне рішення лікування радіотерапією ракових пухлин? Кейс від спікера, яке зайняв 9 місце з-поміж 1500 учасників на змаганнях Kaggle UW-Madison GI Tract Image Segmentation.

▪️ Як машинне навчання та штучний інтелект допомагають боротися з дезінформацією та ворожою пропагандою?
Досвід волонтерського проєкту Mantis Analytics (у минулому Pravdorub).

▪️ Як побудувати сегментаційний алгоритм для моделювання та розуміння розвитку різних захворювань? Доповідь від автора алгоритму, який посів 3 місце із 1100 учасників на змаганнях “HuBMAP + HPA - Hacking the Human Body”

Мітап пройде у онлайн форматі
8 червня о 18:00
Участь безоплатна

Реєструйтеся тут

Prometheus: GitHub Exporter – пишемо власний експортер для GitHub API

Прийшла досить цікава задачка – побудувати в Grafana дашборду, в якій би відображався статус процессу розробки, а саме – перформанс, тобто ефективність наших DevOps-процесів. Потрібно це тому, что ми намагаємось побудувати “true continuous deployment”, щоб код автоматично потрапляв у Production, і нам важливо бачити як саме проходить процес розробки. Загалом для оцінки ефективності процессу розробки…

https://rtfm.co.ua/prometheus-github-exporter-pishemo-vlasnij-eksporter-dlya-github-api/

VictoriaMetrics: знайомство та використання замість Prometheus

Давно і багато чув про VictoriaMetrics, і нарешті настав час, коли її можна спробувати. Отже, в двох словах – VictoriaMetrics це “Prometheus на стероідах”, і повністю з ним сумісна – може використовувати його файли конфігурації, експортери, PromQL тощо. Тож як для людини, яка завжди користувалась Prometheus, перше питання – в чьому різниця? Єдине, що пам’ятаю,…

https://rtfm.co.ua/victoriametrics-znajomstvo-ta-vikoristannya-zamist-prometheus/

AWS: CDK – створення EKS з Python та загальні враження від CDK

Terraform то чудово, але поки що вирішили перші кластера AWS EKS створювати за допомогою AWS CDK, бо по-преше – він вже є на проекті, по-друге – самому цікаво спробувати новий інструмент. Тож сьогодні розглянемо що з цього вийшло, та як створювався кластер і необхідні ресурси. Про перше знайомство з СDK писав тут – AWS: CDK…

https://rtfm.co.ua/aws-cdk-stvorennya-eks-z-python-ta-zagalni-vrazhennya-vid-cdk/

AWS: EKS, OpenID Connect та ServiceAccounts

Зараз сетаплю новий ЕКС кластер, і серед інших компонентів запускаю в ньому ExternalDNS, який використовує Kubernetes ServiceAccount для аутентифікації в AWS, щоб мати змогу вносити зміни до доменної зони в Route53. Однак забув налаштувати Identity Provider в AWS IAM, і ExternalDNS видав помилку: level=error msg=”records retrieval failed: failed to list hosted zones: WebIdentityErr: failed to…

https://rtfm.co.ua/aws-eks-openid-connect-ta-serviceaccounts/

AWS: CDK та Python, IAM OIDC Provider, та Kubernetes Controllers

Отже, маємо AWS EKS кластер, створений з AWS CDK та Python – AWS: CDK – створення EKS з Python та загальні враження від CDK та маємо уявлення, як працює IRSA – AWS: EKS, OpenID Connect та ServiceAccounts. Наступним кроком після розгортання самого кластеру треба налаштувати OIDC Identity Provider в AWS IAM, та додати два контролери…

https://rtfm.co.ua/aws-cdk-ta-python-iam-oidc-provider-ta-kubernetes-controllers/

AWS: CDK підключення EBS CSI driver Add-On до EKS

Продовжимо про AWS CDK та Python. Пишу не тому, що подобається, а тому, що в інтернеті прикладів ну якось зовсім мало, тож нехай будуть хоча б тут. Отже, маємо кластер, маємо пару контролерів. Наче все готово – почав встановлювати чарт VictoriaMetrics, і все завелося окрім поду з VMSingle, який завис в статусі Pending. Contents -…

https://rtfm.co.ua/aws-cdk-pidklyuchennya-ebs-csi-driver-add-on-do-eks/

AWS: Kubernetes – інтеграція AWS Secrets Manager та Parameter Store

Зберігання даних доступу у Kubernetes Secrets має важливий недолік, бо вони доступні тільки всередені самого Kubernetes кластеру. Щоб зробити їх доступними зовнішнім сервісам – можемо використати Hashicorp Vault і інтегрувати його з Kubernetes за допомогою таких рішень, як vault-k8s, або скористуватись сервісами від AWS – Secrets Manager або Parameter Store. Інтеграція AWS Secrets Manager та…

https://rtfm.co.ua/aws-kubernetes-integraciya-aws-secrets-manager-ta-parameter-store/

VictoriaMetrics: створення Kubernetes monitoring stack з власним Helm-чартом

Зараз маємо VictoriaMetrics + Grafana на звичайному EC2-інстансі, запущені з Docker Compose – то був Proof of Concept, прийшов час запускати “по-дорослому” – в Kubernetes, і всі конфіги вже винести в GitHub. У VictoriaMetrics є чарти під кожен компонент, див. Victoria Metrics Helm Charts, і є чарти для запуску VictoriaMetrics Operator та victoria-metrics-k8s-stack – аналог…

https://rtfm.co.ua/victoriametrics-stvorennya-kubernetes-monitoring-stack-z-vlasnim-helm-chartom/

Які переваги і ризики ШІ у проєктному менеджменті?
Як досягти досконалості бізнес-процесів у розробці продуктів та проєктів?
Застосування теорії розбитих вікон в менеджменті: як це може підвищити результативність команди?

26 липня запрошуємо на Project Management Meetup від Levi9, щоб детально розібратися у цих питаннях.

Долучайтесь за посиланням: https://bit.ly/PMm_levi9_

Спікери мітапу:
Дмитро Панін, Delivery Director в Levi9 Ukraine
Олексій Козлюк, Директор, Офіс Управління Проєктами (РМО) й Департамент Якості Бізнес Процесів у GMS – Global Message Services
Олександр Корицький, Delivery Lead в Levi9 Ukraine

Обирайте зручний формат участі:
- онлайн — безкоштовно за попередньою реєстрацією;
- офлайн нетворк у Києві за адресою БЦ Техно Лофт на вул. Володимирська 101 — з організаційним внеском в ₴200.
Всі кошти будуть направлені на благодійність 💙💛

До зустрічі!

AWS: Grafana Loki, InterZone трафік в AWS, та Kubernetes nodeAffinity

Трафік в AWS взагалі досить цікава та місцями складна штука, колись писав окремо про це у пості AWS: Cost optimization – обзор расходов на сервисы и стоимость трафика в AWS – прийшов час трохи повернутися до цієї теми. Отже, в чьому проблема: в AWS Cost Explorer помітив, що кілька днів поспіль маємо зростання витрат на…

https://rtfm.co.ua/aws-grafana-loki-interzone-trafik-v-aws-ta-kubernetes-nodeaffinity/

Grafana Loki: оптимізація роботи – Recording Rules, кешування та паралельні запити

Отже, маємо Loki, встановленую з чарту у simple-scale mode, див. Grafana Loki: архітектура та запуск в Kubernetes з AWS S3 storage та boltdb-shipper. Працює Loki все в AWS Elastic Kubernetes Service, встановлено з Loki Helm chart, в ролі long-term store використовуємо AWS S3, а для роботи з індексами Loki – BoltDB Shipper. У Loki в…

https://rtfm.co.ua/grafana-loki-optimizaciya-roboti-recording-rules-keshuvannya-ta-paralelni-zapiti/

Підготовка до зими 2023-2024: електрохарчування

“The Winter is coming!” (c) Що ж – зима наближається. Пора починати думати про забезпечення себе електрохарчуванням (с), бо пам’ятаючи минулу зиму – забезпечити себе електрикою треба, та й ціни на всяке електрообладнання почнуть рости дуже скоро. Загальна задумка – забезпечити себе автономність на тиждень блекауту – будемо брати найбільш песимістичний варіант. На тиждень має…

https://rtfm.co.ua/pidgotovka-do-zimi-2023-2024-elektroxarchuvannya/

Grafana: values з записів в логах Loki, та dual-Y-axes графіки в Grafana

Фукція в AWS Lambda пише логи в CloudWatch Logs, звідки ми через lambda-promtail забираємо їх в Grafana Loki, звідки потім можемо використати в графіках Grafana. Що треба зробити: в логах пишеться час “Init duration” та “Max Memory Used”. В CloudWatch таких метрик нема, а нам цікаво мати графік по цим данним, бо це може бути…

https://rtfm.co.ua/grafana-values-z-zapisiv-v-logax-loki-ta-dual-y-axes-grafiki-v-grafana/

Kubernetes: Pods та WorkerNodes – контроль розміщення подів на нодах

Kubernetes дозволяє дуже гнучко керувати тим, як його Pods будуть розташовані на серверах, тобто WorkerNodes. Це може бути корисним, якщо вам треба запускати под на специфічній конфігурії ноди, наприклад – WorkerNode повинна мати GPU, або SSD замість HDD. Інший приклад, це коли вам потрібно розміщати окремі поди поруч, щоб зменшити затримку їхньої комунікації, або зменшити…

https://rtfm.co.ua/kubernetes-pods-ta-workernodes-kontrol-rozmishhennya-podiv-na-nodax/

AWS: знайомство з Karpenter для автоскейлінгу в EKS, та встановлення з Helm-чарту

На всіх попередніх проектах, де був Kubernetes я використовував AWS Elastic Kubernetes Service, а для скейлінгу його WorkerNodes – Cluster Autoscaler (CAS), бо в принципі інших варіантів раньше не було. В цілому, CAS працював добре, проте в листопаді 2020 AWS випустив власне рішення для скейлінгу нод для EKS – Karpenter, і якщо спочатку відгуки були…

https://rtfm.co.ua/aws-znajomstvo-z-karpenter-dlya-avtoskejlingu-v-eks-ta-vstanovlennya-z-helm-chartu/

14-15 вересня запрошуємо на DevOpsDays Ukraine: Disaster Recovery ⚙️

Це вже 6-та конференція комʼюніті і на вас чекають Cultural Talks, Ignites & Tech Talks від світових та українських експертів: Charity Majors, Iaroslav Molochko, Manuel Pais, Adriana Villela та інші.

Будемо говорити про Self-Service Tooling, Future of Platforms, CI/CD та IaC для GameDev, як досягати результатів в умовах війни та багато іншого. Ви дізнаєтесь як ПриватБанк успішно мігрував до хмари під час перших місяців повномасштабного вторгнення.

Під час live fireside chat зможете поставити запитання засновнику DevOpsDays, Patrick Debois, та дізнатися більше про його досвід та ідеї.

І, звісно, онлайн нетворкінг на Open-Spaces з однодумцями з усього світу.

💙 💛 Долучайтеся також до благодійної ініціативи — збір для фонду UA Responders. Разом допоможемо закупити необхідну гуманітарну допомогу для рятівників, медиків, парамедиків та інших працівників служб швидкого реагування.

Коли? 14-15 вересня
Де? Онлайн

Деталі на сайті 👀 https://bit.ly/3KQ3jXS

Реєструйтеся та не пропустіть!

VictoriaMetrics: VMAuth – проксі, аутентифиікація та авторизація

Продовжуємо розвивати наш стек моніторингу. Див. VictoriaMetrics: створення Kubernetes monitoring stack з власним Helm-чартом. Що хочеться: зробити доступ девелоперам, щоб вони могли в Alertmanager самі виставляти Silence для алертів аби не спамити в Slack, див. Prometheus: Alertmanager Web UI и Silence алертов. Для того, щоб забезпечити безпечний доступ до нього можна використати рішення від VictoriaMetrics…

https://rtfm.co.ua/victoriametrics-vmauth-proksi-autentifiikaciya-ta-avtorizaciya/