Grafana Loki: LogQL та Recoding Rules для метрик з логів AWS Load Balancer

Взагалі не планував цей пост, думав швиденько все зроблю, але швиденько не вийшло, і треба трохи глибше копнути цю тему. Отже, про що мова: у нас є AWS Load Balancers, логи з яких збираються до Grafana Loki, див. Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda. В Loki маємо Recoding Rules…

https://rtfm.co.ua/grafana-loki-logql-ta-recoding-rules-dlya-metrik-z-logiv-aws-load-balancer/

Я якось провтикав дати анонс перед подією, тож виправляюсь, і анонсую хоча б в записі 😊
Мій колишній колега і давній товариш @turnaviotovnn робив доповідь про [Dev]Ops та Azure.
Було цікаво подивитись на Ажур - Microsoft прям непогано розгорнулись.
https://www.youtube.com/watch?v=1G2XbOOZsyE&ab_channel=MykolaTurnaviotov

Terraform: створення модулю для збору логів AWS ALB в Grafana Loki

Приклад створення модулю Terraform для автоматизації збору логів з AWS Load Balancers у Grafana Loki. Як працює сама схема див. у Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda – ALB пише логи в S3-бакет, звідки їх забирає Lambda-функція з Promtail і пересилає у Grafana Loki. В чому ідея з модулем…

https://rtfm.co.ua/terraform-stvorennya-modulyu-dlya-zboru-logiv-aws-alb-v-grafana-loki/

AWS: VPC Prefix та максимальна кількість подів на Kubernetes WorkerNodes

Кожна WorkerNode в Kubernetes може мати обмежену кількість подів, і цей ліміт визначається трьома параметрами: - CPU: загальна кількість requests.cpu не може бути більше, ніж є CPU на Node - Memory: загальна кількість requests.memory не може бути більше, ніж є Memory на Node - IP: загальна кількість подів не може бути більшою, ніж є IP-адрес…

https://rtfm.co.ua/aws-vpc-prefix-ta-maksimalna-kilkist-podiv-na-kubernetes-workernodes/

Kubernetes: tracing запитів з AWS X-Ray та Grafana data source

Tracing (“трасування”) дозволяє відстежувати запити між компонентами, тобто, наприклад, при використанні AWS і у Kubernetes ми можемо прослідкувати весь шлях запиту від AWS Load Balancer – до Kubernetes Pod – і до DynamoDB або RDS. Це допомагає нам як відстежувати проблеми з performance – де і які запити виконуються довго – так і мати більше…

https://rtfm.co.ua/kubernetes-tracing-zapitiv-z-aws-x-ray-ta-grafana-data-source/

GitHub Actions: деплой Terraform з review запланованих змін

У пості GitHub Actions: деплой Dev/Prod оточень з Terraform я вже описував те, як можна реалізувати CI/CD для Terraform з GitHub Actions, але в тому рішенні є один суттєвий недолік: немає можливості зробити review змін перед тим, як їх застосувати з terraform apply. GitHub Actions має можливість використання Reviewing deployments з Required reviewers, проте ця…

https://rtfm.co.ua/github-actions-deploj-terraform-z-review-zaplanovanix-zmin/

https://pypi.org/project/Bython/

def print_message(num_of_times) {
    for i in range(num_of_times) {
        print("Bython is awesome!");
    }
}

if __name__ == "__main__" {
    print_message(10);
}

Python без пробілів і з фігурними дужками О.о
Як вам?

GitHub Actions: використання Reusable Workflows – нюанси роботи

В пості GitHub Actions: деплой Dev/Prod оточень з Terraform я вже трохи торкався теми Reusable Workflows та Composite Actions – прийшов час трохи більше з нею ознайомитись. Що треба зробити: зараз на проекті ми в кожному репозиторії пишемо Workflow-файли окремо. Втім, оскільки поступово всі процеси уніфікуються – управління інфраструктурою через Terraform, та запуск сервісів в…

https://rtfm.co.ua/github-actions-vikoristannya-reusable-workflows-nyuansi-roboti/

Запрошуємо на вебінар "AWS Well-Architected Framework Review: ключ до зниження операційних витрат".

📆 Дата: 28 березня
🕚 Час: 11:00 - 12:00
📍 Youtube-трансляція

Під час вебінару ви дізнаєтеся про:
🔸 AWS Well-Architected Framework Review (WAFR), як структурований підхід для побудови безпечної, високопродуктивної, стійкої та ефективної інфраструктури для додатків.
🔸 6 принципів проєктування/стовпів AWS WAFR
🔸 Практичні переваги AWS WAFR і його цінність для бізнесу
🔸 Рекомендації щодо підвищення безпеки, надійності, продуктивності та економії коштів.
🔸 Унікальність підходу Crayon до проведення WAFR.
🔸 AWS WAFR Tool та Сonformity.

Спікери: Антон Карташов, Solutions Architect у Amazon Web Services WWPS CEE, та Олексій Лепешенков, Solution Advisor у Crayon Ukraine.

Більше інформації на сайті: https://bit.ly/3IGV7rp

Реєструйтеся, щоб дізнатися як ваші додатки можуть працювати ефективно у хмарі AWS. До зустрічі на вебінарі!

16 квітня запрошуємо вас на AWS Notes. Chapter 2. Building Applications від AWS User Group Ukraine.

Другий розділ AWS Notes об'єднає українських та світових спікерів, щоб поділитися викликами, складнощами, досвідом та інсайтами у побудові додатків. На вас чекають:
- 1 день віртуальної конференції;
- 5 Tech Notes, під час яких спікери детально розкриють теми побудови додатків;
- 2 короткі Snap Talks, де спікери поділяться своїми розробками pet проєктів та інсайтами їх створення.

Спікери: Юрій Безсонов, Senior Partner Solutions Architect в AWS, Дмитро Хмеленко, Senior Backend Developer у Preply, Уляна Стефанішина, Software Engineer в AWS, Radovan Baćović, Staff Data Engineer в GitLab та інші.

Для більш детальної інформації та реєстрації відвідайте сайт конференції: https://bit.ly/3PGPZaQ

Реєструйтеся та до зустрічі!

Grafana: AWS EC2 resources та Kubernetes Pods requests

У Kubecost і подібних рішень є дуже корисна сторінка, де відображається статистика по Kubernetes Pods – скільки CPU/Memory вони використовують, скільки реквестів, лімітів, і які для них рекомендовані значення. Додатково, щоб мати уяву про ефективність роботи Karpenter, я хочу мати дашборду в Grafana, яка буде відображати статистку по всім WorkerNode Kubernetes кластеру – ресурси CPU/Memory…

https://rtfm.co.ua/grafana-aws-ec2-resources-ta-kubernetes-pods-requests/

AWS: VPC Flow Logs, NAT Gateways, та Kubernetes Pods – детальний обзор

Маємо відносно великі витрати на AWS NAT Gateway Process Bytes, і стало цікаво що ж саме процеситься через нього. Здавалося б, все просто – включи собі VPC Flow Logs, да подивись, що до чого. Але як діло стосується AWS Elasitc Kubernetes Service та NAT Gateways, то все трохи цікавіше. Отже, про що будемо говорити: -…

https://rtfm.co.ua/aws-vpc-flow-logs-nat-gateways-ta-kubernetes-pods-detalnij-obzor/

Новий онлайн Project Management мітап від Levi9!

21 травня о 19:00 три Delivery Directors розкажуть про управління проєктами, менталочкою та своєю карʼєрою.

Теми мітапу:
– “Проєкт хороший, жахливий, потворний, поганий - що з цим робити?” — Андрій Швець, Delivery Director, Levi9 Ukraine.
– “Як керувати проєктами без стресу” — Дмитро Іржицький, Delivery Director у SoftServe.
– “Як побудувати кар’єру менеджера: практичні поради від Delivery Director”, — Михайло Григораш, Delivery Director в Levi9 Ukraine.

Ціна участі: 200 грн, які будуть автоматичним донатом на БФ «Повернись Живим».

Вже зовсім скоро чекаємо на YouTube-каналі Levi9.
Посилання на трансляцію надішлемо на пошту, вказану при купівлі квитку.

Реєстрація за посиланням👈
До зустрічі!

Dependabot: GitHub та Terraform versions management

З часом, коли проект росте, то рано чи пізно постане питання про апгрейд версій пакетів, модулів, чартів. Робити це вручну, звісно, можна – але тільки до якоїсь межі, бо врешті-решт ви просто фізично не зможете моніторити та оновлювати все. Для автоматизації таких процесів існує багато рішень, але найчастіше зустрічаються два – Renovate та Dependabot. За…

https://rtfm.co.ua/dependabot-github-ta-terraform-versions-management/

Renovate: GitHub та Helm Charts versions management

Depndabot (див. Dependabot: GitHub та Terraform versions management) цікавий тим, що досить швидко і просто конфігуриться, але те, що він досі не вміє в Helm-чарти (хоча feature request був відкритий ще в 2018) робить його трохи useless для нас. Отже, натомість давайте глянемо на Renovate, який прям дуже цінується всіма, хто має справу з менеджментом…

https://rtfm.co.ua/renovate-github-ta-helm-charts-versions-management/

4-5 червня запрошуємо на DevOpsDays Ukraine: Let’s Talk Security

Це вже 7-ма конференція комʼюніті і на вас чекають Ignites & Talks від світових та українських експертів: Daniel Deogun з Omegapoint, Петро Вавулін з Київстар, Michał Brygidyn з Xebia, Anastasiia Voitova з Cossack Labs та багато інших! Слідкуйте за оновленнями, щоб дізнатися більше.

Віртуальна конференція буде присвячена DevSecOps, розширенню практики DevOps, яка інтегрує безпеку як спільну відповідальність протягом усього життєвого циклу ІТ.

Протягом двох вечорів ми будемо говорити про культуру, автоматизацію та дизайн платформи, щоб створити план дій і включити заходи безпеки на кожному етапі розробки, забезпечуючи швидшу та безпечнішу доставку програмного забезпечення. На вас чекають презентації, ignite talks та open space дискусії! 🌟

💙 💛 Долучайтеся також до благодійної ініціативи — збір для фонду UA Responders.

Коли? 4-5 червня
Формат? Онлайн, безкоштовно

👉🏻 Деталі та реєстрація

Pritunl: запуск VPN в AWS на EC2 з Terraform

Колись вже трохи писав про Pritunl – Pritunl: запуск VPN в Kubernetes. Повернемось до цієї теми ще раз, але цього разу на EC2 в AWS, без Kubernetes. Отже, що треба – це запустити якийсь VPN-сервіс для проекту, або мати доступ до всяких Kubernetes API/Kubernetes WorkerNodes/AWS RDS у приватних мережах. Вибір тут, в принципі, є –…

https://rtfm.co.ua/pritunl-zapusk-vpn-v-aws-na-ec2-z-terraform/

AWS: Karpenter та SSH для Kubernetes WorkerNodes

Маємо AWS EKS кластер з WorkerNodes/EC2, які створюються за допомогою Karpenter. Процес створення інфраструктури, кластеру та запуск Karpenter описаний у попередніх постах: - Terraform: створення EKS, частина 1 – VPC, Subnets та Endpoints - Terraform: створення EKS, частина 2 – EKS кластер, WorkerNodes та IAM - Terraform: створення EKS, частина 3 – установка Karpenter Чого…

https://rtfm.co.ua/aws-karpenter-ta-ssh-dlya-kubernetes-workernodes/

#kubernetes #aws #security

Kubernetes: моніторинг Events з kubectl та Grafana Loki

В Kubernetes окрім метрик та логів з контейнерів ми маємо змогу отримувати інформацію про роботу компонентів за допомогою Kubernetes Events. В евентах зазвичай зберігається інформація про статус подів (створення, Evict, kill, ready або not-ready статус подів), про WorkerNodes (статус серверів), про роботу Kubernetes Scheduler (неможливість запуску поду, тощо). Contents - Типи Kubernetes Events - Kubernetes…

https://rtfm.co.ua/kubernetes-monitoring-events-z-kubectl-ta-grafana-loki/

#kubernetes #grafana