Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda

Зараз ми вміємо збирати логи API Gateway та CloudWatch Logs, див. Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail. Але в процесі міграції в Kubernetes у нас з’явились Application Load Balancers, які вміють писати логи тільки в S3, і нам треба навчитись збирати логи і звідти. Формат логу AWS ALB див. у Access…

https://rtfm.co.ua/grafana-loki-zbirayemo-logi-aws-loadbalancer-z-s3-za-dopomogoyu-promtail-lambda/

Kubernetes: забезпечення High Availability для Pods

Що маємо: є у нас Kubernetes cluster, на якому скейлінгом WorkerNodes займається Karpenter, який для NodePool має параметр disruption.consolidationPolicy=WhenUnderutilized, тобто він буде намагитись “ущільніти” розміщеня подів на нодах так, щоб максимально ефективно використати ресурси CPU та Memory. В цілому все працює, але це призводить до того, що досить часто перестворюються WorkerNodes, а це викликає “переселення”…

https://rtfm.co.ua/kubernetes-zabezpechennya-high-availability-dlya-pods/

Чи існує трушний паралелізм у Python? Який фреймворк швидший: Django та FastAP? Чи є майбутнє у GIL та які його переваги?

Запрошуємо на Levi9 Python Meetup, щоб детальніше розібратися у цих темах!

Коли: 7 грудня
Де: онлайн
Участь безкоштовна

Під час онлайн-трансляції ми також відкриємо збір донатів для фонду “Повернись живим” 💙💛

Команда Levi9 поділиться своїм досвідом та інсайтами про:
- оптимальний підбір інструментів (asyncio, multithreading та multiprocessing), use cases та скрапінг
- Django та FastAPI: протестуємо та порівняємо, який з них кращий/швидший
- міфи, які оточують GIL, а також переваги, які він приносить у розробку на Python

Деталі на сайті 👀
Реєструйтеся та не пропустіть!

https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-eks-pod-identity/

Опа. Звучить прям дуже цікаво.
Заміна IRSA?
Треба спробувати.

Остання єТЕМА від SQUAD у цьому році, і вона обіцяє бути потужною — DevOps & ML Edition

Kubeflow + DevOps != a land of unicorns and ponies

07.12.2023 | 19:00-20:30 | online

Подія для DevOps та MLOps інженерів всіх рівнів, де спікери розкажуть про KubeFlow та нюанси застосування цієї платформи у реальних проєктах. Участь безоплатна.

Будемо говорити про:
– архітектуру та компоненти Kubeflow через призму DevOps
– переваги та недоліки різних опцій деплойменту
– нюанси використання Kubeflow на AWS
– чи відповідає дійсності те, як описують Kubeflow у рекламних буклетах (spoiler: не зовсім)

Деталі та реєстрація — https://bit.ly/46wfAsr

Запрошуємо на першу частину нашого AWS re:Invent Recap українською мовою!

Не партнерський матеріал, просто сподобалось)

AWS: Amazon Q – знайомство, можливості та перші враження

В цікаві часи живемо. Отже, поговоримо про дуже гучний запуск Amazon Q – нової системи від AWS, яка має допомогти нам, інженерам і не тільки, в роботі. Сам Amazon його називає “AI-powered assistant”, по факту для нас, як інженерів, це просто chatbot, з яким ми можемо поговорити, щоб отримати допомогу у розв’язанні якихось проблем або…

https://rtfm.co.ua/aws-amazon-q-znajomstvo-mozhlivosti-ta-pershi-vrazhennya/

Вже 12 грудня, запрошуємо на наш новий івент AWS Notes. Chapter 1. IoT від AWS User Group Ukraine ком’юніті.

AWS Notes — це серія віртуальних конференцій, де кожен Chapter — окремий розділ клауду AWS, зібраний зі спеціальних доповідей Notes 📝

Що на вас чекає?

🔸 1 день віртуальної конференції
🔸 5 Tech Notes, де спікери розкажуть про вплив IoT на різні галузі та з якими викликами стикаються розробники при створенні проєктів на основі IoT.
🔸 2 короткі, але наповнені інсайтами Snap Notes, де спікери поділяться своїми інноваційними IoT-проєктами.
🔸 та понад 600 фанів AWS, зібраних разом

Свої теми вже готують Віталій Павлюк з Mathem, Денис Доронін з Yalantis, Олексій Іванченко та Konstantinos Kourmousis з AWS, Іван Коваленко з Global Logic та Sixing Huang з Gemini Data Inc.

Коли: 12 грудня
Де: онлайн

Реєструйтеся вже зараз👈

Та слідкуйте за оновленнями, найцікавіше попереду!

AWS: CloudWatch – Multi source query: збираємо метрики із зовнішнього Prometheus

Ще один цікавий анонс з останнього re:Invent – це те, що в CloudWatch додали можливість збирати метрики із зовнішніх ресурсів (див. дуже цікавий доклад AWS re:Invent 2023 – Cloud operations for today, tomorrow, and beyond (COP227)). Тобто тепер ми можемо створювати графіки та/або алерти не тільки з дефолтних метрик самого CloudWatch – але й за…

https://rtfm.co.ua/aws-cloudwatch-multi-source-query-zbirayemo-metriki-iz-zovnishnogo-prometheus/

https://www.youtube.com/watch?v=8qdvynaWDgQ

Please join the party on December 14th and let us know if you have any ideas/suggestions for the agenda and party plans.

Preliminary agenda:

Intro & Warm Up
What's new in VictoriaMetrics - Roman Khavronenko
- - Managed VictoriaMetrics - Ivan Yatskevich
- - Anomaly Detection - Daria Karavaieva / Fred Navruzov
Vicky Community Update
Our Vicky Story
- - Egor Pronin (WEDOS)
- - Andrey Tyulenev (Deutsche Bank)
- - Carsten Aulbert (Max Planck Institute for Gravitational Physics, Albert Einstein Institute)
- - Haley Wang: From Vicky contributor to Vicky team member
Community News - Denys Holius
-- Latest VictoriaMetrics News - Jean-Jérôme Schmidt-Soisson
Party Time: Celebrating 5 Years of VictoriaMetrics
BYOD (Bring Your Own Drink) for a toast
BYO Cake with 5 candles
AMA session

AWS: EKS Pod Identities – заміна IRSA? Спрощуємо менеджмент IAM доступів

Ще з дуже цікавих новинок останнього re:Invent – це EKS Pod Identities: нова можливість керувати доступами подів до ресурсів AWS. Contents - The current state: IAM Roles for Service Accounts - The f(ea)uture state: EKS Pod Identities ◦ Створення IAM Role ◦ Amazon EKS Pod Identity Agent add-on ◦ Підключення IAM Role до ServiceAccount ◦…

https://rtfm.co.ua/aws-eks-pod-identities-zamina-irsa-sproshhuyemo-menedzhment-iam-dostupiv/

Не пробував, бо слава богу Ажура вже давно нема, але комусь може бути корисним:
https://github.com/Azure/karpenter

Karpenter: моніторинг та Grafana dashboard для Kubernetes WorkerNodes

Маємо AWS EKS з Karpenter, який займається автоскелінгом EC2 – див. AWS: знайомство з Karpenter для автоскейлінгу в EKS, та встановлення з Helm-чарту. В цілому проблем з ним поки не маємо, але в будь-якому разі потрібен його моніторинг, для чого Karpeneter “з коробки” надає метрики, які можемо використати в Grafana та Prometheus/VictoriaMetrics алертах. Тож що…

https://rtfm.co.ua/karpenter-monitoring-ta-grafana-dashboard-dlya-kubernetes-workernodes/

Arduino: перше знайомство та мій Arduino Starter Kit

Бути девопсом – то, звичайно круто – всі ці клауди, Терраформи, сесуріті і прочі дуже цікаві штуки. Але я давно хотів спробувати і щось більш “реальне”, щось таке, щоб можна було потримати в руках, і цими ж руками зібрати. В минулому році, коли думав про чергову підготовку до зими (див. Підготовка до зими 2023-2024: електрохарчування),…

https://rtfm.co.ua/arduino-pershe-znajomstvo-ta-mij-arduino-starter-kit/

Arduino: запуск Arduino IDE на Linux, та перший “Hello, World!”

Продовжуємо бавитись з Ардуінкою 🙂 В попередньому пості трохи поговорили про Starter Kit – тепер хочеться вже ж щось зробити. Тож встановимо IDE на Arch Linux, і спробуємо виконати перший код. Contents - Запуск Arduino IDE на Linux ◦ Arduino IDE, Linux та “No ports discovered” ◦ “/dev/ttyUSB0”: Permission denied - Arduino “Hello, World!” ◦…

https://rtfm.co.ua/arduino-zapusk-arduino-ide-na-linux-ta-pershij-hello-world/

Grafana Loki: LogQL та Recoding Rules для метрик з логів AWS Load Balancer

Взагалі не планував цей пост, думав швиденько все зроблю, але швиденько не вийшло, і треба трохи глибше копнути цю тему. Отже, про що мова: у нас є AWS Load Balancers, логи з яких збираються до Grafana Loki, див. Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda. В Loki маємо Recoding Rules…

https://rtfm.co.ua/grafana-loki-logql-ta-recoding-rules-dlya-metrik-z-logiv-aws-load-balancer/

Я якось провтикав дати анонс перед подією, тож виправляюсь, і анонсую хоча б в записі 😊
Мій колишній колега і давній товариш @turnaviotovnn робив доповідь про [Dev]Ops та Azure.
Було цікаво подивитись на Ажур - Microsoft прям непогано розгорнулись.
https://www.youtube.com/watch?v=1G2XbOOZsyE&ab_channel=MykolaTurnaviotov

Terraform: створення модулю для збору логів AWS ALB в Grafana Loki

Приклад створення модулю Terraform для автоматизації збору логів з AWS Load Balancers у Grafana Loki. Як працює сама схема див. у Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda – ALB пише логи в S3-бакет, звідки їх забирає Lambda-функція з Promtail і пересилає у Grafana Loki. В чому ідея з модулем…

https://rtfm.co.ua/terraform-stvorennya-modulyu-dlya-zboru-logiv-aws-alb-v-grafana-loki/

AWS: VPC Prefix та максимальна кількість подів на Kubernetes WorkerNodes

Кожна WorkerNode в Kubernetes може мати обмежену кількість подів, і цей ліміт визначається трьома параметрами: - CPU: загальна кількість requests.cpu не може бути більше, ніж є CPU на Node - Memory: загальна кількість requests.memory не може бути більше, ніж є Memory на Node - IP: загальна кількість подів не може бути більшою, ніж є IP-адрес…

https://rtfm.co.ua/aws-vpc-prefix-ta-maksimalna-kilkist-podiv-na-kubernetes-workernodes/

Kubernetes: tracing запитів з AWS X-Ray та Grafana data source

Tracing (“трасування”) дозволяє відстежувати запити між компонентами, тобто, наприклад, при використанні AWS і у Kubernetes ми можемо прослідкувати весь шлях запиту від AWS Load Balancer – до Kubernetes Pod – і до DynamoDB або RDS. Це допомагає нам як відстежувати проблеми з performance – де і які запити виконуються довго – так і мати більше…

https://rtfm.co.ua/kubernetes-tracing-zapitiv-z-aws-x-ray-ta-grafana-data-source/

GitHub Actions: деплой Terraform з review запланованих змін

У пості GitHub Actions: деплой Dev/Prod оточень з Terraform я вже описував те, як можна реалізувати CI/CD для Terraform з GitHub Actions, але в тому рішенні є один суттєвий недолік: немає можливості зробити review змін перед тим, як їх застосувати з terraform apply. GitHub Actions має можливість використання Reviewing deployments з Required reviewers, проте ця…

https://rtfm.co.ua/github-actions-deploj-terraform-z-review-zaplanovanix-zmin/