The Guardian tells a story of their migration into AWS Aurora Serverless.

This article doesn’t go too deep into technical aspects, but provides a nice overview of the issues one may encounter when trying to move to Aurora.

A couple of things that I found interesting:

- Whatever cloud migration tools are there, pg_dump and pg_restore are your trusted friends.

- This paragraph:


We’re spending roughly $220/month for storage and compute for the database. For the same price we could have rented a db.m7g.xlarge (16GB RAM, 4 vCPUs) Postgres instance along with 100GB of EBS storage or a db.r7g.large (16GB RAM, 2 vCPUs) Aurora instance. I suspect both of these options would have done the job for us, and maybe not have suffered from the same cold start problems as our serverless database, but after 3 migrations, it’s probably time to get back to doing some feature work!


#databases #postgres #aws

Karpenter: Beta version – обзор змін та upgrade v0.30.0 на v0.32.1

Отже, Karpenter зробив ще один великий шаг до релізу, і у версії 0.32 вийшов з етапу Alpha до Beta. Давайте кратко подивимось на зміни – а вони досить суттєві, а потм виконаємо апгрейд на EKS з Karpneter Terraform module та Karpenter Helm chart. Сам процесс установки Karpenter описував у пості Terraform: створення EKS, частина 3…

https://rtfm.co.ua/karpenter-beta-version-obzor-zmin-ta-upgrade-v0-30-0-na-v0-32-1/

VictoriaMetrics: Exporter в CronJob та пуш метрік без Pushgatway

В пості Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform писав про те, як для Prometheus додати Pushgateway, який дозволяє використовувати Push-модель замість Pull, тобто – експортер може відправити метрики прямо в базу замість того, щоб чекати, коли до нього прийде сам Prometheus або VMAgent. У VictoriaMetrics з цим набагато простіше, бо ніякого Pushgateway…

https://rtfm.co.ua/victoriametrics-exporter-v-cronjob-ta-push-metrik-bez-pushgatway/

Привіт 👋🏻 Раді запросити 30 листопада на онлайн конференцію Cloud Builders: Java Conf!

Це вже четверта Java-конференція ком’юніті, де на вас чекають:
- 6+ Java&Cloud експертів, які поділяться кращими практиками;
- Спільнота з понад 500 однодумців.

В агенді👇🏻
- “Java 11–21 Evolution” від Mohamed Taman, Senior Solutions Architect в Nortal
- “The Keys to Developer Productivity: Collaborate and Innovate” від Heather VanCura, Vice President в Oracle
- “Why Quarkus should be your next tech stack” від Holly Cummins, Senior Principal Software Engineer в Red Hat
- Доповідь від з Emily Jiang, STSM, Cloud Native Architect and Advocate в IBM
- Fireside chat з Josh Long, Spring Developer Advocat у VMware

Реєстрація безкоштовна 👉 https://bit.ly/3MqVTv2
📆 Коли: 30 листопада
🌎 Де: онлайн-трансляція в YouTube
📍Мова доповідей: англійська

Save the date and let’s build up together ☁️

Kubernetes: Liveness та Readiness Probes – Best practices

Кілька корисних порад по використанню Liveness та Readiness Probes в Kubernetes – різниця між ними, та як правильно налаштовувати ці перевірки. Якщо зовсім коротко, то: - livenessProbe: використовується Kubernetes, щоб знати, коли потрібно виконати restart поду - readinessProbe: використовується Kubernetes, щоб знати, коли контейнер готовий приймати трафік, тобто – коли відповідний Kubernetes Service може додавати…

https://rtfm.co.ua/kubernetes-liveness-ta-readiness-probes-best-practices/

Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda

Зараз ми вміємо збирати логи API Gateway та CloudWatch Logs, див. Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail. Але в процесі міграції в Kubernetes у нас з’явились Application Load Balancers, які вміють писати логи тільки в S3, і нам треба навчитись збирати логи і звідти. Формат логу AWS ALB див. у Access…

https://rtfm.co.ua/grafana-loki-zbirayemo-logi-aws-loadbalancer-z-s3-za-dopomogoyu-promtail-lambda/

Kubernetes: забезпечення High Availability для Pods

Що маємо: є у нас Kubernetes cluster, на якому скейлінгом WorkerNodes займається Karpenter, який для NodePool має параметр disruption.consolidationPolicy=WhenUnderutilized, тобто він буде намагитись “ущільніти” розміщеня подів на нодах так, щоб максимально ефективно використати ресурси CPU та Memory. В цілому все працює, але це призводить до того, що досить часто перестворюються WorkerNodes, а це викликає “переселення”…

https://rtfm.co.ua/kubernetes-zabezpechennya-high-availability-dlya-pods/

Чи існує трушний паралелізм у Python? Який фреймворк швидший: Django та FastAP? Чи є майбутнє у GIL та які його переваги?

Запрошуємо на Levi9 Python Meetup, щоб детальніше розібратися у цих темах!

Коли: 7 грудня
Де: онлайн
Участь безкоштовна

Під час онлайн-трансляції ми також відкриємо збір донатів для фонду “Повернись живим” 💙💛

Команда Levi9 поділиться своїм досвідом та інсайтами про:
- оптимальний підбір інструментів (asyncio, multithreading та multiprocessing), use cases та скрапінг
- Django та FastAPI: протестуємо та порівняємо, який з них кращий/швидший
- міфи, які оточують GIL, а також переваги, які він приносить у розробку на Python

Деталі на сайті 👀
Реєструйтеся та не пропустіть!

https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-eks-pod-identity/

Опа. Звучить прям дуже цікаво.
Заміна IRSA?
Треба спробувати.

Остання єТЕМА від SQUAD у цьому році, і вона обіцяє бути потужною — DevOps & ML Edition

Kubeflow + DevOps != a land of unicorns and ponies

07.12.2023 | 19:00-20:30 | online

Подія для DevOps та MLOps інженерів всіх рівнів, де спікери розкажуть про KubeFlow та нюанси застосування цієї платформи у реальних проєктах. Участь безоплатна.

Будемо говорити про:
– архітектуру та компоненти Kubeflow через призму DevOps
– переваги та недоліки різних опцій деплойменту
– нюанси використання Kubeflow на AWS
– чи відповідає дійсності те, як описують Kubeflow у рекламних буклетах (spoiler: не зовсім)

Деталі та реєстрація — https://bit.ly/46wfAsr

Запрошуємо на першу частину нашого AWS re:Invent Recap українською мовою!

Не партнерський матеріал, просто сподобалось)

AWS: Amazon Q – знайомство, можливості та перші враження

В цікаві часи живемо. Отже, поговоримо про дуже гучний запуск Amazon Q – нової системи від AWS, яка має допомогти нам, інженерам і не тільки, в роботі. Сам Amazon його називає “AI-powered assistant”, по факту для нас, як інженерів, це просто chatbot, з яким ми можемо поговорити, щоб отримати допомогу у розв’язанні якихось проблем або…

https://rtfm.co.ua/aws-amazon-q-znajomstvo-mozhlivosti-ta-pershi-vrazhennya/

Вже 12 грудня, запрошуємо на наш новий івент AWS Notes. Chapter 1. IoT від AWS User Group Ukraine ком’юніті.

AWS Notes — це серія віртуальних конференцій, де кожен Chapter — окремий розділ клауду AWS, зібраний зі спеціальних доповідей Notes 📝

Що на вас чекає?

🔸 1 день віртуальної конференції
🔸 5 Tech Notes, де спікери розкажуть про вплив IoT на різні галузі та з якими викликами стикаються розробники при створенні проєктів на основі IoT.
🔸 2 короткі, але наповнені інсайтами Snap Notes, де спікери поділяться своїми інноваційними IoT-проєктами.
🔸 та понад 600 фанів AWS, зібраних разом

Свої теми вже готують Віталій Павлюк з Mathem, Денис Доронін з Yalantis, Олексій Іванченко та Konstantinos Kourmousis з AWS, Іван Коваленко з Global Logic та Sixing Huang з Gemini Data Inc.

Коли: 12 грудня
Де: онлайн

Реєструйтеся вже зараз👈

Та слідкуйте за оновленнями, найцікавіше попереду!

AWS: CloudWatch – Multi source query: збираємо метрики із зовнішнього Prometheus

Ще один цікавий анонс з останнього re:Invent – це те, що в CloudWatch додали можливість збирати метрики із зовнішніх ресурсів (див. дуже цікавий доклад AWS re:Invent 2023 – Cloud operations for today, tomorrow, and beyond (COP227)). Тобто тепер ми можемо створювати графіки та/або алерти не тільки з дефолтних метрик самого CloudWatch – але й за…

https://rtfm.co.ua/aws-cloudwatch-multi-source-query-zbirayemo-metriki-iz-zovnishnogo-prometheus/

https://www.youtube.com/watch?v=8qdvynaWDgQ

Please join the party on December 14th and let us know if you have any ideas/suggestions for the agenda and party plans.

Preliminary agenda:

Intro & Warm Up
What's new in VictoriaMetrics - Roman Khavronenko
- - Managed VictoriaMetrics - Ivan Yatskevich
- - Anomaly Detection - Daria Karavaieva / Fred Navruzov
Vicky Community Update
Our Vicky Story
- - Egor Pronin (WEDOS)
- - Andrey Tyulenev (Deutsche Bank)
- - Carsten Aulbert (Max Planck Institute for Gravitational Physics, Albert Einstein Institute)
- - Haley Wang: From Vicky contributor to Vicky team member
Community News - Denys Holius
-- Latest VictoriaMetrics News - Jean-Jérôme Schmidt-Soisson
Party Time: Celebrating 5 Years of VictoriaMetrics
BYOD (Bring Your Own Drink) for a toast
BYO Cake with 5 candles
AMA session

AWS: EKS Pod Identities – заміна IRSA? Спрощуємо менеджмент IAM доступів

Ще з дуже цікавих новинок останнього re:Invent – це EKS Pod Identities: нова можливість керувати доступами подів до ресурсів AWS. Contents - The current state: IAM Roles for Service Accounts - The f(ea)uture state: EKS Pod Identities ◦ Створення IAM Role ◦ Amazon EKS Pod Identity Agent add-on ◦ Підключення IAM Role до ServiceAccount ◦…

https://rtfm.co.ua/aws-eks-pod-identities-zamina-irsa-sproshhuyemo-menedzhment-iam-dostupiv/

Не пробував, бо слава богу Ажура вже давно нема, але комусь може бути корисним:
https://github.com/Azure/karpenter

Karpenter: моніторинг та Grafana dashboard для Kubernetes WorkerNodes

Маємо AWS EKS з Karpenter, який займається автоскелінгом EC2 – див. AWS: знайомство з Karpenter для автоскейлінгу в EKS, та встановлення з Helm-чарту. В цілому проблем з ним поки не маємо, але в будь-якому разі потрібен його моніторинг, для чого Karpeneter “з коробки” надає метрики, які можемо використати в Grafana та Prometheus/VictoriaMetrics алертах. Тож що…

https://rtfm.co.ua/karpenter-monitoring-ta-grafana-dashboard-dlya-kubernetes-workernodes/

Arduino: перше знайомство та мій Arduino Starter Kit

Бути девопсом – то, звичайно круто – всі ці клауди, Терраформи, сесуріті і прочі дуже цікаві штуки. Але я давно хотів спробувати і щось більш “реальне”, щось таке, щоб можна було потримати в руках, і цими ж руками зібрати. В минулому році, коли думав про чергову підготовку до зими (див. Підготовка до зими 2023-2024: електрохарчування),…

https://rtfm.co.ua/arduino-pershe-znajomstvo-ta-mij-arduino-starter-kit/

Arduino: запуск Arduino IDE на Linux, та перший “Hello, World!”

Продовжуємо бавитись з Ардуінкою 🙂 В попередньому пості трохи поговорили про Starter Kit – тепер хочеться вже ж щось зробити. Тож встановимо IDE на Arch Linux, і спробуємо виконати перший код. Contents - Запуск Arduino IDE на Linux ◦ Arduino IDE, Linux та “No ports discovered” ◦ “/dev/ttyUSB0”: Permission denied - Arduino “Hello, World!” ◦…

https://rtfm.co.ua/arduino-zapusk-arduino-ide-na-linux-ta-pershij-hello-world/

Grafana Loki: LogQL та Recoding Rules для метрик з логів AWS Load Balancer

Взагалі не планував цей пост, думав швиденько все зроблю, але швиденько не вийшло, і треба трохи глибше копнути цю тему. Отже, про що мова: у нас є AWS Load Balancers, логи з яких збираються до Grafana Loki, див. Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda. В Loki маємо Recoding Rules…

https://rtfm.co.ua/grafana-loki-logql-ta-recoding-rules-dlya-metrik-z-logiv-aws-load-balancer/