Terraform: “One Ring to rule them all!” – управління бекендами проектів

Вже писав про питання управління бекендами у постах Terraform: початок роботи та планування нового проекту – Dev/Prod та bootsrap та Terraform: динамічний remote state з AWS S3 та multiple environments по директоріям, повернемось до цієї теми знов. Отже, вибрав все ж варіант з менеджментом бекендів через окремий проект Terraform, де в змінних маємо список проектів,…

https://rtfm.co.ua/terraform-one-ring-to-rule-them-all-upravlinnya-bekendami-proektiv/

Slack: switch back to the old experience (UI and theme)

If you are struggling with the new UI in Slack application, and you’re running it on Mac or Linux, you can switch it back (may work for the Windows app too, I think). Thanks to this tweet from @QuinnyPig. 1. Exit from the running Slack instance 2. Open a terminal, and set the SLACK_DEVELOPER_MENU variable:…

https://rtfm.co.ua/en/slack-switch-back-to-the-old-experience-ui-and-theme/

GitHub Actions: деплой Dev/Prod оточень з Terraform

Тепер, як маємо готовий код для розгортання кластеру AWS Elastic Kubernetes Service (див. Terraform: створення EKS, частина 1 – VPC, Subnets та Endpoints і наступні частини), прийшов час подумати про автоматизацію, тобто – про створення пайплайнів в CI/CD, які би виконували створення нових енвів для тестування фіч, або деплоїли апдейти на Dev/Prod оточення Kubernetes. І…

https://rtfm.co.ua/github-actions-deploj-dev-prod-otochen-z-terraform/

Terraform: terraform_remote_state – отримання outputs інших state-файлів

За допомогою data "terraform_remote_state" ми можемо отримати outputs одного проекту, щоб використати в іншому. Наприклад, у нас AWS VPC створюється окремо від AWS EKS (хоча в серії Terraform: створення EKS, частина 1 – VPC, Subnets та Endpoints VPC створювалась як частина кластеру, але потім я їх розділив). Для створення EKS – йому треба передати VPC…

https://rtfm.co.ua/terraform-terraform_remote_state-otrimannya-outputs-inshix-state-fajliv/

Terraform: створення Lambda-функцій у VPC

В пості Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail описано як можна збирати логи з CloudWatch Logs за допомогою Lambda-функції з Promtail, який пересилає логи в Grafana Loki. Що треба зробити зараз – це описати створення чотирьох таких функцій, по одній на кожен компонент проекту. Функції мають бути розміщені в приватних мережах…

https://rtfm.co.ua/terraform-stvorennya-lambda-funkcij-u-vpc/

Hello all, this is to invite you to next week's:

VictoriaMetrics Virtual Meet Up 😎

Where: https://www.youtube.com/watch?v=sjaQwqd1CRQ

When: Next week, Thursday October 5th @ 5pm BST / 6pm CEST / 9am PDT

Please check the agenda on the YouTube page.

We look forward to seeing as many of you as possible next week!

Have a good weekend!

GitHub Actions: Docker-білд в AWS ECR та деплой Helm-чарту в AWS EKS

Отже, маємо розгорнутий кластер Kubernetes – див. серію Terraform: створення EKS, частина 1 – VPC, Subnets та Endpoints. Маємо GitHub Actions workflow для його деплою – див. GitHub Actions: деплой Dev/Prod оточень з Terraform. Прийшов час почати деплоїти наш бекенд в Kubernetes. Тут знов використаємо GitHub Actions – будемо білдити Docker-образ з API-сервісом бекенду, зберігати…

https://rtfm.co.ua/github-actions-docker-bild-v-aws-ecr-ta-deploj-helm-chartu-v-aws-eks/

The Guardian tells a story of their migration into AWS Aurora Serverless.

This article doesn’t go too deep into technical aspects, but provides a nice overview of the issues one may encounter when trying to move to Aurora.

A couple of things that I found interesting:

- Whatever cloud migration tools are there, pg_dump and pg_restore are your trusted friends.

- This paragraph:


We’re spending roughly $220/month for storage and compute for the database. For the same price we could have rented a db.m7g.xlarge (16GB RAM, 4 vCPUs) Postgres instance along with 100GB of EBS storage or a db.r7g.large (16GB RAM, 2 vCPUs) Aurora instance. I suspect both of these options would have done the job for us, and maybe not have suffered from the same cold start problems as our serverless database, but after 3 migrations, it’s probably time to get back to doing some feature work!


#databases #postgres #aws

Karpenter: Beta version – обзор змін та upgrade v0.30.0 на v0.32.1

Отже, Karpenter зробив ще один великий шаг до релізу, і у версії 0.32 вийшов з етапу Alpha до Beta. Давайте кратко подивимось на зміни – а вони досить суттєві, а потм виконаємо апгрейд на EKS з Karpneter Terraform module та Karpenter Helm chart. Сам процесс установки Karpenter описував у пості Terraform: створення EKS, частина 3…

https://rtfm.co.ua/karpenter-beta-version-obzor-zmin-ta-upgrade-v0-30-0-na-v0-32-1/

VictoriaMetrics: Exporter в CronJob та пуш метрік без Pushgatway

В пості Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform писав про те, як для Prometheus додати Pushgateway, який дозволяє використовувати Push-модель замість Pull, тобто – експортер може відправити метрики прямо в базу замість того, щоб чекати, коли до нього прийде сам Prometheus або VMAgent. У VictoriaMetrics з цим набагато простіше, бо ніякого Pushgateway…

https://rtfm.co.ua/victoriametrics-exporter-v-cronjob-ta-push-metrik-bez-pushgatway/

Привіт 👋🏻 Раді запросити 30 листопада на онлайн конференцію Cloud Builders: Java Conf!

Це вже четверта Java-конференція ком’юніті, де на вас чекають:
- 6+ Java&Cloud експертів, які поділяться кращими практиками;
- Спільнота з понад 500 однодумців.

В агенді👇🏻
- “Java 11–21 Evolution” від Mohamed Taman, Senior Solutions Architect в Nortal
- “The Keys to Developer Productivity: Collaborate and Innovate” від Heather VanCura, Vice President в Oracle
- “Why Quarkus should be your next tech stack” від Holly Cummins, Senior Principal Software Engineer в Red Hat
- Доповідь від з Emily Jiang, STSM, Cloud Native Architect and Advocate в IBM
- Fireside chat з Josh Long, Spring Developer Advocat у VMware

Реєстрація безкоштовна 👉 https://bit.ly/3MqVTv2
📆 Коли: 30 листопада
🌎 Де: онлайн-трансляція в YouTube
📍Мова доповідей: англійська

Save the date and let’s build up together ☁️

Kubernetes: Liveness та Readiness Probes – Best practices

Кілька корисних порад по використанню Liveness та Readiness Probes в Kubernetes – різниця між ними, та як правильно налаштовувати ці перевірки. Якщо зовсім коротко, то: - livenessProbe: використовується Kubernetes, щоб знати, коли потрібно виконати restart поду - readinessProbe: використовується Kubernetes, щоб знати, коли контейнер готовий приймати трафік, тобто – коли відповідний Kubernetes Service може додавати…

https://rtfm.co.ua/kubernetes-liveness-ta-readiness-probes-best-practices/

Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda

Зараз ми вміємо збирати логи API Gateway та CloudWatch Logs, див. Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail. Але в процесі міграції в Kubernetes у нас з’явились Application Load Balancers, які вміють писати логи тільки в S3, і нам треба навчитись збирати логи і звідти. Формат логу AWS ALB див. у Access…

https://rtfm.co.ua/grafana-loki-zbirayemo-logi-aws-loadbalancer-z-s3-za-dopomogoyu-promtail-lambda/

Kubernetes: забезпечення High Availability для Pods

Що маємо: є у нас Kubernetes cluster, на якому скейлінгом WorkerNodes займається Karpenter, який для NodePool має параметр disruption.consolidationPolicy=WhenUnderutilized, тобто він буде намагитись “ущільніти” розміщеня подів на нодах так, щоб максимально ефективно використати ресурси CPU та Memory. В цілому все працює, але це призводить до того, що досить часто перестворюються WorkerNodes, а це викликає “переселення”…

https://rtfm.co.ua/kubernetes-zabezpechennya-high-availability-dlya-pods/

Чи існує трушний паралелізм у Python? Який фреймворк швидший: Django та FastAP? Чи є майбутнє у GIL та які його переваги?

Запрошуємо на Levi9 Python Meetup, щоб детальніше розібратися у цих темах!

Коли: 7 грудня
Де: онлайн
Участь безкоштовна

Під час онлайн-трансляції ми також відкриємо збір донатів для фонду “Повернись живим” 💙💛

Команда Levi9 поділиться своїм досвідом та інсайтами про:
- оптимальний підбір інструментів (asyncio, multithreading та multiprocessing), use cases та скрапінг
- Django та FastAPI: протестуємо та порівняємо, який з них кращий/швидший
- міфи, які оточують GIL, а також переваги, які він приносить у розробку на Python

Деталі на сайті 👀
Реєструйтеся та не пропустіть!

https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-eks-pod-identity/

Опа. Звучить прям дуже цікаво.
Заміна IRSA?
Треба спробувати.

Остання єТЕМА від SQUAD у цьому році, і вона обіцяє бути потужною — DevOps & ML Edition

Kubeflow + DevOps != a land of unicorns and ponies

07.12.2023 | 19:00-20:30 | online

Подія для DevOps та MLOps інженерів всіх рівнів, де спікери розкажуть про KubeFlow та нюанси застосування цієї платформи у реальних проєктах. Участь безоплатна.

Будемо говорити про:
– архітектуру та компоненти Kubeflow через призму DevOps
– переваги та недоліки різних опцій деплойменту
– нюанси використання Kubeflow на AWS
– чи відповідає дійсності те, як описують Kubeflow у рекламних буклетах (spoiler: не зовсім)

Деталі та реєстрація — https://bit.ly/46wfAsr

Запрошуємо на першу частину нашого AWS re:Invent Recap українською мовою!

Не партнерський матеріал, просто сподобалось)

AWS: Amazon Q – знайомство, можливості та перші враження

В цікаві часи живемо. Отже, поговоримо про дуже гучний запуск Amazon Q – нової системи від AWS, яка має допомогти нам, інженерам і не тільки, в роботі. Сам Amazon його називає “AI-powered assistant”, по факту для нас, як інженерів, це просто chatbot, з яким ми можемо поговорити, щоб отримати допомогу у розв’язанні якихось проблем або…

https://rtfm.co.ua/aws-amazon-q-znajomstvo-mozhlivosti-ta-pershi-vrazhennya/

Вже 12 грудня, запрошуємо на наш новий івент AWS Notes. Chapter 1. IoT від AWS User Group Ukraine ком’юніті.

AWS Notes — це серія віртуальних конференцій, де кожен Chapter — окремий розділ клауду AWS, зібраний зі спеціальних доповідей Notes 📝

Що на вас чекає?

🔸 1 день віртуальної конференції
🔸 5 Tech Notes, де спікери розкажуть про вплив IoT на різні галузі та з якими викликами стикаються розробники при створенні проєктів на основі IoT.
🔸 2 короткі, але наповнені інсайтами Snap Notes, де спікери поділяться своїми інноваційними IoT-проєктами.
🔸 та понад 600 фанів AWS, зібраних разом

Свої теми вже готують Віталій Павлюк з Mathem, Денис Доронін з Yalantis, Олексій Іванченко та Konstantinos Kourmousis з AWS, Іван Коваленко з Global Logic та Sixing Huang з Gemini Data Inc.

Коли: 12 грудня
Де: онлайн

Реєструйтеся вже зараз👈

Та слідкуйте за оновленнями, найцікавіше попереду!