Остання єТЕМА від SQUAD у цьому році, і вона обіцяє бути потужною — DevOps & ML Edition

Kubeflow + DevOps != a land of unicorns and ponies

07.12.2023 | 19:00-20:30 | online

Подія для DevOps та MLOps інженерів всіх рівнів, де спікери розкажуть про KubeFlow та нюанси застосування цієї платформи у реальних проєктах. Участь безоплатна.

Будемо говорити про:
– архітектуру та компоненти Kubeflow через призму DevOps
– переваги та недоліки різних опцій деплойменту
– нюанси використання Kubeflow на AWS
– чи відповідає дійсності те, як описують Kubeflow у рекламних буклетах (spoiler: не зовсім)

Деталі та реєстрація — https://bit.ly/46wfAsr

Запрошуємо на першу частину нашого AWS re:Invent Recap українською мовою!

Не партнерський матеріал, просто сподобалось)

AWS: Amazon Q – знайомство, можливості та перші враження

В цікаві часи живемо. Отже, поговоримо про дуже гучний запуск Amazon Q – нової системи від AWS, яка має допомогти нам, інженерам і не тільки, в роботі. Сам Amazon його називає “AI-powered assistant”, по факту для нас, як інженерів, це просто chatbot, з яким ми можемо поговорити, щоб отримати допомогу у розв’язанні якихось проблем або…

https://rtfm.co.ua/aws-amazon-q-znajomstvo-mozhlivosti-ta-pershi-vrazhennya/

Вже 12 грудня, запрошуємо на наш новий івент AWS Notes. Chapter 1. IoT від AWS User Group Ukraine ком’юніті.

AWS Notes — це серія віртуальних конференцій, де кожен Chapter — окремий розділ клауду AWS, зібраний зі спеціальних доповідей Notes 📝

Що на вас чекає?

🔸 1 день віртуальної конференції
🔸 5 Tech Notes, де спікери розкажуть про вплив IoT на різні галузі та з якими викликами стикаються розробники при створенні проєктів на основі IoT.
🔸 2 короткі, але наповнені інсайтами Snap Notes, де спікери поділяться своїми інноваційними IoT-проєктами.
🔸 та понад 600 фанів AWS, зібраних разом

Свої теми вже готують Віталій Павлюк з Mathem, Денис Доронін з Yalantis, Олексій Іванченко та Konstantinos Kourmousis з AWS, Іван Коваленко з Global Logic та Sixing Huang з Gemini Data Inc.

Коли: 12 грудня
Де: онлайн

Реєструйтеся вже зараз👈

Та слідкуйте за оновленнями, найцікавіше попереду!

AWS: CloudWatch – Multi source query: збираємо метрики із зовнішнього Prometheus

Ще один цікавий анонс з останнього re:Invent – це те, що в CloudWatch додали можливість збирати метрики із зовнішніх ресурсів (див. дуже цікавий доклад AWS re:Invent 2023 – Cloud operations for today, tomorrow, and beyond (COP227)). Тобто тепер ми можемо створювати графіки та/або алерти не тільки з дефолтних метрик самого CloudWatch – але й за…

https://rtfm.co.ua/aws-cloudwatch-multi-source-query-zbirayemo-metriki-iz-zovnishnogo-prometheus/

https://www.youtube.com/watch?v=8qdvynaWDgQ

Please join the party on December 14th and let us know if you have any ideas/suggestions for the agenda and party plans.

Preliminary agenda:

Intro & Warm Up
What's new in VictoriaMetrics - Roman Khavronenko
- - Managed VictoriaMetrics - Ivan Yatskevich
- - Anomaly Detection - Daria Karavaieva / Fred Navruzov
Vicky Community Update
Our Vicky Story
- - Egor Pronin (WEDOS)
- - Andrey Tyulenev (Deutsche Bank)
- - Carsten Aulbert (Max Planck Institute for Gravitational Physics, Albert Einstein Institute)
- - Haley Wang: From Vicky contributor to Vicky team member
Community News - Denys Holius
-- Latest VictoriaMetrics News - Jean-Jérôme Schmidt-Soisson
Party Time: Celebrating 5 Years of VictoriaMetrics
BYOD (Bring Your Own Drink) for a toast
BYO Cake with 5 candles
AMA session

AWS: EKS Pod Identities – заміна IRSA? Спрощуємо менеджмент IAM доступів

Ще з дуже цікавих новинок останнього re:Invent – це EKS Pod Identities: нова можливість керувати доступами подів до ресурсів AWS. Contents - The current state: IAM Roles for Service Accounts - The f(ea)uture state: EKS Pod Identities ◦ Створення IAM Role ◦ Amazon EKS Pod Identity Agent add-on ◦ Підключення IAM Role до ServiceAccount ◦…

https://rtfm.co.ua/aws-eks-pod-identities-zamina-irsa-sproshhuyemo-menedzhment-iam-dostupiv/

Не пробував, бо слава богу Ажура вже давно нема, але комусь може бути корисним:
https://github.com/Azure/karpenter

Karpenter: моніторинг та Grafana dashboard для Kubernetes WorkerNodes

Маємо AWS EKS з Karpenter, який займається автоскелінгом EC2 – див. AWS: знайомство з Karpenter для автоскейлінгу в EKS, та встановлення з Helm-чарту. В цілому проблем з ним поки не маємо, але в будь-якому разі потрібен його моніторинг, для чого Karpeneter “з коробки” надає метрики, які можемо використати в Grafana та Prometheus/VictoriaMetrics алертах. Тож що…

https://rtfm.co.ua/karpenter-monitoring-ta-grafana-dashboard-dlya-kubernetes-workernodes/

Arduino: перше знайомство та мій Arduino Starter Kit

Бути девопсом – то, звичайно круто – всі ці клауди, Терраформи, сесуріті і прочі дуже цікаві штуки. Але я давно хотів спробувати і щось більш “реальне”, щось таке, щоб можна було потримати в руках, і цими ж руками зібрати. В минулому році, коли думав про чергову підготовку до зими (див. Підготовка до зими 2023-2024: електрохарчування),…

https://rtfm.co.ua/arduino-pershe-znajomstvo-ta-mij-arduino-starter-kit/

Arduino: запуск Arduino IDE на Linux, та перший “Hello, World!”

Продовжуємо бавитись з Ардуінкою 🙂 В попередньому пості трохи поговорили про Starter Kit – тепер хочеться вже ж щось зробити. Тож встановимо IDE на Arch Linux, і спробуємо виконати перший код. Contents - Запуск Arduino IDE на Linux ◦ Arduino IDE, Linux та “No ports discovered” ◦ “/dev/ttyUSB0”: Permission denied - Arduino “Hello, World!” ◦…

https://rtfm.co.ua/arduino-zapusk-arduino-ide-na-linux-ta-pershij-hello-world/

Grafana Loki: LogQL та Recoding Rules для метрик з логів AWS Load Balancer

Взагалі не планував цей пост, думав швиденько все зроблю, але швиденько не вийшло, і треба трохи глибше копнути цю тему. Отже, про що мова: у нас є AWS Load Balancers, логи з яких збираються до Grafana Loki, див. Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda. В Loki маємо Recoding Rules…

https://rtfm.co.ua/grafana-loki-logql-ta-recoding-rules-dlya-metrik-z-logiv-aws-load-balancer/

Я якось провтикав дати анонс перед подією, тож виправляюсь, і анонсую хоча б в записі 😊
Мій колишній колега і давній товариш @turnaviotovnn робив доповідь про [Dev]Ops та Azure.
Було цікаво подивитись на Ажур - Microsoft прям непогано розгорнулись.
https://www.youtube.com/watch?v=1G2XbOOZsyE&ab_channel=MykolaTurnaviotov

Terraform: створення модулю для збору логів AWS ALB в Grafana Loki

Приклад створення модулю Terraform для автоматизації збору логів з AWS Load Balancers у Grafana Loki. Як працює сама схема див. у Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda – ALB пише логи в S3-бакет, звідки їх забирає Lambda-функція з Promtail і пересилає у Grafana Loki. В чому ідея з модулем…

https://rtfm.co.ua/terraform-stvorennya-modulyu-dlya-zboru-logiv-aws-alb-v-grafana-loki/

AWS: VPC Prefix та максимальна кількість подів на Kubernetes WorkerNodes

Кожна WorkerNode в Kubernetes може мати обмежену кількість подів, і цей ліміт визначається трьома параметрами: - CPU: загальна кількість requests.cpu не може бути більше, ніж є CPU на Node - Memory: загальна кількість requests.memory не може бути більше, ніж є Memory на Node - IP: загальна кількість подів не може бути більшою, ніж є IP-адрес…

https://rtfm.co.ua/aws-vpc-prefix-ta-maksimalna-kilkist-podiv-na-kubernetes-workernodes/

Kubernetes: tracing запитів з AWS X-Ray та Grafana data source

Tracing (“трасування”) дозволяє відстежувати запити між компонентами, тобто, наприклад, при використанні AWS і у Kubernetes ми можемо прослідкувати весь шлях запиту від AWS Load Balancer – до Kubernetes Pod – і до DynamoDB або RDS. Це допомагає нам як відстежувати проблеми з performance – де і які запити виконуються довго – так і мати більше…

https://rtfm.co.ua/kubernetes-tracing-zapitiv-z-aws-x-ray-ta-grafana-data-source/

GitHub Actions: деплой Terraform з review запланованих змін

У пості GitHub Actions: деплой Dev/Prod оточень з Terraform я вже описував те, як можна реалізувати CI/CD для Terraform з GitHub Actions, але в тому рішенні є один суттєвий недолік: немає можливості зробити review змін перед тим, як їх застосувати з terraform apply. GitHub Actions має можливість використання Reviewing deployments з Required reviewers, проте ця…

https://rtfm.co.ua/github-actions-deploj-terraform-z-review-zaplanovanix-zmin/

https://pypi.org/project/Bython/

def print_message(num_of_times) {
    for i in range(num_of_times) {
        print("Bython is awesome!");
    }
}

if __name__ == "__main__" {
    print_message(10);
}

Python без пробілів і з фігурними дужками О.о
Як вам?

GitHub Actions: використання Reusable Workflows – нюанси роботи

В пості GitHub Actions: деплой Dev/Prod оточень з Terraform я вже трохи торкався теми Reusable Workflows та Composite Actions – прийшов час трохи більше з нею ознайомитись. Що треба зробити: зараз на проекті ми в кожному репозиторії пишемо Workflow-файли окремо. Втім, оскільки поступово всі процеси уніфікуються – управління інфраструктурою через Terraform, та запуск сервісів в…

https://rtfm.co.ua/github-actions-vikoristannya-reusable-workflows-nyuansi-roboti/

Запрошуємо на вебінар "AWS Well-Architected Framework Review: ключ до зниження операційних витрат".

📆 Дата: 28 березня
🕚 Час: 11:00 - 12:00
📍 Youtube-трансляція

Під час вебінару ви дізнаєтеся про:
🔸 AWS Well-Architected Framework Review (WAFR), як структурований підхід для побудови безпечної, високопродуктивної, стійкої та ефективної інфраструктури для додатків.
🔸 6 принципів проєктування/стовпів AWS WAFR
🔸 Практичні переваги AWS WAFR і його цінність для бізнесу
🔸 Рекомендації щодо підвищення безпеки, надійності, продуктивності та економії коштів.
🔸 Унікальність підходу Crayon до проведення WAFR.
🔸 AWS WAFR Tool та Сonformity.

Спікери: Антон Карташов, Solutions Architect у Amazon Web Services WWPS CEE, та Олексій Лепешенков, Solution Advisor у Crayon Ukraine.

Більше інформації на сайті: https://bit.ly/3IGV7rp

Реєструйтеся, щоб дізнатися як ваші додатки можуть працювати ефективно у хмарі AWS. До зустрічі на вебінарі!