Kubernetes: моніторинг вартості кластеру – Kubernetes Resource Report та Kubecost

Дуже правильне діло – моніторити, наскільки ефективно використовується кластер, особливо, якщо ресурси деплояться розробниками, які не сильно вникають у requests, і встановлюють завищені значення “про запас”. Запас, звичайно, потрібен, але й просто так реквестити ресурси ідеї погана. Наприклад, у вас є WorkerNode з 4 vCPU (4000 milicpu) та 16 ГБ оперативної пам’яті, і ви створюєте…

https://rtfm.co.ua/kubernetes-monitoring-vartosti-klasteru-kubernetes-resource-report-ta-kubecost/

2 лютого запрошуємо на Cloud Builders: Embedded Edition! 🤖

Долучайтесь, щоб більше дізнатись про Embedded-системи та які методи дебагінгу ефективно використовувати в Linux для Embedded пристроїв.

У програмі:

“Designing Software for an Embedded Device”, ━ Петро Каращенко, Software Engineer у SQUAD.

“Linux для Embedded пристроїв: як дебажити власні драйвери”, ━ Максим Примеров, Embedded Engineer в Intellias.

Хост: Віктор Ленивий, Field Application Engineer в Thundercomm

Коли: 2 лютого о 19:00
Де: онлайн
Усі доповіді будуть українською мовою.
Участь безкоштовна
Деталі та реєстрація 👉 http://bit.ly/3ZKed7p

GitLab: компоненти, архітектура, інфраструктура та запуск з Helm-чарту в Minikube

Оскільки GitLab нещодавно змінив політику надання Free-доступу, і тепер по Free підписці буде доступно лише 5 користувачів, то вирішили ми переїжджати на self-hosted версію. Взагалі з ліцензією у них цікаво: ціна залежить від кількості користувачів, купити можна щонайменше на рік, і після покупки зменшити кількість користувачів у ліцензії не можна (але можна збільшити). GitLab буде…

https://rtfm.co.ua/gitlab-komponenti-arxitektura-infrastruktura-ta-zapusk-z-helm-chartu-v-minikube/

GitLab: Helm-чарт values, залежності та деплой у Kubernetes з AWS S3

Продовжуємо зайомство з GitLab та його деплоєм у Kubernetes. Перша частина –  GitLab: компоненти, архітектура, інфраструктура та запуск із Helm-чарту в Minikube, тепер давайте готуватися деплоїти в AWS Elastic Kubernetes Service. Що робитимемо і де: деплоїмо в AWS з Helm-чарту, для початку якийсь “test env” Kubernetes – AWS EKS object store – AWS S3 PostgreSQL –…

https://rtfm.co.ua/gitlab-helm-chart-values-zalezhnosti-ta-deploj-u-kubernetes-z-aws-s3/

15 лютого AWS User Group Ukraine та N-iX запрошують на AWS re:Invent re:Cap!

Найбільша у світі конференція з хмарних технологій AWS re:Invent відбулася в Лас-Вегасі.
🔥 Разом зі спікерами з AWS та N-iX організовуємо re:Cap, щоб обговорити основні анонси AWS re:Invent 2022 та детально розібратися у найважливіших для різноманітних спеціалістів.

Що очікувати?
🔸 овервʼю найголовнішого з AWS re:Invent від Ігоря Іванюка, Sr. Solutions Architect в AWS;
🔸 панельна дискусія з AWS та N-iX:
Ігор Іванюк, Sr. Solutions Architect в AWS
Денис Головатюк, Country Lead в AWS
Дмитро Овчаренко, Director of Technology Office в N-iX
Модераторка: Іванна Башмат, Software Architect в N-iX

Поговоримо про:
- головні анонси AWS інфраструктури;
- анонси для розробників;
- новинки для data-аналітиків, data-інженерів та ML спеціалістів;
- нові сервіси та функції для IT Ops та мережевих спеціалістів;
- оновлені інструменти безпеки.

Коли: 15 лютого о 18:00 (за київським часом)
Формат: онлайн

🧡 Подаруємо тепло дітям: приєднуйтесь комфортним донатом до збору БФ “Клуб Добродіїв” ━ 45 100 грн на спальники і шапки для 2000 дітей на прифронтових територіях

👉 Деталі та реєстрація: http://bit.ly/3X0nNQK

Долучайтеся, щоб поставити свої запитання під час Q&A сесій!
Це буде AWSome!

Prometheus: створення Custom Prometheus Exporter на Python

У Прометеуса є багато готових до використання експортерів (https://prometheus.io/docs/instrumenting/exporters/), але інколи може з’витися потреба у сборі своїх власних метрик. Для цього Прометеус надає клієнтські бібліотеки (https://prometheus.io/docs/instrumenting/clientlibs/), які можемо використати для генерації метрик з потрібними лейблами. Експортер можна включити прямо в код вашого додатку, або можна запускати окремим сервісом, який буде звертатися до якогось вашого сервісу…

https://rtfm.co.ua/prometheus-stvorennya-custom-prometheus-exporter-na-python/

GitLab: міграція даних з GitLab cloud та процес backup-restore у self-hosted версії в Kubernetes

Продовжуємо рухатись до запуску нашого self-hosted GitLab в production. Див. попередні частини – GitLab: компоненти, архітектура, інфраструктура та запуск з Helm-чарту в Minikube (https://rtfm.co.ua/gitlab-komponenti-arxitektura-infrastruktura-ta-zapusk-z-helm-chartu-v-minikube) та GitLab: Helm-чарт values, залежності та деплой у Kubernetes з AWS S3 (https://rtfm.co.ua/gitlab-helm-chart-values-zalezhnosti-ta-deploj-u-kubernetes-z-aws-s3/). Contents - Міграція даних (https://rtfm.co.ua/gitlab-migraciya-danix-z-gitlab-cloud-ta-proces-backup-restore-u-self-hosted-versi%d1%97-v-kubernetes/#%D0%9C%D1%96%D0%B3%D1%80%D0%B0%D1%86%D1%96%D1%8F_%D0%B4%D0%B0%D0%BD%D0%B8%D1%85) - GitLab Toolbox (https://rtfm.co.ua/gitlab-migraciya-danix-z-gitlab-cloud-ta-proces-backup-restore-u-self-hosted-versi%d1%97-v-kubernetes/#GitLab_Toolbox) - GitLab backup (https://rtfm.co.ua/gitlab-migraciya-danix-z-gitlab-cloud-ta-proces-backup-restore-u-self-hosted-versi%d1%97-v-kubernetes/#GitLab_backup) ◦ backup-utility (https://rtfm.co.ua/gitlab-migraciya-danix-z-gitlab-cloud-ta-proces-backup-restore-u-self-hosted-versi%d1%97-v-kubernetes/#backup-utility) ◦ GitLab…

https://rtfm.co.ua/gitlab-migraciya-danix-z-gitlab-cloud-ta-proces-backup-restore-u-self-hosted-versiї-v-kubernetes/

30 березня запрошуємо на Cloud Builders: Java Conf з провідними Java & Cloud спікерами з Microsoft, Nortal та DataStax 🌟

Cloud Builders: Java Conf 2023 об'єднає 12+ спікерів з Java та хмарних технологій: Adam Bien, Mark Heckler, Mohamed Taman, Mary Grygleski, Rory Preddy, Monica Beckwith та ін.

AI зараз у топі, і ми детально заглибимось у тему OpenAI, який може допомогти мільйонам.

Також, поговоримо про Spring Cloud Function & Azure Functions, підводні камені Java 20, Event Streaming і Apache Pulsar та інші теми.

Долучайтеся!


📆 30 березня о 10:00 (GMT +3)
Формат: одноденна онлайн-конференція
Участь – безкоштовна

Дізнатися більше та зареєструватися 👉 http://bit.ly/3yfN53z

Давайте будувати разом! ☁️

GitLab: моніторинг – Prometheus, метрики, та Grafana dashboard

Отже, продовжуємо нашу подорож з переносом GitLab до себе в Kubernetes. Див попередні частини: - GitLab: компоненти, архітектура, інфраструктура та запуск з Helm-чарту в Minikube (https://rtfm.co.ua/gitlab-komponenti-arxitektura-infrastruktura-ta-zapusk-z-helm-chartu-v-minikube/) - GitLab: Helm-чарт values, залежності та деплой у Kubernetes з AWS S3 (https://rtfm.co.ua/gitlab-helm-chart-values-zalezhnosti-ta-deploj-u-kubernetes-z-aws-s3/) - GitLab: міграція даних з GitLab cloud та процес backup-restore у self-hosted версії в Kubernetes (https://rtfm.co.ua/gitlab-migraciya-danix-z-gitlab-cloud-ta-proces-backup-restore-u-self-hosted-versi%d1%97-v-kubernetes/)…

https://rtfm.co.ua/gitlab-monitoring-prometheus-metriki-ta-grafana-dashboard/

6 квітня запрошуємо на вебінар "Захищені віртуальні робочі місця за допомогою AWS Workspaces"!

Ви дізнаєтесь, як забезпечити віддалену безперебійну роботу персоналу/компанії під час несподіваних збоїв або сучасних викликів.

Детально поговоримо про:

- використання AWS WorkSpaces для віддаленого керування ресурсами та впровадження корпоративних політик безпеки;
- аварійне відновлення та сценарії безперервності роботи бізнесу за допомогою AWS WorkSpaces;
- найкращі практики використання AWS WorkSpaces для захисту даних вашої організації.

Спікер: Вадим Коваленко, Cloud Architect в Triangu
Дата й час: 6 квітня о 18:00 (GMT +3)
Місце: онлайн
Приєднуйтесь, участь безкоштовна 👉 http://bit.ly/3ZnH4gj

Запрошуємо на Frontend Meetup від Levi9 у онлайн та офлайн форматах.

На вас чекають три виступи від фахівців команди Levi9:

🔹 «Нові підходи для розробки на Angular» — Горбунов Олексій, Medior Frontend Engineer.
Поговоримо про новинки Angular 15 – Standalone Components API, Directive Composition API, їхні плюси та мінуси та навіть гайд для міграції.
Окрім цього, заглянемо у beta Angular 16.

🔹 «React Query — свіжий погляд на управління станом» —
Тертичний Ярослав, Senior Full Stack Engineer та Лисак Михайло, Frontend Developer.
Хлопці продемонструють використання React Query як ефективного інструменту керування станом у веб-застосунках, розкажуть про його переваги та особливості, а також наведуть приклади реалізації.

🔹 «CSS Trends: Що нового в CSS?» — Шумська Віталія, Medior Frontend Engineer.
У доповіді Віталія детально розповість про нові фішки CSS, та по новому розкриє тему змінних.

Для тих, хто матиме змогу відвідати мітап офлайн, ми також запланували нетворкінг за келихом пива.

Коли? 20 квітня о 19:00
Де?
Онлайн безкоштовно
Офлайн — м. Київ, вул. Володимирська 101, БЦ Техно Лофт.
Вхід з організаційним внеском в ₴150.
Всі кошти, отримані з продажу квитків, будуть направлені на благодійність 💙💛

Долучайтеся!

До зустрічі!

Knative: Serverless для Kubernetes – огляд можливостей та запуск у Minikube

Knative – система, яка дозволяє використовувати Serverless модель розробки у Kubernetes. По суті, Knative можна уявляти собі як ще один рівень абстракції, який дозволяє девелоперам не поринати в деталі деплойменту, скелінгу та нетворкінгу у “vanilla” Kubernetes. Розробка самого Knative була розпочта у Google за співучастю таких компаній, як IBM, Pivotal, Red Hat, та загалом має…

https://rtfm.co.ua/knative-serverless-dlya-kubernetes-oglyad-mozhlivostej-ta-zapusk-u-minikube/

AWS: Instance Metadata Service v1 vs IMDS v2 та робота з Kubernetes Pod і Docker контейнерів

Instance metadata (IMDS – Instance Metadata Service) – дані про EC2 інстанс, такі як інформація про AMI, IP, ім’я хосту, і т.д. Також до Instance Metadata можна додати User Data для зберігання якихось параметрів, які потім можна буде отримати всередині інстансу. Див. Instance metadata and user data та Instance metadata categories. Від початку, в AWS…

https://rtfm.co.ua/aws-instance-metadata-service-v1-vs-imds-v2-ta-robota-z-kubernetes-pod-i-docker-kontejneriv/

Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform

Маємо на проекті багато AWS Lambda функцій, з яких девелопери хочуть мати можливість відправляти метрики до нашого Prometheues, щоб додати власних алертів та графіків у Grafana. Для цього у функціях використовується бібліотека Prometheus, яка дозволяє ці метрики створювати (див. Prometheus: створення Custom Prometheus Exporter на Python), але ж ми не маємо змоги нормально отримати ці…

https://rtfm.co.ua/prometheus-zapusk-pushgateway-u-kubernetes-z-helm-ta-terraform/

Kubernetes: вертикальний скейлінг подів з Vertical Pod Autoscaler

Окрім Horizontal Pod Autoscaler (HPA), який створює додаткові поди якщо наявні починають використовувати більше CPU/Memory, ніж налаштовано у лімітах HPA, існує і Vertical Pod Autoscaler (VPA), який працює за іншою схемою: замість горизонтального масштабування, тобто збільшення кількості подів, він змінює resources.requests поду, що призводить до того, что Kubernetes Scheduler “переселяє” цей под на іншу WorkerNode,…

https://rtfm.co.ua/kubernetes-vertikalnij-skejling-podiv-z-vertical-pod-autoscaler/

AWS: Fargate – можливості, порівняння з Lambda/EC2 та використання з AWS EKS

AWS Fargate – ще одне serverless-рішення від Amazon, яке бере на себе управління інфраструктурою, позбавляючи користувача необхідності витрачати час на налаштування ЕС2-інстансів, операційної системи, систем управління контейнерами тощо. Взагалі, коли знайомився з Fargate, натрапив на чудове відео з AWS re:Invent 2022, де дуже добре розказано (і показано) про Shared Responsibility model у AWS – за…

https://rtfm.co.ua/aws-fargate-mozhlivosti-porivnyannya-z-lambda-ec2-ta-vikoristannya-z-aws-eks/

AWS: CDK – знайомство та приклади на Python

AWS Cloud Development Kit (AWS CDK) дозволяє описувати інфрастуктуру використовуючи мови програмування TypeScript, JavaScript, Python, Java, C# або Go. “Під капотом” створює CloudFormation стек, в якому створються ресурси, описані в вашому коді. Відповідь на питання “Нашо CDK, коли є Terraform?” можна знайти ось тут – 4 ultimate reasons to prefer AWS CDK over Terraform. Але…

https://rtfm.co.ua/aws-cdk-znajomstvo-ta-prikladi-na-python/

Terraform: початок роботи та планування нового проекту – Dev/Prod та bootsrap

Треба запланувати використання Terraform у новому проекті, а це включає в себе і планування структри файлів для проекті, і як створити бекенд (тобто bootstrap) і інші потрібні для початку роботи ресурси, і подумати на тему роботи з кількома оточеннями і AWS-аккаунтами. Взагалі, цей пост спочатку писався чисто про створення AWS SES, але я почав додавати…

https://rtfm.co.ua/terraform-pochatok-roboti-ta-planuvannya-novogo-proektu-dev-prod-ta-bootsrap/

Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail

Збирати логи у Grafana Loki з Kubernetes дуже просто – запускаємо Promtail у DaemonSet, йому вказуємо читати всі дані з /var/logs – і готово (насправді взагалі нічого не вказуємо – з Helm-чарту все працює з коробки). А от як бути з CloudWatch Logs? На новому проекті маємо купу AWS Lambda, API Gateways і т.д, і…

https://rtfm.co.ua/loki-zbir-logiv-z-cloudwatch-logs-z-vikoristannyam-lambda-promtail/

8 червня запрошуємо на єТема: Data Science edition!

єТема — це онлайн та офлайн мітапи, панельні дискусії, вебінари, воркшопи від спікерів SQUAD та запрошених фахівців IT-галузі.

Долучайтеся до найближчої події, та дізнайтеся:

▪️ Як розробити ефективне рішення лікування радіотерапією ракових пухлин? Кейс від спікера, яке зайняв 9 місце з-поміж 1500 учасників на змаганнях Kaggle UW-Madison GI Tract Image Segmentation.

▪️ Як машинне навчання та штучний інтелект допомагають боротися з дезінформацією та ворожою пропагандою?
Досвід волонтерського проєкту Mantis Analytics (у минулому Pravdorub).

▪️ Як побудувати сегментаційний алгоритм для моделювання та розуміння розвитку різних захворювань? Доповідь від автора алгоритму, який посів 3 місце із 1100 учасників на змаганнях “HuBMAP + HPA - Hacking the Human Body”

Мітап пройде у онлайн форматі
8 червня о 18:00
Участь безоплатна

Реєструйтеся тут

Prometheus: GitHub Exporter – пишемо власний експортер для GitHub API

Прийшла досить цікава задачка – побудувати в Grafana дашборду, в якій би відображався статус процессу розробки, а саме – перформанс, тобто ефективність наших DevOps-процесів. Потрібно це тому, что ми намагаємось побудувати “true continuous deployment”, щоб код автоматично потрапляв у Production, і нам важливо бачити як саме проходить процес розробки. Загалом для оцінки ефективності процессу розробки…

https://rtfm.co.ua/prometheus-github-exporter-pishemo-vlasnij-eksporter-dlya-github-api/