Forwarded from Библиотека девопса | DevOps, SRE, Sysadmin
🧖🧖 System Design 101
Объясняются сложные системы, используя наглядные материалы и простые термины.
Готовитесь ли вы к собеседованию по системному дизайну или просто хотите понять, как системы работают, эта массивная шпаргалка будет полезна. Много полезных тем в сжатом виде — от протоколов до нюансов безопасности.
Шпаргалка
#туториал
Объясняются сложные системы, используя наглядные материалы и простые термины.
Готовитесь ли вы к собеседованию по системному дизайну или просто хотите понять, как системы работают, эта массивная шпаргалка будет полезна. Много полезных тем в сжатом виде — от протоколов до нюансов безопасности.
Шпаргалка
#туториал
👍2
New – AWS Public IPv4 Address Charge + Public IP Insights
https://aws.amazon.com/blogs/aws/new-aws-public-ipv4-address-charge-public-ip-insights/
сегодня в одном чате поделились этой ссылкой, хоть она уже стара, с прошлого года, но становится актуальной с февраля этого
https://aws.amazon.com/blogs/aws/new-aws-public-ipv4-address-charge-public-ip-insights/
сегодня в одном чате поделились этой ссылкой, хоть она уже стара, с прошлого года, но становится актуальной с февраля этого
Amazon
New – AWS Public IPv4 Address Charge + Public IP Insights | Amazon Web Services
We are introducing a new charge for public IPv4 addresses. Effective February 1, 2024 there will be a charge of $0.005 per IP per hour for all public IPv4 addresses, whether attached to a service or not (there is already a charge for public IPv4 addresses…
Amazon ECS and AWS Fargate now integrate with Amazon EBS
https://aws.amazon.com/about-aws/whats-new/2024/01/amazon-ecs-fargate-integrate-ebs/
https://aws.amazon.com/blogs/aws/amazon-ecs-supports-a-native-integration-with-amazon-ebs-volumes-for-data-intensive-workloads/
Оказывается и это сейчас стало возможно.
https://aws.amazon.com/about-aws/whats-new/2024/01/amazon-ecs-fargate-integrate-ebs/
https://aws.amazon.com/blogs/aws/amazon-ecs-supports-a-native-integration-with-amazon-ebs-volumes-for-data-intensive-workloads/
Оказывается и это сейчас стало возможно.
Amazon
Amazon ECS and AWS Fargate now integrate with Amazon EBS
🔥1
Forwarded from DevOps&SRE Library
Simplifying Kubernetes Development: Your Go-To Tools Guide
https://semaphoreci.com/blog/kubernetes-development-tools
https://semaphoreci.com/blog/kubernetes-development-tools
https://kluctl.io/blog/2023/02/28/managing-many-helm-charts-with-kluctl/
Довольно таки интересный проект kluctl, хотя на момент написания статьи еще не было поддержки работы с несколькими кластерами. Но работа с helm + kustomize, при этом имеющим возможность работы с двумя моделями push и pull.
Думаю есть смысл посмотреть в эту сторону, если есть задача описать множество компонентов, что должны деплоиться в кластер, при этом имея возможность поддержки обновлений всех компонентов и отслеживания изменений в них
Довольно таки интересный проект kluctl, хотя на момент написания статьи еще не было поддержки работы с несколькими кластерами. Но работа с helm + kustomize, при этом имеющим возможность работы с двумя моделями push и pull.
Думаю есть смысл посмотреть в эту сторону, если есть задача описать множество компонентов, что должны деплоиться в кластер, при этом имея возможность поддержки обновлений всех компонентов и отслеживания изменений в них
kluctl.io
Managing many Helm Charts with Kluctl
Learn how easy it is to manage multiple Helm Charts from one deployment project using Kluctl.
Forwarded from S.E.Book
• Least Privilege;
• Secrets Management;
• Encryption of Sensitive Data;
• Compliance as code;
• terraform plan;
• pet Infra;
• Storing Terraform State Securely;
• Malicious Terraform Providers or Modules;
• Securing Terraform Executions with Isolation;
• Protecting Sensitive Variables in Terraform Logs;
• Securing API Keys and Archivist URLs in HCP Terraform;
• Use dynamic credentials;
• Terraform Plan vs Terraform Apply;
• Replace blacklisted provider.
#IaC #DevSecOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Интересная новость,
https://developer.hashicorp.com/terraform/language/backend/s3#state-locking
в терраформе 1.11 (в 1.10 добавлена как экспериментальная https://github.com/hashicorp/terraform/pull/35661),
появилось использование локфайла на s3 вместо поднятия отдельной dynamodb
т.е включается параметр use_lockfile и можно убирать dynamodb кстати она становится депрекейтнутой и в будущем будет убираться
https://developer.hashicorp.com/terraform/language/backend/s3#state-locking
в терраформе 1.11 (в 1.10 добавлена как экспериментальная https://github.com/hashicorp/terraform/pull/35661),
появилось использование локфайла на s3 вместо поднятия отдельной dynamodb
т.е включается параметр use_lockfile и можно убирать dynamodb кстати она становится депрекейтнутой и в будущем будет убираться
Backend Type: s3 | Terraform | HashiCorp Developer
Terraform can store and lock state remotely in Amazon S3.
👍1
https://docs.docker.com/docker-hub/usage/
Starting April 1, 2025, all users with a Pro, Team, or Business subnoscription will have unlimited Docker Hub pulls with fair use. Unauthenticated users and users with a free Personal account have the following pull limits:
Unauthenticated users: 10 pulls/hour
Authenticated users with a free account: 100 pulls/hour
Похоже скоро прилетит много где ошибок в CI, там где нет своего container registry
Да и в кубе во время старта контейнеров. В общем нужно готовиться, запасаться приватными container registry которые будут проксировать запросы до docker registry складывая их для дальнейшего использования. Как к примеру gitlab dependency proxy или что-то подобное
Прежде они снижали лимит до 100 запросов за 6 часов
Starting April 1, 2025, all users with a Pro, Team, or Business subnoscription will have unlimited Docker Hub pulls with fair use. Unauthenticated users and users with a free Personal account have the following pull limits:
Unauthenticated users: 10 pulls/hour
Authenticated users with a free account: 100 pulls/hour
Похоже скоро прилетит много где ошибок в CI, там где нет своего container registry
Да и в кубе во время старта контейнеров. В общем нужно готовиться, запасаться приватными container registry которые будут проксировать запросы до docker registry складывая их для дальнейшего использования. Как к примеру gitlab dependency proxy или что-то подобное
Прежде они снижали лимит до 100 запросов за 6 часов
Docker Documentation
Usage and limits
Learn about usage and limits for Docker Hub.
👍1
Forwarded from Библиотека программиста (книги для разработчиков)
Всем привет! Решил накидать книжных полезняшек для тех, кто любит DevOps или движется в этом направлении. Книги поделил по темам: сначала базовый уровень, потом архитектура, методологии, ну и всё остальное. В общем, от и до.
Понятно, что одних книг мало, как и одних курсов или теории в вакууме. Изучение любой области — всегда многогранная штука: это и статьи, и книги, и курсы, и подкасты, и конференции, и особенно реальный опыт.
В книгах авторы уже собрали граблей и имеют тот самый опыт. Они пишут про принципы и концепции: не подскажут конкретную имплементацию, но направят в правильном направлении и дадут пищу для размышлений.
https://habr.com/ru/companies/yandex_praktikum/articles/839566/
#подборка@programmist_of
👉@programmist_of
Please open Telegram to view this post
VIEW IN TELEGRAM
Интересная статья, как поднять AWS EKS для работы с LLM и задеплоить DeepSeek V3 в него.
deploying-the-deepseek-v3-model-full-version-in-amazon-eks-using-vllm-and-lws
В принципе подробное пошаговое руководство. Главное заметить, что размер кластера указанный в гайде - 4 х g6e.48xlarge с 2ТБ дисками и соответственно цена ± за кластер будет около 89К $ в месяц, в us-east регионе. Так что не забывайте пристрелить его если не понадобится после тестов 😉
deploying-the-deepseek-v3-model-full-version-in-amazon-eks-using-vllm-and-lws
В принципе подробное пошаговое руководство. Главное заметить, что размер кластера указанный в гайде - 4 х g6e.48xlarge с 2ТБ дисками и соответственно цена ± за кластер будет около 89К $ в месяц, в us-east регионе. Так что не забывайте пристрелить его если не понадобится после тестов 😉
👍1
а вот и видео на данную тему
https://youtu.be/-YeNNOZ0y84
https://youtu.be/-YeNNOZ0y84
YouTube
Deploy DeepSeek-R1 Models on Kubernetes with Amazon EKS
Can you deploy DeepSeek-R1 on Kubernetes? In this video, Sai is joined by AWS Solutions Architects Lucas and Tiago to talk about why DeepSeek is different and show you a demo of deploying it on Amazon EKS Auto Mode. We cover concepts like distillation, reinforcement…
👍1
интересный функционал предложил Docker для запуска различных LLM локально
https://www.docker.com/blog/introducing-docker-model-runner/
с описанием доки по Docker Model Runner'у
https://docs.docker.com/model-runner/
а также расположив у себя множество различных моделей для запуска
https://hub.docker.com/catalogs/gen-ai
https://www.docker.com/blog/introducing-docker-model-runner/
с описанием доки по Docker Model Runner'у
https://docs.docker.com/model-runner/
а также расположив у себя множество различных моделей для запуска
https://hub.docker.com/catalogs/gen-ai
Docker
Introducing Docker Model Runner | Docker
Docker Model Runner is a faster, simpler way to run and test AI models locally, right from your existing workflow.
Forwarded from Bug Hunter Notes
YouTube
(Не)безопасные бакеты