Около DevOps – Telegram
Около DevOps
69 subscribers
33 photos
9 files
501 links
О DevOps и не только

@dmitriy_stoyanov
Download Telegram
Интересная статья, как поднять AWS EKS для работы с LLM и задеплоить DeepSeek V3 в него.

deploying-the-deepseek-v3-model-full-version-in-amazon-eks-using-vllm-and-lws

В принципе подробное пошаговое руководство. Главное заметить, что размер кластера указанный в гайде - 4 х g6e.48xlarge с 2ТБ дисками и соответственно цена ± за кластер будет около 89К $ в месяц, в us-east регионе. Так что не забывайте пристрелить его если не понадобится после тестов 😉
👍1
интересный функционал предложил Docker для запуска различных LLM локально
https://www.docker.com/blog/introducing-docker-model-runner/

с описанием доки по Docker Model Runner'у
https://docs.docker.com/model-runner/

а также расположив у себя множество различных моделей для запуска
https://hub.docker.com/catalogs/gen-ai
https://www.infoq.com/news/2025/05/microsoft-build-2025/

Microsoft превращает свой GitHub Copilot в автономный агент готовый к работе над задачами в github issue, самостоятельно, генерируя PR и переделывая код на основе пользовательского фидбека. А другие фичи в статье, анонсированные MS на Build 2025
В последнее время Амазон идет в ногу с комьюнити выпуская новые релизы вслед за официальными релизами kubernetes

https://aws.amazon.com/about-aws/whats-new/2025/05/amazon-eks-distro-kubernetes-version-1-33/
Амазон анонсировал AWS CDK Toolkit Library

А также написали статью, в которой рассматривается новая библиотека AWS CDK Toolkit Library, которая предоставляет те же возможности синтеза, развертывания и уничтожения CDK CLI непосредственно в коде.
В ней объясняется, почему программный доступ важен для автоматизации и тестирования, рассматривается пример тестовой обвязки на основе Lambda, а также отмечаются текущие ограничения и следующие шаги для внедрения.
🔥1
Если у вас в аккаунте несколько EKS кластеров, то данный дашбоард вам явно не помешает
ChatGPT для студентов предложила модель работы не просто вопрос-ответ, а подведение человека к ответу с заданием дополнительных уточняющих вопросов для изучения темы вопроса. Молодцы, раньше отдельно ассистента или gpts нужно было для этого использовать
https://openai.com/index/chatgpt-study-mode/
👍1
Kubernetes deployment strategies explained

Статья рассматривающая различные deployment strategies в Kubernetes, подробно описываются принципы работы каждой из них, их плюсы и минусы, а также случаи, когда они подходят. В статье рассматриваются стратегии Recreate, Rolling Update, Blue-Green и Canary с пошаговыми объяснениями и ссылками на практические репозитории для каждого метода.
👍1
Forwarded from Bug Hunter Notes
AgentHopper: An AI Virus
Статья показывающая как в нынешнее время с множеством AI агентов можно сделать плохие действия на машинах использующих эти агенты для работы

также видео из статьи
https://www.youtube.com/watch?v=vlF0sblunQY