Интересная статья, как поднять AWS EKS для работы с LLM и задеплоить DeepSeek V3 в него.
deploying-the-deepseek-v3-model-full-version-in-amazon-eks-using-vllm-and-lws
В принципе подробное пошаговое руководство. Главное заметить, что размер кластера указанный в гайде - 4 х g6e.48xlarge с 2ТБ дисками и соответственно цена ± за кластер будет около 89К $ в месяц, в us-east регионе. Так что не забывайте пристрелить его если не понадобится после тестов 😉
deploying-the-deepseek-v3-model-full-version-in-amazon-eks-using-vllm-and-lws
В принципе подробное пошаговое руководство. Главное заметить, что размер кластера указанный в гайде - 4 х g6e.48xlarge с 2ТБ дисками и соответственно цена ± за кластер будет около 89К $ в месяц, в us-east регионе. Так что не забывайте пристрелить его если не понадобится после тестов 😉
👍1
а вот и видео на данную тему
https://youtu.be/-YeNNOZ0y84
https://youtu.be/-YeNNOZ0y84
YouTube
Deploy DeepSeek-R1 Models on Kubernetes with Amazon EKS
Can you deploy DeepSeek-R1 on Kubernetes? In this video, Sai is joined by AWS Solutions Architects Lucas and Tiago to talk about why DeepSeek is different and show you a demo of deploying it on Amazon EKS Auto Mode. We cover concepts like distillation, reinforcement…
👍1
интересный функционал предложил Docker для запуска различных LLM локально
https://www.docker.com/blog/introducing-docker-model-runner/
с описанием доки по Docker Model Runner'у
https://docs.docker.com/model-runner/
а также расположив у себя множество различных моделей для запуска
https://hub.docker.com/catalogs/gen-ai
https://www.docker.com/blog/introducing-docker-model-runner/
с описанием доки по Docker Model Runner'у
https://docs.docker.com/model-runner/
а также расположив у себя множество различных моделей для запуска
https://hub.docker.com/catalogs/gen-ai
Docker
Introducing Docker Model Runner | Docker
Docker Model Runner is a faster, simpler way to run and test AI models locally, right from your existing workflow.
Forwarded from Bug Hunter Notes
YouTube
(Не)безопасные бакеты
Remote Prompt Injection in GitLab Duo Leads to Source Code Theft
https://www.legitsecurity.com/blog/remote-prompt-injection-in-gitlab-duo
https://www.legitsecurity.com/blog/remote-prompt-injection-in-gitlab-duo
Legitsecurity
Remote Prompt Injection in GitLab Duo Leads to Source Code Theft
The Legit research team unearthed vulnerabilities in GitLab Duo.
https://www.infoq.com/news/2025/05/microsoft-build-2025/
Microsoft превращает свой GitHub Copilot в автономный агент готовый к работе над задачами в github issue, самостоятельно, генерируя PR и переделывая код на основе пользовательского фидбека. А другие фичи в статье, анонсированные MS на Build 2025
Microsoft превращает свой GitHub Copilot в автономный агент готовый к работе над задачами в github issue, самостоятельно, генерируя PR и переделывая код на основе пользовательского фидбека. А другие фичи в статье, анонсированные MS на Build 2025
InfoQ
Microsoft Announces AI Agent and Platform Updates at Build 2025
At its annual developer conference, Build 2025, Microsoft introduced a set of updates focused on expanding the role of AI agents across Windows, GitHub, Azure, and Microsoft 365.
https://github.blog/news-insights/product-news/github-copilot-meet-the-new-coding-agent/
Вот также данная новость на гитхабе
Вот также данная новость на гитхабе
The GitHub Blog
GitHub Copilot: Meet the new coding agent
GitHub Copilot has a new feature: a coding agent that can implement a task or issue, run in the background with GitHub Actions, and more.
а также небольшое демо на YouTube
https://youtu.be/EPyyyB23NUU
https://youtu.be/EPyyyB23NUU
YouTube
Introducing the GitHub Copilot coding agent
Tired of endless tab switching? GitHub's AI coding agent is changing the game. Plan, build, test, and collaborate seamlessly, from issue to merged PR. Get a sneak peek at agent mode coming to VS Code and other popular IDEs at Build. Prepare for a new era…
В последнее время Амазон идет в ногу с комьюнити выпуская новые релизы вслед за официальными релизами kubernetes
https://aws.amazon.com/about-aws/whats-new/2025/05/amazon-eks-distro-kubernetes-version-1-33/
https://aws.amazon.com/about-aws/whats-new/2025/05/amazon-eks-distro-kubernetes-version-1-33/
Amazon
Amazon EKS and Amazon EKS Distro now supports Kubernetes version 1.33 - AWS
Discover more about what's new at AWS with Amazon EKS and Amazon EKS Distro now supports Kubernetes version 1.33
Амазон анонсировал AWS CDK Toolkit Library
А также написали статью, в которой рассматривается новая библиотека AWS CDK Toolkit Library, которая предоставляет те же возможности синтеза, развертывания и уничтожения CDK CLI непосредственно в коде.
В ней объясняется, почему программный доступ важен для автоматизации и тестирования, рассматривается пример тестовой обвязки на основе Lambda, а также отмечаются текущие ограничения и следующие шаги для внедрения.
А также написали статью, в которой рассматривается новая библиотека AWS CDK Toolkit Library, которая предоставляет те же возможности синтеза, развертывания и уничтожения CDK CLI непосредственно в коде.
В ней объясняется, почему программный доступ важен для автоматизации и тестирования, рассматривается пример тестовой обвязки на основе Lambda, а также отмечаются текущие ограничения и следующие шаги для внедрения.
Amazon
AWS CDK Toolkit Library is now generally available - AWS
Discover more about what's new at AWS with AWS CDK Toolkit Library is now generally available
🔥1
Если у вас в аккаунте несколько EKS кластеров, то данный дашбоард вам явно не помешает
ChatGPT выпустил своего агента :)
https://openai.com/index/introducing-chatgpt-agent/
Все двигаются в эту сторону, ну и openAI решили не отставать
https://openai.com/index/introducing-chatgpt-agent/
Все двигаются в эту сторону, ну и openAI решили не отставать
Openai
Introducing ChatGPT agent: bridging research and action
ChatGPT now thinks and acts, proactively choosing from a toolbox of agentic skills to complete tasks for you using its own computer.
https://habr.com/ru/companies/bothub/news/927146/
А вот и сам чат - https://www.kimi.com/chat
от компании https://www.moonshot.ai/
А вот и сам чат - https://www.kimi.com/chat
от компании https://www.moonshot.ai/
Хабр
Kimi-K2 — следующий этап развития искусственного интеллекта в Китае после Deepseek
Компания Moonshot AI из Китая выпустила Kimi-K2 — новую большую языковую модель с открытым исходным кодом, которая призвана составить конкуренцию ведущим проприетарным моделям, таким как Claude Sonnet...
ChatGPT для студентов предложила модель работы не просто вопрос-ответ, а подведение человека к ответу с заданием дополнительных уточняющих вопросов для изучения темы вопроса. Молодцы, раньше отдельно ассистента или gpts нужно было для этого использовать
https://openai.com/index/chatgpt-study-mode/
https://openai.com/index/chatgpt-study-mode/
👍1
Kubernetes deployment strategies explained
Статья рассматривающая различные deployment strategies в Kubernetes, подробно описываются принципы работы каждой из них, их плюсы и минусы, а также случаи, когда они подходят. В статье рассматриваются стратегии Recreate, Rolling Update, Blue-Green и Canary с пошаговыми объяснениями и ссылками на практические репозитории для каждого метода.
Статья рассматривающая различные deployment strategies в Kubernetes, подробно описываются принципы работы каждой из них, их плюсы и минусы, а также случаи, когда они подходят. В статье рассматриваются стратегии Recreate, Rolling Update, Blue-Green и Canary с пошаговыми объяснениями и ссылками на практические репозитории для каждого метода.
👍1
Forwarded from Bug Hunter Notes
AgentHopper: An AI Virus
Статья показывающая как в нынешнее время с множеством AI агентов можно сделать плохие действия на машинах использующих эти агенты для работы
также видео из статьи
https://www.youtube.com/watch?v=vlF0sblunQY
Статья показывающая как в нынешнее время с множеством AI агентов можно сделать плохие действия на машинах использующих эти агенты для работы
также видео из статьи
https://www.youtube.com/watch?v=vlF0sblunQY
Embrace The Red
AgentHopper: An AI Virus Research Project
AgentHopper: A proof-of-concept AI Virus