MemOps 😃

65 000 узлов и больше: Google Kubernetes Engine готов к моделям ИИ с триллионом параметров

Google хвастается расширением возможностей Google Kubernetes Engine (GKE), который теперь поддерживает кластеры до 65 000 узлов, позволяя запускать сверхмасштабные модели искусственного интеллекта с триллионами параметров. Это достижение ставит GKE в лидеры по производительности и масштабируемости среди облачных платформ, предоставляя компаниям возможность управлять крупными вычислительными задачами, особенно в сфере генеративного ИИ.

Эти нововведения стали возможны благодаря техническим улучшениям, включая переход на систему хранения данных Spanner вместо etcd, что обеспечивает большую стабильность и надёжность в управлении столь крупными кластерами. Внедрение Cloud TPU v5e с несколькими ускорителями на узел позволяет поддерживать более 250 000 ускорителей в одном кластере, что делает GKE эффективным инструментом для задач инференса, обучения и исследования.

📌 Подробнее: https://cloud.google.com/blog/products/containers-kubernetes/gke-65k-nodes-and-counting

MemOps 🤨

MemOps 😃

Статистика от Red Hat по внедрению облачных технологий в Enterprise среде

▪️ Драйверы роста облачных технологий:

Централизация управления облаком — 80% опрошенных компаний планируют централизовать управление облачными ресурсами в течение следующих 18 месяцев.
Безопасность и соответствие требованиям — 78% организаций уделяют приоритетное внимание вопросам безопасности, соответствия и суверенитета данных.
Подготовка к внедрению ИИ: 78% компаний готовятся к интеграции ИИ в свои процессы.

▪️ Инвестиции в инновации:

Сбалансированный рост — 50% респондентов намерены равномерно инвестировать в новые технологии, такие как ИИ, и оптимизацию существующих систем.
Увеличение инвестиций — 52% компаний планируют увеличить инвестиции в облачные технологии до 50% к 2025 году.

▪️ Препятствия на пути к внедрению облачных технологий и ИИ:

Дефицит навыков — 71% компаний отмечают нехватку специалистов в области ИИ, 66% — в области кибербезопасности, 61% — в облачных технологиях.
Изолированные структуры — 96% предприятий сталкиваются с проблемами из-за изолированных команд, что приводит к несогласованности в безопасности и увеличению затрат.

▪️ Роль корпоративного open source:

Прозрачность и модифицируемость — 89% респондентов считают, что доверие к корпоративным моделям ИИ зависит от их прозрачности и возможности модификации.

📌 Подробнее: https://www.redhat.com/en/blog/2024-enterprise-trends-cloud-meets-ai?channel=/en/blog/channel/cloud-services

MemOps 🤨

MemOps 😃

Нотация Big O 101: Секрет написания эффективных алгоритмов

О-большое (Big O) – это специальная нотация, используемая для описания асимптотической сложности; то есть, скорости роста времени выполнения алгоритма с увеличением размера входных данных.

Это нужно, чтобы понимать, насколько быстро или медленно работают алгоритмы. В О-большом нет коэффициентов, минут, секунд и так далее. Об этом будет наглядно показано в примере про логарифмическую сложность O(log n).

MemOps 🤨

Проект после всех правок

MemOps 😃

В этом блоге собрано все, что автор узнал, чтобы выбрать наиболее подходящую стратегию кэширования для рабочих процессов.

📌 Подробнее: https://blacksmith.sh/blog/cache-is-king-a-guide-for-docker-layer-caching-in-github-actions

MemOps 🤨

MemOps 😃

Интеграция Azure DevOps и GitHub: новые возможности

Microsoft предлагает интеграцию Azure DevOps и GitHub, обеспечивая доступ к инновациям, таким как GitHub Advanced Security и Copilot. Теперь пользователи могут использовать передовые функции GitHub, не отказываясь от возможностей Azure DevOps, что позволяет максимально эффективно проводить DevSecOps-процессы.

📌 Подробнее: https://devblogs.microsoft.com/devops/getting-the-most-out-of-azure-devops-and-github/

MemOps 🤨

MemOps 😃

Инструменты CI/CD в облаке

▪️ AWS (Amazon Web Services):
CodePipeline: Организует автоматизированные конвейеры.
CodeBuild: Выполняет сборку и тестирование кода.
CodeDeploy: Развёртывает приложения на Amazon EC2, Fargate или Lambda.
CloudFormation: Автоматизирует инфраструктуру как код (IaC).

▪️ Google Cloud Platform (GCP):
Cloud Build: Поддерживает сборку, тестирование и развертывание контейнеров.
Kubernetes Engine: Автоматизирует управление контейнерами.
Artifact Registry: Хранение артефактов (докер-образов, библиотек).

▪️ Microsoft Azure:
Azure Pipelines: Полнофункциональный CI/CD конвейер для облачных и локальных сред.
Azure DevTest Labs: Создание тестовых окружений за считанные минуты.

▪️ GitHub Actions:
Интеграция с облачными хранилищами и развертывание в AWS, Azure или GCP.
Легко масштабируется благодаря облачной инфраструктуре.

📌 Подробнее: https://devblogs.microsoft.com/devops/getting-the-most-out-of-azure-devops-and-github/

MemOps 🤨

MemOps 😃

Платформы для хостинга Docker-контейнеров: Обзор PaaS и CaaS сервисов

С развитием контейнеризации возникла потребность в удобных решениях для хостинга. Это привело к появлению различных платформ, адаптированных к контейнерной архитектуре. Эти платформы помогают ИТ-специалистам сосредоточиться на развитии софта, переложив заботы об администрировании на облачную инфраструктуру.

В этой статье мы расскажем о PaaS и CaaS сервисах для работы с контейнерами и сделаем небольшой обзор российских платформ для хостинга приложений на основе Docker.

📌 Подробнее: https://habr.com/ru/companies/dockhost/articles/859558

MemOps 🤨

Тот самый срочный созвон

MemOps 😃

RedOS & MAAS (костыль нам и строить, и жить помогает)

Привет, Хабр! Меня зовут Алексей Зернов. В этой статье я расскажу об автоматизации развертывания отечественной операционной системы РедОС. На решение было потрачено огромное количество сил и времени, поэтому я буду рад, если этот материал с описанием процесса сэкономит кому-то пару недель боли. Вся информация под катом.

📌 Подробнее: https://habr.com/ru/companies/t2/articles/858854/

MemOps 🤨

MemOps 😃

CI/CD в базах данных: Как ускорить разработку и улучшить жизнь разработчиков
В статье «Improving the Developer Experience by Deploying CI/CD in Databases» обсуждается как внедрение практик CI/CD (непрерывной интеграции и доставки) в процессы работы с базами данных улучшает опыт разработчиков, ускоряет разработку и делает управление данными более эффективным.

Основные темы статьи:

▪️ Ускорение разработки: Автоматизация процессов интеграции и развёртывания позволяет быстрее вносить изменения в базы данных, избегая длительных простоев.

▪️ Снижение рисков ошибок: Использование CI/CD помогает уменьшить количество ошибок при изменении схемы баз данных и миграции данных благодаря тщательному тестированию.

▪️ Управление изменениями схемы: CI/CD упрощает внесение изменений в структуру баз данных, гарантируя их совместимость с кодом приложений.

▪️ Обеспечение стабильности: Автоматизация тестов и управление версиями предотвращают неожиданные сбои в работе приложения при обновлениях базы данных.

▪️ Лучшее взаимодействие между командами: CI/CD улучшает связь между разработчиками приложений и администраторами баз данных, устраняя узкие места в процессах.

▪️ Статья подчёркивает, что CI/CD в базах данных — это не просто техническое решение, а способ упростить работу разработчиков, повысить качество продукта и сократить время выхода обновлений на рынок.

📌 Подробнее: https://devops.com/improving-the-developer-experience-by-deploying-ci-cd-in-databases/

MemOps 🤨

MemOps 😃

Создание динамического Kubernetes API-сервера в Cozystack

Статья раскрывает, как команда Cozystack использовала API Aggregation Layer для создания расширяемого API-сервера на платформе Kubernetes. Этот подход позволяет внедрять сложную логику и управлять подресурсами, не ограничиваясь использованием CRD. В статье обсуждаются преимущества и области применения данного решения. Расширяем Cozystack для упрощенного управления ресурсами

Cozystack, платформа PaaS с открытым исходным кодом, улучшает управление ресурсами благодаря новой архитектуре API. Теперь пользователи могут создавать специфичные виды ресурсов без риска компрометации системы. Наша цель — предоставить удобный доступ к управляемым сервисам через публичное API. Новые возможности Cozystack API

Наш API Aggregation Layer расширяет возможности Kubernetes без необходимости писать код. Мы планируем добавить в API валидацию через OpenAPI и улучшенный интерфейс. Присоединяйтесь к тестам на нашей открытой платформе Cozystack с версии v0.18 и оцените все улучшения сами!

📌 Подробнее: https://kubernetes.io/blog/2024/11/21/dynamic-kubernetes-api-server-for-cozystack/

MemOps 🤨

MemOps 😃