[Перевод] Создание сквозного конвейера MLOps с помощью Open-source инструментов.

Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения традиционных систем ML и познакомим вас с основными инструментами с открытым исходным кодом, которые помогут вам создать более надежную, масштабируемую и поддерживаемую систему ML.

Среди обсуждаемых инструментов — Feast для управления функциями, MLflow для отслеживания и версионирования моделей, Seldon для развертывания моделей, Evidently для мониторинга в реальном времени и Kubeflow для оркестровки рабочих процессов.

Введение

Ландшафт машинного обучения постоянно меняется, и переход от разработки моделей к их внедрению в производство сопряжен с рядом трудностей. Хотя блокноты Jupyter и изолированные скрипты полезны для экспериментов, им часто не хватает функций, необходимых для системы производственного уровня. Эта статья призвана помочь вам справиться с этими проблемами, познакомив с концепцией MLOps и набором инструментов с открытым исходным кодом, которые могут облегчить создание готового к производству ML-конвейера.

Независимо от того, являетесь ли вы специалистом по исследованию данных, желающим перейти к производственной деятельности, или инженером ML, стремящимся оптимизировать существующие рабочие процессы, эта статья призвана дать целенаправленный обзор основных практик и инструментов MLOps.

Читать дальше →https://habr.com/ru/companies/itsumma/articles/782020

Docker 2023: основные этапы, обновления и что дальше

У нас был захватывающий год в Docker, с множеством новостей и объявлений о продуктах. Не волнуйтесь, если вы не успеваете за темпами наших новостей и выпусков продуктов. Мы собрали основные моменты 2023 года и посмотрим, как мы планируем оставаться самым используемым инструментом разработчика в 2024 году. https://www.docker.com/blog/docker-highlights-2023

Развертывание собственной гибридной архитектуры GitLab Cloud имеет смысл только в очень специфических случаях использования. Поэтому в большинстве случаев нативный GitLab Cloud не нужен и слишком сложен. Поэтому я создал это пошаговое руководство по развертыванию, которое поможет вам выполнить первое развертывание GitLab Omnibus.

https://glasskube.eu/en/r/guides/gitlab-kubernetes/

Руководство технического директора по DevOps: простые принципы и примеры

https://dev.to/meteorops/the-cto-devops-handbook-simple-principles-and-examples-2jcb

Полное руководство по тестированию в Terraform: держите свои тесты, проверки, проверки и политики в порядке.

https://mattias.engineer/posts/terraform-testing-and-validation/

"docker system prune"

Краткий обзор инструмента командной строки kubectl

https://dev.to/refine/a-detailed-guide-on-kubectl-describe-4dcm

Kubernetes стал проще — представляем Cyclops

https://dev.to/cyclops-ui/kubernetes-made-simple-introducing-cyclops-44g0

Monokle (GitHub Repo) Monokle упрощает процесс создания, анализа и развертывания конфигураций Kubernetes, предоставляя единый визуальный инструмент для создания YAML-манифестов, проверки политик и управления живыми кластерами. подробнее→ https://github.com/kubeshop/monokle

GQL (GitHub Repo) GQL, или Git Query Language, Язык Git Query — это SQL-подобный язык для выполнения запросов к файлам .git с поддержкой большинства функций SQL, таких как функции группировки, упорядочивания и агрегирования.подробнее→ https://github.com/amrdeveloper/GQL

🚀 Реплицируйте свою производственную среду локально с помощью Docker. Просто запустите «spin up». Это действительно так просто.

https://github.com/serversideup/spin

Создавайте образы Docker быстрее, используя кэш сборки.

https://dev.to/kylegalbraith/build-docker-images-faster-using-build-cache-4bk4

Основы Docker для начинающих
Изучите основы Docker, в том числе его отличия от виртуальных машин, способы его установки и преимущества для разработчиков.

https://dev.to/davidmm1707/docker-basics-for-beginners-49l9

📌 Kubernetes — это база.

А Слёрм запускает базовый курс по k8s уже в январе.

В процессе обучения вы:

▪️разберете основы работы с Kubernetes, устройство кластера и отказоустойчивость;
▪️познакомитесь с продвинутыми абстракциями в k8s;
▪️научитесь подключать системы хранения данных на примере Ceph;
▪️узнаете, как работают DNS-сервисы, Helm и CI/CD.

Вас ждут подробные видеоуроки, практика на стендах в личном кабинете, АМА-сессии со спикерами и итоговая сертификация в конце курса.

🎁 Бонус для всех, кто хочет начать заниматься сразу — бесплатный доступ к первому модулю.

Поток стартует 17 января. Не упустите шанс сохранить для себя цены 2023 года — присоединяйтесь прямо сейчас!

Изучить программу и присоединиться к курсу

« Backstage и Terraform» — Как создать форму с различными полями и запустить конвейер, который генерирует для вас код Terraform — Читать дальше »

« Аргументы в пользу контейнеров на Lambda» . В этом посте основное внимание уделяется анализу производительности функций Lambda на основе контейнеров с помощью простых воспроизводимых тестов. Читать далее »

Как мы разрабатывали свой Agile-велосипед и почему не используем популярные фреймворки (обзор и видео доклада)

Всем привет! На связи Сергей Гончарук, менеджер проектов компании «Флант». 30 ноября и 1 декабря 2023 года прошла конференция TeamLead++ Conf 2023. Ниже — текстовый вариант моего доклада с конференции про опыт «Фланта» в построении процессов управления задачами для Dev-части нашей DevOps-работы.

В докладе я рассказал, как можно применить ценностную модель, чтобы построить идеальный фреймворк для команды, и как приносить изменения в компанию через создание профессионального сообщества, в нашем случае — гильдии. https://habr.com/ru/companies/flant/articles/778646/

В этой статье я собираюсь объяснить вам процесс объединения Django и Jenkins для плавного конвейера CI/CD в ваших веб-проектах Python.

https://blog.vishnutiwari.me/seamless-integration-a-practical-guide-to-jenkins-cicd-for-django-development

Навигация по мультиоблачной экосистеме

В этой статье мы раскроем концепцию мультиоблачной инфраструктуры и рассмотрим, как она позволяет предприятиям диверсифицировать свои облачные экосистемы для повышения производительности, большей гибкости и улучшения управления рисками. https://devops.com/navigating-the-multi-cloud-ecosystem

Развертывание MLFlow в AWS с помощью Terraform

Оптимизируйте рабочие процессы машинного обучения: простое руководство по развертыванию MLFlow на AWS https://mmeendez8.github.io/2023/11/22/deploy-mlflow-terraform.html