How to Monitor MongoDB: Key Metrics to Measure for High Performance

https://sematext.com/blog/mongodb-monitoring/

#devops #девопс

Подпишись 👉@i_DevOps

Челленджи деплоя, сетевых политик и планировщика: как мы внедряли ML-платформу Kubeflow

Kubeflow — фреймворк на базе Kubernetes, который помогает быстро запускать модели машинного обучения. Мы в VK решили внедрить его в свои рабочие процессы и столкнулись с некоторыми трудностями.

Меня зовут Федюнин Андрей, я системный инженер в команде платформы, которая предоставляет разработчикам Kubernetes для запуска приложений, и отвечаю за ML-кластер в нашей команде. Сегодня расскажу, зачем и как мы внедряли Kubeflow, как решали проблемы и к чему пришли.

https://habr.com/ru/company/vk/blog/698760/


#devops #девопс

Подпишись 👉@i_DevOps

Lightweight Introduction to MLOps

https://towardsdatascience.com/lightweight-introduction-to-mlops-a77406cfcc68

#devops #девопс

Подпишись 👉@i_DevOps

Как сделать Jenkins стабильным и сэкономить время, деньги и нервы

На вебинаре разберем ошибки, которые чаще всего совершают администраторы Jenkins. Вы сможете избежать проблем на ранних этапах, а не решать их, когда у вас уже есть огромный «лагающий» Jenkins.

10:40 начало вебинара со звуком
14:33 по теме вебинара

#devops #девопс

Подпишись 👉@i_DevOps

Does Kubernetes really give you multicloud portability?

https://medium.com/digital-mckinsey/does-kubernetes-really-give-you-multicloud-portability-476270a0acc7

#devops #девопс

Подпишись 👉@i_DevOps

15 лучших практик DevSecOps

DevOps – это скорость, гибкость и взаимодействие. Но когда речь заходит о безопасности, команды DevOps часто сталкиваются с уникальными проблемами. От обеспечения безопасности процесса разработки приложений до защиты производственной среды, команды DevOps и DevSecOps должны знать о множестве потенциальных рисков безопасности.

Чтобы помочь вам быть на шаг впереди, мы составили список из 15 лучших практик и проблем безопасности DevOps.

https://itmozg.ru/15-luchshih-praktik-devsecops/

#devops #девопс

Подпишись 👉@i_DevOps

Apache Spark на Kubernetes: какие уроки можно извлечь из запуска миллионов исполнителей Spark

Перевод конспект доклада с конференции Data+AI Summit 2022. В своём выступлении Чжоу Цзян и Ааруна Годти из Apple описывают, как построили централизованный кластер Apache Spark на базе Kubernetes, который обрабатывает свыше 380 тыс. заданий Spark в день. Такой объем заданий поддерживает аналитические процессы и эксперименты дата-сайентистов компании Apple.

Rus https://habr.com/ru/company/vk/blog/698038/
Eng https://medium.com/@coderstan/apache-spark-on-kubernetes-lessons-learned-from-launching-millions-of-spark-executors-databricks-9187890f0dc3

#devops #девопс

Подпишись 👉@i_DevOps

Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества

При построении больших и сложных систем не обойтись без программных брокеров сообщений. Однако часто возникает вопрос, какой из них выбрать для того или иного проекта. Сегодня мы поделимся особенностями работы Apache Kafka и RabbitMQ, дав точный рецепт, когда и какой брокер стоит использовать.

#devops #девопс

Подпишись 👉@i_DevOps

☁ Российский облачный провайдер EdgeЦентр запустил Telegram-канал с новостями IT индустрии, обзорами и экспертными мнениями.

➤ Мы делимся полезными знаниями, разбираем интересные кейсы и освещаем горячие новости, а также публикуем экспертные мнения.
➤ Чтобы быть в курсе событий и изменений в сфере IT Технологий и иметь объективную оценку, присоединяйтесь к нашему сообществу.

Подписывайтесь: https://news.1rj.ru/str/edgecenter

A next-generation crawling and spidering framework

Возможности
Fast And fully configurable web crawling
Standard and Headless mode support
JavaScript parsing / crawling
Customizable automatic form filling
Scope control - Preconfigured field / Regex
Customizable output - Preconfigured fields
INPUT - STDIN, URL and LIST
OUTPUT - STDOUT, FILE and JSON

Installation
go install github.com/projectdiscovery/katana/cmd/katana@latest

https://github.com/projectdiscovery/katana

#devops #девопс

Подпишись 👉@i_DevOps

Российский DevSecOps в условиях импортозамещения

0:00 – Приветствие Льва Палея, модератора дискуссии
0:46 – Представление участников
3:10 – Блок 1. Назначение DevSecOps, особенности внедрения.
3:43 – Цель участия экспертов в дискуссии. Презентация компаний экспертов.
10:37 – Отличия применения безопасности по направлениям DevSecOps, SecDevOps, DevOpsSec, SSDL (Software Security Development Lifecycle), SDLC (Software Development Life Cycle).
15:34 – Почему безопасная разработка выделилась в отдельное направление, а не осталась частью процесса разработки ПО?
17:30 – Какие дополнительные знания и навыки необходимы тестировщику ПО для перехода в разработчики DevSecOps?
20:32 – Оправдана ли оценка, что значительная часть разработчиков DevSecOps покинула Россию после февраля?
21:59 – Насколько поменялась концепция безопасной разработки DevSecOps с учетом событий 2022 года?
25:17 – Создание импортонезависимых продуктов и DevSecOps.
28:39 – Связь между ростом DevSecOps и ростом IT-сегмента в целом.
30:01 – Результаты первого опроса зрителей AM Live: Какие главные опасения вызывают у вас Cloud Native инструменты?
31:03 – Какую часть общего процесса разработки занимает QA и DevSecOps?
35:54 – Концепция Pets vs. Cattle для безопасной разработки.
39:38 – Как наблюдать за процессами внутри контейнеров?
40:52 – Результаты второго опроса зрителей AM Live: Какие меры вы предпринимаете для безопасной разработки ПО?
42:50 – Эффективность применения инструментов безопасной разработки ПО
44:16 – Что происходит с DevSecOps после возникновения недоступности ранее использовавшегося ПО?
54:07 – Позиция регуляторов в отношении безопасной разработки.
1:00:10 – Результаты третьего опроса зрителей AM Live: Как изменилось финансирование обеспечения безопасности разработки (DevSecOps) в 2022 году?
1:03:32 – Как меняется технологический стек DevSecOps?
1:05:32 – Есть ли замедление во внедрении новых технологий в связи с событиями 2022 года?
1:06:09 – Блок 2. Технологии и DevSecOps.
1:06:09 – Как сказываются изменения в технологическом стеке на DevSecOps?
1:08:50 – Как сказались санкции на DevSecOps?
1:12:42 – Можно ли обойтись без Kubernetes?
1:18:10 – Контроль за кодом инфраструктуры.
1:19:45 – Какая существует практика по выбору сканеров исходного кода?
1:22:25 – Два подхода к выбору архитектуры/интеграции и решений для DevSecOps.
1:27:47 – Результаты четвертого опроса зрителей AM Live: С какого элемента безопасности стоит начать внедрение DevSecOps?
1:33:05 – Какие направления в структуре DevSecOps набирают популярность?
1:39:23 – Результаты пятого опроса зрителей AM Live: Проводите ли вы аудит безопасности опенсорсных пакетов?
1:42:14 – Кадровая политика в сегменте DevSecOps.
1:52:07 – Результаты шестого опроса зрителей AM Live: Каково ваше мнение относительно DevSecOps после эфира?
1:53:48 – Блок 3. Прогнозы.
1:53:48 – Прогнозы развития DevSecOps на ближайший год и на 5 лет.
2:08:00 – Подведение итогов дискуссии

https://www.youtube.com/watch?v=QDjBI7IXeJI&t=2s

#devops #девопс

Подпишись 👉@i_DevOps

Наша новая удачная попытка бесшовной замены Redis на KeyDB

Мы уже как-то рассказывали о базе данных KeyDB — форке Redis, разработка которого началась в 2019 году. Проект распространяется под свободной лицензией BSD, и у него уже почти 6k звезд на GitHub. Авторы в свое время столкнулись с проблемами производительности оригинала и пошли хардкорным путём: взяли всё в свои руки и привнесли много нового как в части многопоточности, так и в других областях.

В статье делимся еще одним положительным опытом замены Redis на KeyDB.

#devops #девопс

Подпишись 👉@i_DevOps