Инженерия данных != инженерия ПО
В последние годы мы видим, как инженерия данных всё больше сливается с индустрией DevOps. В обоих этих направлениях для доставки надёжных цифровых продуктов клиентам используется облачная инфраструктура, контейнеризация, CI/CD и GitOps. Это схождение в плане использования одного набора инструментов заставило многих думать, что инженерия данных не имеет значительных отличий от инженерии программного обеспечения. Как следствие, первая оказывается «несовершенной», поскольку дата-инженеры отстают с внедрением эффективных практик разработки ПО.
Rus https://habr.com/ru/company/ruvds/blog/701366/
Eng https://betterprogramming.pub/data-engineering-is-not-software-engineering-af81eb8d3949
#devops #девопс
Подпишись 👉@i_DevOps
В последние годы мы видим, как инженерия данных всё больше сливается с индустрией DevOps. В обоих этих направлениях для доставки надёжных цифровых продуктов клиентам используется облачная инфраструктура, контейнеризация, CI/CD и GitOps. Это схождение в плане использования одного набора инструментов заставило многих думать, что инженерия данных не имеет значительных отличий от инженерии программного обеспечения. Как следствие, первая оказывается «несовершенной», поскольку дата-инженеры отстают с внедрением эффективных практик разработки ПО.
Rus https://habr.com/ru/company/ruvds/blog/701366/
Eng https://betterprogramming.pub/data-engineering-is-not-software-engineering-af81eb8d3949
#devops #девопс
Подпишись 👉@i_DevOps
👍2
Solving a Murder Mystery
https://www.honeycomb.io/blog/solving-murder-mystery-columnar-datastore
#devops #девопс
Подпишись 👉@i_DevOps
https://www.honeycomb.io/blog/solving-murder-mystery-columnar-datastore
#devops #девопс
Подпишись 👉@i_DevOps
This media is not supported in your browser
VIEW IN TELEGRAM
KubeStalk обнаруживает Kubernetes и связанную с ним инфраструктуру на основе поверхности атаки с точки зрения "черного ящика".
Установка
KubeStalk написан на языке Python и требует наличия библиотеки requests.
Чтобы установить инструмент, вы можете клонировать репозиторий в любую директорию:
https://github.com/redhuntlabs/KubeStalk
#devops #девопс
Подпишись 👉@i_DevOps
Установка
KubeStalk написан на языке Python и требует наличия библиотеки requests.
Чтобы установить инструмент, вы можете клонировать репозиторий в любую директорию:
git clone https://github.com/redhuntlabs/kubestalkhttps://github.com/redhuntlabs/KubeStalk
#devops #девопс
Подпишись 👉@i_DevOps
Логи Ubuntu: Как проверить и настроить файлы журналов
https://sematext.com/blog/ubuntu-logs/
#devops #девопс
Подпишись 👉@i_DevOps
https://sematext.com/blog/ubuntu-logs/
#devops #девопс
Подпишись 👉@i_DevOps
Как создать cloud-init шаблон ОС Astra Linux в Proxmox
Что такое cloud-init образы и зачем они нужны
Вы когда-нибудь задумывались над тем, как вы создаете виртуальные машины?
Классический и самый банальный способ создания виртуальной машины (VM):
Создать VM в гипервизоре
Сконфигурировать параметры VM
Примонтировать ISO-образ ОС, которую нужно установить на VM
Запустить VM и установить ОС с ISO-образа
Для упрощения будущей жизни, можно создать из данной VM шаблон (template)
https://habr.com/ru/post/706434/
#devops #девопс
Подпишись 👉@i_DevOps
Что такое cloud-init образы и зачем они нужны
Вы когда-нибудь задумывались над тем, как вы создаете виртуальные машины?
Классический и самый банальный способ создания виртуальной машины (VM):
Создать VM в гипервизоре
Сконфигурировать параметры VM
Примонтировать ISO-образ ОС, которую нужно установить на VM
Запустить VM и установить ОС с ISO-образа
Для упрощения будущей жизни, можно создать из данной VM шаблон (template)
https://habr.com/ru/post/706434/
#devops #девопс
Подпишись 👉@i_DevOps
👍3
Distroless контейнеры
Distroless контейнеры — это контейнеры, содержащие только нужные для работы приложения файлы. Из контейнера убираются не используемые программой файлы дистрибутива с целью уменьшить его размер и снизить площадь атаки. Вместо сотен или тысяч ненужных файлов дистрибутива остаются лишь файлы, требуемые для работы. Этот подход изначально был предложен Google.
https://habr.com/ru/post/710968/
#devops #девопс
Подпишись 👉@i_DevOps
Distroless контейнеры — это контейнеры, содержащие только нужные для работы приложения файлы. Из контейнера убираются не используемые программой файлы дистрибутива с целью уменьшить его размер и снизить площадь атаки. Вместо сотен или тысяч ненужных файлов дистрибутива остаются лишь файлы, требуемые для работы. Этот подход изначально был предложен Google.
https://habr.com/ru/post/710968/
#devops #девопс
Подпишись 👉@i_DevOps
Хабр
Distroless контейнеры
Distroless контейнеры — это контейнеры, содержащие только нужные для работы приложения файлы. Из контейнера убираются не используемые программой файлы дистрибутива с целью уменьшить его размер и...
👍2
Vertical Pod Autoscaling: The Definitive Guide
https://povilasv.me/vertical-pod-autoscaling-the-definitive-guide/
#devops #девопс
Подпишись 👉@i_DevOps
https://povilasv.me/vertical-pod-autoscaling-the-definitive-guide/
#devops #девопс
Подпишись 👉@i_DevOps
Povilas Versockas
Vertical Pod Autoscaling: The Definitive Guide - Povilas Versockas
The definite guide to Vertical Pod Autoscaling. Automate your Kubernetes CPU and memory resource requirements.
5 лучших плагинов kubectl по звездам github
Kubernetes - это мощный контейнерный оркестратор. Однако настоящая сила Kubernetes заключается в возможности расширения его основных функций. Одним из таких расширений является инструмент командной строки kubectl. Kubectl может быть расширен за счет использования различных плагинов, доступных сообществу разработчиков с открытым исходным кодом.
https://home.robusta.dev/blog/top-kubectl-plugin-list
#devops #девопс
Подпишись 👉@i_DevOps
Kubernetes - это мощный контейнерный оркестратор. Однако настоящая сила Kubernetes заключается в возможности расширения его основных функций. Одним из таких расширений является инструмент командной строки kubectl. Kubectl может быть расширен за счет использования различных плагинов, доступных сообществу разработчиков с открытым исходным кодом.
https://home.robusta.dev/blog/top-kubectl-plugin-list
#devops #девопс
Подпишись 👉@i_DevOps
home.robusta.dev
The Top 5 kubectl Plugins by GitHub Stars | Robusta
Kubernetes is a powerful container orchestrator. However, the real power of Kubernetes is the ability to expand it's core functionality.
Вам не нужен свой Kubernetes
Как DevOps инженер я имею опыт установки и поддержки vanilla kubernetes(k8s) на bare metal, опыт построения private cloud вокруг такого k8s, а также опыт использования различных public cloud таких как EKS (Amazon Managed Kubernetes), GKE (Google Managed Kubernetes), AKS (Azure Kubernetes Service). На данном этапе карьеры я очень часто тыкаю k8s, который развернут с помощью kops внутри AWS инфраструктуры.
https://habr.com/ru/post/708938/
#devops #девопс
Подпишись 👉@i_DevOps
Как DevOps инженер я имею опыт установки и поддержки vanilla kubernetes(k8s) на bare metal, опыт построения private cloud вокруг такого k8s, а также опыт использования различных public cloud таких как EKS (Amazon Managed Kubernetes), GKE (Google Managed Kubernetes), AKS (Azure Kubernetes Service). На данном этапе карьеры я очень часто тыкаю k8s, который развернут с помощью kops внутри AWS инфраструктуры.
https://habr.com/ru/post/708938/
#devops #девопс
Подпишись 👉@i_DevOps
Хабр
Вам не нужен свой Kubernetes
Как DevOps инженер я имею опыт установки и поддержки vanilla kubernetes(k8s) на bare metal, опыт построения private cloud вокруг такого k8s, а также опыт использования различных public cloud таких как...
👍1💩1
Вжух и собралось или как я ускорял сборку UI на базе kubernetes + jenkins и yarn + nx
С распространением практики доставки непрерывных обновлений время сборки приложений стало критически важным параметром как для разработчиков, так и для бизнеса компании в целом. В данной статье описан мой опыт ускорения Frontend пайплайна Jenkins в Kubernetes на базе yarn и nx
В данной статье делается упор на один из вариантов ускорения сборки UI без описания причин выбранной инфраструктуры, а также без детального описания настройки всей сборки
https://habr.com/ru/post/708450/
#devops #девопс
Подпишись 👉@i_DevOps
С распространением практики доставки непрерывных обновлений время сборки приложений стало критически важным параметром как для разработчиков, так и для бизнеса компании в целом. В данной статье описан мой опыт ускорения Frontend пайплайна Jenkins в Kubernetes на базе yarn и nx
В данной статье делается упор на один из вариантов ускорения сборки UI без описания причин выбранной инфраструктуры, а также без детального описания настройки всей сборки
https://habr.com/ru/post/708450/
#devops #девопс
Подпишись 👉@i_DevOps
Хабр
Вжух и собралось или как я ускорял сборку UI на базе kubernetes + jenkins и yarn + nx
С распространением практики доставки непрерывных обновлений время сборки приложений стало критически важным параметром как для разработчиков, так и для бизнеса компании в целом. В данной статье описан...
👍2
HTTP или gRPC
Подъехал перевод очень полезной статьи с подробным техническим сравнением двух типов API: HTTP и gRPC. Команда VK Cloud постаралась передать опыт работы автора с описанием нюансов, преимуществ и недостатков каждой из технологий и наглядным сравнением, так что вы точно поймете для себя, что в итоге выбрать.
https://habr.com/ru/company/vk/blog/713184/
#devops #девопс
Подъехал перевод очень полезной статьи с подробным техническим сравнением двух типов API: HTTP и gRPC. Команда VK Cloud постаралась передать опыт работы автора с описанием нюансов, преимуществ и недостатков каждой из технологий и наглядным сравнением, так что вы точно поймете для себя, что в итоге выбрать.
https://habr.com/ru/company/vk/blog/713184/
#devops #девопс
Основы мониторинга (обзор Prometheus и Grafana)
Мониторинг сегодня – фактически обязательная «часть программы» для компании любых размеров. В данной статье мы попробуем разобраться в многообразии программного обеспечения для мониторинга и рассмотрим подробнее одно из популярных решений – систему на основе Prometheus и Grafana
https://habr.com/ru/post/709204/
#devops #девопс
Подпишись 👉@i_DevOps
Мониторинг сегодня – фактически обязательная «часть программы» для компании любых размеров. В данной статье мы попробуем разобраться в многообразии программного обеспечения для мониторинга и рассмотрим подробнее одно из популярных решений – систему на основе Prometheus и Grafana
https://habr.com/ru/post/709204/
#devops #девопс
Подпишись 👉@i_DevOps
👍2
Настройка badges в репозиториях gitlab, с помощью Gitlab API, в CI/CD
Привет, коллеги!
Cегодня хочу поговорить о такой простой, возможно, бесполезной вещи как баджи.
На самом деле тема уже давно известная всем, но мало у кого доходят до них руки сделать их, либо просто в них нет необходимости и смысла.
https://habr.com/ru/post/709418/
#devops #девопс
Подпишись 👉@i_DevOps
Привет, коллеги!
Cегодня хочу поговорить о такой простой, возможно, бесполезной вещи как баджи.
На самом деле тема уже давно известная всем, но мало у кого доходят до них руки сделать их, либо просто в них нет необходимости и смысла.
https://habr.com/ru/post/709418/
#devops #девопс
Подпишись 👉@i_DevOps
Хабр
Настройка badges в репозиториях Gitlab, с помощью Gitlab API, в CI/CD
Увидел Badges и подчерпнул идею из этого доклада Привет, коллеги! Хочу поговорить о такой простой, возможно, бесполезной вещи как баджи(значки). На самом деле тема уже давно известная всем, но мало у...
Заметки путешественника между мирами: ИБ, ИТ
Дмитрий Евдокимов.
На данный момент большинство крупных и средних компаний, вне зависимости от отрасли, перешагнуло в понимании ИТ за рамки наличия только внутренней инфраструктуры. Собственная разработка программных продуктов уже является скорее стандартом, чем исключением, а разработка — это новые риски и угрозы ИБ.
Дмитрий Евдокимов поделится историями, наблюдениями и идеями, появившимися за годы работы над проектами в ИБ и ИТ, расскажет о своем видении меняющегося вокруг нас ландшафта информационных систем и том, как это сказывается на обеспечении их безопасности.
В докладе затронуты темы: backdoors, security supply chain, DevSecOps, updates, signature‑based detection, reactive and active security, trade‑off between security and convenience и другие, на первый взгляд незначительные и давно не меняющиеся вещи, которые тем не менее влияют на подход к обеспечению безопасности.
https://www.youtube.com/watch?v=tIu_MqpLNO4
#devops #девопс
Подпишись 👉@i_DevOps
Дмитрий Евдокимов.
На данный момент большинство крупных и средних компаний, вне зависимости от отрасли, перешагнуло в понимании ИТ за рамки наличия только внутренней инфраструктуры. Собственная разработка программных продуктов уже является скорее стандартом, чем исключением, а разработка — это новые риски и угрозы ИБ.
Дмитрий Евдокимов поделится историями, наблюдениями и идеями, появившимися за годы работы над проектами в ИБ и ИТ, расскажет о своем видении меняющегося вокруг нас ландшафта информационных систем и том, как это сказывается на обеспечении их безопасности.
В докладе затронуты темы: backdoors, security supply chain, DevSecOps, updates, signature‑based detection, reactive and active security, trade‑off between security and convenience и другие, на первый взгляд незначительные и давно не меняющиеся вещи, которые тем не менее влияют на подход к обеспечению безопасности.
https://www.youtube.com/watch?v=tIu_MqpLNO4
#devops #девопс
Подпишись 👉@i_DevOps
YouTube
Дмитрий Евдокимов. Заметки путешественника между мирами: ИБ, ИТ
На данный момент большинство крупных и средних компаний, вне зависимости от отрасли, перешагнуло в понимании ИТ за рамки наличия только внутренней инфраструктуры. Собственная разработка программных продуктов уже является скорее стандартом, чем исключением…
DynamoDB Table Migration Between Accounts
https://medium.com/riskified-technology/dynamodb-table-migration-between-accounts-aabfa7ef748
#devops #девопс
Подпишись 👉@i_DevOps
https://medium.com/riskified-technology/dynamodb-table-migration-between-accounts-aabfa7ef748
#devops #девопс
Подпишись 👉@i_DevOps
Рекомендуем к прочтению книгу Александра Бындю "Антихрупкость в IT"
Эта книга — результат многолетнего опыта построения IT-продуктов. И прежде всего она о том, как выстроить процессы разработки IT-систем таким образом, чтобы успевать вовремя подстроиться под любые изменения.
В её основе — описание работающих практик, примеры из реальных проектов, анализ ошибок и выводы. В книге собраны рекомендации для владельцев бизнеса и разработчиков. Первые приобретут систематизированные знания о том, как правильно взаимодействовать с IT, а вторые — как делать хорошо и не делать плохо.
Сайт издания
Ознакомиться с книгой
Эта книга — результат многолетнего опыта построения IT-продуктов. И прежде всего она о том, как выстроить процессы разработки IT-систем таким образом, чтобы успевать вовремя подстроиться под любые изменения.
В её основе — описание работающих практик, примеры из реальных проектов, анализ ошибок и выводы. В книге собраны рекомендации для владельцев бизнеса и разработчиков. Первые приобретут систематизированные знания о том, как правильно взаимодействовать с IT, а вторые — как делать хорошо и не делать плохо.
Сайт издания
Ознакомиться с книгой
👍2
Как уменьшить размер образа Docker для JVM
https://blog.wolt.com/engineering/2022/05/13/how-to-reduce-jvm-docker-image-size/
#devops #девопс
Подпишись 👉@i_DevOps
https://blog.wolt.com/engineering/2022/05/13/how-to-reduce-jvm-docker-image-size/
#devops #девопс
Подпишись 👉@i_DevOps
GlitchTip вместо Sentry. Как мы бесплатно настроили мониторинг ошибок
Представьте, что у вас есть 10 серверов и 20 микросервисов на них, а релизы проходят каждую неделю. Вы уже мониторите жизнеспособность сервисов и докера с помощью zabbix или prometheus, а с помощью ELK или grailog собираете логи. Кажется, что всё хорошо, но в таком потоке релизов, хотфиксов и строчек кода нужно быстро ориентироваться и вылавливать ошибки внутри приложения, которые не влияют на жизнеспособность сервиса, но мешают его правильной работе.
Стоп! Есть же Sentry, скажете вы. И будете правы. Он удобен, хорошо описан, есть документация, комьюнити и поддержка. Однако, есть одно "но".
https://habr.com/ru/company/constanta/blog/706386/
#devops #девопс
Подпишись 👉@i_DevOps
Представьте, что у вас есть 10 серверов и 20 микросервисов на них, а релизы проходят каждую неделю. Вы уже мониторите жизнеспособность сервисов и докера с помощью zabbix или prometheus, а с помощью ELK или grailog собираете логи. Кажется, что всё хорошо, но в таком потоке релизов, хотфиксов и строчек кода нужно быстро ориентироваться и вылавливать ошибки внутри приложения, которые не влияют на жизнеспособность сервиса, но мешают его правильной работе.
Стоп! Есть же Sentry, скажете вы. И будете правы. Он удобен, хорошо описан, есть документация, комьюнити и поддержка. Однако, есть одно "но".
https://habr.com/ru/company/constanta/blog/706386/
#devops #девопс
Подпишись 👉@i_DevOps