DevOps FM – Telegram
DevOps FM
4.94K subscribers
636 photos
12 videos
10 files
751 links
♾️ Канал для тех, кто живёт DevOps и системным администрированием.

Новости, статьи, best practices, инструменты и чилл-аут контент. Cloud Native, Docker, Kubernetes, CI/CD, БД, мониторинг etc.

По вопросам — к Ладе @b_vls
Download Telegram
👩‍💻 “Что ж ты, фраер, сдал назад”: Docker Hub снова доступен в России

Наши подписчики заметили, что Docker Hub снова работает для пользователей из России.

Команда huecker.io несколько часов назад объявила:
Мы победили! Docker Hub снова доступен в России.

Поддержка huecker.io будет продолжаться до 14 июня 2024 года 15:00 UTC. После этого времени, мы начнём отключать сервисы обхода блокировки.

Документация останется доступной в исторических целях.
Это был невероятный опыт, и мы благодарим всех, кто поддерживал нас в течение короткого срока работы проекта.


Сам Docker пока никак не прокомментировал ситуацию.

💬 Как считаете, по какой причине сняли блокировку?

#DockerHub #блокировка
Please open Telegram to view this post
VIEW IN TELEGRAM
🤡21👍11🤣10🔥6🕊2
🖖 Всем DevOps! Мы хотим узнать вас, — наших подписчиков, — получше, чтобы публиковать по-настоящему интересный и полезный контент.
👍5👎1🤡1
Привет! Дайджест интересных новостей и статей из мира DevOps уже на ваших экранах:

🟡 Вышел релиз системы мониторинга Zabbix 7.0 LTS. С этой версии код проекта будет распространяться под лицензией AGPLv3.

Что нового? Например, добавили проверку корректности файлов конфигурации и режим синтетического веб-мониторинга с привлечением браузерного движка и использованием гибких сложных сценариев. Ещё повысили масштабируемость и скорость сбора данных, а также производительность и эффективность работы прокси за счёт хранения собираемых метрик в оперативной памяти без их промежуточного сохранения на диске.

Посмотреть все обновления можно здесь. А чтобы скачать новую версию — кликните сюда.

⚫️ На DEV попытались разобраться, почему отладка приложений в Kubernetes настолько проблематична. Шай считает, что причины две — это неизменяемость экземпляров контейнеров и ограничения команды kubectl exec. Он видит решение проблем в запуске эфемерных контейнеров. Из статьи вы узнаете, как использовать EphemeralContainers при отладке и почему установка недостающих инструментов с помощью apt-get install vim — плохая затея.

🟡 Anodot опубликовал обзор 15 лучших инструментов для управления облачными сервисами. В топ попали такие тулзы как общепринятая классика вроде OpenStack и Terraform, так и Zesty, Apache Cloudstack и CloudCheckr.

#DevOps #Kubernetes #Zabbix
10👍5👨‍💻5👎2🤡1
🎙 В эту пятницу слушаем “Ship it!” — подкаст обо всём, что происходит после git push.

Из недавних интересных выпусков:

#92 “Доставка в КООООСМОООС”: Эндрю Гюнтер делится опытом работы в Orbital Sidekick, инфраструктура которой находится на расстоянии тысячи миль — в космосе. Как работать в условиях постоянной 90-минутной задержки сигнала и чинить поломки? Как развивается рынок космических стартапов? И каким образом Ватикан нечаянно своровал целый спутник?

#95 “Контейнеры на диете”: выпуск о минимальных образах контейнеров и эволюции DockerSlim. Насколько маленькими могут стать образы? Что можно удалить, а что нужно оставить, чтобы контейнер остался полезным? И вообще, размер — это не главное.

#102 “Управление миллионами машин Meta” (да-да, той самой Meta Platforms Inc., что признана экстремистской организацией в России): в выпуске обсуждают, как Meta (мы вынуждены вновь упомянуть, что деятельность Meta Platforms Inc., вообще-то, является экстремистской и запрещённой в РФ) управляет миллионами хостов и контейнеров Linux на голом железе.

🖖 Желаем приятного прослушивания, хороших выходных и спокойных дежурных смен без серьёзных алертов!

#DevOps #подкасты
14👍6🤡2🌭1
👩‍💻 При работе с Git каждый использует базовый набор команд: commit, push и pull. Но у нас на руках есть множество относительно новых и удобных фич, которые знакомы не всем. DevOps-инженер Мартин решил исправить ситуацию и показать те, которыми он сам пользуется.

Вот некоторые из них:

git switch — переключает ветви. Между git switch и более универсальной git checkout есть ряд различий. К примеру, switch не копирует файлы из другой ветки в рабочее дерево без переключения веток. Ещё одно отличие: switch позволяет быстро вернуться на предыдущую ветку без необходимости указывать её название или идентификатор, в то время как git checkout <previous-branch> требует ввода названия ветки.

git restore — восстанавливает файл до версии последнего коммита. Заменяет и упрощает некоторые из способов использования слишком перегруженных фич git reset и ранее упомянутый git checkout.

#DevOps #git
Please open Telegram to view this post
VIEW IN TELEGRAM
👍173🔥3🤡2🌭1
📝 Шифрование бэкапов в ClickHouse: виды, инструменты и настройка

Один из клиентов компании Nixys обнаружил, что резервные копии ClickHouse, которые он хранит в S3 провайдера CROC, не очень-то и шифруются. А ФСТЭК суров. Была поставлена задача: настроить шифрование бэкапов.

В новой статье Николай, DevOps-инженер Nixys, покажет, как они это сделали. Вы узнаете о различных методах шифрования данных на стороне сервера в Amazon S3 — SSE-C, SSE-KMS и SSE-S3. А ещё познакомитесь с таким инструментом как clickhouse-backup.

Приятного чтения!

#Хабр #статья_Nixys #devops #ClickHouse
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🔥3🤡2🤣2
🖥 SQL исполняется 50 лет. Сегодня вспоминаем историю его создания

В далёком 1970 году Тедд Кодд, информатик из IBM, опубликовал революционную статью под названием «A Relational Model of Data for Large Shared Data Banks», тем самым заложив основы теории реляционной модели данных.

Поначалу IBM не горела желанием внедрять наработки Кодда. В то время у компании была IMS, довольно успешная иерархическая база данных, которая поддерживается до сих пор. Лишь спустя три года, в 1973 году, IBM запустила System R — исследовательский проект по изучению теории Кодда. Удивительный факт: сам Тедд практически не принимал участия в разработке. Зато активно трудились двое других сотрудников IBM — Дон Чемберлин и Рэй Бойс, которые ещё до запуска проекта разработали язык SQUARE.

В синтаксисе SQUARE было много нижних индексов и некоторые математические обозначения. Печатать команды с клавиатуры было непросто. Чемберлин и Бойс решили сделать язык более простым и удобным, таким, чтобы он напоминал структуру английского предложения. Так и появился SEQUEL, который впоследствии переименовали в Structured Query Language — «язык структурированных запросов».

Первый выпуск SQL состоялся в июне 1974 года.

Как к SQL относился Тедд Кодд? Он считал, что язык структурированных запросов неправильно реализовывал теорию реляционной модели данных. В борьбе с недобросовестными поставщиками СУБД Кодд опубликовал «12 правил Кодда», описывающие, что должна содержать реляционная СУБД. Стоит ли говорить, что SQL сам по себе не соблюдает их все?

📺 Советуем посмотреть двухсотый эпизод DataCamp’а, посвященный 50-летию SQL. В нем сам Дон Чемберлин с любовью рассказывает о своём детище.
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥5👍4👏2🥱2
☄️ Приглашаем на вебинар коллег «Serverless: трюки и советы на практике» совместно с Yandex Cloud

16 июля в 19:00 по Алматы вы погрузитесь в тему Serverless и на практике узнаете возможности бессерверной архитектуры.

Yandex Cloud в Казахстане. Расскажут, что из себя представляют сервисы Yandex Cloud на базе дата-центра в Казахстане, а также о планах по дальнейшему развитию платформы. Обсудят, какие преимущества и возможности может дать партнерство с Yandex Cloud локальному бизнесу.
Serverless подход к архитектуре. Разберут основы и принципы Serverless: какие задачи он решает, и как его применение позволяет оптимизировать процессы разработки и развертывания приложений.
Способы применения Serverless: для чего подходит, а для чего не годится. Проанализируют различные сценарии, рассмотрят, кому подходит этот подход, а кому — нет. Обсудят плюсы и минусы и разберут, что такое cloud native. Поделятся рекомендациями по выбору подходящей архитектуры в зависимости от специфики задач.
Воркшоп по сервисам Яндекса для Serverless. Проведут практическую работу с триггерами для Yandex Cloud Functions, показав, как эффективно использовать их для автоматизации процессов. Поделятся методами оборачивания всего этого в инфраструктуру как код (IaC).

👉 Регистрируйтесь здесь

Ссылку в день вебинара вы найдёте в @DevOpsKaz.
#партнёрский_пост
🔥7👍41👏1
💻 Начинаем серию постов про ключевые подходы к мониторингу SRE.

U.S.E. Method — это популярная методология сбора метрик для анализа производительности любой системы. USE направляет внимание на ресурсы и помогает понять, как они ведут себя при наличии нагрузки. Эту методологию создал инженер Брендан Грегг, эксперт в области производительности систем, который сейчас работает в Intel.

Метод USE можно резюмировать так:

For every resource, check utilization, saturation, and errors.


Utilization (утилизация): сколько памяти используется и сколько доступно. Проверять нужно как физическую, так и виртуальную память. Измеряется в процентах за интервал времени. Пример: один диск работает с загрузкой 85%.

Saturation (насыщенность): то, насколько загружен ресурс, т.е. отношение необработанного трафика к обработанному. Измеряется в единицах как длина очереди. Пример: средняя длина очереди диска равна 3.

Errors (ошибки): программные и аппаратные ошибки. Выражается в скалярной величине. Пример: этот сетевой интерфейс имел 40 поздних коллизий.

Из интересного: в своём блоге Брендан разобрал парадокс эталонных показателей. А здесь он рассказывает про принципы активного тестирования.

#DevOps #SRE #мониторинг
🔥13👍93
Всем DevOps! С осторожностью деплоим подборку новостей и статей.

🟡 Важная новость: в целях улучшения системы безопасности Grafana прекращает поддержку API-ключей. Теперь нужно использовать ставшие общедоступными Service Account Tokens. Здесь вы найдёте подробную инструкцию по переходу с ключей API на SAT.

Советуем заранее подготовиться к переменам и закончить переход до 31 декабря 2024 года, чтобы избежать внезапных перебоев и ошибок.

⚫️ Docker зарелизил Docker Desktop 4.31. Из обновлений: air-gapped контейнеры стали общедоступными. Они позволяют ограничить доступ к Интернету, таким образом предотвращая нежелательную загрузку и выгрузку данных. Ещё добавили две новые фичи, которые пока что находятся в стадии бета-тестирования, — File Viewer для просмотра файлов конфигурации Compose и поддержку проверки сборок GitHub Actions непосредственно в Docker Desktop.

🟡 ProDevOpsGuy опубликовал 100 лучших практик Linux. Есть как очевидные для опытных пользователей рекомендации, так и неожиданные советы. Переходите по ссылке и проверяйте, многих ли best practices вы придерживаетесь :)

⚫️ В блоге Oracle вышел небольшой пост про непопулярные, но полезные функции MySQL Shell.
👍133🔥3
☁️ Архивные проекты CNCF

CNCF создаёт, развивает и поддерживает экосистему облачных технологий с открытым исходным кодом. Под крылом фонда — более 170 проектов.

Но что будет, если один из этих продуктов завершит свой жизненный цикл и уйдёт (или вытеснится) с рынка? Или команда проекта больше не захочет получать поддержку Technical Oversight Committee (TOC, Комитета Технического Надзора)? Или наоборот — TOC перестанет рекомендовать технологию? В таком случае проект получит статус архивного.

🗄 Что это значит? Он больше не будет получать помощь через службу поддержки и не сможет позиционировать себя как часть CNCF. Предыдущие статусы, такие как «Sandbox», «Incubating» или «Graduated», будут аннулированы.

Архивация в CNCF — это долгий многоэтапный процесс, во время которого разработчики ещё могут исправить ситуацию. Если проект всё же заархивировали, то он будет храниться в Linux Foundation. Ментейнеры смогут продолжить работу над ним и, если захотят, — повторно активировать.

На сегодняшний день в архиве CNCF находятся 8 проектов. Среди них:

• движок для контейнеров rkt, который не выдержал конкуренции с containerd от Docker Inc и cri-o от RedHat.
• утилита Brigade для запуска скриптов, исполняемых в кластере Kubernetes, которая перешла к Microsoft от купленной Deis. В 2022 году проект изжил себя, оставшись без ментейнера и активных участников.
OpenTracing, так как OpenTracing и OpenCensus объединились в платформу OpenTelemetry.

#DevOps #CNCF #opensource
👍9🔥2👨‍💻2😁1
💻 Продолжаем серию постов про ключевые подходы к мониторингу SRE.

R.E.D. Method — это методология, которая используется для высокоуровневых сервисов, обслуживающих запросы (например, веб-сервисы, запросы баз данных и т. д.). Она основана на разработанных командой Google SRE «Четырёх золотых сигналах». О них подробнее мы поговорим в четверг.

RED-поход предложил Том Уилки, который является техническим директором Grafana Labs и состоит в команде Prometheus:

Нам действительно хотелось использовать философию мониторинга, ориентированную на микросервисы. Именно поэтому мы придумали метод R.E.D.


В концепции R.E.D. используется три показателя:

Rate (скорость): количество запросов в секунду.
Errors (ошибки): количество неудачных запросов в секунду
Duration (продолжительность): время, которое занимает каждый запрос на каждой фазе.

Цель метода RED — проанализировать, насколько удобно и комфортно пользоваться сервисом в первую очередь конечным пользователям.

#DevOps #SRE #мониторинг
14👍102🔥1
Чек-лист по разработке облачных приложений. Часть 2 — аспекты безопасности

Станислав Тибекин, CEO компании Nixys, продолжает серию переводов статей Эяля Эстрина из AWS про особенности создания cloud-native приложений.

В первой части автор рассказывал про бизнес-требования, инфраструктуру, автоматизацию, отказоустойчивость и экологичность. Во второй речь пойдёт о безопасности. Вы узнаете об основах IAM-систем, способах защиты сети и данных, управлении патчами и реагировании на инциденты.

#DevOps #перевод #CloudNative
🔥9👍43🖕1
💻 А вот и заключительная часть серии постов про ключевые подходы к мониторингу SRE.

Four Golden Signals — это методология, которая позволяет установить базовый уровень прозрачности в мониторинге ваших систем.

🔍 Концепцию «Четырёх золотых сигналов» разработала команда Google SRE. Первое упоминание о Four Golden Signals содержится в их книге “Site Reliability Engineering”.

Эти метрики были созданы для связки классического мониторинга (показывающего, КОГДА возникла проблема) и наблюдаемости (англ. observability; показывающей, ПОЧЕМУ возникла проблема).

Подход Four Golden Signals подразумевает следующие метрики:

Latency (задержка): время, необходимое для обслуживания запроса.
Errors (ошибки): количество неудачных запросов в секунду.
Traffic (трафик): количество пользователей или транзакций, проходящих через сервис.
Saturation (насыщенность): загруженность системы.

Из полезного: здесь можно прочитать все три книги о SRE, которые написала команда Google.

#DevOps #SRE #мониторинг
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍431🖕1
🖖 Всем пятничный DevOps! Мы снова проводим опрос, чтобы узнать вас, — наших подписчиков, — получше и публиковать только интересный и полезный контент. Ещё принесли две интересные статьи по теме опроса:

Как быть хорошим мейнтейнером: https://opensource.guide/ru/best-practices/
Тяжесть бытия мейнтейнера. Не старьё, а классика: http://antirez.com/news/129

Желаем приятных выходных. А тем, кто работает или дежурит — спокойных смен!
10👍51🖕1
👩‍💻 Участвуете ли вы в open source проектах?
Anonymous Poll
19%
Да.
3%
Да, являюсь мейнтейнером.
77%
Нет.
9🖕1
Привет! В этот понедельник хотим напомнить, что у всех на работе случаются ошибки.

На DEV технический директор Кевин поделился своими неудачами и дал парочку практических советов о том, как озвученных ситуаций можно было избежать. Вспомнить джунские деньки, умилиться ошибкам и узнать что-то новое можно по этой ссылке.

Будет здорово, если и вы поделитесь под этим постом своим опытом или открытием. Вдруг именно ваш коммент спасёт чей-то прод?

UPD: Автор удалил статью и свой профиль. Такие дела :(
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🥰43🖕2😁1
О, вы как раз вовремя! Подборка новостей, статей и релизов уже ждёт вас.

🟡 Немного контекста. В 2023 году Oracle изменила модель формирования релизов MySQL. Теперь есть два вида веток: Innovation (новые функции каждые 3 месяца и поддержка только актуальной минорной версии) и LTS (стабильная версия с расширенным временем поддержки).

Так вот: Oracle зарелизила MySQL 9.0, который пока относится к ветке Innovation.

Что нового? Например, теперь при выполнении конструкции "EXPLAIN ANALYZE INTO" вы можете сохранить вывод в формате JSON в пользовательскую переменную, которая затем может использоваться в качестве аргумента в функциях для работы с JSON. Ещё добавили 15 переменных для настройки и инспектирования движка MLE, позволяющего использовать в хранимых процедурах и функциях код на языках, отличных от SQL. Полный список изменений — здесь

LTS-релиз этой версии планируют выпустить через год. Тогда же и зарелизят MySQL 10.0.

⚫️ На InfoQ вышла статья про Platform-as-a-Runtime (PaaR, платформу как среду выполнения), созданную командой Wix. В двух словах: если вам нужно оптимизировать работу сотен микросервисов, то PaaR — это идеальное кастомное решение, выходящее за рамки привычного CI/CD.

🟡 На DevOps разобрали одну из основных проблем автоматизированного тестирования — нестабильных тестов. Автор рассказывает, почему появляются такие тесты, как их обнаружить и всё починить.

#DevOps #test #MySQL
👍8🔥4🤝43
📝 Дом, милый дом: нюансы работы с ClickHouse. Часть 2, репликация

Если вспомнить работу репликации в MySQL, то реплики получают данные через бинарный лог — файл-журнал. Реплика копирует этот журнал себе и последовательно выполняет операции из него у себя.

Концепция репликации в ClickHouse схожа, однако за хранение этого журнала отвечает не сама база. Для хранения и координации действий репликации в ClickHouse требуется распределённое хранилище данных, которое может гарантировать согласованность состояния. Для этого ClickHouse использует один из двух вариантов: Zookeeper или ClickHouse Keeper.


Об этой и других особенностях репликации в ClickHouse вы можете узнать из новой статьи Петра, DevOps-инженера компании Nixys. А ознакомиться с первой частью серии можно по этой ссылке.

Приятного чтения!

#Хабр #статья_Nixys #ClickHouse
Please open Telegram to view this post
VIEW IN TELEGRAM
👍185🔥1
К сегодняшней среде подготовили для вас свежий дайджест интересных новостей и материалов за неделю.

🟡 Коротко про две уязвимости в OpenSSH, которые нашли в июле.

На прошлой неделе команда Qualys выявила критическую уязвимость regreSSHion под номером CVE-2024-6387. Она позволяла добиться удалённого выполнения кода с правами root без прохождения аутентификации в Linux-системах, использующих библиотеку Gnu C (glibc).

Причиной её появления стало изменение, вошедшее в состав выпуска OpenSSH 8.5. В итоге 1 июля выпустили патч и проблему устранили. regreSSHion просуществовала почти 4 года.

Любопытно, что эту ошибку команда OpenSSH уже устраняла в 2006 году (тогда она получила номер CVE-2006-5051). Поэтому новая-старая уязвимость и получила такое кодовое имя.

Во время изучения regreSSHion выявили ещё одну уязвимость. Она позволяет добиться удалённого выполнения кода без прохождения аутентификации. Ей присвоили номер CVE-2024-6409.

Уязвимость есть в пакетах openssh:.

• дистрибутива Red Hat Enterprise Linux 9 (на основе OpenSSH 8.7)
• Fedora Linux 36 и 37 (на основе OpenSSH 8.7 и 8.8).

Она оказалась менее опасной, но всё равно неприятной. Чтобы её заблокировать, нужно в sshd_config выставить параметр "LoginGraceTime=0".

⚫️ На InfoQ вышла статья о том, как сделать разработку вашего ПО более экологичной. Автор публикации Сара Бергман предлагает оставить за рамками статьи рассуждения об изменении климата и показывает уже готовые решения проблемы. По её словам:

Софт только выиграет от действий по сокращению выбросов CO2. А экологичная разработка является более дешёвой, производительной, надёжной и устойчивой.


Чтобы прочитать её статью — кликните сюда.

🟡 CNCF создала новую рабочую группу для разработки cloud native приложений. Она нужна для того, чтобы сократить дистанцию между разработчиками и проектами CNCF.

Группа создана в рамках отдела TAG App Delivery. Он собирает отзывы о функционале инструментов и приложений, передаёт их командам проектов и разрабатывает итоговую документацию.

Сопредседателями рабочей группы стали Дэниел Ох из Red Hat, Томас Витале из Systematic и Маурисио Салатино из Diagrid. Узнать больше о том, как функционирует новая группа, можно здесь.

#DevOps #OpenSSH #CNCF
🔥10👍52🕊1