Пользователь Ipeacocks опубликовал на Хабре подробную статью по внутреннему устройству, установке и настройке Mesos и Marathon.
http://amp.gs/8wIC
http://amp.gs/8wIC
Habr
Mesos. Container Cluster Management System
Apache Mesos — это централизованная отказоустойчивая система управления кластером. Она разработана для распределенных компьютерных сред c целью обеспечения...
А инженеры из NimbleCI рассказали, как настроить Jenkins для автоматического билда Docker контейнеров.
http://amp.gs/8w8B
http://amp.gs/8w8B
blog.nimbleci.com
How To Build Docker Images Automatically With Jenkins Pipeline
In this post you’ll learn how to use the Jenkins Pipeline plugin
to build Docker images continuously.
to build Docker images continuously.
Еще одна небольшая утилитка для Docker. docker-replay позволяет получить "docker run" команду для любого запущенного контейнера.
http://amp.gs/8w1Q
http://amp.gs/8w1Q
GitHub
bcicen/docker-replay
Generate docker run commands from running containers - bcicen/docker-replay
Facebook опубликовал whitepaper по своей системе управления конфигурацией сети Robotron, охватывающей десятки тысяч сетевых устройств.
http://amp.gs/8F9D
http://amp.gs/8F9D
Facebook Research
Robotron: Top-down Network Management at Facebook Scale
In this paper, we present Robotron, a system for managing a massive production network in a top-down fashion.
Вышел Graylog 2.1 - система сбора и анализа логов.
Основные новшества:
- Появились Message Decorators, позволяющие преобразовывать сообщения в более человекочитаемый формат на лету;
- Добавлен Pipeline simulator, позволяющий протестировать прохождение сообщений по пайплайну в веб-интерфейсе;
- Graylog теперь умеет получать сообщения из Elastic Beats;
- Добавлено отображение статусов коллекторов в веб-интерфейсе;
- Появились плагины для аутентификации.
http://amp.gs/8FR3
Основные новшества:
- Появились Message Decorators, позволяющие преобразовывать сообщения в более человекочитаемый формат на лету;
- Добавлен Pipeline simulator, позволяющий протестировать прохождение сообщений по пайплайну в веб-интерфейсе;
- Graylog теперь умеет получать сообщения из Elastic Beats;
- Добавлено отображение статусов коллекторов в веб-интерфейсе;
- Появились плагины для аутентификации.
http://amp.gs/8FR3
www.graylog.org
Announcing Graylog v.2.1.0 GA!
We are really pleased to announce that Graylog v2.1 is now GA! Version 2.1 introduces many new features such as message decorators and pluggable authentication. We also have made improvements to the product based on your feedback. We want to use this opportunity…
Ethan Jones из Codeship опубликовал список советов по уменьшению размера образов Docker-контейнеров.
http://amp.gs/8FOp
http://amp.gs/8FOp
via @codeship
Reducing Your Docker Image Size - via @codeship
Keeping your images lightweight has a lot of practical benefits; let’s talk about some ways to streamline your Docker image as small as possible.
Очень важный довод в извечном споре Tabs vs. Spaces. Felipe Hoffa из Google взял BigQuery и проанализировал 400000 репозиториев на предмет того, что же в них используется: табы или пробелы.
Для большинства языков (кроме Go, там gofmt считает что табы православней) с большим отрывом лидируют пробелы.
http://amp.gs/8FSy
Для большинства языков (кроме Go, там gofmt считает что табы православней) с большим отрывом лидируют пробелы.
http://amp.gs/8FSy
Medium
400,000 GitHub repositories, 1 billion files, 14 terabytes of code: Spaces or Tabs?
Tabs or spaces. We are going to parse a billion files among 14 programming languages to decide which one is on top.
Michael Brunton-Spall опубликовал список советов по проектированию правильного CI/CD пайплайна. Делайте артифакты самодостаточными и независимыми друг от друга, делайте их неизменяемыми (immutable), не забывайте тестировать ваш механизм деплоя и так далее.
http://amp.gs/8LM8
http://amp.gs/8LM8
Medium
Build pipelines, deployment, and immutable artifacts
What is the best way to build your code? How can you ensure repeatable deploys? What does build and deployment look like in a devops…
Frederic Branczyk из CoreOS рассказал как мониторить etcd с помощью Prometheus. Значительная часть статьи, в которой рассказывается о ключевых метриках etcd, пригодится и для других систем мониторинга.
http://amp.gs/8LQR
http://amp.gs/8LQR
Coreos
Developing Prometheus alerts for etcd | CoreOS
Prometheus is an open source monitoring and alerting system. Its powerful query language used to retrieve time series data can also be employed when defining alerts. Alerts actively notify users of irregular system conditions, sending messages to a variety…
Инженеры из Delve Labs предоставили презентацию (и ее текстовое изложение) о параметрах Docker, направленных на обеспечение безопасности в продакшн.
http://amp.gs/8L66
http://amp.gs/8L66
Delve Labs
Docker Security In Production - Delve Labs
An overview of docker security options for devops in production environments.
Инженеры из Capital One опубликовали в блоге AWS мануал по использованию нового Application Load Balancer в связке с Amazon EC2 Container Service.
Напомним, ALB - это новый Load Balancer от Amazon. Он заточен под контейнеры и позволяет перенаправлять трафик на разные инстансы, основываясь на содержимом HTTP-запросов. Например, запросы к адресу /api будут перенаправляться на один сервис, а к адресу /mobile - на другой.
http://amp.gs/8aZW
Напомним, ALB - это новый Load Balancer от Amazon. Он заточен под контейнеры и позволяет перенаправлять трафик на разные инстансы, основываясь на содержимом HTTP-запросов. Например, запросы к адресу /api будут перенаправляться на один сервис, а к адресу /mobile - на другой.
http://amp.gs/8aZW
Большая статья от Christian Posta о том, что делать (как хранить, обрабатывать, обеспечивать консистентность) с данными в микросервисной архитектуре.
http://amp.gs/8aB8
http://amp.gs/8aB8
Software Blog
The Hardest Part About Microservices: Your Data
Continuing on with my series about microservices implementations (see “Why Microservices Should Be Event Driven”, “Three things to make your microservices more resilient”, “Carving the Java EE Monolith: Prefer Verticals, not Layers” for background) we’re…
И еще более огромная статья, написанная Kenny Bastani, о том, как осуществлять переход от монолитного приложения к микросервисам. Внутри много примеров на Spring Boot и Spring Cloud.
http://amp.gs/8aGB
http://amp.gs/8aGB
Kenny Bastani's Blog
Building Spring Cloud Microservices That Strangle Legacy Systems
This article explores an example of building cloud-native microservices using Spring Boot and Spring Cloud, demonstrating how to integrate with legacy systems that are on-premises.
В блоге Confluent опубликовали статью с подробным сравнением и советами по выбору между Apache Flink и Apache Kafka Streams.
http://amp.gs/8oyv
http://amp.gs/8oyv
Confluent
Flink vs Kafka Streams - Comparing Features
Confluent is building the foundational platform for data in motion so any organization can innovate and win in a digital-first world.
Прошлогодний, но до сих пор актуальный и полезный доклад Андрея Аксенова из Sphinx о том, как устроена MySQL репликация.
http://amp.gs/8MNa
http://amp.gs/8MNa
highload.guide
Как устроена MySQL-репликация
Рассказывать буду все то же самое, что и всегда. Если вы читали документацию хотя бы раз, то вы технически, наверное, уже все знаете. Но проблема в том, что, во-первых, никто не читает документацию, во-вторых, документация обновляется, а в-третьих, никто…
Если вам надоели глюки Docker, почитайте статью Adriaan de Jonge об rkt - альтернативном движке для контейнеров от CoreOS.
http://amp.gs/8MqD
http://amp.gs/8MqD
Ну а если Docker не надоел - вот вам презентация Stijn Polfliet из CoScale о мониторинге Docker-контейнеров.
https://www.youtube.com/watch?v=f3URWWSyl1U
https://www.youtube.com/watch?v=f3URWWSyl1U
Прекрасная pdf'ка от Julia Evans о утилитах для дебага в Linux (и, зачастую, OS X). Даже если вы все знаете о netcat, strace и прочих dstat и opensnoop - посмотрите хотя бы из-за шикарного оформления.
http://amp.gs/8MDO
http://amp.gs/8MDO
Вышла InfluxDB 1.0 - time-series database от InfluxData. Выпуск 1.0 означает стабилизацию API, языка запросов и формата хранения данных.
Особенности InfluxDB:
Наличие HTTP API, что позволяет обращаться к базе напрямую из приложения. Ответ возвращается в формате JSON;
Для структуры хранимых данных не требуется создание специальных схем;
Поддержка SQL-подобного языка запросов с возможностями агрегации данных;
Возможность отправки нескольких запросов в рамках одного обращния к базе;
Имеются непрерывно выполняемые запросы (Continuous Query), которые повторно выполняются через определённые промежутки времени;
Поддержка политики устаревания данных, позволяющей определить как долго должны храниться данные;
Наличие web-интерфейса для администрирования СУБД.
http://amp.gs/85wj
Особенности InfluxDB:
Наличие HTTP API, что позволяет обращаться к базе напрямую из приложения. Ответ возвращается в формате JSON;
Для структуры хранимых данных не требуется создание специальных схем;
Поддержка SQL-подобного языка запросов с возможностями агрегации данных;
Возможность отправки нескольких запросов в рамках одного обращния к базе;
Имеются непрерывно выполняемые запросы (Continuous Query), которые повторно выполняются через определённые промежутки времени;
Поддержка политики устаревания данных, позволяющей определить как долго должны храниться данные;
Наличие web-интерфейса для администрирования СУБД.
http://amp.gs/85wj
Статья не про технологии, но про людей (мы же помним, что DevOps - это в первую очередь люди, а не используемые инструменты, да?). :)
Вячеслав Цырульник из Kaiten.io написал статью о Agile-методологии и о том, что люди зачастую не понимают как, зачем и для чего ее применять.
http://amp.gs/86zg
Вячеслав Цырульник из Kaiten.io написал статью о Agile-методологии и о том, что люди зачастую не понимают как, зачем и для чего ее применять.
http://amp.gs/86zg
Yahoo выложила в открытый доступ свою систему обмена сообщениями Pulsar. Разрабатываемая как альтернатива Kafka, Pulsar заточена под горизонтальное масштабирование (до миллионов сообщений в секунду), доставку сообщений с минимальной задержкой, строгий порядок сообщений и гарантированность доставки.
http://amp.gs/86Yk
http://amp.gs/86Yk