Вышел Elastic Stack 5.0.0. Про его основные новшества мы писали еще во время релиза беты, но не лишним будет напомнить:
Elasticsearch серьезно прибавил в производительности - до 80% прироста скорости индексирования;
Kibana - код для работы с time series данными перенесен из плагина в ядро приложения;
Kibana - появились noscripted поля, в которых можно размещать логику для обработки записей;
Logstash переехал на фреймворк Log4j2;
Metricbeat получил кучу новых метрик, в том числе для cgroups, PostgreSQL и HAProxy.
На самом деле, сообщение о релизе огромное, так что не поленитесь и почитайте, там куча всего нового:
http://amp.gs/T2lc
Elasticsearch серьезно прибавил в производительности - до 80% прироста скорости индексирования;
Kibana - код для работы с time series данными перенесен из плагина в ядро приложения;
Kibana - появились noscripted поля, в которых можно размещать логику для обработки записей;
Logstash переехал на фреймворк Log4j2;
Metricbeat получил кучу новых метрик, в том числе для cgroups, PostgreSQL и HAProxy.
На самом деле, сообщение о релизе огромное, так что не поленитесь и почитайте, там куча всего нового:
http://amp.gs/T2lc
Elastic Blog
Elastic Stack 5.0.0 Released
After almost a year of substantial effort, including 5 Alphas, 1 Beta, and 1 Release Candidate we are pleased to announce Elastic Stack 5.0.0 GA
Инженеры Datadog добавили в свою систему мониторинга возможность расширенного детектирования аномальных значений в метриках. Система анализирует данные за длительный промежуток времени, строит аппроксимированные кривые и сигнализирует, когда данные сильно выбиваются из этих кривых.
http://amp.gs/TXYT
http://amp.gs/TXYT
Introducing anomaly detection in Datadog
Anomaly detection analyzes recent metric patterns to identify abnormalities.
Mark Corwin написал статью (первую из двух) про работу с Vault - системой для управления приватными данными от HashiCorp. В первой статье рассказывается об общей архитектуре приложения и о выборе стратегии хранения данных, в следующей будет рассказано о конкретных вопросах эксплуатации Vault.
http://amp.gs/TXmY
http://amp.gs/TXmY
Seatgeek
Secret Management with Vault - ChairNerd
This post is the first of a two-part series on using Vault in production. Both posts are slightly redacted forms of internal documentation. This post …
Небольшой обзорный материал от Derick Bailey о том, что представляет собой RabbitMQ. Статья не содержит в себе особых технических подробностей и рассчитана на тех, кто до этого не работал с брокерами сообщений.
https://derickbailey.com/2016/10/12/what-is-rabbitmq-what-does-it-do-for-me/
https://derickbailey.com/2016/10/12/what-is-rabbitmq-what-does-it-do-for-me/
В блоге Docker опубликовали запись вебинара, посвященного Image2Docker - утилиты для создания docker-образов из виртуальных машин с Windows.
http://amp.gs/TXn8
http://amp.gs/TXn8
Docker Blog
Containerize Windows workloads with Image2Docker
Yesterday, we held a packed webinar on using the Image2Docker tool that prototypes shifting a legacy Windows virtual machine to a Windows Container Dockerfile. Image2Docker is an open source, community generated powershell module that searches for common…
Condoвый, 31-ый выпуск Devops Deflope. Мы пригласили автора(http://twitter.com/prepor) condo поговорить о condo :)
http://amp.gs/TXUY
http://amp.gs/TXUY
В блоге Docker опубликовали несколько "страшных" историй (вчера же был Хеллоуин) о том, как Docker сделал всем хорошо.
http://amp.gs/TLUZ
http://amp.gs/TLUZ
Docker Blog
5 Tales from the Docker Crypt
(Cue the Halloween music) Welcome to my crypt. This is the Docker crypt keeper speaking and I’ll be your spirit guide on your journey through the dangerous and frightening world of IT applications. Today you will learn about 5 spooky application stories covering…
Julia Evans рассказала о том, как устроен Service Discovery в Stripe, как обычно, с веселыми картинками. У них используется связка Consul+HAProxy, Consul осуществляет discovery, генерирует конфиг HAProxy и все DNS обращения к сервисам идут через него.
http://amp.gs/TLS8
http://amp.gs/TLS8
Stripe
Service discovery at Stripe
With so many new technologies coming out every year (like Kubernetes or Habitat), it’s easy to become so entangled in our excitement about the future that we forget to pay homage to the tools that have been quietly supporting our production environments.…
Вышел Ansible 2.2.
Основные новшества:
- серьезные улучшения в производительности;
- добавлена поддержка бинарных модулей;
- meta таски теперь поддерживают условия;
- добавлена meta таска 'end_play', позволяющая закончить плей;
- теперь можно подключать роли прямо посреди списка тасок с помощью include_role;
- факты для Windows частично приведены в соответствие с форматом фактов для Unix-систем;
- почти завершен переход на Python 3, фича находится в статусе Tech Preview
- ну и куча новых модулей, в частности появились win_command и win_shell
http://amp.gs/TLAY
Основные новшества:
- серьезные улучшения в производительности;
- добавлена поддержка бинарных модулей;
- meta таски теперь поддерживают условия;
- добавлена meta таска 'end_play', позволяющая закончить плей;
- теперь можно подключать роли прямо посреди списка тасок с помощью include_role;
- факты для Windows частично приведены в соответствие с форматом фактов для Unix-систем;
- почти завершен переход на Python 3, фича находится в статусе Tech Preview
- ну и куча новых модулей, в частности появились win_command и win_shell
http://amp.gs/TLAY
git-watch - небольшой сервис для Continuous Deployment, позволяющий запускать определенные действия по пушу в мастер. Пока поддерживается только Github, в будущем планируется добавить GitLab и BitBucket.
http://amp.gs/TLi6
http://amp.gs/TLi6
GitHub
ScalaWilliam/git-watch
Trigger commands when your Git repository is updated - ScalaWilliam/git-watch
Peter Sprygada рассказал в блоге Ansible об основных изменения в версии 2.2 и кратко затронул планы на версию 2.4.
http://amp.gs/TWMh
http://amp.gs/TWMh
Ansible
Ansible 2.2 Network Updates
Overview of changes in Ansible 2.2 for network automation
В блоге LinkedIn опубликовали первый пост из серии "Engineering Infrastructure at Scale", рассказывающей о том, как устроена инфраструктура и выстроены инженерные процессы в LinkedIn. Первый пост - обзорный, посвященный краткому описанию основных четырех приложений проекта (Desktop и Mobile сайты, плюс нативные приложения под iOS и Android), а также обзору процесса разработки.
http://amp.gs/Toys
http://amp.gs/Toys
Linkedin
Engineering Infrastructure at Scale: Overview
This blog series will describe the engineering infrastructure (technologies, processes, tools, and culture) that enable several hundred engineers across LinkedIn to innovate and release software continuously with agility, quality, and productivity. This post…
The New York Times рассказали об архитектуре своих микросервисов для перекодирования и публикации видео. Также, в посте прилагаются ссылки на открытые компоненты для работы с видео, написанные NY Times.
http://amp.gs/Togn
http://amp.gs/Togn
Joakim Recht из Uber написал пост о том, как (и зачем) в Uber докеризируют MySQL. Описано довольно много нюансов и подводных камней, так что статья будет полезна тем, кто раздумывает о том, как бы загнать MySQL кластер в Docker.
http://amp.gs/To9E
http://amp.gs/To9E
Uber Engineering Blog
Dockerizing MySQL at Uber Engineering
In this article, we take a look at Schemadock, Uber Engineering's tooling solution for managing our increasing number of MySQL clusters.
Сегодня и завтра нас практически не будет в эфире из-за HighLoad++ 2016. Но зато, если вы тоже туда едете - вы сможете пожать нам руку! :)
Надеемся на ваше понимание.
Надеемся на ваше понимание.
“The HFT Guy” (SRE и девелопер из Лондона, ведущий свой блог на темы облаков и devops тулсета) поделился своей болью от использования Docker в продакшене. Используя Docker с версии 1.6 он столкнулся со значительным количеством проблем (нестабильные storage drivers, проблемы с aufs, overlay, самые различные баги в самом docker).
http://amp.gs/zIYs
http://amp.gs/zIYs
The HFT Guy
Docker in Production: A History of Failure
Introduction My first encounter with docker goes back to early 2015. Docker was experimented with to find out whether it could benefit us. At the time it wasn’t possible to run a container [i…
Статья от “The HFT Guy” вызвала бурное обсуждение на реддите и других технических ресурсах, и некоторые люди сочли необходимым подвергнуть ее критическому анализу. Вот вам один из примеров от Patrick Robinson, признающего часть проблем Docker, но вместе с тем отмечающего, что статья очень субъективна.
http://amp.gs/zIZZ
http://amp.gs/zIZZ
patrobinson.github.io
Docker in Production: A retort - Sysadmin 4 lyfe
This blog covers various issues I encounter and the (sometimes creative) solutions I apply.
На TheNewStack вышел конспект доклада Greg Pryzby на OpenStack Summit, посвященного использованию 12-factor methodology в разработке программых продуктов.
http://amp.gs/zIlQ
http://amp.gs/zIlQ
The New Stack
How the 12-Factor App Methodology Streamlines Application Development
“Good code fails when you don’t have good process and a platform to help you. Good teams fail when you don’t have a good culture that embraces DevOps, microservices and not giant monoliths.” This was how Java Framework Spring’s Tim Spann eloquently sums up…
Вышла первая бета Grafana 4.0 - системы для визуализации (а теперь и мониторинга) метрик, которые система может забирать из Graphite, Prometheus, InfluxDB и OpenTSDB.
Что нового:
- Алерты! Это одна из самых ожидаемых фич в Grafana. Теперь можно задать пороговые значения метрик, при которых будет отправляться уведомление в Slack или PagerDuty, на почту или через вебхук. А еще на дашборде будет зажигаться красное разбитое сердечко. Добавлена отдельная Alert List Panel для сбора всех алертов в одном месте, в будущем обещают добавить алертинг не только по превышению порога метрики, но и зависимости от других алертов, а также от времени суток;
- Ad-Hoc Filters. Появилась возможность фильтровать данные прямо на графике;
- Добавлены TV-mode и Kiosk mode;
- Переработан в сторону удобства интерфейс создания дашбордов.
- При всем этом, обеспечена совместимость с предыдущей версией Grafana. Все старые дашборды продолжат работать как обычно.
http://amp.gs/zjRM
Что нового:
- Алерты! Это одна из самых ожидаемых фич в Grafana. Теперь можно задать пороговые значения метрик, при которых будет отправляться уведомление в Slack или PagerDuty, на почту или через вебхук. А еще на дашборде будет зажигаться красное разбитое сердечко. Добавлена отдельная Alert List Panel для сбора всех алертов в одном месте, в будущем обещают добавить алертинг не только по превышению порога метрики, но и зависимости от других алертов, а также от времени суток;
- Ad-Hoc Filters. Появилась возможность фильтровать данные прямо на графике;
- Добавлены TV-mode и Kiosk mode;
- Переработан в сторону удобства интерфейс создания дашбордов.
- При всем этом, обеспечена совместимость с предыдущей версией Grafana. Все старые дашборды продолжат работать как обычно.
http://amp.gs/zjRM
Grafana.org
What's New in Grafana v4.0
Feature & improvement highlights for Grafana v4.0
Riot Games рассказали, как они используют Docker у себя в продакшене. Как это нынче модно, они взяли и написали свой scheduler - Admiral, все имеющиеся на тот момент продукты их не устроили. Однако, кажется, они одумались и теперь постепенно переходят на DC/OS.
http://amp.gs/z8Li
http://amp.gs/z8Li
Riotgames
Running Online Services at Riot: Part II
http://riot.com/2ex5yxq #RiotTechBlog
Немного бесполезной статистики. Docker-образ Ubuntu пуллят в среднем 5 раз в минуту. А Docker-образ Alpine - в среднем 8,4 раз в минуту.
http://amp.gs/z8aX
http://amp.gs/z8aX
BrianChristner.io
It's a Docker Pull Frenzy
The amount of Docker pulls (downloads) continues to rocket upwards. I tracked 3 images over a month to monitor the true docker pull growth per image.