Joakim Recht из Uber написал пост о том, как (и зачем) в Uber докеризируют MySQL. Описано довольно много нюансов и подводных камней, так что статья будет полезна тем, кто раздумывает о том, как бы загнать MySQL кластер в Docker.
http://amp.gs/To9E
http://amp.gs/To9E
Uber Engineering Blog
Dockerizing MySQL at Uber Engineering
In this article, we take a look at Schemadock, Uber Engineering's tooling solution for managing our increasing number of MySQL clusters.
Сегодня и завтра нас практически не будет в эфире из-за HighLoad++ 2016. Но зато, если вы тоже туда едете - вы сможете пожать нам руку! :)
Надеемся на ваше понимание.
Надеемся на ваше понимание.
“The HFT Guy” (SRE и девелопер из Лондона, ведущий свой блог на темы облаков и devops тулсета) поделился своей болью от использования Docker в продакшене. Используя Docker с версии 1.6 он столкнулся со значительным количеством проблем (нестабильные storage drivers, проблемы с aufs, overlay, самые различные баги в самом docker).
http://amp.gs/zIYs
http://amp.gs/zIYs
The HFT Guy
Docker in Production: A History of Failure
Introduction My first encounter with docker goes back to early 2015. Docker was experimented with to find out whether it could benefit us. At the time it wasn’t possible to run a container [i…
Статья от “The HFT Guy” вызвала бурное обсуждение на реддите и других технических ресурсах, и некоторые люди сочли необходимым подвергнуть ее критическому анализу. Вот вам один из примеров от Patrick Robinson, признающего часть проблем Docker, но вместе с тем отмечающего, что статья очень субъективна.
http://amp.gs/zIZZ
http://amp.gs/zIZZ
patrobinson.github.io
Docker in Production: A retort - Sysadmin 4 lyfe
This blog covers various issues I encounter and the (sometimes creative) solutions I apply.
На TheNewStack вышел конспект доклада Greg Pryzby на OpenStack Summit, посвященного использованию 12-factor methodology в разработке программых продуктов.
http://amp.gs/zIlQ
http://amp.gs/zIlQ
The New Stack
How the 12-Factor App Methodology Streamlines Application Development
“Good code fails when you don’t have good process and a platform to help you. Good teams fail when you don’t have a good culture that embraces DevOps, microservices and not giant monoliths.” This was how Java Framework Spring’s Tim Spann eloquently sums up…
Вышла первая бета Grafana 4.0 - системы для визуализации (а теперь и мониторинга) метрик, которые система может забирать из Graphite, Prometheus, InfluxDB и OpenTSDB.
Что нового:
- Алерты! Это одна из самых ожидаемых фич в Grafana. Теперь можно задать пороговые значения метрик, при которых будет отправляться уведомление в Slack или PagerDuty, на почту или через вебхук. А еще на дашборде будет зажигаться красное разбитое сердечко. Добавлена отдельная Alert List Panel для сбора всех алертов в одном месте, в будущем обещают добавить алертинг не только по превышению порога метрики, но и зависимости от других алертов, а также от времени суток;
- Ad-Hoc Filters. Появилась возможность фильтровать данные прямо на графике;
- Добавлены TV-mode и Kiosk mode;
- Переработан в сторону удобства интерфейс создания дашбордов.
- При всем этом, обеспечена совместимость с предыдущей версией Grafana. Все старые дашборды продолжат работать как обычно.
http://amp.gs/zjRM
Что нового:
- Алерты! Это одна из самых ожидаемых фич в Grafana. Теперь можно задать пороговые значения метрик, при которых будет отправляться уведомление в Slack или PagerDuty, на почту или через вебхук. А еще на дашборде будет зажигаться красное разбитое сердечко. Добавлена отдельная Alert List Panel для сбора всех алертов в одном месте, в будущем обещают добавить алертинг не только по превышению порога метрики, но и зависимости от других алертов, а также от времени суток;
- Ad-Hoc Filters. Появилась возможность фильтровать данные прямо на графике;
- Добавлены TV-mode и Kiosk mode;
- Переработан в сторону удобства интерфейс создания дашбордов.
- При всем этом, обеспечена совместимость с предыдущей версией Grafana. Все старые дашборды продолжат работать как обычно.
http://amp.gs/zjRM
Grafana.org
What's New in Grafana v4.0
Feature & improvement highlights for Grafana v4.0
Riot Games рассказали, как они используют Docker у себя в продакшене. Как это нынче модно, они взяли и написали свой scheduler - Admiral, все имеющиеся на тот момент продукты их не устроили. Однако, кажется, они одумались и теперь постепенно переходят на DC/OS.
http://amp.gs/z8Li
http://amp.gs/z8Li
Riotgames
Running Online Services at Riot: Part II
http://riot.com/2ex5yxq #RiotTechBlog
Немного бесполезной статистики. Docker-образ Ubuntu пуллят в среднем 5 раз в минуту. А Docker-образ Alpine - в среднем 8,4 раз в минуту.
http://amp.gs/z8aX
http://amp.gs/z8aX
BrianChristner.io
It's a Docker Pull Frenzy
The amount of Docker pulls (downloads) continues to rocket upwards. I tracked 3 images over a month to monitor the true docker pull growth per image.
Если вы не знали, у Docker есть скрипт docker-bench-security, позволяющий проверить ваш образ на соответствие best practices по использованию Docker в продакшене.
Denny Zhang прошелся по этим best practices и объяснил, зачем они нужны и что означают.
http://amp.gs/z8ML
Denny Zhang прошелся по этим best practices и объяснил, зачем они нужны и что означают.
http://amp.gs/z8ML
DevOps & Cloud Native
docker-bench-security: Audit Well-Known Docker Vulnerabilities
docker-bench-security is a noscript that checks for dozens of common best-practices around deploying Docker containers in production. *We use Docker to save effort, not the other way around*. Try docker-bench-security to avoid all common pitfalls using Docker.…
Появились видео с Serverlessconf London 2016, проходившего в конце октября.
https://www.youtube.com/playlist?list=PLnwBrRU5CSTmM4OsUzDaog2pqadQSxKBv
https://www.youtube.com/playlist?list=PLnwBrRU5CSTmM4OsUzDaog2pqadQSxKBv
Больше картиночек от Julia Evans! На этот раз она решила попробовать рисовать по картинке в день на протяжении всего ноября. Тематика - различные аспекты устройста Linux.
http://amp.gs/z1O8
http://amp.gs/z1O8
Alberto García L. рассказал как построить деплой приложения, состоящего из нескольких микросервисов с помощью GitLab, Helm и Kubernetes. Для планирования и тестирования взаимодействия между микросервисами используются Consumer Driven Contracts - наборы спецификаций, создаваемые командами, которые отвечают за сервисы-консьюмеры (сервисы, получающие данные от других сервисов).
http://amp.gs/z1Sg
http://amp.gs/z1Sg
Medium
GitLab, Consumer Driven Contracts, Helm and Kubernetes
Previously I wrote about the different type of services you can run in a Kubernetes cluster.
В блоге DatadogHQ опубликовали серию статей об организации мониторинга кластера Kubernetes. Серия состоит из 4 частей, в первых трех рассказывается о различных метриках продукта и способах их сбора, а в последней - о том, как классно все это собирать с помощью Datadog.
http://amp.gs/zYXf
http://amp.gs/zYXf
Monitoring in the Kubernetes era
Learn about the key components in a Kubernetes architecture and how container orchestration changes your approach to monitoring.
Amazon RDS теперь поддерживает PostgreSQL 9.6.1. Как-то даже и добавить нечего по этому поводу.
http://amp.gs/zYaA
http://amp.gs/zYaA
Презентация с полезными советами от Mark Imbriaco - бывшего руководителя Ops-команд в GitHub, Heroku, DigitalOcean и 37signals.
http://amp.gs/zY5A
http://amp.gs/zY5A
www.slideshare.net
What I learned leading Ops at GitHub, Heroku, DigitalOcean, and more.…
I share some lessons and philosophies learned building and leading Technical Operations organizations at some of the most highest growth Internet companies ove…
Вышел InfluxDB 1.1.
Основные изменения:
- Серьезно увеличена производительность (выигрыш до 60% на некоторых операциях);
- Улучшена стабильнось, теперь OOM ошибки должны появляться значительно реже;
- Добавлены операции fill(linear) и cumulative_sum() в язык запросов;
- Теперь в SELECT запросах можно использовать регулярные выражения для полей;
- Встроенная админка теперь deprecated. Она отключена по умолчанию и будет окончательно удалена в следующем релизе. Авторы рекомендуют использовать Chrongraf или Grafana.
http://amp.gs/zYbY
Основные изменения:
- Серьезно увеличена производительность (выигрыш до 60% на некоторых операциях);
- Улучшена стабильнось, теперь OOM ошибки должны появляться значительно реже;
- Добавлены операции fill(linear) и cumulative_sum() в язык запросов;
- Теперь в SELECT запросах можно использовать регулярные выражения для полей;
- Встроенная админка теперь deprecated. Она отключена по умолчанию и будет окончательно удалена в следующем релизе. Авторы рекомендуют использовать Chrongraf или Grafana.
http://amp.gs/zYbY
Matthew Hodgkins написал мануал о том, как тестировать роли Ansible для Windows с помощью Test-Kitchen. Мануал, скажем так, немного странный - например, Test-Kitchen предлагается ставить с помощью ChefDK, но в целом работа с этим инструментом описана нормально.
http://amp.gs/zmRE
http://amp.gs/zmRE
hodgkins.io
Testing Ansible Roles Against Windows with Test-Kitchen
Using Test-Kitchen with Ansible to apply playbooks to Windows machines and test them with Pester.
Несколько месяцев назад мы писали про эксперимент Swarm2k - (удачную) попытку запуска Swarm-кластера из 2000 нод. Недавно, Chanwit Kaewkasi запустил новый эксперимент - Swarm3k, в ходе которого было запущено порядка 4700 нод.
http://amp.gs/zmOY
http://amp.gs/zmOY
Sematext
Docker Swarm Lessons from Swarm3K - Sematext
This is a guest post by Prof. Chanwit Kaewkasi, Docker Captain who organized Swarm3K – the largest Docker Swarm cluster to date. Swarm3K Review Swarm3K was the second collaborative project trying to form a very large Docker cluster with the […]
Разработчики языка Go столкнулись с серьезной проблемой: они не знали, какой шрифт использовать в своем UI тулките shiny. В результате был разработан специальный шрифт Go, оптимизированный для листингов исходных кодов на Go. Шрифт, кстати, доступен под открытой лицензией.
http://amp.gs/zpjf
http://amp.gs/zpjf
Google Cloud Platform анонсировали инстансы, оптимизированные для вычислений на GPU. Сервера станут доступны в начале 2017 года и на них будет стоять AMD FirePro S9300 x2, NVIDIA Tesla P100 или NVIDIA Tesla K80.
http://amp.gs/zpzh
http://amp.gs/zpzh
Google Cloud Platform Blog
Announcing GPUs for Google Cloud Platform
Posted by John Barrus, Product Manager, Google Cloud Platform CPU-based machines in the cloud are terrific for general purpose computing...
Денис Смирнов опубликовал на Хабре сборник советов по работе с PostgreSQL (впрочем, они подойдут, с определенными допущениями, для любой СУБД). Может быть полезно для новичков в нелегком деле DBA.
http://amp.gs/zptO
http://amp.gs/zptO
Хабр
Техника безопасности при работе с PostgreSQL
Так получилось, что я начал работать с PostgreSQL три года назад и за это время умудрился методично собрать все возможные грабли, которые можно вообразить. И ска...