Инженеры GitHub опубликовали заметку о балансировке нагрузки на реплики MySQL с помощью HAProxy.
http://amp.gs/8DG6
http://amp.gs/8DG6
GitHub Engineering
Context aware MySQL pools via HAProxy
At GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth against MySQL via a custom git proxy (babeld). To be able to serve under the high…
Пост-мортем полуторачасового отключения Reddit в первой половине августа.
В процессе миграции в Amazon Cloud Zookeeper включился раньше времени с неконсистентными данными и их autoscaler повырубал половину серверов, которые в этих данных отсутствовали.
http://amp.gs/8usZ
В процессе миграции в Amazon Cloud Zookeeper включился раньше времени с неконсистентными данными и их autoscaler повырубал половину серверов, которые в этих данных отсутствовали.
http://amp.gs/8usZ
reddit
r/announcements - Why Reddit was down on Aug 11
26,373 votes and 3,333 comments so far on Reddit
Nathan McCauley опубликовал в блоге Docker заметку о механизмах безопасности контейнеров. Сама заметка небольшая, но содержит ценные ссылки на 100-страничное исследование от NCC Group, подробно рассматривающее безопасность как Docker, так и альтернативных систем контейнеризации.
http://amp.gs/8uDX
http://amp.gs/8uDX
Docker Blog
Your Software is Safer in Docker Containers
The Docker security philosophy is Secure by Default. Meaning security should be inherent in the platform for all applications and not a separate solution that needs to be deployed, configured and integrated. Today, Docker Engine supports all of the isolation…
MessageBird выложили в открытый доступ PushProm - прокси для Prometheus, позволяющую агрегировать метрики от приложений, которые не поддерживают polling.
http://amp.gs/8u0R
http://amp.gs/8u0R
MessageBird
Open-sourcing Pushprom: our solution to Prometheus data retrieval issues
We created a proxy to solve the data retrieval issues we encountered upon integrating Prometheus into our monitoring setup.
Антон Турецкий из Badoo написал классную статью по использованию MACVLAN в новом Docker'е.
http://amp.gs/8u3d
http://amp.gs/8u3d
Хабр
Docker: гибкая сеть без NAT на все случаи жизни
Время на месте не стоит, и у горячо любимого всеми Docker от версии к версии появляется новый функционал. Случается так, что когда читаешь Changelog для новой...
В блоге DataLoop опубликовали сравнение Time Series Databases. DalmatinerDB, InfluxDB и Prometheus рулят.
http://amp.gs/8Kml
http://amp.gs/8Kml
Вышел Hashicorp Vault 0.6.1 - утилита для управления различными приватными данными и доступами к ним.
Основные новшества:
Добавлен AppRole Authentication Backend, расширяющий возможности App-ID (который теперь deprecated);
Сервера Vault теперь умеют перенаправлять запросы к другим серверам вместо перенаправления клиентов;
Улучшена поддержка LDAP Group Filters;
В vault init добавлено Service Discovery;
Добавлена интеграция с Circonus - сервиса для мониторинга и сбора метрик.
http://amp.gs/8Kp1
Основные новшества:
Добавлен AppRole Authentication Backend, расширяющий возможности App-ID (который теперь deprecated);
Сервера Vault теперь умеют перенаправлять запросы к другим серверам вместо перенаправления клиентов;
Улучшена поддержка LDAP Group Filters;
В vault init добавлено Service Discovery;
Добавлена интеграция с Circonus - сервиса для мониторинга и сбора метрик.
http://amp.gs/8Kp1
GitHub
hashicorp/vault
A tool for secrets management, encryption as a service, and privileged access management - hashicorp/vault
ntfy - утилита, умеющая слать уведомления на смартфон из консоли. Может быть полезна для интеграции со всякими CI системами и мониторингом.
Поддерживаемые бэкенды для отправки уведомлений:
- Telegram;
- Pushbullet;
- Pushover;
- Simplepush;
- Pushjet;
- XMPP;
- Linux/Windows/Mac OS system notifications.
http://amp.gs/8KBH
Поддерживаемые бэкенды для отправки уведомлений:
- Telegram;
- Pushbullet;
- Pushover;
- Simplepush;
- Pushjet;
- XMPP;
- Linux/Windows/Mac OS system notifications.
http://amp.gs/8KBH
GitHub
dschep/ntfy
🖥️📱🔔 A utility for sending notifications, on demand and when commands finish. - dschep/ntfy
Компания Express 42 проводит двухдневный(23—24 сентября) практический курс «DevOps и Infrastructure as Code на Ansible»
На курсе будут рассматриваться DevOps методологии, современные технологии непрерывной поставки ПО, особенности подхода "инфраструктура как код" и, конечно, будет много практики с Ansible.
http://bit.ly/2bTIStJ
На курсе будут рассматриваться DevOps методологии, современные технологии непрерывной поставки ПО, особенности подхода "инфраструктура как код" и, конечно, будет много практики с Ansible.
http://bit.ly/2bTIStJ
Express42
Экспресс 42: Практики и технологии DevOps
Консультанты по анализу, пилотированию и масштабированию DevOps практик и процессов непрерывной поставки ПО
Время считать свою зарплату и завидовать. Puppet опубликовали инфографику о зарплатах IT-специалистов.
http://amp.gs/83yc
http://amp.gs/83yc
Fred de Villamil из Synthesio написал полезный cheatsheet по API Elasticsearch. Как быстро получить информацию о кластере, как удалить сразу несколько индексов, вот это вот все.
http://amp.gs/83vO
http://amp.gs/83vO
Fred Thoughts
An Elasticsearch cheat sheet
I’m using Elasticsearch a lot, which brings me to run the same commands again and again to manage my clusters. Even though they’re now all…
composerize - сервис, преобразующий вашу длинную docker run команду в compose-файл.
http://amp.gs/83E9
http://amp.gs/83E9
Николай Сивко из HeadHunter опубликовал на Хабре свой доклад с HighLoad++ Junior, посвященный проблемам эксплуатации проекта на продакшене и советам, как избежать этих проблем малой кровью.
http://amp.gs/839F
http://amp.gs/839F
Habr
Жизнь проекта на production: советы по эксплуатации
Немаловажный пункт, который очень часто упускают из вида разработчики — это эксплуатация проекта. Как выбрать дата-центр? Как прогнозировать угрозы? Что может произойти на уровне фронтенда? Как...
Инженеры из Centos-admin подробно разобрали на Хабре вопросы установки и настройки Gitlab-CI.
http://amp.gs/83UI
http://amp.gs/83UI
Habr
Gitlab-CI
Всем привет. У нас не так много задач, которым необходим полноценный CI. Некоторое время мы использовали в качестве CI-сервиса Jenkins. Там всё довольно очевидно, он прост и гибок в настройке, имеет...
Интересная статья на TheNewStack о состоянии экосистемы Docker. Вкратце - Docker стал популярен, люди хотят стабильности, чтобы использовать его в крупных системах, а этот негодяй ломается, да еще и обратную совместимость нарушает временами, ну и вообще не должна одна компания вершить будущее контейнеров. И что с этим делать: добиваться от Docker стабильной LTS-версии, форкать его и поддерживать силами сообщества или что-то еще - непонятно.
http://amp.gs/8Hud
http://amp.gs/8Hud
The New Stack
A Docker Fork: Talk of a Split Is Now on the Table
Discussions about a split from Docker are now underway among several Docker ecosystem vendors and end users. Expressing frustration of
В блоге Deis опубликовали небольшое руководство по настройке логгирования в кластере Kubernetes с помощью fluentd, elasticsearch и kibana.
http://amp.gs/8H0E
http://amp.gs/8H0E
dcos-config-tool - утилита для генерации конфигов приложений DC/OS из репозитория Mesosphere Universe.
http://amp.gs/8HKD
Если лень разворачивать у себя - вот здесь это сделали за вас: http://amp.gs/8HKu
http://amp.gs/8HKD
Если лень разворачивать у себя - вот здесь это сделали за вас: http://amp.gs/8HKu
GitHub
dcos-labs/dcos-config-tool
A config UI to browse and create configurations for DC/OS packages - dcos-labs/dcos-config-tool
Пользователь Ipeacocks опубликовал на Хабре подробную статью по внутреннему устройству, установке и настройке Mesos и Marathon.
http://amp.gs/8wIC
http://amp.gs/8wIC
Habr
Mesos. Container Cluster Management System
Apache Mesos — это централизованная отказоустойчивая система управления кластером. Она разработана для распределенных компьютерных сред c целью обеспечения...
А инженеры из NimbleCI рассказали, как настроить Jenkins для автоматического билда Docker контейнеров.
http://amp.gs/8w8B
http://amp.gs/8w8B
blog.nimbleci.com
How To Build Docker Images Automatically With Jenkins Pipeline
In this post you’ll learn how to use the Jenkins Pipeline plugin
to build Docker images continuously.
to build Docker images continuously.
Еще одна небольшая утилитка для Docker. docker-replay позволяет получить "docker run" команду для любого запущенного контейнера.
http://amp.gs/8w1Q
http://amp.gs/8w1Q
GitHub
bcicen/docker-replay
Generate docker run commands from running containers - bcicen/docker-replay
Facebook опубликовал whitepaper по своей системе управления конфигурацией сети Robotron, охватывающей десятки тысяч сетевых устройств.
http://amp.gs/8F9D
http://amp.gs/8F9D
Facebook Research
Robotron: Top-down Network Management at Facebook Scale
In this paper, we present Robotron, a system for managing a massive production network in a top-down fashion.