DigitalOcean выложили в открытый доступ код Vulcan - системы мониторинга, совместимой с Prometheus на уровне API. Она сложнее Prometheus в эксплуатации, но рассчитана на длительное хранение метрик, высокую доступность и удобный скейлинг.
http://amp.gs/8sHy
http://amp.gs/8sHy
GitHub
GitHub - digitalocean/vulcan: Vulcan extends Prometheus adding horizontal scalability and long-term storage
Vulcan extends Prometheus adding horizontal scalability and long-term storage - GitHub - digitalocean/vulcan: Vulcan extends Prometheus adding horizontal scalability and long-term storage
В блоге Kubernetes опубликовали подробный рассказ о Kubernetes Namespaces: что это такое, зачем они нужны и для чего их не стоит использовать. Учитывая скупость и разрозненность документации, этот пост может сослужить хорошую службу тем, кто только начинает работать с этой системой.
http://amp.gs/8sws
http://amp.gs/8sws
Vinay Sahni собрал в одну статью кучу советов по проектированию микросервисной архитектуры.
http://amp.gs/8sXU
http://amp.gs/8sXU
Vinay Sahni
Best Practices for Building a Microservice Architecture
A curated a set of pragmatic practices for building a microservice architecture that fits well with modern web and cloud technologies.
Небольшой сборник советов по организации архитектуры вашего приложения на AWS Lambda.
http://amp.gs/8DZK
http://amp.gs/8DZK
Medium
Do’s and Don’ts of AWS Lambda
This post touches on some things I’ve learned using AWS Lambda to build the Apex Ping uptime monitoring tool, which is built almost…
Alexander Rubin написал в блоге Percona статью о том, как можно увеличить производительность обработки запросов MySQL более чем в 10 раз с помощью Apache Spark. Внутри много примеров кода и бенчмарков.
http://amp.gs/8DBj
http://amp.gs/8DBj
Percona Database Performance Blog
How Apache Spark makes your slow MySQL queries 10x faster - Percona Database Performance Blog
In this blog post, we'll discuss how to improve the performance of slow MySQL queries using Apache Spark.
Инженеры GitHub опубликовали заметку о балансировке нагрузки на реплики MySQL с помощью HAProxy.
http://amp.gs/8DG6
http://amp.gs/8DG6
GitHub Engineering
Context aware MySQL pools via HAProxy
At GitHub we use MySQL as our main datastore. While repository data lies in git, metadata is stored in MySQL. This includes Issues, Pull Requests, Comments etc. We also auth against MySQL via a custom git proxy (babeld). To be able to serve under the high…
Пост-мортем полуторачасового отключения Reddit в первой половине августа.
В процессе миграции в Amazon Cloud Zookeeper включился раньше времени с неконсистентными данными и их autoscaler повырубал половину серверов, которые в этих данных отсутствовали.
http://amp.gs/8usZ
В процессе миграции в Amazon Cloud Zookeeper включился раньше времени с неконсистентными данными и их autoscaler повырубал половину серверов, которые в этих данных отсутствовали.
http://amp.gs/8usZ
reddit
r/announcements - Why Reddit was down on Aug 11
26,373 votes and 3,333 comments so far on Reddit
Nathan McCauley опубликовал в блоге Docker заметку о механизмах безопасности контейнеров. Сама заметка небольшая, но содержит ценные ссылки на 100-страничное исследование от NCC Group, подробно рассматривающее безопасность как Docker, так и альтернативных систем контейнеризации.
http://amp.gs/8uDX
http://amp.gs/8uDX
Docker Blog
Your Software is Safer in Docker Containers
The Docker security philosophy is Secure by Default. Meaning security should be inherent in the platform for all applications and not a separate solution that needs to be deployed, configured and integrated. Today, Docker Engine supports all of the isolation…
MessageBird выложили в открытый доступ PushProm - прокси для Prometheus, позволяющую агрегировать метрики от приложений, которые не поддерживают polling.
http://amp.gs/8u0R
http://amp.gs/8u0R
MessageBird
Open-sourcing Pushprom: our solution to Prometheus data retrieval issues
We created a proxy to solve the data retrieval issues we encountered upon integrating Prometheus into our monitoring setup.
Антон Турецкий из Badoo написал классную статью по использованию MACVLAN в новом Docker'е.
http://amp.gs/8u3d
http://amp.gs/8u3d
Хабр
Docker: гибкая сеть без NAT на все случаи жизни
Время на месте не стоит, и у горячо любимого всеми Docker от версии к версии появляется новый функционал. Случается так, что когда читаешь Changelog для новой...
В блоге DataLoop опубликовали сравнение Time Series Databases. DalmatinerDB, InfluxDB и Prometheus рулят.
http://amp.gs/8Kml
http://amp.gs/8Kml
Вышел Hashicorp Vault 0.6.1 - утилита для управления различными приватными данными и доступами к ним.
Основные новшества:
Добавлен AppRole Authentication Backend, расширяющий возможности App-ID (который теперь deprecated);
Сервера Vault теперь умеют перенаправлять запросы к другим серверам вместо перенаправления клиентов;
Улучшена поддержка LDAP Group Filters;
В vault init добавлено Service Discovery;
Добавлена интеграция с Circonus - сервиса для мониторинга и сбора метрик.
http://amp.gs/8Kp1
Основные новшества:
Добавлен AppRole Authentication Backend, расширяющий возможности App-ID (который теперь deprecated);
Сервера Vault теперь умеют перенаправлять запросы к другим серверам вместо перенаправления клиентов;
Улучшена поддержка LDAP Group Filters;
В vault init добавлено Service Discovery;
Добавлена интеграция с Circonus - сервиса для мониторинга и сбора метрик.
http://amp.gs/8Kp1
GitHub
hashicorp/vault
A tool for secrets management, encryption as a service, and privileged access management - hashicorp/vault
ntfy - утилита, умеющая слать уведомления на смартфон из консоли. Может быть полезна для интеграции со всякими CI системами и мониторингом.
Поддерживаемые бэкенды для отправки уведомлений:
- Telegram;
- Pushbullet;
- Pushover;
- Simplepush;
- Pushjet;
- XMPP;
- Linux/Windows/Mac OS system notifications.
http://amp.gs/8KBH
Поддерживаемые бэкенды для отправки уведомлений:
- Telegram;
- Pushbullet;
- Pushover;
- Simplepush;
- Pushjet;
- XMPP;
- Linux/Windows/Mac OS system notifications.
http://amp.gs/8KBH
GitHub
dschep/ntfy
🖥️📱🔔 A utility for sending notifications, on demand and when commands finish. - dschep/ntfy
Компания Express 42 проводит двухдневный(23—24 сентября) практический курс «DevOps и Infrastructure as Code на Ansible»
На курсе будут рассматриваться DevOps методологии, современные технологии непрерывной поставки ПО, особенности подхода "инфраструктура как код" и, конечно, будет много практики с Ansible.
http://bit.ly/2bTIStJ
На курсе будут рассматриваться DevOps методологии, современные технологии непрерывной поставки ПО, особенности подхода "инфраструктура как код" и, конечно, будет много практики с Ansible.
http://bit.ly/2bTIStJ
Express42
Экспресс 42: Практики и технологии DevOps
Консультанты по анализу, пилотированию и масштабированию DevOps практик и процессов непрерывной поставки ПО
Время считать свою зарплату и завидовать. Puppet опубликовали инфографику о зарплатах IT-специалистов.
http://amp.gs/83yc
http://amp.gs/83yc
Fred de Villamil из Synthesio написал полезный cheatsheet по API Elasticsearch. Как быстро получить информацию о кластере, как удалить сразу несколько индексов, вот это вот все.
http://amp.gs/83vO
http://amp.gs/83vO
Fred Thoughts
An Elasticsearch cheat sheet
I’m using Elasticsearch a lot, which brings me to run the same commands again and again to manage my clusters. Even though they’re now all…
composerize - сервис, преобразующий вашу длинную docker run команду в compose-файл.
http://amp.gs/83E9
http://amp.gs/83E9
Николай Сивко из HeadHunter опубликовал на Хабре свой доклад с HighLoad++ Junior, посвященный проблемам эксплуатации проекта на продакшене и советам, как избежать этих проблем малой кровью.
http://amp.gs/839F
http://amp.gs/839F
Habr
Жизнь проекта на production: советы по эксплуатации
Немаловажный пункт, который очень часто упускают из вида разработчики — это эксплуатация проекта. Как выбрать дата-центр? Как прогнозировать угрозы? Что может произойти на уровне фронтенда? Как...
Инженеры из Centos-admin подробно разобрали на Хабре вопросы установки и настройки Gitlab-CI.
http://amp.gs/83UI
http://amp.gs/83UI
Habr
Gitlab-CI
Всем привет. У нас не так много задач, которым необходим полноценный CI. Некоторое время мы использовали в качестве CI-сервиса Jenkins. Там всё довольно очевидно, он прост и гибок в настройке, имеет...
Интересная статья на TheNewStack о состоянии экосистемы Docker. Вкратце - Docker стал популярен, люди хотят стабильности, чтобы использовать его в крупных системах, а этот негодяй ломается, да еще и обратную совместимость нарушает временами, ну и вообще не должна одна компания вершить будущее контейнеров. И что с этим делать: добиваться от Docker стабильной LTS-версии, форкать его и поддерживать силами сообщества или что-то еще - непонятно.
http://amp.gs/8Hud
http://amp.gs/8Hud
The New Stack
A Docker Fork: Talk of a Split Is Now on the Table
Discussions about a split from Docker are now underway among several Docker ecosystem vendors and end users. Expressing frustration of
В блоге Deis опубликовали небольшое руководство по настройке логгирования в кластере Kubernetes с помощью fluentd, elasticsearch и kibana.
http://amp.gs/8H0E
http://amp.gs/8H0E