Забавная (но довольно бесполезная) аналитика от David Gageot. Он взял Google BigQuery, данные о всех публичных репозиториях Github и начал анализировать.
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Java Bien!
Analysing Docker projects on Github with BigQuery • Java Bien!
Maybe you know that the Github public archive can be analyzed with Google BigQuery. That’s 3Tb of data! This helped people run analysis on languages usage or framework popularity.
I wanted to produce similar results with projects using Docker. But what’s…
I wanted to produce similar results with projects using Docker. But what’s…
В блоге Docker опубликовали статью, подробно рассказывающую о взаимодействии компонентов кластера, а также об алгоритмах добавления ноды, создания и обновления сервиса.
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
Docker Blog
Docker Built-in Orchestration Ready for Production: Docker 1.12 Goes GA
We wanted to thank everyone in the community for helping us achieve this great milestone of making Docker 1.12 generally available for production environments. Docker 1.12 adds the largest and most sophisticated set of features into a single release since…
Хорошая публикация с разбором статьи Uber о их переходе с PostgreSQL на MySQL. Обозрены некие недомоловки из оригинальной статьи и более четко обозначен фокус проблем.
http://amp.gs/87lP
http://amp.gs/87lP
Use-The-Index-Luke
On Uber's Choice of Databases
Uber provides bad advice about PostreSQL vs. MySQL
На Github выложили первую часть списка ресурсов для подготовки к сертификации AWS. Список пока охватывает только AWS solutions architect - Associate exam, но уже получился довольно внушительным.
http://amp.gs/87cX
http://amp.gs/87cX
Gist
A curated list of AWS resources to prepare for the AWS Certifications
Новость для тех, кто(все еще) использует zabbix. Появилась cli утилита zabbixctl. С ее помощью можно посмотреть список сработавших триггеров, latest data и управлять пользователями.
http://amp.gs/8762
http://amp.gs/8762
GitHub
kovetskiy/zabbixctl
zabbixctl - Most effective way for operating in Zabbix Server
Вслед за новым Apache Mesos вышла новая версия DC/OS - операционной системы, позволяющей взаимодействовать с кластером машин как с единой системой.
Основные новшества:
UI Marathon интегрирован в основной UI DC/OS, теперь не надо лезть в дебри интерфейса, чтобы увидеть Marathon таски;
Добавлен Metronome - фреймворк для запуска задач по расписанию. Он заменяет Chronos, который, при желании, все равно можно поставить из Universe;
Появилась возможность выделять IP для контейнеров и создавать изолированные виртуальные сети;
Упрощена установка dcos cli-утилиты. Теперь она поставляется в виде одного бинарного файла.
Release notes: http://amp.gs/8PI1
Обзор новой версии в DC/OS office hours: http://amp.gs/8PIz
Основные новшества:
UI Marathon интегрирован в основной UI DC/OS, теперь не надо лезть в дебри интерфейса, чтобы увидеть Marathon таски;
Добавлен Metronome - фреймворк для запуска задач по расписанию. Он заменяет Chronos, который, при желании, все равно можно поставить из Universe;
Появилась возможность выделять IP для контейнеров и создавать изолированные виртуальные сети;
Упрощена установка dcos cli-утилиты. Теперь она поставляется в виде одного бинарного файла.
Release notes: http://amp.gs/8PI1
Обзор новой версии в DC/OS office hours: http://amp.gs/8PIz
Еще пара материалов с разбором проблем PostgreSQL, приведшим к миграции Uber на MySQL.
Дискуссия между разработчиками PostgreSQL в их рассылке: http://amp.gs/8yAc
И отдельный пост от Simon Riggs, одного из разработчиков PostgreSQL: http://amp.gs/8yA6
Дискуссия между разработчиками PostgreSQL в их рассылке: http://amp.gs/8yAc
И отдельный пост от Simon Riggs, одного из разработчиков PostgreSQL: http://amp.gs/8yA6
Docker запустили свой подкаст - Dockercast. Вести его будет John Willis - один из авторов DevOps Cafe Podcast.
Анонс в блоге Docker: http://amp.gs/8ysT
Ссылка на RSS: http://amp.gs/8ysz
Анонс в блоге Docker: http://amp.gs/8ysT
Ссылка на RSS: http://amp.gs/8ysz
Github представили свою утилиту для MySQL online schema migration - gh-ost. От аналогов она отличается отсутствием использованиz триггеров, легковесностью, возможностью приостановить миграцию, а также менять ее параметры на лету.
http://amp.gs/8yii
http://amp.gs/8yii
GitHub Engineering
gh-ost: GitHub’s online schema migration tool for MySQL
Today we are announcing the open source release of gh-ost: GitHub’s triggerless online schema migration tool for MySQL.
Вышла запись Syscast Podcast с главой core team Ansible James Cammarata. Поговорили о push/pull сценариях работы, поглощении Ansible Red Hat'ом, сравнении с другими системами управления конфигурациями и многом другом.
http://amp.gs/8hds
http://amp.gs/8hds
Netflix открыли код vizceral - компоненты для визуализации потоков траффика на уровне сервисов, серверов и датацентров.
http://amp.gs/8hr7
http://amp.gs/8hr7
GitHub
GitHub - Netflix/vizceral: WebGL visualization for displaying animated traffic graphs
WebGL visualization for displaying animated traffic graphs - GitHub - Netflix/vizceral: WebGL visualization for displaying animated traffic graphs
На Ponyfoo опубликовали неплохое руководство для подготовки качественного Pull Request, следуя которому вы облегчите жизнь разработчикам и повысите шансы на принятие ваших изменений в основную кодовую базу проекта.
http://amp.gs/8vUB
http://amp.gs/8vUB
Pony Foo
The Art of a Pull Request
Writing a great Pull Request takes time. It can be a scary proposition going in. Did I implement something relevant? Will they like my changes? Will the PR meet their expectations? How much scrutiny can I expect?
Инженер Google Kelsey Hightower написал (в свободное время, программа не является официальным проектом Google) утилиту для управления сертификатами Let's Encrypt в рамках кластера Kubernetes.
http://amp.gs/8vdw
http://amp.gs/8vdw
И продолжая тему Kubernetes. В блоге CoreOS опубликовали мануал по мониторингу кластера Kubernetes с помощью Prometheus.
http://amp.gs/8vSC
http://amp.gs/8vSC
Coreos
Monitoring Kubernetes with Prometheus | Prometheus Docker Monitoring
Monitoring is one of the pillars of successful infrastructure. Read our blog and learn how to monitor Kubernetes with Prometheus.
Инженеры Treasure Data опубликовали разбор проблем, связанных со сбором логов в микросервисной инфраструктуре. Ну и порекламировали свой Fluentd в конце статьи, конечно.
http://amp.gs/8gNj
http://amp.gs/8gNj
Treasure Data Blog
Distributed Logging Architecture in the Container Era
Если вам очень интересно посмотреть на Vizceral (мы писали про него позавчера, это компонента от Netflix для визуализации трафика между сервисами, нодами и датацентрами), но лень писать для него обвязку, то Gergo Horanyi подготовил для вас прототип сервиса, визуализирующий траффик между Docker контейнерами в Swarm кластере.
Для сбора данных о нодах в кластере используется самописный агент (репозиторий на Github почему-то недоступен, но образ есть на Docker Hub), а для сбора и хранения данных о трафике - Packetbeat+Elasticsearch.
http://amp.gs/8gAJ
Для сбора данных о нодах в кластере используется самописный агент (репозиторий на Github почему-то недоступен, но образ есть на Docker Hub), а для сбора и хранения данных о трафике - Packetbeat+Elasticsearch.
http://amp.gs/8gAJ
Medium
Intuition Engineering with Docker
This post presents a suggestion for a docker monitoring solution combining two awesome tools already at your disposal: Netflix Vizceral and…
Мы вам, наверное, уже надоели с этим serverless, но мы не можем остановиться. Вот вам 10 часов видеодокладов с майской Serverlessconf - NYC 2016.
http://amp.gs/8giT
http://amp.gs/8giT
A Cloud Guru
A Cloud Guru - AWS Certification Courses
Uber презентовал uMirrorMaker - собственную замену ванильного Kafka MirrorMaker, инструмента для репликации данных из одного кластера Kafka в другой.
Реализация от Uber решает проблемы с даунтаймом во время ребалансинга, упрощает добавление новых топиков для репликации и гарантирует zero data loss.
Также в статье рассмотрены альтернативные решения с использованием Apache Samza и Apache Helix.
http://amp.gs/8Eqk
Реализация от Uber решает проблемы с даунтаймом во время ребалансинга, упрощает добавление новых топиков для репликации и гарантирует zero data loss.
Также в статье рассмотрены альтернативные решения с использованием Apache Samza и Apache Helix.
http://amp.gs/8Eqk
Amazon запустили новый load balancer - ALB (Application Load Balancer). Он заточен под микросервисы и контейнеры и позволяет перенаправлять трафик на разные инстансы, основываясь на содержимом HTTP-запросов. Например, запросы к адресу /api будут перенаправляться на один сервис, а к адресу /mobile - на другой. Также добавлена поддержка WebSocket и HTTP/2, имеются healthcheck'и.
"Старый" ELB по-прежнему остается доступен для использования.
http://amp.gs/8EsF
"Старый" ELB по-прежнему остается доступен для использования.
http://amp.gs/8EsF
В продолжение статьи про грамотные Pull Request. Daniel Gallegos из devAcademy рассказал как грамотно оформлять коммиты, issues и вообще причинять поменьше боли себе и окружающим при работе с Git в общем и Github в частности.
http://amp.gs/8ED4
http://amp.gs/8ED4
devStories
How to use GitHub like a proper human being
Learn some etiquette, man.
Ребята из DataDog опубликовали крутую подборку советов по использованию нагруженного кластера Consul в продакшене. Там и про выбор мощностей, и про мониторинг, и про безопасность, и про оптимизацию нагрузки.
http://amp.gs/8EJx
http://amp.gs/8EJx
Datadoghq
Consul at Datadog -- Datadog Engineering Blog
We've been using Consul for about 18 months at Datadog and it's an important part of our production stack. In this post we will discuss some of the lessons we have learned.