DevOps Library выпустили (и планируют продолжить углубляться в тему) большой курс по Jenkins.
Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer).
Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack.
http://amp.gs/8CE6
Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer).
Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack.
http://amp.gs/8CE6
Дмитрий Франк опубликовал неплохую шпаргалку по Docker (к сожалению, не затронуты команды оркестрации, но вы всегда можете послать Pull Request).
http://amp.gs/8C4z
http://amp.gs/8C4z
GitHub
dimonomid/docker-quick-ref
Docker: Printable Quick Reference. Contribute to dimonomid/docker-quick-ref development by creating an account on GitHub.
Если вы поддерживаете свои публичные (или часто пользуетесь чужими) Docker Images, вам может пригодиться MicroBadger: сервис, который предоставляет детальную информацию об используемых слоях, лицензии и истории версий, а также позволяет встраивать бэйджи с этими данными в свой репозиторий.
Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает.
http://amp.gs/8CUJ
Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает.
http://amp.gs/8CUJ
Дмитрий Зайцев из OneFactor опубликовал на Хабре туториал по использованию Hashicorp Vault - key-value хранилищу приватных данных, позволяющему гибко настраивать политики доступа к секретам.
http://amp.gs/8kCO
http://amp.gs/8kCO
Хабр
Как не хранить секреты где придётся, или зачем нам Hashicorp Vault
Задайте себе вопрос — как правильно хранить пароль от базы данных, которая используется вашим сервисом? В отдельном репозитории с секретами? В репозитории прил...
Мы тут немного упустили, извиняемся. 26 июля вышел релиз 2.0.0 платформы для распределенной обработки данных Apache Spark.
Основные изменения:
API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API;
Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях;
Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API).
Официальные Release Notes: http://amp.gs/8key
Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7
Основные изменения:
API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API;
Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях;
Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API).
Официальные Release Notes: http://amp.gs/8key
Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7
На SlideShare выложили презентацию с различными архитектурами Docker Continuous Delivery. К каждой схеме есть ссылка на пост с подробным описанием деталей.
http://amp.gs/8kPp
http://amp.gs/8kPp
www.slideshare.net
DevOps and Continuous Delivery reference architectures for Docker
People want to understand how to architect continuous delivery and DevOps environments using containerized applications and artifacts. We assembled this deck …
Platform9 (фирма, предоставляющая managed OpenStack облака как сервис) презентовала свой новый продукт: managed Kubernetes кластер. Ребята берут на себя все вопросы по конфигурированию, обслуживанию и мониторингу кластера: http://amp.gs/8epl
На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp
На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp
Platform9
Kubernetes Docker Orchestration | Platform9
Platform9 Managed Kubernetes Docker provides fast and easy Docker orchestration with features for running containers in production at scale.
Автор Goss (serverspec-like утилиты для валидации конфигурации сервисов и проведения healtcheck'ов) опубликовал статью, рассказывающую о том, как решить с помощью его утилиты ряд ограничений Docker и Kubernetes.
Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит.
http://amp.gs/8elH
Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит.
http://amp.gs/8elH
Medium
Docker 1.12/Kubernetes simplified health checks and container ordering with Goss
In this article we’ll go over some common health check and dependency challenges when using docker standalone or with Kubernetes and how…
Состоялся релиз Terraform 0.7 - утилиты от Hashicorp для описания инфраструктуры и ее развертывания в облачных (и не только) провайдерах.
Ключевые изменения:
Import - Terraform научился импортировать существующую инфраструктуру в файл - может быть полезно в случае создания части инфраструктуры руками;
Data sources - аналогично предыдущему пункту, Terraform научился получать данные из внешних источников для последующего использования их в конфигурации. Например, вместо хардкодинга aws_ami можно заставить Terraform получать его динамически;
State - появился набор сабкомманд для работы со state-файлами (раньше их приходилось править вручную);
List and Map - в конфигурациях стало возможным использовать массивы, в том числе и ассоциативные.
http://amp.gs/8enw
Ключевые изменения:
Import - Terraform научился импортировать существующую инфраструктуру в файл - может быть полезно в случае создания части инфраструктуры руками;
Data sources - аналогично предыдущему пункту, Terraform научился получать данные из внешних источников для последующего использования их в конфигурации. Например, вместо хардкодинга aws_ami можно заставить Terraform получать его динамически;
State - появился набор сабкомманд для работы со state-файлами (раньше их приходилось править вручную);
List and Map - в конфигурациях стало возможным использовать массивы, в том числе и ассоциативные.
http://amp.gs/8enw
Инженеры Datadog написали замечательную статью про анти-паттерны построения графиков для мониторинга. Большинство советов, правда, сводится к простому "не сваливайте все в одну кучу".
http://amp.gs/8exb
http://amp.gs/8exb
Metric graphs 101: Graphing anti patterns
In this post, we explore three ways that metric graphs are commonly misused and then suggest better solutions for clearly visualizing monitoring data
На The Next Platform вышла статья о том, что же вообще такое Serverless (спойлер: serverless doesn't really serverless), а также о том, какие выгоды такая архитектура может принести бизнесу.
Статья обзорная, больше про общие рассуждения, нежели про технологии, но в конце есть полезная ссылка на примеры архитектур с использованием AWS Lambda.
http://amp.gs/87zs
Статья обзорная, больше про общие рассуждения, нежели про технологии, но в конце есть полезная ссылка на примеры архитектур с использованием AWS Lambda.
http://amp.gs/87zs
The Next Platform
First, Kill All The Servers
Cannibalize your own products or someone else will do it for you, as the old adage goes. And so it is that Amazon Web Services, the largest provider of
Забавная (но довольно бесполезная) аналитика от David Gageot. Он взял Google BigQuery, данные о всех публичных репозиториях Github и начал анализировать.
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Java Bien!
Analysing Docker projects on Github with BigQuery • Java Bien!
Maybe you know that the Github public archive can be analyzed with Google BigQuery. That’s 3Tb of data! This helped people run analysis on languages usage or framework popularity.
I wanted to produce similar results with projects using Docker. But what’s…
I wanted to produce similar results with projects using Docker. But what’s…
В блоге Docker опубликовали статью, подробно рассказывающую о взаимодействии компонентов кластера, а также об алгоритмах добавления ноды, создания и обновления сервиса.
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
Docker Blog
Docker Built-in Orchestration Ready for Production: Docker 1.12 Goes GA
We wanted to thank everyone in the community for helping us achieve this great milestone of making Docker 1.12 generally available for production environments. Docker 1.12 adds the largest and most sophisticated set of features into a single release since…
Хорошая публикация с разбором статьи Uber о их переходе с PostgreSQL на MySQL. Обозрены некие недомоловки из оригинальной статьи и более четко обозначен фокус проблем.
http://amp.gs/87lP
http://amp.gs/87lP
Use-The-Index-Luke
On Uber's Choice of Databases
Uber provides bad advice about PostreSQL vs. MySQL
На Github выложили первую часть списка ресурсов для подготовки к сертификации AWS. Список пока охватывает только AWS solutions architect - Associate exam, но уже получился довольно внушительным.
http://amp.gs/87cX
http://amp.gs/87cX
Gist
A curated list of AWS resources to prepare for the AWS Certifications
Новость для тех, кто(все еще) использует zabbix. Появилась cli утилита zabbixctl. С ее помощью можно посмотреть список сработавших триггеров, latest data и управлять пользователями.
http://amp.gs/8762
http://amp.gs/8762
GitHub
kovetskiy/zabbixctl
zabbixctl - Most effective way for operating in Zabbix Server
Вслед за новым Apache Mesos вышла новая версия DC/OS - операционной системы, позволяющей взаимодействовать с кластером машин как с единой системой.
Основные новшества:
UI Marathon интегрирован в основной UI DC/OS, теперь не надо лезть в дебри интерфейса, чтобы увидеть Marathon таски;
Добавлен Metronome - фреймворк для запуска задач по расписанию. Он заменяет Chronos, который, при желании, все равно можно поставить из Universe;
Появилась возможность выделять IP для контейнеров и создавать изолированные виртуальные сети;
Упрощена установка dcos cli-утилиты. Теперь она поставляется в виде одного бинарного файла.
Release notes: http://amp.gs/8PI1
Обзор новой версии в DC/OS office hours: http://amp.gs/8PIz
Основные новшества:
UI Marathon интегрирован в основной UI DC/OS, теперь не надо лезть в дебри интерфейса, чтобы увидеть Marathon таски;
Добавлен Metronome - фреймворк для запуска задач по расписанию. Он заменяет Chronos, который, при желании, все равно можно поставить из Universe;
Появилась возможность выделять IP для контейнеров и создавать изолированные виртуальные сети;
Упрощена установка dcos cli-утилиты. Теперь она поставляется в виде одного бинарного файла.
Release notes: http://amp.gs/8PI1
Обзор новой версии в DC/OS office hours: http://amp.gs/8PIz
Еще пара материалов с разбором проблем PostgreSQL, приведшим к миграции Uber на MySQL.
Дискуссия между разработчиками PostgreSQL в их рассылке: http://amp.gs/8yAc
И отдельный пост от Simon Riggs, одного из разработчиков PostgreSQL: http://amp.gs/8yA6
Дискуссия между разработчиками PostgreSQL в их рассылке: http://amp.gs/8yAc
И отдельный пост от Simon Riggs, одного из разработчиков PostgreSQL: http://amp.gs/8yA6
Docker запустили свой подкаст - Dockercast. Вести его будет John Willis - один из авторов DevOps Cafe Podcast.
Анонс в блоге Docker: http://amp.gs/8ysT
Ссылка на RSS: http://amp.gs/8ysz
Анонс в блоге Docker: http://amp.gs/8ysT
Ссылка на RSS: http://amp.gs/8ysz
Github представили свою утилиту для MySQL online schema migration - gh-ost. От аналогов она отличается отсутствием использованиz триггеров, легковесностью, возможностью приостановить миграцию, а также менять ее параметры на лету.
http://amp.gs/8yii
http://amp.gs/8yii
GitHub Engineering
gh-ost: GitHub’s online schema migration tool for MySQL
Today we are announcing the open source release of gh-ost: GitHub’s triggerless online schema migration tool for MySQL.