Нидерландская компания DutchCoders собрала все AWS API в удобную таблицу с возможностью поиска и фильтрации: http://amp.gs/8xmr
Аналогичная таблица есть и для EC2 инстансов: http://amp.gs/8xmO
Аналогичная таблица есть и для EC2 инстансов: http://amp.gs/8xmO
aws-api.info
AWS - API
Overview of all Amazon AWS API urls.
Вышел Apache Mesos 1.0. Mesos - это платформа для управления кластером, позволяющая запускать распределенные приложения, абстрагируясь от вычислительных ресурсов отдельных машин, а также динамически управлять их размещением. Система горизонтально масштабируется вплоть до нескольких тысяч узлов. Поддерживается работа с Hadoop, MPI, Hypertable и Spark.
Особенности новой версии:
Новый HTTP API, упрощающий создание фреймворков для работы с Mesos;
Унифицированная система работы с контейнерами, позволяющая запускать Docker/Appc контейнеры без непосредственного обращения к docker engine или rkt;
Механизм изоляции контейнеров (предложенная проектом CoreOS спецификация CNI - Container Network Interface). С ее помощью контейнерам можно выделять адресное пространство и подключать их к разным типам IP-сетей;
Поддержка использования Nvidia GPU в качестве ресурсов для унифицированных Mesos-контейнеров;
Добавлена авторизация и аутентификация для многих методов API;
Добавлена поддержка Windows (пока в статусе бета).
Новость в блоге Apache Foundation: http://amp.gs/8xZ5
Полный Changelog (осторожно, очень много текста): http://amp.gs/8xZQ;a=blob_plain;f=CHANGELOG;hb=1.0.0
Особенности новой версии:
Новый HTTP API, упрощающий создание фреймворков для работы с Mesos;
Унифицированная система работы с контейнерами, позволяющая запускать Docker/Appc контейнеры без непосредственного обращения к docker engine или rkt;
Механизм изоляции контейнеров (предложенная проектом CoreOS спецификация CNI - Container Network Interface). С ее помощью контейнерам можно выделять адресное пространство и подключать их к разным типам IP-сетей;
Поддержка использования Nvidia GPU в качестве ресурсов для унифицированных Mesos-контейнеров;
Добавлена авторизация и аутентификация для многих методов API;
Добавлена поддержка Windows (пока в статусе бета).
Новость в блоге Apache Foundation: http://amp.gs/8xZ5
Полный Changelog (осторожно, очень много текста): http://amp.gs/8xZQ;a=blob_plain;f=CHANGELOG;hb=1.0.0
Вышел Docker 1.12.
Важные новшества по сравнению с предыдущей версией:
Оркестрация. Появились команды swarm для управления кластером, node для управления нодами и service для деплоя контейнеров в кластер;
В Dockerfile добавлены директивы HEALTHCHECK и SHELL, для проверки приложений и задания дефолтной оболочки соответственно;
Серьезные улучшения в сетевой части: MacVlan драйвер перестал быть экспериментальным, добавлен load-balancing, добавлено шифрование к overlay-сетям.
http://amp.gs/8x2p
Важные новшества по сравнению с предыдущей версией:
Оркестрация. Появились команды swarm для управления кластером, node для управления нодами и service для деплоя контейнеров в кластер;
В Dockerfile добавлены директивы HEALTHCHECK и SHELL, для проверки приложений и задания дефолтной оболочки соответственно;
Серьезные улучшения в сетевой части: MacVlan драйвер перестал быть экспериментальным, добавлен load-balancing, добавлено шифрование к overlay-сетям.
http://amp.gs/8x2p
GitHub
Release v1.12.0 · moby/moby
1.12.0 (2016-07-28)
Builder
New HEALTHCHECK Dockerfile instruction to support user-defined healthchecks #23218
New SHELL Dockerfile instruction to specify the default shell when using the shell fo...
Builder
New HEALTHCHECK Dockerfile instruction to support user-defined healthchecks #23218
New SHELL Dockerfile instruction to specify the default shell when using the shell fo...
Casey Bisson из Joyent написал полезную статью про хранение данных в рамках stateless инфраструктуры. Из важных моментов стоит отметить рассказ о том, как привести MySQL к stateless.
http://amp.gs/8xFV
http://amp.gs/8xFV
Joyent
Joyent | Persistent storage patterns for Docker in production
Persistent storage in Docker is a stumbling block for many production deployments, but the problem is easier to solve than you might imagine, and we can do it with the infrastructure and apps we already use and depend on.
DevOps Library выпустили (и планируют продолжить углубляться в тему) большой курс по Jenkins.
Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer).
Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack.
http://amp.gs/8CE6
Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer).
Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack.
http://amp.gs/8CE6
Дмитрий Франк опубликовал неплохую шпаргалку по Docker (к сожалению, не затронуты команды оркестрации, но вы всегда можете послать Pull Request).
http://amp.gs/8C4z
http://amp.gs/8C4z
GitHub
dimonomid/docker-quick-ref
Docker: Printable Quick Reference. Contribute to dimonomid/docker-quick-ref development by creating an account on GitHub.
Если вы поддерживаете свои публичные (или часто пользуетесь чужими) Docker Images, вам может пригодиться MicroBadger: сервис, который предоставляет детальную информацию об используемых слоях, лицензии и истории версий, а также позволяет встраивать бэйджи с этими данными в свой репозиторий.
Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает.
http://amp.gs/8CUJ
Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает.
http://amp.gs/8CUJ
Дмитрий Зайцев из OneFactor опубликовал на Хабре туториал по использованию Hashicorp Vault - key-value хранилищу приватных данных, позволяющему гибко настраивать политики доступа к секретам.
http://amp.gs/8kCO
http://amp.gs/8kCO
Хабр
Как не хранить секреты где придётся, или зачем нам Hashicorp Vault
Задайте себе вопрос — как правильно хранить пароль от базы данных, которая используется вашим сервисом? В отдельном репозитории с секретами? В репозитории прил...
Мы тут немного упустили, извиняемся. 26 июля вышел релиз 2.0.0 платформы для распределенной обработки данных Apache Spark.
Основные изменения:
API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API;
Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях;
Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API).
Официальные Release Notes: http://amp.gs/8key
Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7
Основные изменения:
API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API;
Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях;
Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API).
Официальные Release Notes: http://amp.gs/8key
Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7
На SlideShare выложили презентацию с различными архитектурами Docker Continuous Delivery. К каждой схеме есть ссылка на пост с подробным описанием деталей.
http://amp.gs/8kPp
http://amp.gs/8kPp
www.slideshare.net
DevOps and Continuous Delivery reference architectures for Docker
People want to understand how to architect continuous delivery and DevOps environments using containerized applications and artifacts. We assembled this deck …
Platform9 (фирма, предоставляющая managed OpenStack облака как сервис) презентовала свой новый продукт: managed Kubernetes кластер. Ребята берут на себя все вопросы по конфигурированию, обслуживанию и мониторингу кластера: http://amp.gs/8epl
На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp
На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp
Platform9
Kubernetes Docker Orchestration | Platform9
Platform9 Managed Kubernetes Docker provides fast and easy Docker orchestration with features for running containers in production at scale.
Автор Goss (serverspec-like утилиты для валидации конфигурации сервисов и проведения healtcheck'ов) опубликовал статью, рассказывающую о том, как решить с помощью его утилиты ряд ограничений Docker и Kubernetes.
Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит.
http://amp.gs/8elH
Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит.
http://amp.gs/8elH
Medium
Docker 1.12/Kubernetes simplified health checks and container ordering with Goss
In this article we’ll go over some common health check and dependency challenges when using docker standalone or with Kubernetes and how…
Состоялся релиз Terraform 0.7 - утилиты от Hashicorp для описания инфраструктуры и ее развертывания в облачных (и не только) провайдерах.
Ключевые изменения:
Import - Terraform научился импортировать существующую инфраструктуру в файл - может быть полезно в случае создания части инфраструктуры руками;
Data sources - аналогично предыдущему пункту, Terraform научился получать данные из внешних источников для последующего использования их в конфигурации. Например, вместо хардкодинга aws_ami можно заставить Terraform получать его динамически;
State - появился набор сабкомманд для работы со state-файлами (раньше их приходилось править вручную);
List and Map - в конфигурациях стало возможным использовать массивы, в том числе и ассоциативные.
http://amp.gs/8enw
Ключевые изменения:
Import - Terraform научился импортировать существующую инфраструктуру в файл - может быть полезно в случае создания части инфраструктуры руками;
Data sources - аналогично предыдущему пункту, Terraform научился получать данные из внешних источников для последующего использования их в конфигурации. Например, вместо хардкодинга aws_ami можно заставить Terraform получать его динамически;
State - появился набор сабкомманд для работы со state-файлами (раньше их приходилось править вручную);
List and Map - в конфигурациях стало возможным использовать массивы, в том числе и ассоциативные.
http://amp.gs/8enw
Инженеры Datadog написали замечательную статью про анти-паттерны построения графиков для мониторинга. Большинство советов, правда, сводится к простому "не сваливайте все в одну кучу".
http://amp.gs/8exb
http://amp.gs/8exb
Metric graphs 101: Graphing anti patterns
In this post, we explore three ways that metric graphs are commonly misused and then suggest better solutions for clearly visualizing monitoring data
На The Next Platform вышла статья о том, что же вообще такое Serverless (спойлер: serverless doesn't really serverless), а также о том, какие выгоды такая архитектура может принести бизнесу.
Статья обзорная, больше про общие рассуждения, нежели про технологии, но в конце есть полезная ссылка на примеры архитектур с использованием AWS Lambda.
http://amp.gs/87zs
Статья обзорная, больше про общие рассуждения, нежели про технологии, но в конце есть полезная ссылка на примеры архитектур с использованием AWS Lambda.
http://amp.gs/87zs
The Next Platform
First, Kill All The Servers
Cannibalize your own products or someone else will do it for you, as the old adage goes. And so it is that Amazon Web Services, the largest provider of
Забавная (но довольно бесполезная) аналитика от David Gageot. Он взял Google BigQuery, данные о всех публичных репозиториях Github и начал анализировать.
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев.
Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA
Java Bien!
Analysing Docker projects on Github with BigQuery • Java Bien!
Maybe you know that the Github public archive can be analyzed with Google BigQuery. That’s 3Tb of data! This helped people run analysis on languages usage or framework popularity.
I wanted to produce similar results with projects using Docker. But what’s…
I wanted to produce similar results with projects using Docker. But what’s…
В блоге Docker опубликовали статью, подробно рассказывающую о взаимодействии компонентов кластера, а также об алгоритмах добавления ноды, создания и обновления сервиса.
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm.
http://amp.gs/87Zm
Docker Blog
Docker Built-in Orchestration Ready for Production: Docker 1.12 Goes GA
We wanted to thank everyone in the community for helping us achieve this great milestone of making Docker 1.12 generally available for production environments. Docker 1.12 adds the largest and most sophisticated set of features into a single release since…
Хорошая публикация с разбором статьи Uber о их переходе с PostgreSQL на MySQL. Обозрены некие недомоловки из оригинальной статьи и более четко обозначен фокус проблем.
http://amp.gs/87lP
http://amp.gs/87lP
Use-The-Index-Luke
On Uber's Choice of Databases
Uber provides bad advice about PostreSQL vs. MySQL
На Github выложили первую часть списка ресурсов для подготовки к сертификации AWS. Список пока охватывает только AWS solutions architect - Associate exam, но уже получился довольно внушительным.
http://amp.gs/87cX
http://amp.gs/87cX
Gist
A curated list of AWS resources to prepare for the AWS Certifications
Новость для тех, кто(все еще) использует zabbix. Появилась cli утилита zabbixctl. С ее помощью можно посмотреть список сработавших триггеров, latest data и управлять пользователями.
http://amp.gs/8762
http://amp.gs/8762
GitHub
kovetskiy/zabbixctl
zabbixctl - Most effective way for operating in Zabbix Server