Цикл из двух статей от инженеров Uber про их технологический стек.
Часть первая, про платформу: http://amp.gs/8nPk
Часть вторая, про приложения и маркетплейс: http://amp.gs/8nPe

Компания Galactic Fog анонсировала Gestalt, фреймворк для деплоя serverless приложений в DC/OS кластер. Поддерживаются приложения, написанные на .Net, Javanoscript, Java, Scala, Ruby и Python.
http://amp.gs/8ngE

Перепроверьте настройки своих Docker Registry. Специалист по безопасности avicoder "хакнул" инфраструктуру Vine (сервис для загрузки коротких видео, куплен Twitter) и получил доступ к docker-образам компании, содержащим, в том числе, и исходный код сервиса.
Ну, хакнул - это конечно громко сказано. Выяснилось, что инженеры Vine попросту не закрыли публичный доступ к своему registry, и тот был свободно доступен по публичному адресу в интернете.
В итоге все кончилось хорошо - registry прикрыли, avicoder получил 10000$ по bug bounty.
http://amp.gs/8GmP

Вышел в свет Dependency CI - сервис для проверки зависимостей ваших проектов. Dependency CI интегрируется в Github workflow и осуществляет контроль за лицензиями используемых в проекте библиотек. Также он умеет находить неподдерживаемые (deprecated и unmaintained) библиотеки и зависимости с уязвимостями.
http://amp.gs/8Gpo

В блоге Deis (Heroku-подобный open source PaaS на базе Kubernetes) опубликовали разбор работы хранилища образов, volumes, механизма copy-on-write и различных storage drivers. Материал не сильно глубокий, но будет очень полезен тем, кто только начинает разбираться с Docker.
http://amp.gs/8Gn8

На канале Badoo Development опубликовали видео докладов с прошедшей в июне DevConf 2016
https://www.youtube.com/playlist?list=PL3xVZC4USRNSwvepfo1BGOP5KWx6h9-vp

Ребята из Substrakt выложили в открытый доступ свою утилиту для генерации LetsEncrypt сертификатов для Heroku.
http://amp.gs/8G6m

Инженеры из Confluent написали пару статей про работу с Kafka Streams (библиотеки для stream processing, способной в ряде случаев заменить Apache Spark, обзорный пост можно прочитать здесь: http://amp.gs/8xIg).
Масштабирование приложений на Kafka Streams: http://amp.gs/8xI4
Безопасность Kafka Streams: http://amp.gs/8xI9

Нидерландская компания DutchCoders собрала все AWS API в удобную таблицу с возможностью поиска и фильтрации: http://amp.gs/8xmr
Аналогичная таблица есть и для EC2 инстансов: http://amp.gs/8xmO

Вышел Apache Mesos 1.0. Mesos - это платформа для управления кластером, позволяющая запускать распределенные приложения, абстрагируясь от вычислительных ресурсов отдельных машин, а также динамически управлять их размещением. Система горизонтально масштабируется вплоть до нескольких тысяч узлов. Поддерживается работа с Hadoop, MPI, Hypertable и Spark.

Особенности новой версии:
Новый HTTP API, упрощающий создание фреймворков для работы с Mesos;
Унифицированная система работы с контейнерами, позволяющая запускать Docker/Appc контейнеры без непосредственного обращения к docker engine или rkt;
Механизм изоляции контейнеров (предложенная проектом CoreOS спецификация CNI - Container Network Interface). С ее помощью контейнерам можно выделять адресное пространство и подключать их к разным типам IP-сетей;
Поддержка использования Nvidia GPU в качестве ресурсов для унифицированных Mesos-контейнеров;
Добавлена авторизация и аутентификация для многих методов API;
Добавлена поддержка Windows (пока в статусе бета).

Новость в блоге Apache Foundation: http://amp.gs/8xZ5
Полный Changelog (осторожно, очень много текста): http://amp.gs/8xZQ;a=blob_plain;f=CHANGELOG;hb=1.0.0

Вышел Docker 1.12.

Важные новшества по сравнению с предыдущей версией:
Оркестрация. Появились команды swarm для управления кластером, node для управления нодами и service для деплоя контейнеров в кластер;
В Dockerfile добавлены директивы HEALTHCHECK и SHELL, для проверки приложений и задания дефолтной оболочки соответственно;
Серьезные улучшения в сетевой части: MacVlan драйвер перестал быть экспериментальным, добавлен load-balancing, добавлено шифрование к overlay-сетям.

http://amp.gs/8x2p

Casey Bisson из Joyent написал полезную статью про хранение данных в рамках stateless инфраструктуры. Из важных моментов стоит отметить рассказ о том, как привести MySQL к stateless.

http://amp.gs/8xFV

Let’s Encrypt анонсировали полную поддержку IPv6.

http://amp.gs/8Cg1

DevOps Library выпустили (и планируют продолжить углубляться в тему) большой курс по Jenkins.
Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer).
Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack.
http://amp.gs/8CE6

Дмитрий Франк опубликовал неплохую шпаргалку по Docker (к сожалению, не затронуты команды оркестрации, но вы всегда можете послать Pull Request).
http://amp.gs/8C4z

Если вы поддерживаете свои публичные (или часто пользуетесь чужими) Docker Images, вам может пригодиться MicroBadger: сервис, который предоставляет детальную информацию об используемых слоях, лицензии и истории версий, а также позволяет встраивать бэйджи с этими данными в свой репозиторий.

Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает.

http://amp.gs/8CUJ

Дмитрий Зайцев из OneFactor опубликовал на Хабре туториал по использованию Hashicorp Vault - key-value хранилищу приватных данных, позволяющему гибко настраивать политики доступа к секретам.

http://amp.gs/8kCO

Мы тут немного упустили, извиняемся. 26 июля вышел релиз 2.0.0 платформы для распределенной обработки данных Apache Spark.

Основные изменения:
API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API;
Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях;
Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API).

Официальные Release Notes: http://amp.gs/8key
Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7

На SlideShare выложили презентацию с различными архитектурами Docker Continuous Delivery. К каждой схеме есть ссылка на пост с подробным описанием деталей.

http://amp.gs/8kPp

Platform9 (фирма, предоставляющая managed OpenStack облака как сервис) презентовала свой новый продукт: managed Kubernetes кластер. Ребята берут на себя все вопросы по конфигурированию, обслуживанию и мониторингу кластера: http://amp.gs/8epl

На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp

Автор Goss (serverspec-like утилиты для валидации конфигурации сервисов и проведения healtcheck'ов) опубликовал статью, рассказывающую о том, как решить с помощью его утилиты ряд ограничений Docker и Kubernetes.
Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит.
http://amp.gs/8elH