DevOps Deflope News – Telegram
DevOps Deflope News
5.75K subscribers
24 photos
1.52K links
DevOps Deflope News — выборка новостей и тулинга от инженеров «Фланта». Берём весь информационный поток и пропускаем через фильтр здравого смысла. Ещё пишем подкаст.

Рекламу не размещаем. Для связи @dvpsdflpfdbkbot.
Download Telegram
Обучающий портал http://amp.gs/8pQK опубликовал курс по оркестрации в Docker 1.12. http://amp.gs/8pQu
Помимо докера, есть курсы по Kubernetes, Jenkins, Terraform, Mesos и куче другого софта, всего около 40 курсов.
Сами курсы бесплатные, не очень глубокие, но могут пригодиться тем, кто только начинает разбираться во всей этой кухне. Монетизироваться ребята собираются, судя по всему, через платные углубленные воркшопы.
Подробнейший туториал по настройке auto-scaling EC2 инстансов с помощью Ansible. В репозитории содержатся примеры кода с детализированным объяснением каждого шага.
http://amp.gs/8p6T
Ребята из 2ГИС опубликовали на Хабре хороший сборник трюков, помогающих облегчить работу с Github: от способа быстрого получения публичного ключа пользователя до небольшого мануала по консольному клиенту Hub.
http://amp.gs/8Bzs
Пост-мортем (разбор причин аварии, действий по ее устранению, а также обсуждение того, что можно улучшить в системе для того, чтобы проблема не повторилась) недавнего получасового отключения Stack Overflow.
Вкратце: неоптимальный регексп вызвал высокую нагрузку на CPU (ReDoS - Regular expression Denial of Service), из-за чего главная страница сайта, на которой и срабатывал этот регексп, оказалась недоступна, а load balancer, проверяющий доступность бэкенда только через доступность главной страницы отключил весь бэкенд целиком.
http://amp.gs/8BVs
По этому поводу неплохо будет вспомнить прошлогоднюю статью от инженеров Etsy, подробно разбирающую процесс постмортемов в их компании: http://amp.gs/8B9V, а также их php-сервис morgue, предназначенный для удобного восстановления последовательности событий аварии: http://amp.gs/8B9U
Проект #DockerSwarm2000, о котором мы писали несколько дней назад (http://amp.gs/8BRZ) закончился успешно. Ребята объединили 2384 ноды в один огромный Swarm-кластер и запустили на нем почти сто тысяч контейнеров. http://amp.gs/8BRm
Отличная статья от мейнтейнера www.devopsbookmarks.com про ряд заблуждений, которые могут привести вас к тому самому состоянию over-engineering'а в вашем проекте, которое мы все всегда стараемся избежать.
http://amp.gs/8BUH
Вышел Ansible Tower 3 (http://amp.gs/8nfW) - enterprise решение для управления инфраструктурой. Tower предоставляет веб-интерфейс для Ansible, позволяющий просматривать отчеты о деплое, разграничивать доступ к разным частям инфраструктуры и управлять заданиями и нодами прямо из браузера.
Среди новшеств отмечается: более удобная система прав и ролей, встроенный механизм нотификаций в Slack, HipChat, PagerDuty, Twilio, IRC и на почту, интеграция с Red Hat Satellite и Red Hat CloudForms.
http://amp.gs/8nfL
Те, у кого нет лишних нескольких тысяч долларов на Ansible Tower, могут попробовать опенсорсную альтернативу: ansible-semaphore (http://amp.gs/8nee).
Несмотря на 1000 звезд на гитхабе, информации об этом продукте в сети крайне мало, удалось найти только вот эту статью: http://amp.gs/8ne7
Цикл из двух статей от инженеров Uber про их технологический стек.
Часть первая, про платформу: http://amp.gs/8nPk
Часть вторая, про приложения и маркетплейс: http://amp.gs/8nPe
Компания Galactic Fog анонсировала Gestalt, фреймворк для деплоя serverless приложений в DC/OS кластер. Поддерживаются приложения, написанные на .Net, Javanoscript, Java, Scala, Ruby и Python.
http://amp.gs/8ngE
Перепроверьте настройки своих Docker Registry. Специалист по безопасности avicoder "хакнул" инфраструктуру Vine (сервис для загрузки коротких видео, куплен Twitter) и получил доступ к docker-образам компании, содержащим, в том числе, и исходный код сервиса.
Ну, хакнул - это конечно громко сказано. Выяснилось, что инженеры Vine попросту не закрыли публичный доступ к своему registry, и тот был свободно доступен по публичному адресу в интернете.
В итоге все кончилось хорошо - registry прикрыли, avicoder получил 10000$ по bug bounty.
http://amp.gs/8GmP
Вышел в свет Dependency CI - сервис для проверки зависимостей ваших проектов. Dependency CI интегрируется в Github workflow и осуществляет контроль за лицензиями используемых в проекте библиотек. Также он умеет находить неподдерживаемые (deprecated и unmaintained) библиотеки и зависимости с уязвимостями.
http://amp.gs/8Gpo
В блоге Deis (Heroku-подобный open source PaaS на базе Kubernetes) опубликовали разбор работы хранилища образов, volumes, механизма copy-on-write и различных storage drivers. Материал не сильно глубокий, но будет очень полезен тем, кто только начинает разбираться с Docker.
http://amp.gs/8Gn8
На канале Badoo Development опубликовали видео докладов с прошедшей в июне DevConf 2016
https://www.youtube.com/playlist?list=PL3xVZC4USRNSwvepfo1BGOP5KWx6h9-vp
Инженеры из Confluent написали пару статей про работу с Kafka Streams (библиотеки для stream processing, способной в ряде случаев заменить Apache Spark, обзорный пост можно прочитать здесь: http://amp.gs/8xIg).
Масштабирование приложений на Kafka Streams: http://amp.gs/8xI4
Безопасность Kafka Streams: http://amp.gs/8xI9
Нидерландская компания DutchCoders собрала все AWS API в удобную таблицу с возможностью поиска и фильтрации: http://amp.gs/8xmr
Аналогичная таблица есть и для EC2 инстансов: http://amp.gs/8xmO
Вышел Apache Mesos 1.0. Mesos - это платформа для управления кластером, позволяющая запускать распределенные приложения, абстрагируясь от вычислительных ресурсов отдельных машин, а также динамически управлять их размещением. Система горизонтально масштабируется вплоть до нескольких тысяч узлов. Поддерживается работа с Hadoop, MPI, Hypertable и Spark.

Особенности новой версии:
Новый HTTP API, упрощающий создание фреймворков для работы с Mesos;
Унифицированная система работы с контейнерами, позволяющая запускать Docker/Appc контейнеры без непосредственного обращения к docker engine или rkt;
Механизм изоляции контейнеров (предложенная проектом CoreOS спецификация CNI - Container Network Interface). С ее помощью контейнерам можно выделять адресное пространство и подключать их к разным типам IP-сетей;
Поддержка использования Nvidia GPU в качестве ресурсов для унифицированных Mesos-контейнеров;
Добавлена авторизация и аутентификация для многих методов API;
Добавлена поддержка Windows (пока в статусе бета).

Новость в блоге Apache Foundation: http://amp.gs/8xZ5
Полный Changelog (осторожно, очень много текста): http://amp.gs/8xZQ;a=blob_plain;f=CHANGELOG;hb=1.0.0
Вышел Docker 1.12.

Важные новшества по сравнению с предыдущей версией:
Оркестрация. Появились команды swarm для управления кластером, node для управления нодами и service для деплоя контейнеров в кластер;
В Dockerfile добавлены директивы HEALTHCHECK и SHELL, для проверки приложений и задания дефолтной оболочки соответственно;
Серьезные улучшения в сетевой части: MacVlan драйвер перестал быть экспериментальным, добавлен load-balancing, добавлено шифрование к overlay-сетям.

http://amp.gs/8x2p