В общем тут такое дело. Elastic (компания) выпустили rc1 для elasticsearch stack 6.0 (сори за повторный пост, после редактирования пропали ссылки)
Коротко о изменениях:

Elascticsearch 6.0.0 — индексы будут занимать меньше места. В некоторых случаях аж на 46% меньше. Сделано это за счет отказа от поля _all (давно пора) и за счет переезда на Lucene 7.0 в котором был переделан механизм работы с редкоиспользуемыми полями (вот тут по ссылке они неплохо объясняют как это работает). А ещё в новом эластике появилась такая фича как index sorting, которая позволит очень сильно ускорить поиск в определённых кейсах, например если у вас много запросов типа «вернуть top n значений». Ещё в эластике обновили X-Pack, но изменения касаются в основном только безопасности. Кстати, не забывайте, что в версии 6.0 в рамках перехода к полному отказу от мультитиповых индексов вы сможете создать только один тип на индекс. Подробнее тут.

Kibana 6.0.0 — множество мелких улучшений и внутренних изменений. Из интересного — отказались от поддержи index patterns (именование индекса специальным образом включающем дату за которую в этом индексе есть события). Начиная с версии эластика 2.1 он и так может отдавать эту дату, так что специальное именование не обязательно. Это интересно, потому что по моим субъективным ощущениям отключение данной фичи существенно замедляло поиск. Также анонсировали stats/api, которое будет отдавать информацию по индексу .kibana. API будет доступно с версии 6.1

Logstash 6.0.0 — множество фиксов, которые повысят стабильность в том числе и под Windows. Также ребята отказались от переменных JAVA_OPTS и других. Ну и все коммерческие плагины теперь включены по-умолчанию.

Beats 6.0.0 — изменено количество шардов по умолчанию в случае если вы пишете напрямую из beats в elasticsearch. Теперь Metricbeat и Heartbeat будут создавать индексы с одной шардой, а Filebeat, Winlogbeat, Auditbeat, и Packetbeat с тремя.

И ещё одна интересная новость — в альфу вышел Elastic APM — сервис для мониторинга производительности приложения (типа New Relic). Сейчас доступно только для NodeJS и Python, но обещают больше языков (вот здесь идёт голосование за языки). Немного позже я сделаю обзор в своём блоге http://dvps.blog

kubesh это маленький и очень полезный скрипт, который позволит вам более-менее удобно работать с несколькими кластерами кубернетиса.

В полку юникернелов пополнение: atmanos для golang. Решение достаточно интересное хотя бы тем, что не требует от программиста почти ничего, кроме как запустить команду билда.

Пока одни выбирают, подписаться на PagerDuty или VictorOPS, или следят за PagerTree, другие пилят своё решение на коленке.

Вот, например, статья о системе звонков при проблеме, собранной из -говна-и-палок- Twilio, AWS CloudWatch, SNS и AWS Lambda

#monitoring #aws

Тем временем как-то мимо всех прошла новость о том что Apple открыли исходный код к ядрам ios и osx. http://www.opensource.apple.com
У любителей хакинтоша должно быть праздник. Ждём порты OSX на все ноутбуки страны.

А тем временем в мастер графаны таки зашел cloudwatch. Можно качать ночный сборки и начинать использовать 🙂

kingshard — новая, достаточно быстрая прокся для MySQL. Как вы наверное догадались по названию основное её отличие от других это облегчение шардирования mysql. Впрочем для разделения read\write она тоже годится. По скорости, как заявляют создатели просадка будет процентов в 20 от работы напрямую с MySQL.

вышел пост от Docker о поддержке comtainerd 1.0 beta в кубернетисе 1.8. Если коротко, то containerd это компонент для того чтобы пулить и запускать контейнеры, который специально разработан для того чтобы нормально интегрироваться в все эти ваши кубернетисы и месосы О чём имеется gRPC api. Ну а детальнее информация в посте.

Ждали ли вы десятую постгрю так как ждал её я? В общем релиз из самых ожидаемых фичей - логическая репликация, которая позволит отсылать модификации в другие инстансы постгри на уровне бд или даже таблицы.
Соответственно из этого выплывает следующая фича: декларативное партиционирование таблиц (на этом моменте все любители пихать много данных в постгрю зашлись в радосном танце)
Ещё улушили работу с параллельными запросами и добавили кворум коммит на синхронизацию изменений (теперь во время репликации можно настроить кворум, мнение которого будет учтено при решении записались данные или нет)
Ура, товарищи, светлое будущее наступает!

Второй важный релиз за сегодня - вышла rc-0 prometheus 2.0

Пофиксили основные баги и можно уже начинать тестировать в стейджинге.

Напомню, что в версии 2.0 ребята переработали хранение данных и сторадж теперь по их словам должен работать в несколько раз быстрее. Да и сам прометеус должен жрать меньше CPU. Вот статья для интересующихся.

Антон Кошевой запостил в слак интересную статью о том как тестировать чатботы. Если коротко, то пожалуйста, тестируйте возможные ответы, а в сообщениях об ошибке оставляйте какие-то подсказки и варианты дальнейших действий. Всё как в обычных интерфейсах, кстати.

Состояние девопса в ынтерпрайзе одной картинкой

Шесть тупейших идей в компьютерной безопасности

Боже, как же у меня подгорело от этой статьи.

Если коротко:
1. Открыть всё что не запрещено по-умолчанию — плохая идея, потому что сложно сразу понять что надо запретить.
2. Перечислять уязвимости. Потому что это создаёт иллюзию безопасности и не несёт какого-то практического смысла.
3. Тестировать и исправлять, как основной подход в безопасности. Потому что правильная архитектура изначально полечит и не допустит проблем.
4. Поощрять хакеров, потому что автор считает хакерство больше социальной проблемой. Хотя лично мне кажется что бороться с существующими особенностями человеческого сообщества достаточно тупо.
5. Обучать пользователей безопасности. Потому что вместо того чтобы учить распознавать фишинг лучше запретить аттачменты в почте.
6. Действие лучше бездействия. Просто потому что "если у вас нету тёти, то вам её не потерять"

В общем, тема для дисскусии в #security канале в slack

Вышла неплохая статья от разработчиков ScyllaDB о разных типах дискового IO в линуксе. В самой статье в сжатом виде достаточно неплохо описаны основные различия read\write, mmap и DIO/AIO.

Если коротко: используйте всегда read\write или mmap, потому что чаще всего это будет работать очень неплохо. Но если вы крутые перцы которые сами хотят инвалидировать кеш и готовы писать кучу кода ради производительности, то есть смысл посмотреть в сторону direct\async IO.

Ну и + небольшая табличка. В общем, смело рекомендую прочитать 🙂

Позавчера анонсировали systemd 235, в котором помимо прочего значительно улучшили обвязку для создания пользователя сразу под процесс. Типа чтобы у каждого процесса\группы процессов был свой уникальный UID.

Собственно, об динамическом создании пользователей и вышла эта статья: http://0pointer.net/blog/dynamic-users-with-systemd.html

Попалась на глаза интересная утилитка, замена find - FD. Написанная на расте и очень быстрая (по крайней мере в моих локальных бенчмарках она была быстрее чем find, в бенчмарках разработчика тоже быстрее).

Я вот, кстати, не понял, смехехуечки это ок для телеграм канала или нет?

Вышла одна пятая (0.2) версия itsio - платформы которая позволяет менеджить, мониторить и безопасить микросервисы.

Ребята добавили возможность подключать сервисы извне кубернетиса, шифровать трафик при помощи встроенного CA storage, добавили достаточно интересную возможность расширять itsio и пофиксили несколько надоедливых проблем с кубером.

https://istio.io/blog/istio-0.2-announcement.html