Facebook рассказывают о своём сервисе стриминга логов - Scribe.

"Transporting petabytes per hour" - вам такой объём скорее всего не нужен, но почитать интересно

#observability

Еще один экспортер для сбора метрик об утилизации кластера в Kubernetes https://github.com/cloudworkz/kube-eagle выглядит интереснее чем стандартные метрики #k8s #prometheus #exporters #utilization

Cilium описывают свою multi-master фичу или как они это называют - ClusterMesh

Должно быть интересно тем, кто собирается строить файловер между разными провайдерами

#kubernetes #networking

Пилим аутентификацию для клиентов gRPC https://medium.com/utility-warehouse-technology/grpc-client-authentication-bf899ac8ada8
#grpc #authentification #security

Готовя материал для одного мероприятия, наткнулся на бриллиантовую штуку - https://github.com/awslabs/aws-config-rdk

Кто не в курсе: AWS Config это система проверок на compliance в вашем аккаунте с поддержкой самописных правил.

Поскольку писать однотипные лямбды долго и скучно, Амазон выкатил свой девкит.

Building an AWS Serverless ML Pipeline with Step Functions
https://tech.olx.com/building-an-aws-serverless-ml-pipeline-with-step-functions-b39feed12bab

​​Слышали уже про Streamlit? Это такой Jupyter для ML. Не в том смысле, что у вас мощный веб-REPL, а по сути. Пара строчек, чтобы накидать виджетов, пара чтобы выкачать сырые данные, десяток для numpy, pandas, yolo, opencv, tensorflow или что вам там надо, и у вас шикарный интерактивный плейграунд для работы с этим всем. Почитайте Turn Python Scripts into Beautiful ML Tools, чтобы проникнуться.

#eda #kafka
Ну раз уж, видимо, неделя кафки, то вот история в двух частях(раз и два) про IQ Streams, или как запускать стейтфул вычисления на стримах. Если не интересно про стейтфул, то там еще вполне годное введение в streams и сравнение с prod\cons api

Existing ML platform architectures:

Stanford’s DAWN
Uber’s Michelangelo
Facebook’s FBLearner Flow
Google’s TFX
Netflix
Airbnb's Bighead
DataBricks’ MLflow

#bigdata #ml

Сайзинг Elasticsearch / Хабр
https://m.habr.com/ru/company/galssoftware/blog/470640/

Когда хороший opensource продукт обрастает enterprise фичами за деньги, его форкают, затаскивают enterprise фичи и выпиливают прошлые недостатки. По крайней мере стараются)

Кажется именно это происходит с Redis. Новый монстр зовется KeyDB и по описаниям еще быстрее редиски, избавился от sentinel, умеет в мультимастер и кучу другого сахара

Описание - http://bit.ly/33dIQUx
Github - http://bit.ly/2nzNkpy
Новость из канала @sysadmin_tools

Коллеги, вдруг пропустили: есть замечательный портал с отличными глубокими и не очень вебинарами на разные темы (от логов до симуляции физики сплошных сред). Если время не подходит, не переживайте все доступно и в записи.
https://aws.amazon.com/events/online-tech-talks/?events-master-ott.sort-by=item.additionalFields.startDateTime&events-master-ott.sort-order=asc