Open Policy Agent https://www.openpolicyagent.org/ незаслуженно мало освещен в интернетах. Очень сложно найти истории его внедрений (хотя они есть). Это дипломированный проект CNCF, который уже имеет множество интеграций. Мы взяли его основу для реализации межсервисной авторизации. И вот в ноябре еду с докладом на Highload++ https://highload.ru/moscow/2023/abstracts/10743
Содержание доклада это проект, который я проектировал и лидил в текущей компании весь последний год. Разработанный с нуля и внедренный в существующий service mesh с ~2500 сервисами, и который претерпел различные изменения и продолжает активно дорабатываться.
По пути получено огромное количество опыта. Тут точно есть о чем рассказать.
Основной интерес может представлять борьба с latency, валидация политик (как случайно не закрыть существующие связи), и как не заставлять пользователей учить rego и еще много другого потенциально полезного, что можно взять за идею или основу для своих решений.

В этот четверг буду с докладом на онлайн митапе. Расскажу про service mesh, как он устроен в Авито, и про межсервисную авторизацию как пример одной из возможностей меша. Конечно за менее чем полчаса сложно рассказать обо всем, что считаешь нужным и важным. Доклад будет полезен в первую тем, кто в процессе погружения в эту тему Однако, всегда можно задавать доп вопросы разной сложности на самом мероприятии или в коментах здесь. Постараюсь ответить всем.
Расписание и регистрация по ссылкам ниже.
👉 Регистрация на онлайн https://avitotech.timepad.ru/event/2620083/
👉 Регистрация на оффлайн https://avitotech.timepad.ru/event/2619816/

Алгоритмы такая штука, которая требует регулярности, иначе навык начинает теряться и забываться. Ничего удивительного, не так часто оно бывает нужно, и сильно зависит от специфики решаемых задач. Но! Удачно примененное знание в нужны момент, вероятно поможет решить задачу, которую другие не смогли, или же причинить пользу, которую смогут оценить другие. Поэтому стараюсь время от времени алго все же тренить.
Для этого использую восновном два источника, которые считаю годными и надеюсь что кому-то еще они окажутся полезными (буду признателен за рекомендации других материалов).
🔹”Грокаем алгоритмы” от Адитья Бхаргава. Коротко и понятно об основном.
🔹”Алгоритмы. Теория и практическое применение” от Стивенс Род. Использую как справочник, когда другие способы не помогли или не достаточны.
Сами задачки беру конечно же с leetcode. Раньше сидел на платном аккаунте, но профита от него не получил. Премиум полезен больше для подготовки к собесам за рубежом. Для повседневного тренинга подойдет бесплатный.
Пробовал ходить на курс от ОТУС. Но там препод уже с первых вводных занятий ушел глубоко в математику. Я для себя не нашел применения такой глубины изучения.
Ну и конечно куда же без коллег, среди которых обязательно найдутся спецы. Поделюсь одним таким из своей компании. Алексей Ивасюта ведет канал https://news.1rj.ru/str/algorithmics_cl, где подробно разбирает решение задачек с собесов. Ведь алгоритмы давно превратились в популярный инструмент проверки кандидатов (хорошо это или плохо тема отдельного разговора), и если собиратесь походить за оферами, то точно знания стоит подтянуть или освежить.

Сети для самых маленьких https://linkmeup.ru/sdsm/ Этот источник знаний поможет понять магию, которая происходит на самых низких уровнях, по которым летают наши любимые HTTP запросы. Раньше я думал "а зачем оно мне надо если я не сисадмин и сетевой инженер". Вобщем-то да. Однако, даже занимаясь продуктовой разработкой, некоторые вещи мог делать иначе. Когда имеешь дело с go, то такие ситуации случаются чаще. Помимо всего прочего, даже банальное пониманые работы NAT помогает организовать себе удобное рабочее пространство для, например, работы с веб хуками. Очень рекомендую этот мануал как первое приближение к теме. Особенно если подумываете о смене направления работы в сторону инфраструктуры.
Второй по важности пласт я бы назвал TCP/IP. Когда занялся платформенной разработкой и коснулся service mesh, то осознал масштаб упущенных знаний. По этой теме есть два на мой взгляд наиболее предпочтительных источника
🔹Таненбаум. Компьютерные сети
🔹Олиферы. Компьютерные сети (учебник в российских ВУЗах)
Я себе второй даже приобрел в бумажном виде и использую как справочник. Без этих знаний понять что происходит в современных инфраструктурных инструментах будет крайне сложно.

Нашел полезную тулзовину для любителей бОльшую часть операций с git проводить в консоли https://github.com/wfxr/forgit. Основана на fzf. Может быть полезна тем, что позвляет выполнять простые действия быстрее. Например просмотр лога и поиск по нему, checkout на комит или ветку, работы по stash и прочее. Правда я себе уже успел напилить немного хелперовhttps://github.com/antgubarev/dotfiles/blob/master/.zsh/functions/git.sh до того как наткнулся на такую штуку.

Довелось тут потрогать grpc-gateway https://grpc-ecosystem.github.io/grpc-gateway/ и оценить в работе на реальной задаче. Суть этой штуки в том, что она транслирует REST запросы в gRPC. То есть вы пишите protobuf а она генерирует вам HTTP сервис.
Для чего это может быть нужно? Например, если ваше приложение состоит из нескольких компонентов, которые должны общаться, и вам не хочется возиться с REST, ведь есть же gRPC с кодогенерацией. Но при этом один из компонентов должен таки REST предоставлять скажем для фронтента. GRPC-gateway поможет избавить от двойной работы.

Как это устроено?

Сначала вы описываете какой-то сервис в protobuf

syntax = "proto3";
package your.service.v1;
option go_package = "github.com/yourorg/yourprotos/gen/go/your/service/v1";

message StringMessage {
   string value = 1;
}

service YourService {
   rpc Echo(StringMessage) returns (StringMessage) {}
}

Затем запускаете генератор кода

protoc -I . \
    --go_out ./gen/go/ --go_opt paths=source_relative \
    --go-grpc_out ./gen/go/ --go-grpc_opt paths=source_relative \
    your/service/v1/your_service.proto

Получается несколько файликов, которые содержат http сервис с хэндлерами, которые могут превращать ваши HTTP запросы в gRPC.
Далее используете этот сгенерированный код

mux := runtime.NewServeMux()
opts := []grpc.DialOption{grpc.WithTransportCredentials(insecure.NewCredentials())}
gw.RegisterYourServiceHandlerFromEndpoint(ctx, mux,  *grpcServerEndpoint, opts)

http.ListenAndServe(":8081", mux)

Готово!

Тут же рядом можно нагенерить openAPI схему. REST реализован практически бесплатно. Приколы конечно есть свои у продукта, куда же без них, и куда стремиться тоже, но все равно это огромная польза и экономия времени.

В сочетании с kube generator можно еще
👉 Из гошной структуры сгенерить protobuf файлы
👉 Из гошной структуры генерить клиенты для CRD
👉 И даже сами CRD манифесты
То есть если один из компонентов приложения это кубовый контроллер, то вообще сказка. Описываем нашу апишку в структурах и генерим из нее вообще все. Ну почти, если не считать что куборгенератор может делать пока что только proto2 синтакс и надо все же сам сервис описать, но это все прям мелочи.

Нашел даже реальный пример - Argo продукты, которые используют всю эту машинерию, argo workflow и argocd точно. Так что в проде это используется. Рекомендую присмотреться подробнее, мне зашло.

Василий Романов выложил свой курс по Golang бесплатно в качестве новогоднего подарка. https://stepik.org/course/187490/promo
Помню как когда-то осваивал гошку по его курсам. Прекрасная подача по принципу коротко и по делу (только такое мне и заходит). А тут еще и бесплатно. Крайне рекомендую.

Я представляю вам видезапись доклада с Highload++ 2023 https://www.youtube.com/watch?v=yyrAH7nl7RM о крупном и интересном проекте межсеврисной авторизации. Я был лидом и основным разработчиком этого проекта с самого начала и продолжаю работать над ним до сих пор. В течение 30 минут я расскажу о всех важных аспектах проекта, но, конечно, за это время невозможно охватить все детали. Я сосредоточусь на самом важном.

Этот проект не только технический и связан с борьбой за миллисекунды. Интеграция в работающие сервисы - это настоящее испытание, не говоря уже об интеграции в головы пользователей. В целом проект оказался успешным, хотя и не без ошибок. Я уверен, что те, кто стоит перед подобной задачей, смогут извлечь из него полезные уроки.

В продолжение темы изучающих гошку (или углубляющихся), я мог бы дополнительно порекомендовать Go101 https://go101.org/article/101.html. Как оказывается, не все видели или знают об этом материале. Читал по диагонали и останавливался только на своих пробелах. Инженеры самых разных уровней смогут для себя найти что-то новое.

Продолжаю делиться накопившимися полезными источниками информации. На этот раз еще один достойный труд (и даже на русском) на тему проектирования API. Автор делает упор на API-first подход частенько, и можно к этому подходу относиться по-разному, но это не отменяет полезности остального материла. https://twirl.github.io/The-API-Book/API.ru.html

А вот и видео с GopherCon 2023 подъехало https://www.youtube.com/@GopherAcademy/videos

Еще один инструмент для работы с внутренними (и не только) TLS сертами. Можно использовать для реализации CA куба или автоматизированной выдачи сертификатов для mutual TLS, пользователеям и прочего. https://github.com/smallstep/certificates

Отличная книжка для желающих получить базовые или первоначальные знания в ИИ и тоже быть на хайпе и больше понимать. Много положительных отзывов от коллег и знакомых.

Маэстро возвращается. Андрей Созыкин, автор самого крутейшего на мой взгляд курса по сетям https://www.asozykin.ru/courses/networks_online (писал о нем ранее), выпустил вступительное видео к продолжению этого курса! Вернее обновлению и актуализации. Все это он делает бесплатно и весьма качественно. Ждем с нетерпением выхода лекций. Спасибо за труд!

Оказывается не все еще успели узнать о возможности обрезать capacity слайса в гошке. Когда занимаешься оптимизациями бывает и такое нужно. В новом пакете slices есть такой метод https://cs.opensource.google/go/x/exp/+/master:slices/slices.go;l=419

Давненько ничего не писал, а уже набралось много интересного. Пора это исправлять. А пока для разминки вот вам анонс на первую конфу от Авито.

Плагинизация и расширение возможностей envoy

Envoy - это действительно стандарт на сегодняшний день для использования в качестве сайдкаров, и не только. Одно из главных его преимуществ - это xDS протокол для конфигурации прокси на лету. Именно на этом построена работа таких инструментов, как Istio. Общая механика такова - пишем yaml манифесты с правилами роутинга, безопасности и прочим, а Istio конфигурирует нужные сайдкары в нужных подах.

Принцип обработки запроса у Envoy - это цепочка фильтров, которые по сути являются middleware. Из коробки доступны множество различных фильтров на любой вкус. Однако, все равно рано или поздно их может не хватить. Это произошло и со мной, когда потребовалось накрутить кэширование для авторизационных запросов для снижения latency. Существует несколько способов создания собственного фильтра:

➡️ C++ - это максимально эффективный способ с точки зрения возможностей, но также и максимально травмирующий :). Однако, если в вашей команде есть c++ разработчики, то проблем возникнуть не должно.
➡️ Golang - наша любимая "гошечка". Все достаточно просто: пишем код на основе предоставленных интерфейсов, собираем so, добавляем в образ - готово. Ограничений в функциональности не встретил.
➡️ Wasm - там тоже есть go, но только tiny-go. Это уже ограничение, например, в сетевых запросах, дополнительный latency до 6мс (по заверениям авторов Istio, но надо тестировать самостоятельно), что может быть достаточно заметно для нагруженных частей проекта. Находил тесты производительности, которые также заставляли сомневаться.
➡️ Lua - простой как палка, есть все что необходимо в плане функционала, код работает из коробки, даже не надо образ дополнять. Но Envoy буферизует запрос перед тем как отдать его в lua код (перед сетевыми запросами). Можно столкнуться, например, с проблемой "too large body".

Эти методы расширения - те, с которыми мне пришлось столкнуться ближе всего. Для простых задач я буду продолжать использовать Lua, но если логика чуть сложнее, чем изменение заголовков, то я буду смотреть в сторону Golang.

📖 Наглядные и подробные интерактивные руководства об устройстве TLS протоколов:
- версия 1.2 https://tls12.xargs.org/
- версия 1.3 https://tls13.xargs.org/

И рядом также лежит аналогичный гайд по QUIC https://quic.xargs.org/

Авито запартнерилось с GetMentor и Solvery

Теперь можно сразу посмотреть всех доступных менторов с Авито и обратиться за помощью. Я на GetMentor тоже есть . Помогаю готовиться к собеседованиям, и составлять индивидуальные планы развития как по тех части, так и по софт скиллам, включая и компетенции лида. Но бывают и консультации по конкретным проектам, и даже непосредственная помощь в качестве исполнителя.
Ни разу про это не писал раньше, но раз уж пошло такое дело, то почему бы и да 🙂