Уже неоднократно сталкивался с тем, как тяжело дается управление процессом создания сложных систем, на которыми работает множество команд.

Сначала все вроде идет хорошо и разумно. На старте проекта умные люди разбивают систему на части, собирают команды для разработки отдельных частей, а потом все идёт не то, чтобы плохо... но вот как-то не так, как задумывалось.
Команды отдельных подсистем смотрят больше внутрь, чем наружу, концентрируются на своем кусочке и его взаимодействии с другими подсистемами. Внутри команд возникает вполне себе дружба, синергия, развитие и эволюционная архитектура. Но прочерченные между подсистемами границы оказываются неожиданно очень жёсткими. На уровне всей системы командная работа сама по себе не возникает. И неважно, в одной организации эти команды, или в разных.

Если просто сложить в тазик печень, сердце, лёгкие и т.п., то человечек не сложится. Система - это не только компоненты, из которых она состоит, а ещё и связи между ними. И связи эти порой оказываются сложнее, чем сами компоненты.

После разделения ответственностей получается, что каждая команда отвечает за свою подсистему, а связи между системами неожиданно оказываются без хозяина, что приводит к неприятным побочным эффектам. И тут, как всегда есть две крайности - либо системы достаточно автономны и изолированы, тогда эти связи изменяются редко, либо подсистемы связаны сильно, связи живые, динамичные, активно развивающиеся.

В первом случае в архитектуре отдельных подсистем, которые во власти своих команд, поначалу все хорошо. Но если связи меняются редко, то, как правило, нет простых и доступных организационных механизмов изменения отношений между подсистемами. Чтобы что-то добавить или изменить нужно пройти 7 кругов ада и 18 раундов согласований. Итог - изнутри (каждой!) команды остальное окружение воспринимается уже как что-то далекое, чужое и неподвластное. Как следствие, проблемы, которые можно было бы решить уточнением и точечными изменениями контрактов или ответственностей на границах подсистем, решаются сложными компенсациями внутри каждой подсистемы. Сложность растет на ровном месте.

Во втором случае - напротив, динамичность связей необходима для развития и функционирования системы, поэтому сразу закладываются механики и организационные механизмы для их создания и изменения. Связи создаются и модифицируются, но практически бесконтрольно, так как создать их легко, но ответственного нет, документации по уже имеющимся отношениям нет, критериев допустимости нет и т.п. Поэтому связи и отношения растут как саксаул или как одуванчики на некошеном газоне. И неожиданно строгая и аккуратная архитектура на старте постепенно и незаметно превращается в перепутанный комок взаимодействий, хотя каждая подсистема по отдельности вроде как и ничего.

Интересно, с чем связаны эти эффекты? Это чьи-то недоработки или закон природы? Есть ли рецепты борьбы с ними или нужно признать, что это следствие особенностей человеческой психологии и смириться?

#накипело #мысливслух

"Мы сейчас тестовое облако развернем на наших серверах" #ПодслушаноЗаСоседнимСтоликом

"Есть такое понятие - девопс, ну или архитектор, мы его сейчас активно ищем" #ПодслушаноЗаСоседнимСтоликом

Как раскладывать события сервиса по топикам в кафке?

Может быть лучше делать гранулярные топики, и публиковать каждый тип в одном топике? Тогда у подписчиков полная свобода, они смогут гранулярно выбирать, на какие события подписываться. Но, правда, если консьюмер обрабатывает несколько типов событий и читает их из разных топиков, то гарантия порядка обработки событий теряется. Можно, конечно, сначала подчитывать события из разных топиков, сортировать их по метке времени, а потом уже обрабатывать... но и тут неприятный побочный эффект: пока мы собираем и сортируем события - увеличивается задержка.

Тогда может быть лучше складывать события в один топик? Так мы сможем гарантировать порядок событий, но, с другой стороны, если консьюмеру нужен только один тип событий, то он все равно вынужден просматривать все и выбирать нужные (вспоминается анекдот про сортировщика апельсинов).

К чему я все это. Выглядит так, что невозможно рационально принять решение о том, как стоит раскладывать события по топикам, находясь мыслями внутри продукта/сервиса. "Правильная" раскладка зависит от того, какие есть требования к пропускной способности, производительности, требованиям к КТС и т.п. системы в целом, от того, как система разбита на сервисы, сколько потребителей/консьюмеров событий и какие именно события они потребляют.

Т.е. структура топиков в микросервисной системе - это вопрос архитектуры не отдельных микросервисов, а системы, как целого.

Event Sourcing — это паттерн проектирования в информационных системах, который заключается в сохранении состояния системы путем сохранения истории всех событий, происходящих в системе.

Вместо того, чтобы сохранять текущее состояние объекта, система сохраняет все события, произошедшие с объектом, и воссоздает текущее состояние, используя эти события.

Когда происходит изменение состояния объекта, система создает новое событие и сохраняет его в хранилище событий. Это событие содержит информацию о том, что произошло, а не о текущем состоянии объекта. При необходимости система может воссоздать текущее состояние объекта, применяя все события из хранилища событий.

➖Хотите узнать подробнее, что такое event sourcing и какие преимущества и недостатки он имеет?
➖Хотите понять, какие трудности могут возникнуть при использовании этой технологии?

Тогда присоединяйтесь к нашему вебинару «Плюсы, минусы и подводные камни Event Sourcing», который состоится 28 cентября в 19:00 МСК

На вебинаре Станислав Щетинников из Сбера подробно расскажет о том, как на самом деле работает event sourcing, какие задачи он решает и какие преимущества он имеет. Мы также рассмотрим недостатки этой технологии и поделимся опытом в использовании event sourcing в реальных проектах.

Вебинар будет полезен разработчикам, архитекторам, техническим руководителям, которые хотят узнать больше о новых технологиях и подходах в разработке программного обеспечения.

✔️Подробности и регистрация

Для вывода важной информационной системы в промышленную эксплуатацию обычно нужно получить одобрение со стороны специалистов по информационной безопасности. Среди документации, которую они требуют, присутствуют схема, перечень и описание информационных потоков. По опыту, составление этих схем и описаний представляет определенную сложность и для разработчиков, и для архитекторов, и для аналитиков, так как это представление немного с другой точки зрения, чем они привыкли.
Это описание будет легче составить, если понимать, на что именно смотрят ИБ-шники.

1. Говоря об информационных потоках между системами и/или пользователями, безопасников интересует в первую очередь адекватность мер защиты при передаче информации и содержания передаваемой информации. Поскольку они редко могут себе позволить глубоко погружаться в контекст каждой информационной системы, которую они анализируют, то для простоты оценки адекватности мер защиты информацию принято разделять по категориями - общедоступная, служебная, персональные данные, коммерческая тайна, гостайна и т.п. Для каждой категории - свои правила и требования по защищенности. Поэтому описывая содержание информационных потоков концентрируемся на указании ключевых сущностей, которые попадают под знаковые категории. Перед описанием содержания потоков полезно ознакомиться со списком значимых категорий и описание данных, которые под эти категории попадают. Обычно этот перечень содержится в политике информационной безопасности организации, в положении о коммерческой тайне и других подобных документах, которые подписывают все (или почти все сотрудники), но мало кто их читает :) , В дополнение к бизнес-данным не забывайте указывать в том числе и способ передачи аутентификационной информации - где-то это логин пароль, а где-то JWT-токен.
Например:
Клиент -> Сервер: Аутентификация: токен аутентификации (JWT), Запросы на получение данных о заказах клиента, включает идентификатор заказа.
Сервер <- Клиент: Данные о запрошенном заказе клиента, включая персональные данные клиента (номер телефона, адрес, паспортные данные), перечень товаров и общая стоимость заказа.

2. В описании информационных потоков обращаем внимание на направление информационного обмена, и помним, что направление обмена не обязательно совпадает с направлением сетевого подключения. Например, клиент подключается к серверу, т.е. стрелочка на HLD-диаграмме будет от клиента к серверу. Да, клиент запрашивает информацию у сервера, и потом информация движется обратно, от сервера к клиенту. Большинство информационных потоков - двусторонние, построены по модели запрос-ответ. Нужно не лениться и отдельно описывать содержание потока каждого направления.

3. Кроме собственно потоков и их направления важно отразить на схеме сетевые зоны, в которых располагаются участники информационного обмена. Если обмен информацией происходит внутри защищенного периметра, то требования к способам аутентификации и защите каналов, по которым происходит передача информации, существенно ниже, чем в случае, когда информационный обмен происходит по внешним, неподконтрольным каналам связи.

МТС делится информацией о внутренней кухне корпоративной архитектуры

Спасибо прекрасному каналу "Архитектура ИТ Решений" за ссылку на пост https://www.jamesmichaelhickey.com/consistency-boundary/
С одной стороны, никаких особенных открытий там не прозвучало, а с другой стороны, как-то по новому для меня зазвучала фраза, что границы агрегата определяются не столько границами сущностей и их свойств, сколько инвариантами/бизнес-правилами.
Агрегат должен быть как можно меньшего размера, чтобы снизить возможную конкуренцию, но при этом включать все данные, необходимые для контроля и соблюдения инварианта.

Про разные типы прохождения обучения со стороны обучающегося.

1. Стимулирующее добровольно-принудительное обучение. Это про обучение в институте, на тренингах от работодателя и прочих мероприятиях, когда обучение проходит без наличия у обучающихся реальных проблем, но зачет сдать надо, а то из института выгонят или начальник заругает. Но все-таки какие-то знания в голове остаются, и с прошедшими подобные тренинги людьми как-то можно потом работать. У них есть хотя бы теоретические знания о том, что означают эти непонятные слова, схемы и паттерны, а также смутное ощущение зачем все это нужно. Так массово все проходят курсы по охране труда, я так проходил сертификацию по некоторым продуктам.

2. Целевое мотивированное обучение. Это про ситуацию, когда у человека уже есть сложности, он побился об стену и понимает, что "по наитию" проблему не решить, а потому он ищет новые (для него) пути решения. У такого человека есть большая внутренняя мотивация. Он находит курсы, тренинги, читает книги, смотрит ролики не просто так, а потому что пригорает лично у него. Он не просто изучает материал, а сразу применяет/адаптирует то что видит и слышит к своим реальным задачам, невольно думает, как он с этим будет работать в дальнейшем. По этому пути идут немногие, но именно такие люди необходимы для проведения изменений в организациях.

И в продолжение поста.

Для освоения организацией сложных практик, таких как организационное моделирование, DDD и т.п, которые в институтах еще массово не рассказывали, необходим мотивированный персонаж (хорошо если не один), прошедший обучение второго типа, и имеющий полномочия или влияние для проведения в организации массового обучение, чтобы "пропитать" коллектив новыми для него понятиями и моделями.

Тогда появится хотя бы теоретическая возможность последующего включения практики в рабочий процесс.

Гарантии успеха этот путь не дает, но отсутствие массовой пропитки даёт 100% гарантию неуспеха.

В студенческие годы услышал исторический/научный анекдот. Вряд ли это реальная история, скорее притча. Но мне эта байка очень нравится, она хорошо иллюстрирует трудно вербализируемые нюансы мотивации и саморазвития.

Рассказывают, что однажды к известному физику Резерфорду пришел студент и попросился в ученики.
"Не вопрос! Давайте!" - ответил Резерфорд. "А что мне делать?" - спросил студент.
Резерфорд дал ему некоторое задание и отправил изучать и работать.
Через неделю студен вернулся со словами: "Я все сделал. Что мне делать дальше?".
Резерфорд удивился и дал ему новое задание. Через пару недель студент снова пришел со словами: "Я все сделал. Что мне делать дальше?". Резерфорд очень удивился и дал новое задание.
Когда студент через какое-то время снова пришел: "Я все сделал. Что мне делать дальше?", Резерфорд его выгнал.

Как вы думаете, почему он так поступил?

ADR как навязанное сверху решение - малополезная вещь.
Если решения не записывались до того, как сверху принесли практику ADR, значит они никак не использовались в повседневной работе. И если начать их записывать, то они от этого вряд ли станут использоваться, и эта полезная в общем-то практика превратится в формальность + лишние затраты ресурсов.

То же самое верно почти для любых полезных практик - ревью кода, инспекции, парное программирование и т.п. Если в команде есть потребность, мотивация и проблема, которую решает данная практика, то с большой вероятностью в каком-то виде эта практика в команде присутствует. В этом случае замена существующей практики на более технологичную и проверенную может дать хороший эффект. Например, уже сложилась практика записывать архитектурные решения. Шаблоны ADR могут сделать эти записи более компактным и полезными.

Как же внедрять правильные практики в организации?
Вероятно, нужно требовать не столько применять конкретные практики, сколько отслеживать и предъявлять требования к другим характеристикам/метрикам деятельности - например, скорость принятия архитектурных решений, частота переделок, количество ошибочных решений и т.п., достигнуть которых сложно без применения правильных практик, инструментов, технологий. Иными словами, создавать условия, в которых в командах возникнет потребность в зарождении полезных практик.

Сегодня упоминалось про следующий хайп после микросервисов. Не уверен, что Composable Enterprise так же хайпанет, но определенный разгон уже есть, только ближе к миру EA.

Преза почитать для тех, кто пропустил.

Я из тех, кто пропустил :) И сейчас с интересом почитал.
Стало гораздо понятнее, что именно происходит сейчас нашей компании.

Since a bounded context is a boundary for a model, it could include concepts from multiple subdomains. Or a single subdomain could be modelled as multiple bounded contexts.

Subdomains vs Bounded Contexts: Areas of the domain vs boundaries of models of the domain.

#DDD

https://medium.com/nick-tune-tech-strategy-blog/domains-subdomain-problem-solution-space-in-ddd-clearly-defined-e0b49c7b586c?utm_source=pocket_mylist

Имел вчера удовольствие полуручного мерджа веток в Archi ☹️

Выяснилось следующее. Archi (точнее, collaboration плагин) хранит специализации в файлике model/folder.xml. Если изменения в составе специализаций делались в двух сливаемых ветках, то при мердже какая-то часть может потеряться, т.к. плагин детектит конфликты только на уровне объектов и диаграмм, а специализации, похоже. сливает "как получится".

В моём случае специализации добавлялись в обоих сливаемых ветках, и, похоже, при автоматическом мердже что-то потерялось. При этом Арчи полученную модель открывает, но при попытке её сохранить ему сносит мозг, он ругается про orphaned profile и не даёт сохранить модель.
Разрулить ситуацию удалось, сделав ручной rebase средствами гита, без участия Archi, и решая конфликты на уровне xml-ей. Потом руками перетащил XML файлы некоторых диаграмм из master и вроде модель открылась и заработала.

Резюме.
Составом специализаций лучше управлять в одной ветке, не нужно их мерджить средствами Archi.
#archi