🛫 Ускользающая мудрость: Стоимость прокачки любой метрики в какой то момент становится запредельной и для достижения максимальной пользы нужно комбинировать разные драйверы, опытным путем находя точки где дальнейшие инвестиции не разумны.

Иллюстрация таких «точек» на примере пользы от BI.

Последний график претендует на другую динамику.
Нужно вложить много, но и масштабируемость пользы будет выше. Нет?

На прошедшей на неделе стратсессии по развитию BI в Авито родились эти графики и показались свежим откровением. Сейчас смотрю - вроде база.

Воистину мысль осознанная заново - новая мысль.

AI Актуалочка

На последних стратсессиях по данным и аналитике - встретил новый фактор. Блок некоторых участников обсуждать и комититься на долгосрочные цели. Причина - зачем мы строим планы в текущей парадигме, если вот прям совсем скоро GenAI трансформирует все. Приходится тратить много сил, чтобы вернуть креатив и вовлеченность

Кстати - Про проблему FOMO (Fear of missing out, страх, что все что-то знают и делают, а только ты – все упускаешь) в контектсе GenAI истерии вышел терапевтический выпуск с Евгением Котом. Помогает. Главное не поймайте ФОМО во время прослушивания подкаста про ФОМО.

В итоге это проводит к двойственной стратегии - условно вы планируете и "старый BI" с его понятными практиками и пользой и "новый BI" с этими всеми экспериментами и гипотезами. В условиях нехватки ресурса - это такая себе стратегия, ну а как иначе. Нельзя останавливаться - надо бежать во все стороны, и при этом не отставать (сарказм).

Я писал про DG здравого смысла, про то, что надо трезво оценивать текущую и целевую зрелость своей компании с учетом ее рынка и размера. Видимо нужна такая же модель зрелости для AI.

Наверное там должны быть тезисы типа:

- если твоя выручка меньше ярда долларов, (или) ты не техкомпания - не трать деньги на хостинг своей Gen AI инфры. Следи за трендами, и качай свой Core BI, хранилище и DQ. Максимум делай 1 пилот по самому критичному AI usecase своего бизнеса.

- если ты относительно богат и лидер отрасли - подели бюджет на три части:
1/3 на дата гавернанс на построение качественного слоя дата продуктов и метаданных, управление рисками
1/3 на разработку: proof-of-concept'ы по консервативно ранжированному списку юзкейсов, найм и обучение людей
Только 1/3 на инфру.

Посерчил и не нашел ничего толкового. Только вендорский и big4 булшит.
Видимо рано еще.
Если кто находил что толковое по GenAI зрелости - кидайте.
Ссылки на более-менее интересные статьи, что я нашел - оставлю в комментах.

Бенчмарки по численности и функционалу data ролей

В этом году делал полевой ресерч структур дата/BI команд в российском Tech сегменте (cпасибо всем за участие).
В эту же тему делал ранее более широкий опрос.
В итоге после очистки осталось 64 российских компаний из разных отраслей и я таки собрал данные в публичный деш.

Вот хайлайт выводов

Пропорции ролей

На 1 data роль - 11.7 casual users (обычные бизнес пользователи)
На 1 BI/DA - 25 casual users
На 1 DE - 1.9 BI/DA

Структура data ролей (в среднем):
51% — BI/DA (на 1 BI - 8-10 Data-аналитиков)
26% — Data Engineers.
17% — Data Scientists.
7% — DG/DQ

В условном IT+ecomm - количество дата ролей значимо больше, чем в других отраслях:
На 1 data роль - 8.3 casual users
На 1 BI/DA - 15 casual users

Воздержусь от других выводов - слишком малая выборка и много вопросов к тому кто, кого, куда относит на стыках DE-BI, DA-DS.
Кажется специфика компании ее история и аналитическая традиция влияет на состав (и нейминг) ролей не меньше, чем размер или отрасль.

Данные можно соотнести с databenchmarks.
Забавно что если сделать регруппинг моих ролей по их корзинам insight / engineering / ML (DS попадает в Insight, BI и DG в Engineering) то получаются очень близкие цифры.

Другие наблюдения из интервью

BI COE/Core BI

В децентрализованной модели - масштаб спонсирует организацию: при небольшом числе доменов и BI-аналитиков (менее 30) - BI CoE себя не окупает.

При росте возникает BI Core/CoE, который берёт на себя стандартизацию, кросс-доменные практики работы с качеством, демократизацию, обучение, координацию инициатив развития.

Триггер - когда несколько доменов начинают автономно строить свои собственные процессы управления BI/данными.

Размер Core BI обычно 3–5 человек. Больше - только если команда берет на себя дополнительные домены на поддержку, как правило корп функций.

Есть варианты «виртуального» CoE (сборные советы чемпионов) - могут давать ограниченный эффект на малом-среднем масштабе.

Другие Роли

- Подход 1: BI работает рядом с SA и DE, деля между собой функции в BI-цикле. BI - деши и репортинг витрины. SA и DE - качество остальных слоев данных.
- Подход 2: BI как fullstack/AE. DE занимается платформой и кор слоем витрин.
При этом все может быть гибридно и неоднородно внутри одной компании от домена к домену.

Курирование доменов

Зрелые компании вводят дополнительную роль Дата партнеров (нейминг разнится), отвечающие за BI сертификацию, полноту метаданных, за качество данных внутри домена. Это могут быть BI-лиды, системные аналитики. Роль замыкает на себя рутины гавернанса.

Кому есть что добавить - велком