🎯 Арбузные метрики. Кто виноват?

Кажется, всё идёт по плану: на дашборде — сплошной зелёный цвет, в отчётах — KPI достигаются, velocity стабилен. Но ты смотришь глубже — и видишь красную сердцевину: технический долг, недовольные пользователи, фиктивные таски и «true unit-тесты». Это — «арбузная» метрика. Зелёная снаружи, красная внутри.

В чём же настоящая проблема?

❶ Выстроили систему наказаний и ожиданий.
Красный цвет = виновный. Зелёный = молодец.
Что будет делать любая нормальная команда? Правильно: подкрашивать. Не потому, что они лукавят, а потому что они хотят выжить.

❷ Сами придумали формулу «зелёного».
Вы определили, что хорошая команда — это та, что закрывает 60 сторипойнтов. Или держит 85% покрытия. Или выкатывает всё по плану. Команда нашла способ соответствовать этим правилам — пусть даже в ущерб ценности для бизнеса.

❸ Проблема не в людях — проблема в метрике.
Люди адаптируются к системе, как вода — к сосуду. Их цель — не фрод, а избегание наказания. Если лазейка есть, она будет использована.

🔥 А теперь самое главное: кто виноват?
Не разработчик. Не QA. Не DevOps.
Виноват тот, кто сформулировал систему измерений, не объяснив, зачем она нужна и что она должна изменить.

Если ваши метрики поощряют output (больше штук), а не outcome (больше ценности) — вы проиграли.

Если команда не слышит клиента — вы играете в отчёты, а не в продукт.

Если dashboard весь зелёный, а клиент пишет «ужас» — это не успех. Это сломанная обратная связь.


💡 Решения есть:

Метрики должны рождаться вместе с командой, а не «спускаться сверху».

Ценность для клиента — главный критерий. Не спринт, не сторипойнт, не процент покрытия.

Красный статус — это сигнал о помощи, а не сигнал к казни.


🎤 А когда услышите «у нас внутренний продукт, нет клиентов» — просто знайте: перед вами не объективная реальность, а оправдание собственной беспомощности. Как любую задачу можно декомпозировать, так и любого пользователя можно найти.

Дополнительные исследования и советы по теме на дзене

Присоединяйтесь к Канбан клубу

miniCOIL - это уже прорыв или ещё рывок?

Qdrant выпустили статью о подходе miniCOIL и выложили модель на HF. Что примечательного и в чём суть?
Позволю себе небольшой экскурс в смежные подходы.

Старый-добрый BM25 работает неплохо, много где применяется(от elastic search до факторов ранжирования Яндекса). Но когда дело доходит до понимания смыслов слов - у него начинаются проблемы.
Типичная реализация BM25 предполагает простой плоский словарь(word2vec) и постоянный расчёт IDF(word), который меняется при каждой индексации документов. И по сути здесь сразу 2 проблемы:
- Не учитываются гомографы, т.е. нет разницы между смыслами одинаковых слов. Например: apple - это компания или фрукт?
- Важность/значимость слова определяется по сути его частотой. Бонус даётся более редким словам в индексе и частоте слова в документе.
Да, разные компании по-разному подставляли костыли к этому простому принципу, но по-настоящему фундаментальную проблему это не решало.

Есть также SPLADE - модель учится оставлять у документа и/или запроса только самые важные термины, добавляя при этом новые слова-синонимы, которых не было в тексте.
Внутри BERT-подобный трансформер, разреженный вектор, понимание смыслов.
Проблемы SPLADE:
- Он ОЧЕНЬ медленный, а модели большие.
- Плохо работает вне своего домена - со знаниями, которые раньше не встречал при обучении ничего хорошего не выйдет.
- Тренируются под конкретный язык. Есть вариации с мультиязычной тренировкой, но там не всё так просто.
- По сути для реалтайма он не подходит, потому что разрабатывался немного для других целей.

Qdrant вдохновились SPLADE и сделали свой BM25 с блекджеком и векторами - BM42. Для семантики нужно что? Правильно! Трансформеры и внимание. Взяв матрицу внимания из sentence-transformers/all-MiniLM-L6-v2 мы получаем самые важные токены. Потом токены объединяются в слова и на выходе имеем самые важные слова. А дальше уже перемножаем их "важность" на их IDF. Таким образом якобы получается некий учёт какой-то там семантики и смыслов. Работает быстро, показывает какую-то эффективность, но всё равно не является достаточно надёжным и универсальным самостоятельным решением, хотя бы потому что MiniLM делался для небольших текстов(на то он и sentence transformer).

Подход COIL работает на токенах. BERT-подобная модель представляет их в N-мерном пространстве(например в 32-мерном). При поиске — берутся только те токены, которые совпали с запросом. Их мы ищем нашем разреженном индексе, вычисляем скалярное произведение векторов и получаем, что контекст уже учитывается достаточно хорошо. Но COIL обладает примерно такими недостатками, что и SPLADE - зависит от домена, работает на токенном, а не словарном уровне и т.д.

Qdrant решили развить дальше свою идею с BM42. Сначала подумали, что 32 измерения - слишком много для описания смысла каждого токена(т.е. 378 от MiniLM их устраивали что ли?). Потом решили, что надо бы снизить доменную привязанность и избавиться конечно же от просчёта по токенам и перейти на слова.
В итоге они сделали 4-мерное пространство "смысла" для слова. При этом трейн осуществлялся на простом обобщенном корпусе документов, без датасетов "вопрос-ответ" - модель учили искать смыслы между словами просто по текстам через манипуляции с эмбеддингами от того же MiniLM. Получился этакий IDF-подобный статичный словарь с какими-то семантическими свойствами слов, описанных в 4D пространстве. Дальше это просто используется в качестве множителя в BM42.
Тренируется относительно быстро, инференсится быстро, смыслы как-то понимает.

Вот и весь смысл miniCOIL.

Почему не стоит он такого нашего с вами внимания:
- Qdrant натренили только английскую модель.
- Жесткая привязка к статичному словарю - их английский словарь состоит из 30к слов.
- Подход хоть и не лишен здравого смысла, но всё равно крайне экспериментальный, а Qdrant уже известны своими ошибками в бенчмарках, когда преувеличивают показатели замеров по ошибке.

посмотрела тут сериал «разделение» (severance). ключевая метафора про отделение «рабочего» и «личного» я — огонь. правда, во втором сезоне началась голубая муть, так что третий ждать не буду 🙈

но сама идея зацепила:

мы (ну, по крайней мере, я) реально используем разные версии «себя» для разных обстоятельств. на работе — одна личность, дома — совсем другая, а с друзьями — третья. раньше особо не задумывалась, хорошо это или плохо — просто факт: есть окружения, где не можешь вести себя «как дома».

ну естественно, мне стало интересно, что на эту тему говорит наука. 🤓 оказалось у нас реально формируются отдельные «версии себя» под разные оказии:

1️⃣ наш мозг реально имеет механизм работы с «разделением» 🧠
исследования (crittenden, 2015) показывают, что при переключении ролей активируется default-mode network — и можно предположить, что это та часть мозга помогает нам «включать» нужную автобиографию к текущему контексту.

2️⃣ segmentation vs integration (boundary-work, 23)
люди различаются по стратеги­ям разделения: строгая граница «дом/работа» (segmentation) или плавное смешение (integration). стресс и конфликты растут, если твоя личная стратегия не совпадает с культурой команды или правилами компании. теперь понятно, почему у тебя бомбит от того, что твоему коллеге норм — ты интегратор, а он сегментатор! 🤓

3️⃣ self-complexity (самосложность) или ролевое многообразие
чем больше у человека независимых (но при это не противоречащих друг другу) ролей, тем устойчивее он к стрессу (linville, 1987)! 💪

4️⃣ эмоциональные маски (surface acting)
на работе часто приходится показывать эмоции, которых реально не чувствуешь. это называется «поверхностная игра». большой мета-анализ (hülsheger & schewe, 2011) показывает, что такая игра быстро сажает батарейку и ведёт к выгоранию. 🪫

5️⃣ self-discrepancy — несоответствие между «я»
когда между твоими версиями личности возникает конфликт («фактический я» ≠ «идеальный я» ≠ «должный я»), появляются тревога и чувство вины (higgins, 1987). 🥲 крч, не перегибайте с идеальными версиями себя.

---

кстати, недавно сама попала в такую ситуацию:
ездили с командой тусить под Вологду, и я впервые взяла с собой мужа на рабочую тусу. в первый же день случился разрыв шаблона. вот мой дом (муж), вот работа (друзья-коллеги), и всё это вместе! «рабочая Даша» и «домашняя Даша» внезапно столкнулись, и пришлось срочно сливать их в одну личность 😅

интеграция прошла без катастроф, хотя было сложновастенько переключаться между «сегментами».

---

выводы:
- много ролей ≠ автоматическая броня от стресса. важнее, чтобы роли не конфликтовали.
- «маски» на работе = прямой путь к выгоранию. чем чаще надеваешь — тем быстрее садится батарейка.
- конфликт между фактическим и идеальным «я» провоцирует тревогу и вину. а это дешевле предотвращать, чем лечить! ☝️

а у вас как? вы дома и на работе — одна версия себя или всё-таки с поправками? 🤓
#истории@smartdaria