Цифровая катастрофа на Уолл-Стрит или как за 45 минут "умный" алгоритм убил компанию с 90-летней историей (и что делать, чтобы не повторить это с вашим ИИ)

Представьте: компания внедряет "революционный" ИИ для автоматизации ключевого бизнес процесса. Все в восторге, топы ждут рекордной прибыли… но алгоритм за первые 45 минут работы сжигает годовой бюджет компании. Фантастика? Увы, это реальность. 1 августа 2012 года (в мой день рождения) автоматизированная система одного из крупнейших финансовых игроков Америки Knight Capital Group совершила миллионы ошибочных сделок. Компания потеряла $440 миллионов. Это не "баг", это провал в управлении внедрения инноваций.

И уроки Knight Capital очень актуальны сейчас, когда ИИ рвётся во все бизнес-процессы.

❓Что случилось?
На 8 из 30 серверов при обновлении забыли удалить старый модуль. При запуске системы он начал генерировать ошибочные ордера на покупку/продажу акций, не учитывая реальную рыночную ситуацию. Это вызвало эффект домино: ордера сбивали цены, другие алгоритмы воспринимали их как реальные изменения и также выставляли ордера. Без защитных механизмов ошибки повторялись, что привело к 4 миллионам сделок и банкротству.
Главная причина случившегося — игнорирование рисков ИТ проекта и промышленных подходов к разработке. А главное – не соблюдение базовых процессов: тестирование, контроль версий, механизмы защиты данных и предотвращения сбоев.

💡Как нам избежать своей "Knight-катастрофы"?

📍Переход на язык денег и рисков
Не “Система может сломаться”, а “Если наш ИИ-модуль даст сбой, то это может привести к перепроизводству/недопоставкам на сумму ХХ миллионов в месяц”

Риски — это конкретные цифры. Управление ими это защита денег компании.

Используйте экономические расчёты для оценки того, сколько компания может потерять в час/день/месяц в случае сбоя ИИ-модуля. Какой потолок допустимых потерь для компании?

📍Не делаем “всё и сразу”, а разбиваем проект на этапы
Сначала за месяц разрабатываем PoC для одного показателя, чтобы на исторических данных вручную проверить и утвердить подход. Цель этого этапа – показать решаемость задачи и сделать прогноз о точности работы.
Затем этап для второго, третьего параметра и т.д. Этот подход снижает риски (риски одного этапа меньше рисков всего проекта), даёт быстрые победы и доказывает ценность.

📍Всегда есть место для MVP
Типовая задача: бизнес хочет “полностью автоматизированную систему без участия человека”. В запросе видно очень много рисков. Что делать?
Найти MVP, который даст пользу для бизнеса, но при этом не остановит весь процесс в случае проблем.

Вместо “полной автономности” согласуйте MVP, где ИИ выдаёт рекомендации, а окончательное решение принимает человек. Или где ИИ обрабатывает только низкорисковые, стандартные кейсы, а сложные передаёт человеку. Это снижает риск катастрофы, но уже дает значительную часть экономии.

Кейс Knight Capital — не древняя история. Современные ИИ-системы сложнее, автономнее и быстрее старых алгоритмов. Мощь ИИ лишь подчёркивает важность человеческого надзора и строгого управления рисками.

Главное не пугать бизнес "багами", а стать его стратегическим партнёром в цифровизации, используя язык денег, поэтапные победы и разумные MVP. Потому что настоящая "магия" ИИ проявляется, когда он работает надежно, предсказуемо и приносит прибыль.

Вчерашний Global Tech Forum выдался таким плотным по встречам и докладам, что физически невозможно было охватить всё. Зато то, что успел посмотреть, оказалось действительно стоящим внимания. Делюсь выжимкой из выступления Евы Озеровой (ЕВРАЗ Маркет) о запуске AI‑системы «Тайный покупатель» на базе речевой аналитики.

Компания столкнулась с типовым набором проблем при оценке качества коммуникаций: нехватка ресурсов на анализ всех звонков, рост затрат при масштабировании, долгий процесс контрактования и погружения новых подрядчиков. Всё это привело к идеи автоматизации этого процесса.

Что важно из доклада:
📍пилот с речевой аналитикой уложили менее чем в 6 месяцев, уже готовят масштабирование
📍вещи, которые считались сложными, дорогими или «только через человека», теперь становятся частью повседневной операционки в цифровых сервисных проектах
📍почему AI, а не внешний подрядчик: прозрачность и скорость аналитики, плюс масштабирование без линейного роста затрат
📍ограничения: нужны жёстко определённые чек-листы и контроль качества распознавания речи, чтобы не потерять нюансы сервиса и критические детали

Данный проект ещё одно подтверждение для меня, что сейчас самое время запускать AI‑инициативы в компаниях — это ускоряет решения, повышает эффективность и снижает операционные риски.

Расширяем набор компетенций в рамках программы импортозамещения – стали официальным партнёром Astra Linux. Теперь для Заказчиков под одной крышей сервисы от разработки до внедрения и сопровождения решений на отечественной ОС с сертификацией для критичных сред.

Подробнее тут

“ИИ сам спроектирует дом”, “ИИ заменит ПТО”, “ИИ предскажет все риски на стройке” – частые лозунги с полей 100+ Technobuild. В реальности большинство таких инициатив не взлетает: данные нерелевантны, процессы разнородны, контуры ответственности размыты. Но есть и кейсы, которые действительно приносят пользу.

✅Что работает
ИИ как контроль спецификаций и коллизий на уровне документов. Не “умная информационная модель, которая всё сделает за вас”, а системное сравнение ЛСР, спецификаций, КС и исполнительной документации на предмет расхождений. Модель выявляет несоответствия позиций, дубли, пропуски, неверные артикулы – и тем самым снижает количество доработок и циклов согласований.

❌Что не работает
Контроль качества строительно-монтажных работ. Проблема не в ИИ как таковом, а в исходных данных, процессах и ответственности. Часто нет полной и достоверной исходной документации. BIM-модель появляется уже “по факту”, когда объект построен. Полевые данные либо дорогие и редкие: лазерное сканирование используем только там, где это экономически оправдано, внутренняя отделка обычно не попадает. Другая проблема – данные недостаточно точные для оценки качества: фото/видео позволяют подтвердить наличие, например, инженерных систем, но не их качество. До массовой автоматизации контроля качества ещё далеко.

ИИ в стройке работает там, где он “ускоритель” уже понятного процесса, а не “волшебная кнопка”. Успех ИИ-проекта – это на 70% качество данных и лишь на 30% сами модели.

И наш опыт такой же. С документацией и моделями работаем много успешно, по разным сценариям. Контроль качества – только полуавтоматизированные решения, где без живого эксперта система не будет работать, либо решение очень узкой задачи.

Вышло моё интервью для StartupDrive. Поговорили о пути, ошибках и инсайтах, которые помогают двигаться дальше. Буду рад обратной связи и вопросам!
Интервью тут

Честный знак приходит в хорошо знакомые нам по прошлым проектам стройматериалы. С 1 сентября этого года обязательная регистрация всех участников в системе, а с 1 декабря 2026 – поэкземплярный учёт и передача сведений о выводе из оборота через кассу.

Мы уже прошли этот путь с коллегами из пищевой промышленности и знаем, насколько нелинейно все меняется, когда в процесс добавляется «маркируй и подтверждай в обороте». Ошибки в отчётах, задержки отгрузок, бутылочные горлышки на линиях и «рутинные» сбои сканеров очень быстро превращаются в реальные деньги и сорванные SLA.

Что рекомендуем сделать до дедлайнов:
📍Оцифровать операции от генерации кода до отчёта в честный знак, с чек‑листами и контрольными точками на каждом шаге
📍Спланировать дооснащение где ставить принтеры/аппликаторы, сканеры
📍Проверить физические методы нанесения. Для разных упаковок (мешок, ведро, картон) по‑разному работает струйный или лазерный
📍Спроектировать дашборды. Видимость по ключевым ошибкам, рейтинг проблемных линий, SLA‑метрики
📍Вычислить для себя, как быстро нужно завершать ключевые операции по производтсву и отгрузке, чтобы процессы не встали в ожидании проверки отчётности

Делитесь своим опытом по работе с Честным знаком в комментариях. Путь непростой – мнение и опыт коллег точно будут полезны всем!

Друзья, на этой неделе мы с коллегами из ПИК проводим вебинар о том, как сократить затраты времени на проектирование минимум на 10%

Если коротко: проектные команды до сих пор тратят часы на поиск, проверку и замену BIM-компонентов — разные версии, параметры, стандарты, пересылки в чатах и личные папки. Мы покажем, как этот беспорядок превратить в управляемую систему.

Разберём:
– современные подходы к управлению BIM-библиотеками,
– как выстроить единое хранилище, которое действительно работает в Pik Family Manager,
– какие шаги нужны, чтобы внедрить библиотеку в реальный проект без лишней бюрократии.

Каждому участнику — месяц бесплатного доступа к сервису🙂

🗓 Четверг, 20 ноября
🕚 11:00–12:30 (мск)

Ведём вебинар вместе с Александром Зайцевым, продакт-менеджером Pik Family Manager.

👉 Ссылка для регистрации: тут

Буду рад видеть вас — разберём реальные кейсы, практики и то, что можно внедрить сразу после вебинара.

Друзья, делюсь отличной новостью! Две разработки Rubius номинированы на звание "Проект года" от ИТ-сообщества GlobalCIO.

Это один из самых честных ИТ-конкурсов страны – победителя выбирают 15000 ИТ-руководителей из российских компаний, а принять участие могут только внедрённые проекты с реальными результатами.

Голосование продлится до 11 января 2026. Пожелайте нам успеха 🙂 А если вы участник сообщества GlobalCIO со статусом "Профессионал", будем рады вашей поддержке! Переходите по ссылке и голосуйте:

🏆 Проект Rubius для федерального застройщика “Эталон”: веб-конструктор, с помощью которого даже начинающий специалист соберёт техническое задание на проектирование современного жилого комплекса. Быстро, без ошибок и по корпоративному стандарту.
Поддержать 👉 тут


🏆 Проект Rubius для “Газпром нефти”: платформа аэромониторинга, которая помогает в 4 раза быстрее обнаруживать происшествия на трубопроводах.
Поддержать 👉 тут