Архитектурная уязвимость – как создаются и как «думают» нейросети?

Картина мира у нейросетей проявляется в весах и параметрах. Вес – это число с плавающей запятой, которое показывает силу связей в графе, а параметр – это одна ячейка памяти с числом.

Если модель имеет 70 млрд параметров, где каждый параметр занимает 2 байта памяти, соответственно, вес модели – около 140 гигабайт.

Картина мира - это совокупность весов (состояние модели), а архитектура - это алгоритм, который позволяет входным данным взаимодействовать с этими весами для получения результата.

На запрос пользователя «Подбери мне наилучший смартфон» система разбивает предложение на токены, далее на числовые идентификаторы, далее идентификатор, связанный со смартфоном, ассоциируется с начальным вектором этого слова, вшитым в память в момент обучения.

Модель заранее выучила, что вектор «смартфон» должен быть математически близок к вектору «телефон» и далек от вектора «банан».

Теперь вектор слова «смартфон» начинает путешествие через слои нейросети (через 32 или 96 слоев). На каждом слое происходит два главных процесса, где перемножаются веса. Вектор «смартфон» взаимодействует с вектором «наилучшие характеристики», поглощая в себя информацию с вектором, имеющим наибольшую вероятность.

Теперь этот обогащенный вектор идет в блок «памяти». Здесь происходит умножение матрицы на вектор. Каждая колонка матрицы – это детектор какого-то признака.

При умножении на веса активизируются те нейроны, которые связаны с флагманскими моделями в соответствии с запросами.

Теперь «обогащенный» вектор передается в последнюю матрицу (Unembedding Matrix), где в соответствии с конфигурацией «обогащенного» вектора выстраивается иерархия приоритетов для генерации токенов выходного ответа.

В чем уязвимость?

🔘Веса статичны и никогда не меняются до момента нового цикла предварительного обучения.

🔘Любая попытка дообучения ломает всю архитектуру модели – система в принципе не обучаемая на уровне архитектуры. Вместо накопления знаний, как у биологических организмов, происходит интерференция и замещение.

🔘В нейросети знания хранятся в распределенном виде. Факт «Париж — столица Франции» не записан в одном конкретном нейроне. Он «размазан» тонким слоем по миллионам параметров. В модель нельзя ни добавить, ни изъять точечные знания в отличия от обычной СУБД на SQL.

🔘Чудовищная неэффективность. На вопрос «2*2=?», чтобы сгенерировать всего один токен, вычислительное ядро должно активизировать все параметры в системе, включая квантовую физику, теорию струн и историю Древнего Рима и так каждый раз, создавая несоизмеримую нагрузку на все вычислительные блоки. Сейчас решается через MoE (смесь экспертов).

🔘Отсутствие долгосрочной памяти и накопления опыта. Биологический мозг обладает синаптической пластичностью: связи меняются прямо в момент мыслительного процесса, у LLM долговременная память отсутствует и никакого накопления опыта не может быть на уровне архитектуры. Каждый раз с чистого листа.

🔘Проклятие размерности. Когда модель интерполирует (строит векторный путь) от понятия А к понятию Б, этот путь может случайно пролечь через эту «пустоту», где нет обучающих примеров в пространстве 4096 измерений. В этой пустоте поведение модели математически не определено, создавая неизбежные галлюцинации.

🔘Ошибки обучения – программирование связей между десятками миллиардов параметров практически всегда приводят к ошибкам интерпретации.

🔘Накопление ошибки точности. Сигнал проходит через десятки и сотни слоев. На каждом слое происходит умножение матриц. Микроскопическая ошибка округления (шум) на 1-м слое, умноженная на веса, может усилиться к 50-му слою и полностью исказить смысл вектора к конечному слою.

🔘Несовершенство алгоритмов компрессии информации. Десятки и сотни триллионов токенов сжимаются в десятки миллиардов параметров с компрессией 1:1000 и более. Уникальные факты, случайные числа, конкретные даты, цитаты, адреса. Это шум с точки зрения статистики, что приводит к несовершенству интерпретации.

Текущая архитектура LLM крайне уязвима, ресурснозатратна и неэффективна.

Понимание сильных и слабых сторон LLMs позволит не только использовать их более эффективно в личных и бизнес проектах, но и понимать уязвимость невероятного пузыря, не имеющего аналогов в истории человечества (около 52 избыточной мировой капитализации на ИИ хайпе и до 0.5 трлн инвестиций в год от мировых компаний в реальной экономике).

Оглушительный хайп вокруг ИИ во многом связан с попыткой проекцией сверхъестественных свойств, но эти LLMs имеют массу ограничений. Я выпустил очень много материалов, но даже в них рассмотрел лишь часть.

Начну с самого важного и принципиального.

▪️Фундаментальная неспособность к инновациям. Любая инновация (новая идея, альтернативная гипотеза, концептуальный или технологический прорыв) - это статистическая аномалия (выброс), а архитектура LLM в своем ядре заточена эти выбросы сглаживать и/или игнорировать (зависит от пресетов и настроек моделей).

LLM обучается минимизировать ошибку (Loss Function) на огромном массиве данных, она математически штрафуется за любые отклонения от «нормального» распределения. Веса модели - это усредненный слепок коллективного разума (и глупости).

LLM архитектурно не способна к инновациям, это семантический блендер. Если в обучающие данные положить стейк (научные факты), торт (художественную литературу) и гнилые овощи (форумный спам, интернет дебаты), на выходе вы получите однородную, легко усваиваемую питательную массу без вкуса и текстуры. В этом важно то, что выделить обратно стейк невозможно, из этого следует …

▪️Качество данных определяет все. Это не архитектурный баг, а обучающее несовершенство. В своей основе LLM выстраивают вектор распределения на статической интерполяции, где наиболее часто встречающиеся семантические конструкции имеют больший вес. Другими словами, чем чаше в обучении встречается некоторое утверждение, тем оно более истинное для LLMs (архитектурная уязвимость), но в обучении эксабайты медиа срачей и скама (обучающее несовершенство) всегда будут доминировать над очень ограниченной выборкой качественной научной, технической или художественной литературой.

Для решения этой проблемы есть множество механизмов, но они хороши в теории, а не на практике.

🔘Data Up-sampling, когда в корпусе данных датасеты делятся на домены (энциклопедии, научная литература, база кода, интернет статьи, форумный троллинг и т.д), где приоритет отдают качественным публикациям и надежным источникам.

Это хорошо в теории, на практике нет надежных механизмов сепарации эксабайт (в 1 миллион раз больше, чем терабайт), в итоге происходит смешение данных и доминирование токсичной информации, которой на многие порядки выше, чем качественной.

🔘Фильтрация на основе классификаторов с автоматической классификацией через специально натреннированную нейросеть (модель-цензор) для отсеивания откровенного скама, но не существует механизмов отсечения семантически качественных материалов, но концептуально пустых (здесь должен быть человек – эксперт, но на практике весь отбор данных почти полностью автоматический).

🔘Дедупликация – когда через специальные алгоритмы сжимаются миллионы репостов одного и того же скама в единичный экземпляр для устранения переполнения стэка данных дубликатами. Если этого не делать, уникальная научная статья будет иметь нулевой вес в сравнении с эксабайтами медиа скама.

Теория от практики отличается. Нет надежного механизма агрегации и сепарации качественных источников от некачественных, когда речь идет об обработке сотен эксабайт данных.

Как решение, брать за основу архитектуру модели с небольшим количеством параметров на 8-10 млрд и целенаправленно обучать на специализированных доменах (например, медицина, химия, физика, программирование и т.д.). На выходе получится скорее очень сухое, скучное справочное бюро без возможности междисциплинарного взаимодействия и полноценного размышления.

Универсальные модели (в открытом доступе) страдают «заражением» токсичными данными и искаженной «картиной мира» не только из-за ошибок развесовки и несовершенства алгоритма, но и по причине ошибочной сепарации данных и изначально некачественных источников.

Направления бизнес применения LLMs

Сразу к ключевому моменту – нет никаких ожиданий ускорения технологического прогресса с использованием LLMs, главным образом по причине, что на уровне архитектуры LLMs вшит «антипрогресс», т.е. фундаментальная невозможность генерации новых смыслов, идей и концепций.

Способствовать ускорению прогресса, как инструмент, в условиях работы с грамотной командой инженеров? Да, но этих инструментов много и произвести декомпозицию вклада каждого из инструмента – весьма сложно.

Несмотря на кажущиеся всемогучесть и безграничное количество сфер применения, эффективные контуры у LLMs достаточно локализованы.

Попробую дать емкое определение… В своей основе, LLM – это механизм компрессии (сжатия), причем всегда с потерями и декомпрессии (генерации), причем всегда с галлюцинациями, неструктурированных массивов данных, выстраивая градиент векторов в соответствии со статистикой распределения паттернов.

Так значит, где применение наиболее эффективно?

🔘Когда необходимо оценить вектор смысловых конструкций, не сильно вдаваясь в детали.

- краткое резюме встреч, конференций, семинаров, лекций, судебных заседаний;

- краткий пересказ книг, отчетов, статей, инструкций, законов, патентов, документации и т.д;

- обобщение больших массивов данных, например, поиск нарративов в новостях, аналитических и научных статьях, корпоративных отчетах и любой другой неструктурированной, но близкой по смыслу структуре данных;

- обобщение заявок в книге жалоб, обращений и в отзывах клиентов, где можно сразу определить фокусировку жалоб, сильные и слабые стороны продукта или услуги.

🔘Сравнительный анализ текста, например, сравнение текста регламента/закона с текстом внутренней инструкции компании на предмет противоречий. Чем эта версия договора отличается от предыдущей? Подсвети риски, которые появились и похожие сценарии.

🔘Стилистическая трансформация (или «перепиши текст в другом стиле»). Упрощение юридических формулировок, условий страхования или банковских договоров для обычных клиентов (простыми словами) или наоборот, превращение тезис в юридический документ, жалобу в официальные органы или техническое задание. Здесь же адаптация контента под разную аудиторию (возраст, профессия, когнитивная глубина).

🔘Реструктуризация текста (Entity Extraction). Выделение из стенограммы совещания конкретных договоренностей: кто, что должен сделать, к какому сроку или выделение из скан копий договоров детализацию реквизитов для формирования другой докумнтации.

🔘Креативная генерация – как принудительное создание пространства решения, например, генерация вариантов заголовков для статьи или слогана для рекламной кампании.

🔘Мозговой штурм – из этой же серии, но более иерархическая и структурная генерация смыслов по схожим паттернам и направлениям, чтобы выйти из когнитивного тупика, зашоренности, посмотреть на проблему, задачу шире.

🔘Автоматическая разметка данных и тэгетирование: установка классификаторов и тэгов по смежным группам, например кошек, собак, хомяков объединить в группу «животные», а кирпич, песок и бетон в группу «стройматериалы».

🔘Кластеризация и сортировка документации по сценариям: автоматическая группировка документации различного типа по сценариям. Например, договора с азиатскими клиентами на 1кв26 с суммой выше 10 млн выделить в тот кластер и т.д.

🔘Автоматическая разметка тональности контента и намерений (Sentiment & Intent Analysis): по инструкциям можно делать маркировку степени депрессивности или оптимистичности контента на основе формулировок и частоты упоминания определенных семантических конструкций. Эмоция – это очень формализованный паттерн, где можно поймать

🔘Извлечение сущностей и атрибутов: компании, лица, суммы, даты, юрисдикции, продукты и т.д. в зависимости от структуры данных и типа задачи.

🔘Классификация и группировка: автоматическая разметка обращений/новостей/документов по темам, продуктам, регионам, типам риска.

🔘Нормализация формулировок: приведение разнородных описаний к единому словарю (например, причины жалоб, типы инцидентов, причины отказов).

Продолжение следует…