Развитие ИИ закончено? Тупиковая ветвь эволюции

В архитектуре трансформеров, на котором базируются все без исключения современные LLMs вшит «деструктивный ген», фактически лимитирующий развитие.

В целом, длину контекстного окна ограничивает комбинация факторов: вычислительные ресурсы (квадратичная сложность), объём памяти устройств и необходимость переобучать модель работать с новыми, большими позициями. Поэтому бесконечно увеличивать окно невыгодно и сложно, и индустрия параллельно исследует и другие подходы – например, хранение знаний во внешних базах и выборочный поиск информации вместо подачи всего контекста разом, но это все внешние костыли.

Интеграция ИИ в коммерческое и бизнес применение невозможна с ограниченным и крайне нестабильным контекстным окном, но НИ ОДНА компания НЕ предоставила эффективного решения.

Это базовые, но не все ограничения трансформеров.

▪️Пробел в памяти: самое серьезное ограничение заключается в том, что у трансформеров нет постоянной, долговременной памяти. Они не способны обучаться на лету в ходе взаимодействия с пользователем. Каждый новый факт или навык требует дорогостоящего процесса дообучения или полного переобучения модели. Это кардинально отличает их от биологического интеллекта, который обучается непрерывно и инкрементально. Контекстное окно — это лишь временный буфер, а не механизм для накопления и интеграции знаний.

Сейчас LLMs – абсолютно изолированный от внешнего мира «черный ящик», архитектурно НЕ имеющий возможность самообучаться и в своей основе не может считаться интеллектом, т.к. первый признак интеллекта – способность к обучению.

▪️Проблема «заземления»: модели обучаются на текстах, а не на взаимодействии с реальным миром. Их «понимание» — это статистический анализ закономерностей в данных, а не осмысленное соотнесение символов с реальными объектами, действиями и их последствиями. LLMs не способны строить абстрактные представления о том, как устроен мир. Это гарантированно приводит к галлюцинациям – генерации правдоподобной, но ложной или бессмысленной информации.

Это ограничение лишь частично можно обойти в рамках, так называемого, «физического ИИ», который упомянул Хуанг, но раскрытие данного направления требует серии отдельных постов.

▪️Врожденная негибкость: архитектура трансформера статична. После завершения обучения веса нейронов фиксируются. Модель не может динамически создавать новые связи («синапсы») или изменять свою структуру в ответ на новый опыт, как это делает человеческий мозг. Эта нехватка пластичности означает, что LLM не являются по-настоящему адаптивными системами.

▪️Неразвитость когнитивных функций. Нынешние архитектуры страдают от ограниченной способности к явному рассуждению и пониманию причинно-следственных связей. Они статистически предсказывают следующее слово на основе шаблонов в данных, но не обладают врождённым «здравым смыслом» или истинным пониманием мира. В результате даже лучшие LLM часто ошибаются в фактах и не умеют надёжно планировать многошаговые решения.

Качество данных является не архитектурным, а технологическим ограничением и как раз решается за счет алгоритмов обучения, но об этом в других материалах.

В совокупности эти ограничения показывают, что архитектура трансформеров, несмотря на всю ее мощь, является тупиковой ветвью на пути к созданию универсального интеллекта. Дальнейшее масштабирование может привести к появлению более изощренных и эрудированных «статистических попугаев», но не к рождению истинного разума.

Любая технология в своем развитии следует S-образной кривой: за периодом медленного старта следует взрывной рост, который затем сменяется плато, где дальнейшие улучшения становятся все более сложными и дорогостоящими. Множество данных указывает на то, что большие языковые модели вступают в эту фазу плато.

Понимает ли Сэм Альтман все это? Вне всяких сомнений да, абсолютно, но публичное признание затруднит многомиллиардные раунды финансирования и расщепит адовый хайп вокруг ИИ, обрушим капитализацию ИИ компания на порядок.

Продолжение следует (скорее всего после данных по инфляции в США)

Как изменилась среднегодовая зарплата в странах ОЭСР по паритету покупательной способности, 1995/2023 (oscarleo)

В открытых источниках отсутствуют данные по годовым заработным платам в России с учётом инфляции и ППС, поэтому можно сравнить подушевой ВВП с корректировкой на покупательную способность денег. Согласно UNData, получатся 5,6 тысячи $ в 1995 году против 44 тысяч в 2024

Источник данных — Average Annual Wages OECD

Другие данные по производительности труда:
— Уровень заработной платы в зависимости от образования и часов работы в США, 2021
— Сколько часов в неделю в среднем работают американцы с различным уровнем дохода, 2022
— Среднее число рабочих часов и средняя заработная плата в неделю в странах ОЭСР, 2022
— Производительность труда и реальная медианная заработная плата в странах ОЭСР, 1995–2013