1. Длинный контекст – не панацея. Сейчас появляются модели все с большим и большим контекстным окном, но прогонять текст через них дорого и долго. Можно пользоваться RAG, и при этом получать почти такое же качество в десятки раз быстрее.

2. В ближайшем будущем вряд ли будет модель, которая сможет прочитать «все и сразу». Все знания человечества – это примерно 30 триллионов токенов, то есть довольно много. Так что RAG останется актуальным даже с увеличением контекста. И из-за качества, и из-за эффективности: во многих задачах лучше получить не очень хороший ответ сейчас, чем хороший через полчаса. 

3. Возможно, с развитием ИИ понимание RAG изменится. Технологии поменяются, но концепция останется: извлекаем из чего-то большого что-то маленькое, чтобы с этим работать. Например, тренд на появление в сетях долгосрочной памяти – тоже из этой области.

1. Каталог открытых LLM с доступом через OpenAI API
2. Сервис для моментального развертывания этих моделей или моделей, например, с HuggingFace
3. Jupyter-ноутбуки из коробки для ML-экспериментов
4. Инструменты для файнтюнинга
5. Сервис для удобной и безопасной работы с RAG и данными
6. Большой конструктор AI-агентов
Это буквально все, что может пригодиться при внедрении ИИ, от небольшой LLM до крупной мультиагентной системы. И теперь все это доступно бизнесу любого масштаба, с круглосуточной поддержкой и возможностью масштабирования нагрузки.

Люди плохо осознают, что пространство форм интеллекта огромно, а животный интеллект – лишь одна точка в нем, возникшая из очень специфического типа оптимизации. Интеллект LLM формируется принципиально иначе.

Животный интеллект оптимизирован под выживание: непрерывное «я», самосохранение, сильные инстинкты (страх, агрессия, воспроизводство), сложные социальные взаимодействия и способность к исследованию мира. Он формируется в многозадачной и враждебной среде, где любая ошибка может стоить жизни – отсюда его общность.

LLM, напротив, оптимизируются под статистическое моделирование текста, дообучаются на задачах с подкреплением и отбираются через метрики вовлечённости. Их базовое поведение – это имитация и угадывание шаблонов, а не выживание. Они стремятся понравиться пользователю, а не выжить в мире, поэтому их интеллект более неровный и зависит от данных и задач.

Различаются и субстрат (мозг vs трансформер), и обучение (эволюция vs SGD/RL), и режим существования (непрерывное живое существо vs модель, которая включается и выключается).

Главное отличие – оптимизационное давление: животные – продукт биологической эволюции, LLM – продукт коммерческой. Это не выживание в джунглях, а «реши задачу и получи апвоут».

LLM – наш первый неживотный интеллект. И те, кто продолжает мыслить по биологической аналогии, будут неверно понимать его природу и будущее.