ИИ-лихорадка:

Последние несколько дней не успеваю написать ни одного поста. Но на то наверное это и авторский канал, что лучше писать когда есть время и есть что сказать.

Последнюю неделю в СФ, у нас тут по 7-8 встреч с стартапами и фондами в день. Как вы наверное заметили, времени написать заметку нету совсем. При этом очень хочется поделиться эмоциями. И я за последние 10 лет не видел такой активности, энергичности и скорости, какая сейчас течет в Долине.

Крипта между 2015 и 2020 казалась довольно быстро меняющейся индустрией (я не говорю про трейдинг, обмен, обнал и ICO-пирамиды, хотя и там тоже), но середина 2020х в ИИ — это какой-то другой уровень. Многие понимают, что вполне возможно это последняя (или, как минимум, самая близкая) возможность создать что-то реально большое. Будущие мультитриллионные компании прямо сейчас, скорее всего, сидят где-то в лофте в SoMa и пытаются найти новый сайт для нового поколения датацентров или пилят новый UX и архитектуру универсального VR агента. А, может, вообще создают ИИ-предпринимателя, который за следующие 10 лет создаст $50B ARR через генерацию автоматических бизнесов с робо- и ИИ- сотрудниками. Кто знает?

Вчера, в 8 вечера в воскресенье, литерали не мог полчаса найти кафе со свободными столиками и вайфаем. За каждым столиком сидит кто-то с ноутбуком и что-то кодит. Это не то чтобы уникально. В 2015 такую картину точно можно было встретить в городе, но не в таких масштабах.

Большинство стартапов (а всего — больше 20 за неделю) с которыми я поговорил зарейзили в течении недели после акселератора или после релиза MVP (но у меня bias - я не встречался с теми, кто не шарит или не деливерит). Абсолютно типичная ситуация поднять Series A в течении 16-18 месяцев после стартап компании в $40-50M по оценке между 200 и 300 миллионами.

Продолжаем изучать архитектуру LLM-систем. Сегодня говорим про работу с внешней информацией.

Паттерн 4. Зашивайте все ваши знания в промпт

Базовой LLM нужно много чего знать о вашей задаче, чтобы ее решить. Факты о вашем продукте, какие есть тулы, как зовут пользователя, с которым LLM говорит и тд и тп. Все это надо отправить в промпт. Часто его называют контекстное окно.

Это контекстное окно можно представлять как оперативную память компьютера. В нем могут содержаться не только статичная информация, но и результаты вызовов tool-ов, прошлые действия системы, критика сторонних моделей и тд.

Несмотря на то, что модели умеют все лучше и лучше работать с длинными последовательностями, вам нужно думать о размере контекстного окна. Чем длиннее окно, тем сложнее модели понять, что происходит, поэтому важно контекст эффективно записывать. Даже Google с своим Gemini вынужден делать хаки с контекстом, чтобы их агент смог играть в Покемон-Го. Подробнее про эти хаки читайте тут и берите на вооружение.

Часто мы даже точно не знаем, какую именно информацию нужно засунуть в окно, чтобы задача решилась. Тогда возникает архитектура RAG.

RAG

Название пришло из статьи 2020 года, в которой авторы присоединили retrieval систему к seq2seq-генератору. Дада, я использую слова из 2020 года, без всяких LLM. Фишка статьи, что они обучали обе эти модели вместе. Сейчас под RAG-ом подразумевают все, когда к LLM присобачивают какой-то поиск.

А присобачивать поиск оказалось довольно удобно. Человечество до эры LLM много лет занималось поиском. Вдруг оказалось, что поверх всех этих знаний можно вставить LLM, и оно просто заработает.

Fine-tuning

Одна из частых ошибок — файнтюнить LLM, чтобы научить ее какой-то новой информации. Это очень плохая идея.

1) Вы скорее всего сломаете базовый алайнмент модели. Это как вскрыть айфон — гарантия производителя перестает действовать. Веса модели меняются, уже никто не гарантирует, что модель не сломается на каком-то out of domain запросе. Такое же мнение написано тут.

2) Вы нарветесь на галлюцинации. Пытаясь вшить знания, которых модель не видела в претрейне, вы научите ее придумывать ответы на вопросы. Подробно проблема изложена в статье.

3) Не факт, что побьете RAG по качеству на вашем тесте. Почитайте просто форум. Посмотрите статью, где бенчили RAG против дообучения. Хорошо дообучать это сложно.

Файнтюнить точно можно и нужно, но для других задач. Тогда, когда модель перестает вас слушаться в промпте, вам нужна сильно более тонкая настройка. Более подробно про кейсы дообучения читайте в этом посте.

Я вам строго рекомендую RAG, чтобы дать LLM внешнюю инфу, а файнтюнинг оставить для другого. Об этом, кстати, говорят и OpenAI в своем курсе (ссылка ниже).


Литература для обязательного изучения

- Статья, как важно контролировать контекстное окно

- Доходчиво, почему fine-tuning для внедрения информации, это трата времени

- Видос про это же

- Часовой урок по fine-tuning от OpenAI (очень наглядно, когда надо дообучать)

- Объяснение, почему все состояние надо записывать в контекст

Как всегда, все вопросы пишите в комментарии или в личные сообщения.

#llm_system_design

Alexa+

https://habr.com/ru/companies/bothub/news/921420/

Eleven labs запустили голосового помощника 11.ai с поддержкой MCP

https://vc.ru/ai/2060293-personalnyj-pomoshchnik-11ai-ot-elevenlabs

Google выпустил Gemini для роботов

https://habr.com/ru/companies/bothub/news/921470/

Смешно, но буквально, как просят ставить задачу дизайнеру — не фреймь, опиши проблему, дизайнер подумает сам. VS промты для GPT.

Мы все знаем, как важно уметь составить правильный промпт, чтобы Большая Языковая Модель (БЯМ) сделала то, что вам нужно. Мне кажется, все уже знают главные принципы и трюки в этой области. Но недавно я обнаружил, к своему удивлению, что есть смежная область, в которой людям просто хронически не хватает квалифицированных знаний.

Неловко обсуждать это публично, но не все задания еще можно поручить БЯМ. Время от времени сталкиваешься с делами, с которыми по той или иной причине БЯМ справляется плохо или вообще отказывается, и тогда приходится призывать на помощь более примитивного собрата - ЧЯМ (Человеческую Языковую Модель). Да-да, я знаю, не надо рассказывать мне про недостатки ЧЯМ, я на этом деле собаку съел. Они дороги, хрупки, непредсказуемы, очень медленно печатают текст... Но что поделать, если никак по-другому не справиться! Так вот, не все знают, оказывается, что как и с БЯМ, правильно составленный промпт поможет вам добиться с помощью старых добрых ламповых ЧЯМ довольно-таки потрясающих результатов. Но вот знания о том, как писать промпты для ЧЯМ, найти нелегко.

Вот несколько главных принципов - и я постараюсь сфокусироваться как раз на тех, в которых есть различие с БЯМ:

1. Забудьте про супер-длинные и подробные промпты, которые так хорошо направляют БЯМ в правильное русло. У ЧЯМ очень маленькое окно контекста. Если вы напишите "сделай то-то и то-то и то-то, причем таким-то образом, а кроме того..." к концу предложения ЧЯМ забудет начало. Разбейте ваши задания на небольшие изолированные части. Давайте каждую часть в отдельности. Если у вас есть средства на это, можете нанять ЧЯМ-супервайзора, которая будет разделять задания между ЧЯМ-рабочими. Если нет, или дело тонкое, то сами будьте супервайзором.

2. Не отказывайтесь во имя краткости от вежливости и благодарности. Да, это бездушная машина, но она так натренирована, что ваше корректное общение и ваше "спасибо" поможет ей лучше выполнить следующее задание. "Доброе слово и собаке приятно", а ЧЯМ обычно умнее собаки.

3. Пишите на понятном модели языке. ЧЯМ вообще говоря знают довольно мало языков. Многие вообще только один. Разные модели специализируются на разных языках, найдите ту, что вам подходит. Да, это очень раздражает. Сочувствую. С языками программирования то же самое.

4. Советую не пытаться просить ЧЯМ написать стихи. Разочаруетесь.

5. Не стесняйтесь преувеличить важность вашего задания, можете придумать, что кто-то умрет, если ЧЯМ его не сделает вовремя, итд. итп.

6. ЧЯМ может сама разыскивать данные, читать книги итд., но есть одна загвоздка - она делает это ОЧЕНЬ МЕДЛЕННО. Постарайтесь обойтись без этого. Если нет другого выбора, делайте, но будьте готовы платить намного больше.

7. Можно пообещать ЧЯМ деньги, материальные блага, если модель быстро и качественно выполнит задания. Если вы не собираетесь просить у этой же модели в будущем - нет нужды выполнять эти обещания. Если собираетесь - см. следующий пункт.

8. Самое важное. В отличие от БЯМ, у ЧЯМ пока есть сложности с конпкой "Начать новую беседу". То есть кнопка-то есть, но в новой беседе ЧЯМ сохраняет значительную часть контекстов предыдущих бесед (со временем эта "память" постепенно улетучивается, но это может занять годы). Будьте осторожно и не говорите ничего, что полностью настроит ЧЯМ против вас. В последние годы наблюдается недостаток моделей, особенно качественных, если вы потеряете свою "рабочую лошадку", долго будете горевать и искать новую!

Если вы знаете особо удачные промпты для ЧЯМ, или другие советы, как их заставить делать, что нужно, поделитесь в комментах, пожалуйста. Спасибо!

И вот ещё, CEO Perplexity вспоминает в Comet когда подстригался последний раз