Plan GPT. Или до Q* было слово A*.

Рубрика ночное чтиво. Ознакомился тут со статьей на послевкусии хайпа с Q*. Было интересно, а были/есть ли работы и откуда пошел динамический планинг.

В папире описывается интересный merge задач оптимального поиска пути и LLM. В качестве опоры берут A*, тот самый, что ищет в среде с ограничениями (например лабиринт) оптимальный путь. Причем оптимальность лежит в оценке эвристики. Она задаëтся так, чтобы недооценивать расстояние до цели. Да, такого рода ограничение сверху или снизу, скорее всего снизу, тк есть препятствия, а они удлиняют путь. И, к примеру, манхэттен или l2 расстояния подходят для такой оценки. A* представляет собой некую смесь поиска в ширину и глубину, но за кратчайшее число шагов/время. Оптимальный путь может быть не один и зовется трейсом.

Так вот причем тут LLM? С LLM мы можем также генерировать последовательность действий при планировании. Например в виде токенов: иди вперед, поверни направо и тп. Далее транслировать генерацию в трейс и оценить путь. Важно. Задача LLM тут не изобрести новый алгоритм или найти оптимальный путь.
Цель обучения в том, чтобы приблизившись или достигнув оптимального пути из трейсов A*, научиться планированию. А далее затрансферить это умение для других задач, к примеру, принятия решения.

Логично, зачем нам искать LLM трейсы, если мы можем итак их найти быстро с помощью легкого и быстрого А*. Более того, мы уже опираемся на разные трейсы из задач в постановке А* для обучения LLM.

Зачем оно было еще надо? Да затем, что мы не хотим останавливаться только на костылях в виде CoT, ToT (tree of thought). Тем более, есть гипотеза, что это работает, тк это способ достучаться до рассуждений, которые для похожих задач (или даже таких же) уже были в pretrain этой модели. Через sft с опорой на A*, мы же хотим найти альтернативу instruct подходу, но решающий уже другие классы задач.

Вот как-то так. Доброй ночи.

A*

Немного юмора про retrieval от моих подписчиков

автор @ain92ru

Вопрос у всех: что это было вообще?

Ответ: задача была в том, чтобы получить измененный промпт из базового, но такой, чтобы на тесте эмбеддинг вашего варианта и авторов соревы был близок. Модель эмбеддера sentence-t5. К концу соревнования участники догадались атаковать промпт, добавляя к нему токены st5 на этапе инференса теста. Таким образом можно было бы подобрать токены, атакующие целевую метрику соревнования. При этом, нужно было верить в то, что тест на паблик доске и скрытый тест имеют близкое распределение, что и вышло.

Молодцы.

UPD. И да идею соревы сделать style transfer prompt'а авторов не достигли, зато показали как можно атаковать)

Пушка: Google выкатила крутейший учебник по промпт-инжинирингу! Гайд огромен — на 45 страницах раскинулись ценнейшие советы для работы в Gemini, которые подойдут и для других нейронок.

Это действительно учебник — понятный, доступный и красиво оформленный. В каждой главе вас ждут примеры использования, лайфхаки и наглядные инструкции.

Выжимаем из нейронок все соки тут.

@whackdoor

Ща за альпачинят 👇

если кто не понял о чем я и забыл, что такое Alpaca tuning.

Ребзя из тимы Вихря, вероятно, хотят провернуть тоже с 70b LLama3.

Почему SkipMoE.

На майские начать с нового листа. Сорева по решению математических задач с LLM обнулилась...

https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/leaderboard