Вопрос у всех: что это было вообще?

Ответ: задача была в том, чтобы получить измененный промпт из базового, но такой, чтобы на тесте эмбеддинг вашего варианта и авторов соревы был близок. Модель эмбеддера sentence-t5. К концу соревнования участники догадались атаковать промпт, добавляя к нему токены st5 на этапе инференса теста. Таким образом можно было бы подобрать токены, атакующие целевую метрику соревнования. При этом, нужно было верить в то, что тест на паблик доске и скрытый тест имеют близкое распределение, что и вышло.

Молодцы.

UPD. И да идею соревы сделать style transfer prompt'а авторов не достигли, зато показали как можно атаковать)

Пушка: Google выкатила крутейший учебник по промпт-инжинирингу! Гайд огромен — на 45 страницах раскинулись ценнейшие советы для работы в Gemini, которые подойдут и для других нейронок.

Это действительно учебник — понятный, доступный и красиво оформленный. В каждой главе вас ждут примеры использования, лайфхаки и наглядные инструкции.

Выжимаем из нейронок все соки тут.

@whackdoor

Ща за альпачинят 👇

если кто не понял о чем я и забыл, что такое Alpaca tuning.

Ребзя из тимы Вихря, вероятно, хотят провернуть тоже с 70b LLama3.

Почему SkipMoE.

На майские начать с нового листа. Сорева по решению математических задач с LLM обнулилась...

https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/leaderboard

"Что-то с памятью моей стало, всë, что было не со мной, помню." Из жизни LLM.

Немного отвлеку вас, но не себя от шашлындоса в эти майские. Тут OpenAI выкатили обновление функции памяти, снова.

Тем временем, память и персонализация, имхо, одна из самых недооцененных фичей виртуальных ассистентов.

И это я не про 20 тэгов, что вы помните в своей колонке Дусе в ее сценарном движке. Я про действительно гибкий механизм и лучше на LLM.

Который бы позволял вам:

1. Сохранять из контекста диалога важные факты о юзере: истории из биографии, интересы, не говоря уже про имя его собаки и состав семьи.
А далее, это можно было бы шэрить в другие каналы и сервисы. Это ж фичестор для next-best-offer, recsys и пр., улучшающего retention и уменьшающего churn, решения.

2. Вызывать эти данные из памяти, с помощью, например, функций и КОНТЕКСТНО их использовать в диалоге. Это, вообще, Вам открывает ап интересности, retention, MAU/DAU, длину сессии и тп. А для челиков с денежным мышлением - потенциально, возможность контекстной рекламы/рекомендаций в цифровом канале (но только аккуратно).

3. Обладал бы свойством масштабируемости, те условный RAG, как память, мне не предлагать. Тк к каждому юзеру (особенно когда их > сотни тысяч) я замотаюсь хранить, под каждого, условный faiss индекс. Тут лучше реально делать на подобии функций для динамического вызова + что-то сразу класть в систем промпт под начало сессии: пол юзера, имя, состав семьи и тп, что надо перманентно иметь ввиду.

Отсюда возникают вызовы:

1. Контекст не резиновый, че хранить в нем.

2. Форматы сохранения и вызова: и это не пресловутый json go brr, а какие ключи в нем и значения, как и когда вызывать эту портянку.
С ходу скажу, по вызову. У вас есть контекст из диалога юзер vs ассистент. На текущий квант времени вы имеете К фраз и вот исходя из них надо сгенерить К+1ю фразу ответ. НО сначала, вызвать тэг памяти с помощью LLM и только потом генерить с полученной от функции памяти инфой ответ. Ну иначе, делать генерацию фразы ответа и в середине нее видеть тэг вызова памяти ну такое, хз как туда вкинуть инфу из памяти и догенерить ответ. У вас ж стримминг, да с учетом delay, но я ума не приложу, как догенерить умно. Пишите идеи в комменты. А я пока вижу ток сначала, если только это нужно, LLM (или иное) генерит токен вызова, получает подсказку и только после генерируем ответ.

3. Под пункты 1,2 нам надо иметь заварку датки на тюн вызова LLM при помощи генерации токена памяти с параметрами: извлечь из памяти или записать в память. И как положено, у нас ж ЖЭПЭТЭ и она и глюкает и ошибается в генерации в принципе. Будет весело, поверьте. Тут разве, что делать на первых этапах аннотаторы контекста (small классификаторы), которые банально трекают контекст и выдают вероятность вызова функции памяти на запись или на извлечение. FP/FN будут, но глюков не будет. Еще плюс, что это не sft на генерацию, а тупо small BERTы классификация 0/1(для вызова) + NER (для извлечения сущностей, что кладем).

Крч, я не знаю, что там у OpenAI под капотом, но вижу возможности и проблематику так.

Пишите ваши варианты памяти в комментарии и не забудьте перевернуть шампур, а то у вас уже подгарает.

Продолжим про память, но в разрезе ее инструмента-функций.

Работы и тут предвидится много. Есть куда приложить разрабам и MLE свои руки и умы.

+ Масло в огонь подкидывает мнение:
The function calling accuracy in LLMs is really poor. The best function calling accuracy is obtained with GPT-4 and it's 86.76%(upd) 83.8%. It's already too low to be practical, but one should discount this number more assuming that the test data Berkeley used to evaluate function calling contained up to 4 functions to choose from. If with <=4 functions to choose from the accuracy is ~80%, imagine how low it would be when we will have 20 functions to choose from.


Залетел по ссылке, годный guide в gorilla berkley получился, помимо leaderboard.

На пути к A* for GPT, над ознакомиться с базой👇

👨‍🔬 Никита Бухал "Уравнение Беллмана и (А*) - алгоритм поиска путь в графе"
📹 Video: https://youtu.be/oli-8SPhsSI?si=Hrp6GDByEm5HwE9d
📖 Presentation: https://docs.google.com/presentation/d/1phFZf8NZgNHchhj67LNcbLPwa39vKlKLELoXS_ES9Jk/edit?usp=sharing
✔️ Abstract: https://news.1rj.ru/str/sberlogabig/405
📓 Notebook: https://www.kaggle.com/code/tttzof351/a-star

Вышла текстовая версия нашего выступления про retrieval/ranking с R&D day.

Все наслышаны про KAN (Kolmogorov and Arnold Networks), но что думает дядя, когда слышит Арнольд и Колмогоров.


Для кека ещë.

Примерно настолько больше, чем 8к в твоем любимом наборе круп из LLM