Задача для подписчиков, на подумать. Пожалуйста, не списывайте с интернета)
Чуть позже выложу решение

http://arxiv.org/abs/2311.04161
Мы наконец-то публикуем статью, которую подали на AISTATS2024.
В этой статье мы предлагаем новый градиентный метод, позволяющий оптимизироваться в условиях сверх-тяжёлых хвостов и асимметричного шума стох.градиента, при очень малых предположениях на шум, и этот метод пробивает нижние оценки для тяжёлых хвостов.

И анонс: на проекте в Сириусе я буду, видимо, прорабатывать работу нового метода для негладкой децентрализованной оптимизации на меняющихся графах, для которого эксперименты мы ставили на прошлой смене, с афинными ограничениями. И тут уже я буду делать много математики, по идее.

Я как обычно шёл от офиса яндекса до отеля пешком, тут где-то полчаса. И рядом со мной пробежал песель, ухоженный, в мигающем голубым светом ошейнике. Я подумал, что он потерялся, понаблюдал за ним, сказал что-то типо "иди к хозяину/хозяйке", и сейчас он уже метра 400 идёт со мной, перейдя несколько дорог. Иногда далеко отбегает но все равно возвращается. Кто был в подобных ситуациях, что делать... На ошейнике я с первого взгляда ничего не обнаружил, что могло бы привести к владельцу. Думаю передать его администрации отеля, они может быть лучше знают..

Сегодня на смене проходил хакатон по prompt-инжинрингу. В чем суть - было дано несколько моделей, нужно было только с помощью них (без дообучения и других моделей) научиться определять тональность предложения относительно сущности, а также выделять слова, которые этому способствуют.
Я относительно вложился силами в этот хакатон, но в целом мог бы поработать больше.
В итоге 3е место, 0.9 accuracy и 0.46 итоговая метрика (итоговая метрика это accuracy * метрику по словам). Я в целом доволен, так как таки смог выжать максимум accuracy, и выехать за счет этого
Результаты других участников: 2 место - 0.88 и 0.47, 1 место - 0.86 и 0.50.
Модели были следуюшие:
1) IlyaGusev/saiga_mistral_7b_lora
2) Вариация saiga_mistral_7b_lora, но немного другая
3) IlyaGusev/saiga_13b_lora
Решение:
1. Задать в модель следующий промпт -

Сейчас твоя профессия - человек, который анализирует тексты на тональность предложения относительно сущности.
Тебе дано предложение: {sentence}, и нужно определить его тональность относительно сущности {entity}.
Если отношение к {entity} отрицательное, то выведи -1, если отношение положительное то выведи 1.
На первой строке коротко расскажи про отношение к {entity} в этом предложении.
На второй строке выведи, какие слова (не более двух слов) в предложении выражают отношение к {entity}, в виде списка в квадратных скобках [слово 1, слово 2] или кавычках.
На третьей строке выведи итоговый ответ в виде числа(-1 или 1).
Пример:
Отношение к Цвангираи в этом предложении - отрицательное, так как результаты мониторинга процесса выборов называются "катастрофой" для Цвангираи.\n[катастрофой]\nИтоговый ответ: -1

2. Получить ответ, распарсить его, взять слова которые получаются ключевыми (ибо именно с ними была проблема) и затем послать в модель следующий промпт (тут не используется памяти, каждый раз запрос с нуля) и класс, и послать уже новый промпт -

Сейчас твоя профессия - человек, который анализирует тексты на тональность предложения относительно сущности.
Выбери из слов {words} ТОЛЬКО те слова, которые показывают {ans} отношение к сущности {entity} в предложении {sentence} и являются наиболее важными для анализа тональности. 
Если это возможно без потери информации, то выбери только одно слово. Старайся не допускать в ответ имена, географию и длинные словосочетания. Запиши их через запятую.

После чего выбрать ту комбинацию слов из 1 и 2 модели, которая короче по длине.
Думаю, что если бы я отфильтровал ключевые слова и убрал из них даты/географию, которые иногда все же проскакивали, мог бы вытянуть 2ое место.

А 3 место значит мерчъ, насколько я помню))

Мальчик: читать новости по ИИ в профильных телеграм чатах и каналах
Мужчина: читать новости по ИИ в тредах на дваче

В канале собралось много новых людей, и старое описание о себе не очень актуально, поэтому дропаю новое

Собственно, кто я?
Николай Кутузов, бывший студент 3 курса ПМИ Математика МФТИ (но скоро я туда вернусь!! Надеюсь).
Сейчас и уже достаточно продолжительно работаю в Яндексе, команда базового качества геопоиска.
Занимаюсь рисерчем в области оптимизации, в основном с тяжелыми хвостами, сейчас пробую заняться децентрализованной оптимизацией, пишу статьи под руководством А.В.Гасникова.
В школе выиграл кучу хакатонов и запризерил московскую математическую олимпиаду, сдал ЕГЭ по математике на 100, короче что-то понимаю)) Сейчас тоже не против похакатонить.
Собственно, занимаюсь машинным обучением, в основном интересует NLP/семантический поиск/статистические методы анализа текстов. Немного увлекаюсь нейробиологией и применением ML/оптимизации в ней. Много преподавал и продолжаю преподавать мотивированным школьникам. В комментарии дропну свое резюме.
Метаинформация: занимался мечевым боем в школе, люблю все что похоже на холодное оружие, живу с замечательной лягушкой и двумя женами, смотрю анимешечку, в основном иссекаи-гаремники

Я выгляжу примерно так, если увидите меня в Сириусе/универе/где угодн подходите не стесняйтесь, пообщаемся и можем даже сфоткаться

Мне сегодня снился очень большой длинный сон, и в одной из его частей мне показалось что водоносы стали жить в России. Я шёл по улице, заглядывал куда-то и видел там несколько сладких водоносиков

Среда мои чуваки

У меня сейчас такой вайб хакатонов. Сначала был хакатон на смене, а теперь сейчас. На проект фактически была неделя, я параллельно работал, а то что делал была математика, причём я бы сказал нетривиальная. Я не смог придумать, как доказать нужную мне оценку, это жесть🤡🤡🤡
А показать что-то надо, поэтому я начал кодить эксперименты. У нас уже было почти все готово, но адаптировать ту архитектуру под аффинные ограничения было бы слишком долго, поэтому я начал писать с нуля. В итоге закодил часть того, что мы делали полторы недели на прошлой смене, за час. Конечно, этот код архитектурного неправильный, плохой, немасштабируемый и прочее, в отличие от нашего (поэтому он так долго и делался), однако сейчас для меня это не так важно.
Лютый драйв