Ровно год назад, в честь своего дня рождения, я осуществил модернизацию своего компьютерного оборудования и приступил к изучению генеративных нейросетей. Этот шаг открыл передо мной новую область интересов: я занимаюсь созданием графических изображений, видосов, а также разработкой моделей для различных задач. Позднее был запущен данный канал, и я был искренне поражен высокой оценкой моей работы со стороны аудитории. Выражаю свою благодарность вам и потенциалу генеративных нейросетей за этот продуктивный год. Уверен, в будущем наши достижения будут только нарастать. Тут нет особо смысла, просто хочу поделиться своими радостями. Спасибо вам!!! С днем рождения меня!

Как "стереть" из ИИ знания о Гарри Поттере

Для тех кто ничего не понял в предыдущем посте.

Исследователи из Microsoft предложили способ "стирать" конкретную информацию из обученных языковых моделей, не переобучая их заново.

Они протестировали свой метод на модели Llama 2-7B от Meta, "стерев" из неё все знания о книгах и персонажах Гарри Поттера. Для этого потребовалось всего около 1 часа дополнительной тренировки модели.

Авторы разработали трёхэтапную технику:

1. Обучили вспомогательную модель выделять токены, связанные с Гарри Поттером.

2. Заменили уникальные выражения обобщёнными, имитируя модель без этих знаний.

3. Дотренировали основную модель на этих заменённых данных.

В итоге модель разучилась обсуждать детали сюжета и персонажей Гарри Поттера, но сохранила общие способности.

Это важный шаг к созданию гибких языковых моделей, которые можно адаптировать под меняющиеся требования. В будущем такие методы помогут делать ИИ более ответственным и соответствующим законам об авторских правах.

Ссылка