Artificial Text Detection via Examining the Topology of Attention Maps ( https://aclanthology.org/2021.emnlp-main.50/ ) - наша с коллегами статья на EMNLP 2021. К статье прилагается видео доклада (зеленая кнопка на сайте).
Здесь уже появились новые соавторы, которые предложили новые идеи и поставили существенно больше экспериментов, чем получалось у меня. Особенно отмечу, что мне было очень интересно обсуждать с https://scholar.google.com/citations?user=G0lCb3wAAAAJ&hl=en&oi=ao то, как выстраивается логика статей для прикладных core A* конференций. Эта логика была для меня непривычной, т.к. после мехмата хочется писать статьи совсем в другом стиле.

В этой статье рассматривается задача детекции текста, сгенерированного моделями машинного обучения GPT-2 и GROVER. Далее для извлечения топологических признаков снова бралась модель BERT, только на этот раз предобученная лишь на угадывании пропущенных слов (Masked LM), без дообучения на данной задаче. Через модель прогонялись примеры текстов (сгенерированных и человеческих), и каждому примеру сопоставлялись графы внимания, извлеченные из модели. В этот раз признаки у графов считались более сложные и разнообразные. Во-первых, кроме чисел Бетти "отфильтрованных" по порогам графов, считались и другие графовые признаки, такие, как количество ориентированых циклов и средняя степень вершины. Во-вторых, считалась степень "похожести" матриц внимания на матрицы-шаблоны из статьи https://aclanthology.org/D19-1445/ (см. Figure 1). В-третьих, бралась такая версия графов внимания, где убиралась ориентация, но не убирались веса, и по ним считались довольно сложные TDA-объекты, называемые баркодами. Очень короткое введение в то, как строятся эти объекты, можно посмотреть здесь: https://www.youtube.com/watch?v=2PSqWBIrn90&t=0s&ab_channel=MatthewWright . От баркодов, в свою очередь, считались признаки, такие, как сумма "баров" и другие. Далее все посчитанные признаки всех трех видов объединялись, и по ним производилась классификация.
Оказалось, что классификация на этих признаках (извлеченных из BERT с предобученными замороженными весами) с помощью логистической регрессии давала результат +- наравне с полностью дообученной BERT. Если же дообучать один слой-классификатор над выходом предобученного, но замороженного BERT, результат оказывается и вовсе хуже, чем обучение на наших признаках.
Особенно же интересно оказалось то, что классификатор над нашими признаками имеет бОльшую робастность по отношению к увеличению размера генерирующей модели, чем сам BERT. Другими словами, если мы, например, обучили классификатор на наших признаках и сам BERT (отдельно, нормальным способом) детектить тексты, сгенерированные моделью GPT-2-small, а затем пробуем детектировать генерацию GPT-2-medium, наши признаки дают меньшее падение качества на этой новой задаче, чем классификация по выходу самой модели BERT, даже полностью обученной. Это можно видеть на Figure 2. В наше время, когда появилось много скрытых генеративных моделей, к которым у нас нет доступа, такая робастность - очень актуальное свойство.
Другой интересный аспект - на некоторых головах модели BERT графы внимания имеют явное отличие в своей форме на "естественных" и сгенерированных текстах. Говоря упрощенно, в среднем веса матриц внимания BERT, "смотрящей" на искуcственно сгенерированный текст, более "размазаны", а веса матриц внимания модели, "смотрящей" на естественный текст, более "сконцентрированы" на структуре предложения. Впрочем, этот эффект наблюдается не на всех головах.

Один из исследователей, который прочитал данную работу, сделал замечание о том, что нужно попробовать извлекать признаки из модели RoBERTa и сравнивать результат тоже с ней, так как на тот момент она была SoTA в задаче детекции сгенерированных текстов, но мы к тому времени уже занялись новой статьей. Впрочем, если верить туториалу https://artificial-text-detection.github.io/ от бывших коллег и их новых соавторов, RoBERTa все еще популярна для решения данной задачи, так что, если кому интересна такая задача, обратите внимание.

#объяснения_статей

# Чатботопокалипсис

Я ожидаю, что языковые модели принесут ощутимые изменения в три сферы: пропаганда, маркетинг и мошенничество.

Больше всего меня беспокоит пропаганда. Государства уже давно продвигают свои идеи в интернете. “Фермы ботов”, Ольгино, ЦИПСО. Еще в лохматые 2010-ые годы люди называли друг друга кремлеботами. Появилось то самое мемное «Я на выборы никогда не ходил, но в этот раз точно пойду за Грудинина голосовать. Кандидат от народа!». Но это только верхушка айсберга. Есть люди, которые обрабатывают население более тонко и точечно, например через родительские чаты в вотсапе. Уже давно есть сети телеграм каналов, которые ведут между собой обсуждения, спорят, репостят друг друга, но при этом управляются одними и теми же людьми.

Все это с нами довольно давно. Языковые модели не добавляют ничего принципиально нового. Но они открывают дорогу к совершенно иным масштабам. Есть невысокий предел количества комментов, которые может настрочить один человек на зарплате. Но дай ему ChatGPT и он напишет в десять раз больше текстов. Это как минимум. Как максимум можно вообще убрать кожаную прослойку, автоматизировать процесс и делать в сто, тысячу, N раз больше контента.

Новые масштабы открывают качественно новые возможности. Если взять все те же комменты, то сейчас ради количества приходится жертвовать оригинальностью, поэтому комментарии ботов такие шаблонные. Языковая модель позволяет делать все комментарии контекстуализированными без потери площади покрытия. Каждый текст может быть уникален, по теме и со своим характером. Нужный посыл можно спрятать между строк. Например, оппозиционного кандидата на выборах не обязательно поливать грязью, достаточно лишь передать сомнение. Можно просто писать разные мысли и упоминать одного кандидата чаще, а второго реже. Можно тергетировать посылы под разные группы: для молодых, для пожилых, для либералов, для консерваторов и так далее. Ведь модель может аргументировать на языке того, кого она пытается убедить.

Можно пойти еще дальше и использовать сетевые эффекты. Вместо одного комментария сделать диалог двух людей, где один высказывает нейтральную позицию, а второй постепенно его переубеждает. Автоматизировать сетку телеграм каналов, создавая правдоподобных селебрити. Выбирать реальных людей, вещающих верные вещи, и продвигать их с помощью ботов. Работа на большом масштабе позволяет формировать инфополе. Создавать эффект не убедительностью отдельного аргумента, а общим фоном. Человека лишь надо убедить, что консенсус склоняется в нужную сторону, и он сам начнет его защищать. Словом, можно сделать страшных масштабов кукольный театр.

Однако есть сомнения. Во-первых: что мешает делать все это сейчас? Я думаю, что ничего не мешает и в этом суть моего аргумента. Я не предсказываю ничего нового, просто экстраполирую текущую ситуацию. Если мы уже сейчас имеем рабочие пропагандистские машины, то с автоматизацией и снижением затрат они наверняка станут масштабнее.

Во-вторых: что изменилось? GPT-3 с нами давно. Когда она вышла все тоже предвещали апокалипсис, но ничего не произошло. Я думаю, что принципиально в моделях ничего не изменилось и все это можно было делать на моделях уровня старой GPT-3. Но я ожидаю изменений, потому что ChatGPT лезет из каждого утюга. Такая популярность (по некоторым данным 600 миллионов MAU) может преодолеть инерцию государств. Во время своего выхода GPT-3 была единственной моделью, которая выдавала что-то вразумительное, и доступ к ней был ограничен. Сейчас гораздо больше аналогов. Вы тоже можете скачать YALM на 100 миллиардов параметров и засрать весь интернет.

Подводя итог: я думаю, что апокалипсиса снова не будет, но мы увидим изменения. Что мы точно получим: комментарии в открытых ресурсах станут еще большей помойкой, выдача гугла станет еще большей помойкой, люди еще больше уйдут в закрытые сообщества, чуть больший процент людей будет так или иначе одурачен, государства получат чуть больше контроля над людьми, а зумеры еще лучше натренируют в голове дискриминатор булщита и продолжат паркурить в майнкрафте.