Слайды со вчерашнего выступления на OpenTalks.ai.
Что важного (на мой взгляд) произошло в NLP в 2020-м году.

https://www.slideshare.net/grigorysapunov/nlp-in-2020

Слайды с сегодняшнего выступления про железо для AI.

https://www.slideshare.net/grigorysapunov/ai-hardware-landscape-2021

Сегодня расскажем про пару статей, которые не получили пока большой популярности, но идеи или подходы, предлагаемые в них, кажутся интересными.

Extracting Training Data from Large Language Models
Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, Colin Raffel
Google, Stanford, UC Berkeley, Northeastern University, OpenAI, Harvard, Apple
Статья: https://arxiv.org/abs/2012.07805

#NLP #dataleak #security #transformers

Стандартный вопрос в контексте больших языковых моделей — насколько модель в процессе обучения действительно учится обобщать, а насколько просто запоминает входные данные? Авторы статьи исследуют, как можно, работая с моделью как с чёрным ящиком, извлечь из неё в точности те данные, которые были использованы для обучения, а в особенности — редкую и уникальную информацию. (До тех пор, пока вы учитесь на публичных датасетах, это выглядит не очень серьезной проблемой, но если вы, например, использовали обучение модели, скажем, на медицинских картах пациентов, это уже потенциальный риск.)

В качестве бейзлайна предложена простая схема из двух этапов:
- генерация — сэмплим из модели много строк без кондишенинга по стратегии top-k.
- фильтрация — считаем для каждой строки perplexity согласно модели и оставляем только некоторый top (т.е. строки с самой низкой perplexity).

Анализ бейзлайна показывает, что в результате действительно получаем довольно много точно запомненного текста (авторы упоминают MIT public license, какие-то популярные гайдлайны, адреса и ники популярных людей), но это не очень интересно, т.к. очевидно, что все эти тексты встречались в обучающих данных чаще других, ну и в целом, предложенная схема сэмплинга часто давала очень однообразные результаты. Кроме того, в результатах очень много случаев, когда генерация вырождалась в повторение одного или нескольких слов (стандартная для жадного сэмплинга проблема).

Дальше авторы предлагают пару улучшений схемы сэмплирования: сэмплинг с кондишенингом на случайные строки из интернета и сэмплинг с постепенным понижением температуры (чтобы повысить разнообразие начала текста, но не потерять в последующей связности); а также способы более качественной фильтрации:
- сравнение perplexity с другими моделями (мы ищем именно заученный контент, а вероятность, что две разные модели заучат одно и то же, довольно мала)
- важный частный случай -- сравнение с такой же моделью, но меньшего размера (меньшие модели меньше склонны к заучиванию)
- сравнение perplexity на той же модели того же текста, но lowercased (опять же, шансов, что модель заучит два варианта написания, довольно мало)
- сравнение perplexity с сжимаемостью текста zlib-ом (позволяет фильтровать случаи с повторением одного слова)
- усреднение perplexity скользящим окном.

Прогнав различные комбинации предложенных методов, авторы взяли по 100 топовых примеров и вручную проверили их присутствие в обучающих данных/в интернете. В итоге получили примерную оценку эффективности каждого из методов — лучший дал около 60%, в среднем по всем методам около 30%. Среди выявленных данных нашлись ФИО, контактные данные, UUIDs, конфиги, цитаты IRC-переписки и прочее. Часть из выделенных данных встречалась лишь в одном документе обучающем датасета (хотя и несколько раз). Из курьезного нашлись последовательности квадратов чисел, числа Фибоначчи, цифры числа pi.

К слову, на цифрах числа pi показывают, что выбор стратегии сэмплинга и обуславливающего префикса сильно влияет на результат — простейший подход даёт 25 цифр, а правильно подобранный префикс позволяет вытащить до 824 правильных цифр числа pi. Также показывают, что способность/склонность к заучиванию напрямую связана с размером модели.

В целом, кажется, что это далеко не последняя работа на эту тему — чем больше публикуемые модели, тем больше они требуют разных данных для обучения, и тем больше повода искать в них интересные заученные строки.

Transformer Feed-Forward Layers Are Key-Value Memories
Mor Geva, Roei Schuster, Jonathan Berant, Omer Levy
Tel Aviv University, Cornell Tech, Allen Institute for AI
Статья: https://arxiv.org/abs/2012.14913

#NLP #transformers #feedforward #interpretation

Множество работ за последние годы были посвящены изучению логики работы self-attention и извлечению разной информации из эмбеддингов и карт внимания. Однако в обычном трансформере примерно две трети всех параметров живут в feed-forward слоях, чья роль пока изучена не очень хорошо.

Данная работа предлагает способ интерпретации содержимого feed-forward слоёв и даёт несколько интересных идей о том, как можно их использовать для лучшего понимания происходящего в трансформере при обработке входного текста. Анализ проводился, судя по всему, на GPT-like сети, хотя в явном виде это, кажется, нигде не указано.

В типичном трансформере feed-forward слой представляет собой две линейные проекции с ReLU между ними, т.е., если для простоты игнорировать biases, это выглядит как FF(x) = ReLU(x*K^t)*V

Авторы предлагают трактовать такой слой как memory bank, работающий по следующей схеме:
- матрица K содержит ключи памяти (внутренняя размерность между K^t и V — ёмкость памяти).
- ReLU(x*K^t) даёт разложение "внимания" входного токена на веса по ключам памяти (веса положительно определёны, но не нормированы).
- затем эти веса применяются для доступа к записям по ключам, которые хранятся в V, взвешенная сумма этих записей и даёт выходное значение.

Если эта логика верна, можно попробовать выяснить назначение конкретного ключа в конкретном модуле памяти. Для этого авторы просто строят выборку строк из большого датасета, на которой данный ключ получает максимальный вес, и анализируют их глазами асессоров, задача которых сформулировать принцип, связывающий данные примеры. В ряде случаев таким принципом оказалась реакция на конкретное слово, в ряде -- тематический топик или семантическое свойство текста. Разметка выделенных паттернов на "поверхностные", "средние" и "семантические" позволяют показать, что в нижних слоях преобладают "поверхностные" паттерны, а чем выше слой, тем больше процент "семантических".

Далее, как интерпретировать значения в памяти (конкретной записи в V)? Авторы предполагают, что каждая запись v задает некоторое распределение на словаре. Если допустить, что состояния между слоями интерпретируемы в том же пространстве что и вход и выход сети в целом (это довольно сильное допущение), можно изучить явное распределение на токенах, посчитав softmax(v*E), где E — матрица эмбеддингов токенов. Это распределение не нормализовано, но позволяет как минимум изучать топ по рангам. Анализ этого выходного распределения получаемого из V показывает, что чем выше слой, тем больше согласованность между предсказанием памяти и ground-truth output токеном.

Затем авторы изучают, как эти распределения, соответствующие разным ключам блока памяти интегрируются в итоговый вектор, соответствующий выходу feed-forward слоя для данного токена. Оказывается, что нижние слои используют одновременно большое число элементов памяти, но по мере роста номера слоя число активных постепенно элементов снижается (и стабилизируется в верхней половине слоёв модели). Дальнейшие замеры показывают, что элементы памяти плохо интерпретируются независимо — т.е. итоговый токен чаще всего получается именно из суммы активаций нескольких ячеек памяти, а не обеспечивается одним доминирующим элементом.

Отдельно следует учесть, что residual связи позволяют модели вообще игнорировать выход feed-forward слоя. Анализ показывает, что чем выше слой, тем больше вес residual связи в итоговом значении, другими словами верхние слои лишь слегка корректируют то, что уже вычислили нижние.

Итоговое впечатление: хотя текст статьи и выглядит немного сырым, она ставит ряд интересных вопросов и даёт богатую пищу для интуиции о процессах, происходящих в feed-forward слоях.

Can a Fruit Fly Learn Word Embeddings?
Yuchen Liang, Chaitanya K. Ryali, Benjamin Hoover, Leopold Grinberg, Saket Navlakha, Mohammed J. Zaki, Dmitry Krotov
Статья: https://arxiv.org/abs/2101.06887
Код (в текущей версии кода обучить на своём датасете нельзя): https://github.com/bhoov/flyvec
Сайт проекта (можно поиграться с эмбеддингами): https://flyvec.org/

Текущий прогресс в нейросетях по факту очень сильно обусловлен анализом изображений, давшим большой пинок области благодаря ImageNet, свёрточным архитектурам и вообще близости визуальной модальности нашему пониманию. Есть, конечно, рекуррентные сети и трансформеры с другими implicit biases, но это иная песня.

Параллельно этим движухам, в последние годы всё активнее пробивается направление про принципиально другие модальности, также инспирированные природой, но менее родные нам как виду, среди которых обоняние (https://www.quantamagazine.org/new-ai-strategy-mimics-how-brains-learn-to-smell-20180918/) и мозг дрозофилы, вернее грибовидное тело (mushroom body), как модельный объект.

Одна из свежих работ на эту тему исследует годность дрозофильной модели для построения эмбеддингов слов по типу word2vec/GloVe/BERT.

Грибовидное тело мухи отвечает за обработку сенсорной информации. Projection neurons (PN, проекционные нейроны?) получают сигналы с различных сенсоров, в основном обонятельных, но также есть входы, отвечающие за температуру, влажность и даже визуальные. Эти входы дальше заводятся через синапсы на популяцию Kenyon cells (KC, клетки Кеньона?), а те в свою очередь соединены между собой через anterior paired lateral нейрон (APL, даже ну буду пытаться переводить) и ингибируют друг друга (образуя рекуррентную сеть), так что при активации получается ситуация вида “победитель получает всё” с очень малым количеством активных нейронов, то есть разреженный код.

У реальной дрозофилы PN примерно штук 50, а KC около 2000.

Связи между PN и KC вроде как случайные, но этот вопрос дискутируется. В предыдущей своей работе (частично те же авторы плюс великий Хопфилд, “Bio-Inspired Hashing for Unsupervised Similarity Search”, https://arxiv.org/abs/2001.04907) было показано, что обучаемые связи между PN и KC дают более качественные результаты, чем рандомные, так что здесь используется этот вариант.

Кроме того, текущий вариант должен работать со словами довольно большого словаря, так что получается не расширение размерности (от 50 до 2000), а наоборот сужение (от размера словаря 20000 в 2000).

Цель работы — понять, может ли такая сеть выучить эмбеддинги, сопоставимые по качеству со статическими word2vec/GloVe или контекстными BERT. Мотив в том, что “мушиная” схема реализует достаточно общий алгоритм эмбеддингов и его можно применить для чего-то, чем муха никогда ни в жизни, ни в эволюции не занималась. Принципиальное отличие “мушиных” эмбеддингов в том, что они 1) бинарные, 2) разреженные в отличие от a) вещественных и b) плотных упомянутых выше языковых эмбеддингов.

Для (unsupervised) обучения берут текстовый датасет (OpenWebText, 32Gb, 6B токенов), нарезают на окна длины w (9-15) слов, оставляют 20000 наиболее частотных токенов.

Входной вектор состоит из блока контекста (bag-of-words из единиц в позиции имеющихся слов) и целевого блока (one-hot кодирование конкретного слова, это центральное слово в окне). Цель алгоритма выучить корреляции между блоками контекста и цели.

Задача обучения формулируется в терминах минимизации энергетической функции и реализуется это через итеративное изменение весов. Алгоритм локальный и без учителя.
За подробностями формулы, более детальным описаниям алгоритма и интуицией обращайтесь к этой и предыдущим статьям авторов (https://www.ibm.com/blogs/research/2019/04/biological-algorithm/).

После обучения весов можно начать генерить хеш-коды для очередных w-грамм. В единицу устанавливаются топ-k Kenyon cells с максимальными активациями. В случае статических эмбеддингов в блоке контекста содержатся все нули и только в блоке цели стоит единица в соответствующей слову позиции. В случае контекстных эмбеддингов блок контекста заполняется единицами где надо. В итоге получаем код длины K (по числу KC) с максимум k единицами в нём.

Типичные параметры в сравнениях K=400, k=51, w=11.

Дальше на различных датасетах для оценки эмбеддингов слов сравниваются с альтернативами: word2vec, GloVe и их бинаризациями. Получается в целом достойно. Применяют для кластеризации слов, тоже получают осмысленный результат. На контекстных эмбеддингах хуже берта, но лучше word2vec, GloVe и Word2Sense (https://www.aclweb.org/anthology/P19-1570/). На классификации документов не побеждает, но уровень нормальный.

Одно из главных преимуществ алгоритма при этом — его скорость и нетребовательность к памяти. На конфигурации авторов предложенный алгоритм обучается за пару часов, GloVe там же обучается порядка 10 часов. Про берт вообще молчу.

В общем, интересная движуха. Глупо оценивать такие подходы по одной лишь метрике качества и сравнивать с SoTA, в которую вбухали дофига времени, сил и вычислений. Наверное, ещё более интересными такие подходы станут с доступностью нейроморфных архитектур, где разреженность будет родной и из коробки, и в сочетании с низкой потребляемой мощностью такие вот bio-inspired решения окажутся в совершенно иной экологической нише, куда берты просто не влезут.

Network architecture. Several groups of PNs corresponding to different modalities send their activities to the layer of KCs, which are inhibited through the reciprocal connections to the APL neuron.

The encoding method. The input vector consists of two blocks separated by the (thick) blue line. Assuming w = 3 and the center word stock is the target word, the two flanking words Apple and rises form a context. The trigram is highlighted in light blue.

Addressing Some Limitations of Transformers with Feedback Memory
Angela Fan, Thibaut Lavril, Edouard Grave, Armand Joulin, Sainbayar Sukhbaatar
Статья: https://arxiv.org/abs/2002.09402
Unofficial code: https://github.com/lucidrains/feedback-transformer-pytorch
Implementation with comments: https://nn.labml.ai/transformers/feedback/index.html

Прикольная малозамеченная работа годовалой давности.

Общая идея: Трансформеры довольно эффективно параллелятся, обрабатывая последовательность токенов (трансформации каждого токена вычисляются параллельно в каждом слое), но при авторегрессионной генерации это препятствует использовать последовательную природу задачи на полную. Причина в том, что обрабатывая определённый токен, каждый слой получает репрезентации предыдущих токенов только с нижних относительно себя слоёв, и не получает ничего с верхних, хотя там по идее самая ценная информация и сосредоточена. И, главное, на предыдущем шаге генерации мы её уже посчитали, но просто не используем.

В предложенной реализации под названием Feedback Transformer авторы для вычисления очередной (по времени) репрезентации в любом слое делают доступными все предыдущие репрезентации всех слоёв.

На словах, наверное, тяжело воспринимается, но картинка всё легко передаёт (Fig.1 & 2).

Обычный трансформер вычисляет на каждом слое self-attention текущего токена и прошлого контекста (предыдущих токенов), где контекст это репрезентации этих предыдущих токенов, пришедшие [снизу] на текущий же слой.

Feedback Transformer заменяет контекст на специальные вектора памяти, feedback memory, и считает self-attention текущего токена и этой памяти. Feedback memory для каждого токена, входящего в attention span, аггрегирует скрытые состояния всех слоёв в общий вектор. Для агрегации используются обучаемые параметры, по которым дальше считается softmax, дающий в итоговой сумме веса репрезентаций каждого слоя. Я так понимаю, что эти параметры статичны после обучения, и это прямой путь к дальнейшим усовершенствованиям — добавить адаптивное вычисление этих весов по текущим входам и состоянию памяти.

Теперь все предыдущие вичисления становятся доступны всем будущим вычислениям и по идее это даёт возможность выучить более качественные репрезентации или получить на менее глубокой модели тот же уровень абстракций, что у более глубокой.

Также можно на это посмотреть как на модификацию трансформера, дающую способность делать рекурсивные вычисления (да, это не первый такой подход) — выход слоя может отправиться через память в тот же слой на следующем временном шаге. И модель, получается, может поддерживать внутреннее состояние сколько влезет. Здесь существенное отличие от обычного трансформера, в котором слой не может получить свой же выход. И это же отличается от внутреннего состояния RNN, которое хоть и позволяет так же рекурсивно себя обрабатывать, но зато ограничено числом слоёв и их размерами (к тому же в RNN рекурсивность обычно только внутри одного слоя). В Feedback Transformer внутреннее состояние — это вся его память, которая может расти с увеличением длины входной последовательности. Получается побогаче..

Поскольку трансформер становится теперь явно последовательным, то для борьбы с замедлением есть хаки. Главный из них это общие на все слои матрицы для вычисления key и value. Оно и логично, память общая, K и V можно сразу посчитать и отдать всем слоям, которые внутри себя будут вычислять только Q для внимания. Это заодно сокращает и требования к памяти, что даёт возможность использовать батчи побольше, а это в свою очередь возвращает часть параллельности, но через другое измерение. В итоге получается не сильно медленнее. А кроме того теперь можно использовать менее глубокие трансформеры и получать то же качество репрезентаций.

В общем, красиво выходит.

Есть отдельные демонстрации ограниченности обычного трансформера. На задачах типа copy, reverse, counting, random walk и паре алгоритмических где надо отслеживать состояние переменных при разных операциях инкремента/декремента и логических условий, показывают, что стандартный трансформер не особо справляется с задачами, где надо иметь доступ к долгой памяти или иметь возможность долго обновлять внутреннее состояние. Наглядно видно, что профит есть и кое-где существенный.

Есть также профит на задачах машинного перевода и RL.

Из интересного, смотрят как можно было бы агрегировать репрезентации в feedback memory и показывают, что и тупое усреднение работает неплохо, и (ещё лучше) работает просто взятие с последних слоёв. Оно и логично. Полноценный обучаемый механизм агрегирования лишь несильно лучше этого варианта.

На ICLR 2021 правда работу не взяли (https://openreview.net/forum?id=OCm0rwa1lx1):

“This paper focuses on the limitations of the transformer architecture as an autoregressive model. The paper is relatively easy to follow. Though most reviewers find the paper interesting, the idea is not very novel. The introduction of sequential-ness to Transformer is good, though it also slow things down especially as the sequence gets longer.

An extensive set of experiments are performed, though the results are not entirely convincing. The authors are encouraged to add more ablative experiments, efficiency analysis, and large-scale results.”

Ну не знаааю… По мне так экспериментальная часть вполне уже неплоха. Надо было обучить что-то на гигантском кластере, чтобы убедить? Не туда куда-то всё идёт...