Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Andrey Voynov, Artem Babenko
Yandex, ВШЭ
#GAN, #representation, #latent_space, #ACAI
Статья: https://arxiv.org/abs/2002.03754
Код: https://github.com/anvoynov/GANLatentDiscovery
Свежая работа об изучении свойств латентного пространства, в каком-то смысле перекликающаяся с идеей в основе ACAI, про который мы тут писали аж два раза. Предположим, у нас уже есть обученный GAN с некоторым латентным пространством. Хочется уметь находить в этом пространстве осмысленные направления, соответствующие каким-то семантическим изменениям, не имея заранее списка этих направлений и разметки примеров для них.
Интуиция подсказывает, что смещение в случайном направлении латентного пространства обычно не имеет явно выраженной семантики и влияет сразу на много разных аспектов декодируемого объекта, тогда как смещение по "правильному вектору" приводит к более осмысленному и проще описываемому/оцениваемому изменению.
Отсюда предлагается следующий подход: зафиксировав веса нашей исследуемой сети, будем учить две дополнительные компоненты: "смещатель" и "реконструктор". Смещатель -- это выучиваемая матрица полезных "правильных направлений". Выбирая случайное k-ое направление и случайное расстояние ε, мы из некоторого латентного вектора формируем новый, смещённый на ε в выбранном направлении. Сеть-реконструктор должна, глядя на объекты, сгенерированные из этой пары латентных векторов, восстановить k и ε. Лосс у обоих подсеток общий -- взвешенная сумма кроссэнтропии для реконструкции k и MAE для реконструкции ε, т.е. они играют вместе, пытаясь пробросить информацию о значениях k и ε через генератор. Согласно интуиции, им будет выгодно выбирать наиболее "осмысленные" оси, изменения по которым легче опознавать и оценивать количественно.
Эксперименты показывают, что матрица векторов "смещателя" должна быть так или иначе нормирована (использовали поколоночную нормировку или ортонормированную матрицу).
В качестве реконструктора использовали разные стандартные подходы -- LeNet для MNIST, ResNet-18 для CelebA-HQ и т.п.
Остаётся как-то задать два гиперпараметра -- отношение весов слагаемых лосса (использовали 0.25) и число искомых осей К (выбирали или равное размерности латентного простраства, или на глаз).
Чтобы оценивать интерпретируемость полученных направлений не только на глаз, придумали хитрый костыль Direction Variation Naturalness, основанный на интуицивном ожидании того, что "хорошие" направления должны быть достаточно хорошо и натуралистично представлены в реальных данных. Чтобы оценить это, для фиксированного направления d строят синтетический датасет вида {(G(z±d),±1)} для случайных z, учат на нём бинарный классификатор, потом применяют его к реальным данным и получают второй датасет с реальными картинками и синтетической разметкой от этого классификатора. Снова учат бинарный классификатор уже на этом втором датасете и проверяют его точность на исходном синтетическом датасете. Если распределения объектов в обоих датасетах похожи относительно направления d, то эта accuracy будет высокой.
В результате:
* для Spectral Norm GAN на MNIST нашли направления для наклона цифры, ширины штриха, закруглённости и т.п.
* для Spectral Norm GAN на AnimeFaces нашли направления для цвета волос, направления чёлки, наличия очков и т.п.
* для BigGAN нашлись направления зума, освещённости, поворота, а также размытия и удаления фона.
В финале показывают, как, например, найденное направление "удаления фона" можно использовать для построения датасета для обучения модели saliency detection (локализации объектов на изображении).
Навскидку кажется, что предложенный метод неспецифичен для изображений или GAN-сетей и может быть использован для изучения примерно любого нерегулярного латентного пространства.
Andrey Voynov, Artem Babenko
Yandex, ВШЭ
#GAN, #representation, #latent_space, #ACAI
Статья: https://arxiv.org/abs/2002.03754
Код: https://github.com/anvoynov/GANLatentDiscovery
Свежая работа об изучении свойств латентного пространства, в каком-то смысле перекликающаяся с идеей в основе ACAI, про который мы тут писали аж два раза. Предположим, у нас уже есть обученный GAN с некоторым латентным пространством. Хочется уметь находить в этом пространстве осмысленные направления, соответствующие каким-то семантическим изменениям, не имея заранее списка этих направлений и разметки примеров для них.
Интуиция подсказывает, что смещение в случайном направлении латентного пространства обычно не имеет явно выраженной семантики и влияет сразу на много разных аспектов декодируемого объекта, тогда как смещение по "правильному вектору" приводит к более осмысленному и проще описываемому/оцениваемому изменению.
Отсюда предлагается следующий подход: зафиксировав веса нашей исследуемой сети, будем учить две дополнительные компоненты: "смещатель" и "реконструктор". Смещатель -- это выучиваемая матрица полезных "правильных направлений". Выбирая случайное k-ое направление и случайное расстояние ε, мы из некоторого латентного вектора формируем новый, смещённый на ε в выбранном направлении. Сеть-реконструктор должна, глядя на объекты, сгенерированные из этой пары латентных векторов, восстановить k и ε. Лосс у обоих подсеток общий -- взвешенная сумма кроссэнтропии для реконструкции k и MAE для реконструкции ε, т.е. они играют вместе, пытаясь пробросить информацию о значениях k и ε через генератор. Согласно интуиции, им будет выгодно выбирать наиболее "осмысленные" оси, изменения по которым легче опознавать и оценивать количественно.
Эксперименты показывают, что матрица векторов "смещателя" должна быть так или иначе нормирована (использовали поколоночную нормировку или ортонормированную матрицу).
В качестве реконструктора использовали разные стандартные подходы -- LeNet для MNIST, ResNet-18 для CelebA-HQ и т.п.
Остаётся как-то задать два гиперпараметра -- отношение весов слагаемых лосса (использовали 0.25) и число искомых осей К (выбирали или равное размерности латентного простраства, или на глаз).
Чтобы оценивать интерпретируемость полученных направлений не только на глаз, придумали хитрый костыль Direction Variation Naturalness, основанный на интуицивном ожидании того, что "хорошие" направления должны быть достаточно хорошо и натуралистично представлены в реальных данных. Чтобы оценить это, для фиксированного направления d строят синтетический датасет вида {(G(z±d),±1)} для случайных z, учат на нём бинарный классификатор, потом применяют его к реальным данным и получают второй датасет с реальными картинками и синтетической разметкой от этого классификатора. Снова учат бинарный классификатор уже на этом втором датасете и проверяют его точность на исходном синтетическом датасете. Если распределения объектов в обоих датасетах похожи относительно направления d, то эта accuracy будет высокой.
В результате:
* для Spectral Norm GAN на MNIST нашли направления для наклона цифры, ширины штриха, закруглённости и т.п.
* для Spectral Norm GAN на AnimeFaces нашли направления для цвета волос, направления чёлки, наличия очков и т.п.
* для BigGAN нашлись направления зума, освещённости, поворота, а также размытия и удаления фона.
В финале показывают, как, например, найденное направление "удаления фона" можно использовать для построения датасета для обучения модели saliency detection (локализации объектов на изображении).
Навскидку кажется, что предложенный метод неспецифичен для изображений или GAN-сетей и может быть использован для изучения примерно любого нерегулярного латентного пространства.
Rethinking the Value of Network Pruning
Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, Trevor Darrell
Статья: https://arxiv.org/abs/1810.05270
Код (unofficial): https://github.com/Eric-mingjie/rethinking-network-pruning
Про переосмысление ценностей и снова про прунинг.
Классический прунинг реализует пайплайн вида “обучение модели” → “прунинг” → “файнтюнинг”
Данная работа ниспровергает некоторые широко распространённые верования относительно этого процесса:
1) Важно начинать с обучения большой over-parameterized сети, из которой мы затем можем удалить часть избыточных параметров, не влияя существенно на точность. И это, считается, лучше, чем обучать маленькую модель с нуля.
2) И веса, и архитектура полученной урезанной модели важны для получения итогового качественного результата. Поэтому выбирается файнтюнинг получившейся модели, а не обучение полученной архитектуры с нуля.
Авторы показывают, что для методов structured pruning (прунинг на уровне каналов свёртки или выше) оба верования не обязательно верны.
То есть,
1) Обучение с нуля маленькой целевой модели (где убрано x% каналов в каждом слое) со случайной инициализации способно дать то же или более высокое качество. То есть не обязательно начинать с [долгого] обучения большой модели, можно сразу начать с маленькой.
2) Обучение урезанной после прунинга модели с нуля также даёт аналогичное или более высокое качество по сравнению с файн-тюнингом. То есть полученная архитектура может быть важнее, чем собственно сами веса.
Для методов unstructured pruning (где прунятся индивидуальные веса) также удаётся при обучении с нуля получить сравнимые с прунингом + файн-тюнингом результаты на маленьких датасетах, но не получается на больших типа ImageNet.
Почему раньше все считали иначе? Возможно, просто менее тщательно подбирали гиперпараметры (увы, обычная история в DL, к тому же требующая больших вычислительных ресурсов на эксперименты с переборами), схемы аугментации данных или был нечестный вычислительный бюджет для бейзлайнов.
Пора всё переосмыслить. Возможно, ценность прунинга порой состоит в нахождении правильной целевой архитектуры нежели конкретных “важных” весов. Таким образом прунинг может работать как неявный architecture search.
Авторы озаботились тщательным сравнением с разными методами. Среди прочего, важно сравнивать в рамках одинаковых вычислительных бюджетов. Соответственно есть два режима обучения маленьких сетей с нуля -- Scratch-E (то же число эпох) и Scratch-B (тот же вычислительный бюджет в терминах FLOPs).
Дальше сравнивают с кучей методов:
1) Predefined Structured Pruning (pruning ratio предопределён заранее): L1-norm absed filter pruning, ThiNet, Regression based feature reconstruction. Scratch-B почти тотально лучше всего остального.
2) Automatic Structured Pruning (pruning ratio определяется алгоритмом для каждого слоя самостоятельно): Network slimming, Sparse structure selection. Scratch-B снова рулит.
3) Unstructured Magnitude-based Pruning. Scratch-B сравним с файн-тюнингом (но при высоких pruning ratio файнтюнинг порой выигрывает) и проигрывает только на ImageNet.
Один из главных выводов, что для structured pruning полученные после прунинга веса не лучше случайных, и видимо вся польза в полученной архитектуре.
Сравнения с равномерным прунингом показывают существенную разницу, так что архитектура важна. Но есть и кейсы, где особой разницы нет, это больше свойственно архитектурам типа ResNet или DenseNet, видимо в этих сетях избыточность более сбалансирована, чем, скажем, в VGG.
На эксплуатации этого знания (в каких слоях какая часть каналов отпрунена и т.п., паттерны разреженности в фильтрах) можно построить guided pruning. Оно работает.
Говоря про прунинг нельзя не коснуться Lottery Ticket Hypothesys (LTH), которая работала в режиме unstructured pruning и где начальная инициализация подсети была важна. Текущая работа показывает, что результирующую сеть можно обучать с новой случайной инициализации и всё ок (но текущая работа в основном про structured pruning, хотя есть и unstructured).
Выглядит как противоречие.
Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, Trevor Darrell
Статья: https://arxiv.org/abs/1810.05270
Код (unofficial): https://github.com/Eric-mingjie/rethinking-network-pruning
Про переосмысление ценностей и снова про прунинг.
Классический прунинг реализует пайплайн вида “обучение модели” → “прунинг” → “файнтюнинг”
Данная работа ниспровергает некоторые широко распространённые верования относительно этого процесса:
1) Важно начинать с обучения большой over-parameterized сети, из которой мы затем можем удалить часть избыточных параметров, не влияя существенно на точность. И это, считается, лучше, чем обучать маленькую модель с нуля.
2) И веса, и архитектура полученной урезанной модели важны для получения итогового качественного результата. Поэтому выбирается файнтюнинг получившейся модели, а не обучение полученной архитектуры с нуля.
Авторы показывают, что для методов structured pruning (прунинг на уровне каналов свёртки или выше) оба верования не обязательно верны.
То есть,
1) Обучение с нуля маленькой целевой модели (где убрано x% каналов в каждом слое) со случайной инициализации способно дать то же или более высокое качество. То есть не обязательно начинать с [долгого] обучения большой модели, можно сразу начать с маленькой.
2) Обучение урезанной после прунинга модели с нуля также даёт аналогичное или более высокое качество по сравнению с файн-тюнингом. То есть полученная архитектура может быть важнее, чем собственно сами веса.
Для методов unstructured pruning (где прунятся индивидуальные веса) также удаётся при обучении с нуля получить сравнимые с прунингом + файн-тюнингом результаты на маленьких датасетах, но не получается на больших типа ImageNet.
Почему раньше все считали иначе? Возможно, просто менее тщательно подбирали гиперпараметры (увы, обычная история в DL, к тому же требующая больших вычислительных ресурсов на эксперименты с переборами), схемы аугментации данных или был нечестный вычислительный бюджет для бейзлайнов.
Пора всё переосмыслить. Возможно, ценность прунинга порой состоит в нахождении правильной целевой архитектуры нежели конкретных “важных” весов. Таким образом прунинг может работать как неявный architecture search.
Авторы озаботились тщательным сравнением с разными методами. Среди прочего, важно сравнивать в рамках одинаковых вычислительных бюджетов. Соответственно есть два режима обучения маленьких сетей с нуля -- Scratch-E (то же число эпох) и Scratch-B (тот же вычислительный бюджет в терминах FLOPs).
Дальше сравнивают с кучей методов:
1) Predefined Structured Pruning (pruning ratio предопределён заранее): L1-norm absed filter pruning, ThiNet, Regression based feature reconstruction. Scratch-B почти тотально лучше всего остального.
2) Automatic Structured Pruning (pruning ratio определяется алгоритмом для каждого слоя самостоятельно): Network slimming, Sparse structure selection. Scratch-B снова рулит.
3) Unstructured Magnitude-based Pruning. Scratch-B сравним с файн-тюнингом (но при высоких pruning ratio файнтюнинг порой выигрывает) и проигрывает только на ImageNet.
Один из главных выводов, что для structured pruning полученные после прунинга веса не лучше случайных, и видимо вся польза в полученной архитектуре.
Сравнения с равномерным прунингом показывают существенную разницу, так что архитектура важна. Но есть и кейсы, где особой разницы нет, это больше свойственно архитектурам типа ResNet или DenseNet, видимо в этих сетях избыточность более сбалансирована, чем, скажем, в VGG.
На эксплуатации этого знания (в каких слоях какая часть каналов отпрунена и т.п., паттерны разреженности в фильтрах) можно построить guided pruning. Оно работает.
Говоря про прунинг нельзя не коснуться Lottery Ticket Hypothesys (LTH), которая работала в режиме unstructured pruning и где начальная инициализация подсети была важна. Текущая работа показывает, что результирующую сеть можно обучать с новой случайной инициализации и всё ок (но текущая работа в основном про structured pruning, хотя есть и unstructured).
Выглядит как противоречие.
GitHub
GitHub - Eric-mingjie/rethinking-network-pruning: Rethinking the Value of Network Pruning (Pytorch) (ICLR 2019)
Rethinking the Value of Network Pruning (Pytorch) (ICLR 2019) - Eric-mingjie/rethinking-network-pruning
Авторы показывают, что вся разница от learning rate. В LTH он был слишком низкий. Для structured pruning и при низком, и при высоком LR выигрышный билет не превосходит случайную инициализацию. В unstructured pruning оригинальная инициализация даёт преимущество только при низком LR (а с таким низким LR итогое качество и так хуже, чем с высоким, который обычно и используется).
Авторы оригинальной работы про LTH, кстати, пишут, что не сумели найти выигрышные билеты на высоком LR (“At the higher learning rate, iterative pruning does not find winning tickets, and performance is no better than when the pruned networks are randomly reinitialized.”). Так что сходится.
Авторы оригинальной работы про LTH, кстати, пишут, что не сумели найти выигрышные билеты на высоком LR (“At the higher learning rate, iterative pruning does not find winning tickets, and performance is no better than when the pruned networks are randomly reinitialized.”). Так что сходится.
Weight Agnostic Neural Networks
Adam Gaier, David Ha
Статья: https://arxiv.org/abs/1906.04358
Интерактивная статья: https://weightagnostic.github.io/
Код: https://github.com/weightagnostic/weightagnostic.github.io
Очень интересная работа снова про важность архитектур сетей (а не весов). У Дэвида Ха, кстати, крутые работы, рекомендую следить.
Главный вопрос статьи: до какой степени сама архитектура сети, без обучения каких-либо весов, может кодировать решения определённых задач? Архитектура с правильным inductive bias может быть способна это делать.
В этом есть большой биологический смысл. Многие животные уже рождаются со способностью решать какие-то задачи (убегать от хищника, например), не тратя время на обучение.
Идея в том, что давайте вообще не будем обучать веса, заменим обучение на сэмплирование, а до кучи, чтобы избежать проблем больших размерностей, заэнфорсим weight sharing для _ВСЕХ_ весов и будем сэмплить только одно число — сделаем все веса одинаковыми. Да ещё и будем выбирать решения, работающие в диапазоне весов, а не только с одним конкретным. Поэтому Weight Agnostic Neural Networks (WANN).
Для поиска таких сетей запускается эволюционный алгоритм, похожий на широко известный NEAT (там, правда, и веса оптимизировались):
1) Создаём популяцию минимальных простых разреженных сеток (без скрытых узлов);
2) Каждая сеть оценивается для разных значений параметра веса ([-2, -1, -0.5, +0.5, +1, +2]), итог усредняется;
3) Сети ранжируются по качеству _И_ сложности (многокритериальная оптимизация);
4) Отбираем лучших, мутируем и создаём новую популяцию.
5) goto 2
Мутации бывают такие: добавить узел, добавить соединение, изменить активацию (взята достаточно богатая библиотека активаций, там много нетипового, например, синусоида или инвертирование).
Из двух сетей с одинаковым качеством выбирается более простая. Используются три критерия: среднее качество по всем значениям веса, максимальное качество для лучшего веса, число соединений в сети. Чтобы помочь сложным структурным изменениям, которые могут потребовать нескольких улучшений, ранжирование по сложности сделано вероятностным: в 80% случаев сети ранжируются по среднему качеству и сложности, а в 20% случаев по среднему качеству и максимальному качеству.
Эксперимент запускается на трёх задачах непрерывного управления: CartPoleSwingUp, BipedalWalker-v2 и CarRacing-v0. Проверяются варианты: все рандомные веса, рандомный общий вес, настраиваемый общий вес, настраиваемые веса.
WANN со случайным общим весом вполне работают. Если этот вес потом потюнить, то работают ещё лучше. Итоговое качество ниже, чем у полностью обучаемых сетей, но весьма достойно.
Дополнительный плюс получающихся сетей в том, что они выходят достаточно маленькими, чтобы быть интерпретируемыми.
Также авторы проверяют метод на задаче классификации (MNIST), получается вполне разумное качество, сравнимое с однослойной сеткой с тысячами весов, обучаемой градиентным спуском.
Поскольку получаемые таким способом сети работоспособны при разных значениях параметров, получается простой способ ансамблирования: перебираем разные значения, считаем предсказания и агрегируем.
Важная и интересная работа, напоминающая, что текущий мейнстримовый подход к AI не факт, что самый правильный:
“The first lesson from neuroscience is that much of animal behavior is innate, and does not arise from learning. Animal brains are not the blank slates, equipped with a general purpose learning algorithm ready to learn anything, as envisioned by some AI researchers; there is strong selection pressure for animals to restrict their learning to just what is needed for their survival.”
(“A Critique of Pure Learning: What Artificial Neural Networks can Learn from Animal Brains”, https://www.biorxiv.org/content/10.1101/582643v1)
Авторы расшарили свой код и призывают к дальнейшему экспериментированию. Также весьма зачётный список ссылок в работе.
Adam Gaier, David Ha
Статья: https://arxiv.org/abs/1906.04358
Интерактивная статья: https://weightagnostic.github.io/
Код: https://github.com/weightagnostic/weightagnostic.github.io
Очень интересная работа снова про важность архитектур сетей (а не весов). У Дэвида Ха, кстати, крутые работы, рекомендую следить.
Главный вопрос статьи: до какой степени сама архитектура сети, без обучения каких-либо весов, может кодировать решения определённых задач? Архитектура с правильным inductive bias может быть способна это делать.
В этом есть большой биологический смысл. Многие животные уже рождаются со способностью решать какие-то задачи (убегать от хищника, например), не тратя время на обучение.
Идея в том, что давайте вообще не будем обучать веса, заменим обучение на сэмплирование, а до кучи, чтобы избежать проблем больших размерностей, заэнфорсим weight sharing для _ВСЕХ_ весов и будем сэмплить только одно число — сделаем все веса одинаковыми. Да ещё и будем выбирать решения, работающие в диапазоне весов, а не только с одним конкретным. Поэтому Weight Agnostic Neural Networks (WANN).
Для поиска таких сетей запускается эволюционный алгоритм, похожий на широко известный NEAT (там, правда, и веса оптимизировались):
1) Создаём популяцию минимальных простых разреженных сеток (без скрытых узлов);
2) Каждая сеть оценивается для разных значений параметра веса ([-2, -1, -0.5, +0.5, +1, +2]), итог усредняется;
3) Сети ранжируются по качеству _И_ сложности (многокритериальная оптимизация);
4) Отбираем лучших, мутируем и создаём новую популяцию.
5) goto 2
Мутации бывают такие: добавить узел, добавить соединение, изменить активацию (взята достаточно богатая библиотека активаций, там много нетипового, например, синусоида или инвертирование).
Из двух сетей с одинаковым качеством выбирается более простая. Используются три критерия: среднее качество по всем значениям веса, максимальное качество для лучшего веса, число соединений в сети. Чтобы помочь сложным структурным изменениям, которые могут потребовать нескольких улучшений, ранжирование по сложности сделано вероятностным: в 80% случаев сети ранжируются по среднему качеству и сложности, а в 20% случаев по среднему качеству и максимальному качеству.
Эксперимент запускается на трёх задачах непрерывного управления: CartPoleSwingUp, BipedalWalker-v2 и CarRacing-v0. Проверяются варианты: все рандомные веса, рандомный общий вес, настраиваемый общий вес, настраиваемые веса.
WANN со случайным общим весом вполне работают. Если этот вес потом потюнить, то работают ещё лучше. Итоговое качество ниже, чем у полностью обучаемых сетей, но весьма достойно.
Дополнительный плюс получающихся сетей в том, что они выходят достаточно маленькими, чтобы быть интерпретируемыми.
Также авторы проверяют метод на задаче классификации (MNIST), получается вполне разумное качество, сравнимое с однослойной сеткой с тысячами весов, обучаемой градиентным спуском.
Поскольку получаемые таким способом сети работоспособны при разных значениях параметров, получается простой способ ансамблирования: перебираем разные значения, считаем предсказания и агрегируем.
Важная и интересная работа, напоминающая, что текущий мейнстримовый подход к AI не факт, что самый правильный:
“The first lesson from neuroscience is that much of animal behavior is innate, and does not arise from learning. Animal brains are not the blank slates, equipped with a general purpose learning algorithm ready to learn anything, as envisioned by some AI researchers; there is strong selection pressure for animals to restrict their learning to just what is needed for their survival.”
(“A Critique of Pure Learning: What Artificial Neural Networks can Learn from Animal Brains”, https://www.biorxiv.org/content/10.1101/582643v1)
Авторы расшарили свой код и призывают к дальнейшему экспериментированию. Также весьма зачётный список ссылок в работе.
Weight Agnostic Neural Networks
Networks that can already (sort of) perform tasks with random weights.
Прикольный момент из серии как делается наука: авторы собирались исследовать сети, где для каждого соединения свой случайный вес, но не добились особого результата. Пытаясь заставить это работать, у них таки получилось, но потом выяснилось, что в коде баг и все соединения получили одинаковый вес. В попытке понять этот результат авторы и развили тему.