Заявил Data Fest второй доклад. Планирую выложить в opensource несколько простых инструментов визуализации, которые каждодневно использую.
А чтобы смотреть на их применение было интереснее проиллюстрирую их применение на примере сетки, демонстрирующей гроккинг. Развею парочку надежд на понимание, того что при гроккинге происходит. Спойлер: что это за гроккинг такой и как подчинить его себе пока не понял.

Картинки для привлечения внимания: до фиолетового, тысячного семпла идёт рост на train, дальше начинается грокинг и идёт примерно до 2000-ого голубого на таректории, на картинке 4 случайные проекции, и на некоторых, но далеко не на всех проекциях видно, что направление движения сети на гроккинге под углом, к обучению на train-е.

А вот ещё одна не очевидная мысль.

Есть модель из оригинальной статьи про гроккинг и она обучается адамом на скорости 1e-3. И мы можем взять прогреть этот самый адам, и предложить ему сдвинуть модель всего на один шаг. И посмотреть как менялся бы loss за один единственный шаг на разных скоростях.

Предсказуемо когда скорость ниже определённого порога модель ведёт себя в целом линейно, а выше этого порога в целом не линейно и сильно хуже.

Но знаете что? 1e-3 является слишком большой скоростью для обучения практически на всех этапах обучения.

Но если снизить скорость в 30 раз в область где сеть ведёт себя строго линейно результат будет не лучше, а медленнее он будет не в 30 раз, а примерно в 100 раз. Как такое вашей интуиции? Не встаёт поперёк?

Иногда для нейросетей важно учиться не по градиенту, а слегка пробивать стены своего тоннеля. Это, по всей видимости общее свойство нейросетей, а что на этот счёт думала теория оптимизации - никто не знал, потому что экспериментаторы часто в ней не особо разбираются и не стремятся.

Судя по результатам я сейчас скажу информацию, полезную как минимум для 3 человек в этой группе. На самом деле я тоже когда-то думал так же.

А ну так вот, на картинке распределение весов в сети в ходе обучения, в логарифмическом масштабе. Где-то в районе 8-ой картинки начинается гроккинг и где-то в районе 14-ой он заканчивается. Никаких драматичных изменений в весах. На второй картинке метрика полезности синапсов и тут тоже ничего интересного, при том, что loss то при этом уменьшился на два порядка.

То есть никакой обобщённой подсети гроккинг из сети не выделяет. Как работали все веса параллельно, так и продолжают. Но что-то важное там всё-таки происходит.

P.S. Кстати, залихватским прунингом с дообучением можно выделить из грокнутой сети работающую подсеть, просто "из коробки" без единой хитрости. Оставил от сети всего 3% весов. при ~100% accuracy. Но если прунить и грокать одновременно сети это деже чуть-чуть мешает. Чуть-чуть, но замедляет гроккинг, что в мою, видимо, устаревшую интуицию как-то не укладывается.