Заявил Data Fest второй доклад. Планирую выложить в opensource несколько простых инструментов визуализации, которые каждодневно использую.
А чтобы смотреть на их применение было интереснее проиллюстрирую их применение на примере сетки, демонстрирующей гроккинг. Развею парочку надежд на понимание, того что при гроккинге происходит. Спойлер: что это за гроккинг такой и как подчинить его себе пока не понял.

Картинки для привлечения внимания: до фиолетового, тысячного семпла идёт рост на train, дальше начинается грокинг и идёт примерно до 2000-ого голубого на таректории, на картинке 4 случайные проекции, и на некоторых, но далеко не на всех проекциях видно, что направление движения сети на гроккинге под углом, к обучению на train-е.

А вот ещё одна не очевидная мысль.

Есть модель из оригинальной статьи про гроккинг и она обучается адамом на скорости 1e-3. И мы можем взять прогреть этот самый адам, и предложить ему сдвинуть модель всего на один шаг. И посмотреть как менялся бы loss за один единственный шаг на разных скоростях.

Предсказуемо когда скорость ниже определённого порога модель ведёт себя в целом линейно, а выше этого порога в целом не линейно и сильно хуже.

Но знаете что? 1e-3 является слишком большой скоростью для обучения практически на всех этапах обучения.

Но если снизить скорость в 30 раз в область где сеть ведёт себя строго линейно результат будет не лучше, а медленнее он будет не в 30 раз, а примерно в 100 раз. Как такое вашей интуиции? Не встаёт поперёк?

Иногда для нейросетей важно учиться не по градиенту, а слегка пробивать стены своего тоннеля. Это, по всей видимости общее свойство нейросетей, а что на этот счёт думала теория оптимизации - никто не знал, потому что экспериментаторы часто в ней не особо разбираются и не стремятся.