Быть зрячим лучше, чем просто знать правильный ответ. (с) Я

В продолжение предыдущего поста. Часто рекомендуют подирать гиперпараметры для обучения запуская полный цикл. Даже не учитывая того, что это безумно дорого, начнём с того, что на разных этапах обучения наиболее удачные параметры могут драматически, порой, на порядки отличаться. Самый простой пример, который я показывал на прошлом сибирском датафесте - если вы имеете какие-то проблемы с протеканием градиентов или вообще обобщениями на начальном этапе вам может потребоваться довольно большая скорость, но как только первоначальные проблемы преодолены оптимальная скорость оказывается ниже как минимум на порядок. Опять же скорость хорошо подходящая для среднего этапа где сеть имеет явно выраженный тренд к которому идёт, оказывается совершенно не подходящей для ситуации когда она оказывается мечащейся в лабиринте на поздних этапах. Возможный выход проверять скорость и иногда подправлять вручную. (Хотя Монашев (Multi-layer Parkinson) тут недавно полностью автоматически корректировал скорость на каждой эпохе похожим способом и добился результатов на которые я уже несколько месяцев медитирую).

Для этого можно прогонять не всё обучение, а только небольшой кусочек. Например, На первой картинке из прошлого поста всего 1/24 от всего имиджнета, а на картинках в этом посте вообще 1/120 файнтюна батчами, но картина более чем очевидна. Причём глядя на неё вы можете предпринять уже более длинные эксперименты, например на скоростях 5e-6, которая не сильно задевает accuracy но уже предсказуемо давит на loss или скорость 1е-4 на которой loss даёт уже практически максиммальное снижение, но в acc творится что-то нехорошее. Но есть ещё один хитрый трюк. Оптимальную скорость порой трудно обнаружить, на графике, потому что изменения уже микроскопические, но скорость на которой сеть разваливается всегда видна хорошо, и легко автоматически детектируется, даже в довольно экстримальных экспериментах. Например на второй картинке adamw(weight_decay=20) против 0.01 по умолчанию, и обычно оптимальная скорость находится от этой точки разрушения сети на примерно одинаковом расстоянии в 0.75-1 порядок. И никакая интуиция не подскажет вам на какой скорости сеть таким образом учить можно, а на какой уже нельзя.

P.S. Иногда можно специально повышать скорость до недобрых значений чтобы вызывать структурные перестроения в сети и получить эффект "отжига". Но даже в этом случае удобно видеть какая скорость на данном этапе обучения является скоростью разрушения и какая скоростью отжига.