А помните я говорил, что заглянул в данные, и с удивлением обнаружил, что задачка то симметричная, так что стоит сети об этой симметрии догадаться и выяснится, что половина валидации в трейне присутствует.

И, конечно, стало мне интересно, а что там с этим хвалёным гроккингом будет, если эту "утечку" в трейне устранить.

На самом деле это, конечно, же это не утечка, а наоборот самая маковка обобщения - заметить, что в данных присутствует центральная симметрия, но согласитесь без это симметрии задачка выглядит сразу сильно более сложной и впечатляющей.

Так вот, выясняется, что если взять в рассмотрение только половину данных, оставив, доступными только сложные обобщения, гроккинг тоже вполне себе заводится, но не так бодро - в четыре раза больше времени у него уходит чтобы распутать эту математику.

Было-Стало

Для опенсорсной библиотечки, которую буду показывать в октябре на новосибирском датафесете обобщил и причесал двухсторонние логарифмические графики, которые вы могли часто видеть в разных формах в моих докладах.

Это когда вам нужно показать каку-то-величину которая может меняться на порядки, но при этом и положительные и отрицательные значения вам для понимания нужны и желательно на одном графике.

Например, вы смотрите как изменение loss-а за десяток батчей зависит от выбранной lr. При слишком большой lr будут экстримально большие значения, котоыре вам взорвут весь график, но вам нужны только отрицательные значения и тенденция, а lr тоже меняется в широчайших пределах.

В этом случае я как бы склеиваю два отдельных логарифмических графика в одинаковом масштабе, помещая между ними виртуальный 0. На самом деле и нулевое значение там тоже быть может, и будет нарисовано на этой линии и информативно.

Казалось бы мелочь, но очень важная для понимания в некоторых случаях.

Быть зрячим лучше, чем просто знать правильный ответ. (с) Я

В продолжение предыдущего поста. Часто рекомендуют подирать гиперпараметры для обучения запуская полный цикл. Даже не учитывая того, что это безумно дорого, начнём с того, что на разных этапах обучения наиболее удачные параметры могут драматически, порой, на порядки отличаться. Самый простой пример, который я показывал на прошлом сибирском датафесте - если вы имеете какие-то проблемы с протеканием градиентов или вообще обобщениями на начальном этапе вам может потребоваться довольно большая скорость, но как только первоначальные проблемы преодолены оптимальная скорость оказывается ниже как минимум на порядок. Опять же скорость хорошо подходящая для среднего этапа где сеть имеет явно выраженный тренд к которому идёт, оказывается совершенно не подходящей для ситуации когда она оказывается мечащейся в лабиринте на поздних этапах. Возможный выход проверять скорость и иногда подправлять вручную. (Хотя Монашев (Multi-layer Parkinson) тут недавно полностью автоматически корректировал скорость на каждой эпохе похожим способом и добился результатов на которые я уже несколько месяцев медитирую).

Для этого можно прогонять не всё обучение, а только небольшой кусочек. Например, На первой картинке из прошлого поста всего 1/24 от всего имиджнета, а на картинках в этом посте вообще 1/120 файнтюна батчами, но картина более чем очевидна. Причём глядя на неё вы можете предпринять уже более длинные эксперименты, например на скоростях 5e-6, которая не сильно задевает accuracy но уже предсказуемо давит на loss или скорость 1е-4 на которой loss даёт уже практически максиммальное снижение, но в acc творится что-то нехорошее. Но есть ещё один хитрый трюк. Оптимальную скорость порой трудно обнаружить, на графике, потому что изменения уже микроскопические, но скорость на которой сеть разваливается всегда видна хорошо, и легко автоматически детектируется, даже в довольно экстримальных экспериментах. Например на второй картинке adamw(weight_decay=20) против 0.01 по умолчанию, и обычно оптимальная скорость находится от этой точки разрушения сети на примерно одинаковом расстоянии в 0.75-1 порядок. И никакая интуиция не подскажет вам на какой скорости сеть таким образом учить можно, а на какой уже нельзя.

P.S. Иногда можно специально повышать скорость до недобрых значений чтобы вызывать структурные перестроения в сети и получить эффект "отжига". Но даже в этом случае удобно видеть какая скорость на данном этапе обучения является скоростью разрушения и какая скоростью отжига.