L1 и L2 Регуляризации при выборе того на сколько нужно пожать вес опираются на значение этого веса, но задумывались ли вы о том, на сколько связаны вес и его влияние на результаты работы сети? Бытует интуитивное мнение, что если вес большой, то он важный, а если меленький, то не важный. На сколько это верно?

Можно напрямую посчитать истинную полезность любого веса для сети - отключить его одного и посмотреть на сколько изменится результат на всей тестовой выборке. Давайте возьмём для опытов второй полносвязанный слой классификатора классической сети AlexNet, которая обучалась без каких либо хитрых изысков регуляризации десять лет назад. Эталонно изученый во всех деталях слой. Для примера возьмём из него 4096 случайных весов, потому что чтобы прогнать тестовую выборку все 4096х4096 раз на моей домашней машине потребовалось бы пол года. Для иллюстрации нам вполне хватит.

Смотреть напрямую на accuracy, к сожалению, не информативно, обнуление никакого из весов не повлияло на классификацию более чем двух картинок из всего тестового датасета. Но мы можем посмотреть на то, как выключение веса повлияет на loss, вычисленный по всей тестовой выборке, кроссэнтропию, например. Тут вклад тоже получается копеечный, на столько что 33 из 4096 весов показали строго нулевое изменение loss - их вклад оказался меньше ошибки округления float32, но это уже вполне уверенно позволяет оценить важность каждого веса. Смотрим на первую иллюстрацию, распределение на столько нормальное, что можно сказать эталонное, вполне правдоподобные числа.

Ну и на сколько же соотносятся истинная полезность и вес? Смотрим вторую иллюстрацию. Во-первых, да, маленькие синапсы не могут быть слишком важными, но при этом большие и тяжёлые могут быть совершенно бесполезными. Как видно по третьей иллюстрации квадрат веса ничуть не лучше, и отношение полезности к весу тоже очень нормально распределено, оно может быть разным и чаще всего оно не очень хорошее.

Так что если вы видите меленький вес его вероятно можно занулить, но если вы видите относительно большой вес это ваще ничего не значит.
По его дисперсии, кстати, можно ценить степень нелинености решения, если вам для вашей интерпретации это зачем-то понадобилось.

Ну и ещё одна иллюстрация. Точно так же как мы считаем полезность для тестовой выборки мы можем посчитать её и для выборки учебной, и посмотреть как будут соотноситься полезности на трейне и тесте.
Не все 1.2M изображений конечно, я ж не миллионер, возьмём из учебной выборки случайную подвыборку такого же размера - по пятьдесят картинок каждого класса. Всего то ещё один день надо не выспаться, и картинка готова.
Если бы не корреляция в .24 можно было бы предположить, что никакой логики за этой картинкой не стоит. Но она есть.

Хорошая идея, я полагаю, способна как философский камень, превратить нейросети в золото. Проблема в том, что пока нужное количество усилий не вложено и превращение не произошло хотя бы на тестовом примере, вы не можете сказать, что идея была хорошая. А если превращение не произошло, то даже после этого не можете быть до конца уверены, что идея плохая. Кто знает, может у вас просто пример неудачный. А фонтанировать идеями хочется гораздо-гораздо раньше

Вот, например, мы знаем, что обычно чем больше лосс тем больше градиент. Это наверное удобно на начальных этапах обучения, но вот мы движемся к концу обучения, переобучение уже видно невооружённым взглядом, и вдруг нам приспичило посмотреть у каких картинок наибольший лосс, и соответственно они вносят наибольший вклад в обучение. Предсказуемо наибольший оказывается у ошибок разметки. И че? Мы точно уверены, что такое обучение идёт нам на пользу? Нет, такой лосс нам не нужен!

Дмитрий Колодезев тут актуализировал интересный вопрос - а как в реальности выглядит распределение сигналов, поступающих на функцию активации, то есть что на самом деле с этими сигналами делает функция активации. Бешенной собаке семь вёрст не крюк, поэтому я взял AlexNet, у которого простая и понятная активация ReLU, прогнал через сеть 10000 картинок из имиджнета, по 10 картинок на класс и сохранил подающиеся на активацию логиты. Вашему вниманию предлагаются 64 из 4096 нейрона последнего фули коннектед слоя, отнормированные на стандартное отклонение, медианное значение выровненного логита и процент сигналов, который не зарезала функция активации. На второй картинке то же самое для второго свёрточного слоя примерно в середине карты активации.
Хорошо видно, что нейроны без всяких батчнормов сами обучились пропускать дальше лишь четверть и меньше сигналов, поступающих к ним на вход.

Кстати пишите в комментах если вам в связи с этим кажется, что сеть сама себя сделала похожей на сигнальную. :)

🚀 Привет, ODS!

11 декабря нашему сообществу исполнился 1 год!🎉

В связи с этим мы рады пригласить вас на оффлайн митап Data NewYear, который пройдет совместно с Yandex!

📍Место: Москва, улица Льва Толстого, 16. БЦ «Морозов», Мулен-Руж
📅 Дата: 27 декабря
🕕 Время: 18:00-22:00

Что мы приготовили для вас или 5 причин прийти:

🔴 Годовой обзор: посмотрим, что произошло в индустрии и в нашем сообществе за 2023 год
🔴 Доклады: узнаем про успехи и провалы коллег по цеху
🔴 Q&A: ответим на вопросы о ML, карьере и развитии. Оставлять тут.
🔴 Data квиз: каждый сможет проверить свои знания в ML и не только
🔴 Неформальный нетворкинг: общение, новые знакомства и возможности

💡Важно! Количество мест ограничено площадкой, для регистрации на мероприятие нужно заполнить форму.

📢 Немного про доклады:
Если ты хочешь выступить, напиши в личку @danielchsh

P.S. с Дед Морозом связались - подарки будут. А вот записи и трансляции - нет. Проведем этот вечер душевно и лампово!

Полное расписание митапа

Презентация моего докладика на Data NewYear 2024. Для читателей канала ничего нового. Я добавил к докладу про подбор скоростей, но тут в канале я про него рассказывал гораздо подробнее.

Помните я много раз говорил, что когда вы используете всякие Densely Connected, то есть присоединяете вход слоя к его выходу прежде чем отдать результат дальше, вы смешиваете в одну кучу сигналы разной глубины с очень разными характеристиками.
Так вот вам иллюстрация. Тут 8 слоёв, каждый из которых конкатенирует свой выход к подаваемому дальше входу а в конце один финальный fully connectet слой, на который подаётся вся эта смесь. А теперь посмотрите как выглядят градиенты на диаграмме последнего слоя.
Отчётливо видны веса, работающие с каждой из восьми глубин сигнала и разница между типичными градиентами из первого слоя и последнего различаются на 15 порядков. Конечно, если напихать туда BatchNorm картина размоется, но мы же уже знаем, что оптимальная скорость в этом случае может отличаться на два-три порядка, с этим BatchNorm не в силах помочь.
Что с этим делать - решайте сами в каждом конкретном случае. Как я и говорил - быть зрячим лучше, чем просто знать ответ.

Всех с новым годом! Желаю решений нерешенного, тяги к особенному и чтобы вас ценили.

А теперь развлекательный опрос!!! Берём скромного размера сеточку, например MobileNet_V3_Large.IMAGENET1K_V2 и вдумчиво, с использованием тайных алгоритмов секты Свидетелй Градиента, удаляем (обнуляем) из неё половину весов, подфайнтюнивая немножко оставшиеся, не более полутора десятков эпох, просто чтобы не разваливалась раньше времени. В процессе файнтюнинга обнулённые веса остаются обнулёнными, не обучаются.