Layer-wise linear mode connectivity

Прикольная статья, которая теоретически и эмпирически показывает, почему прямое усреднение параметров моделей с одинаковой архитектурой улучшает результат, а точнее усреднение параметров конкретных слоев

Позволяет выйти в поверхности функции потерь на место с отсутствием linear barrier => parameters averaging снижает лосс, что далеко нетривиально для невыпуклых лоссов глубоких сетей


👀LINK


#representationlearning #parametersaveraging #losssurface

Identifying Policy Gradient Subspaces

В оптимизации супервайзд лернинга есть находка относительно градиентов - они лежат в каком-то подпространстве параметров, при этом это подпространство меняет свою форму относительно медленно

Авторы решили поискать то же самое и в полиси градиент методах рл - и выяснили то же самое!

А что ето значит? А то, что любые методы по ускорению обучения супервайзд лернинга, которые используют факт low-dimensional gradient subspace coverage, можно без зазрения совести использовать и в классичных алгоритмах рл, задумываясь о других аспектах методов


👀LINK

#rl #optimization #subspace #policygradient

To the Max: Reinventing Reward in Reinforcement Learning

Все обучение с подкреплением зиждится на максимизации функции награды, а точнее на ее максимизации в долгосрочной перспективе, в основном - это (дисконтированная) сумма наград

Но что делать в ситуациях, когда сумма наград не подходит под решение задачи? Например, награды, сделанные в лоб для того, чтобы заставить агента делать то, что человек хочет, зачастую разреженные, а такое оптимизируется ой как непросто и в классическом дип лернинге, не то что в рл

Авторы предлагают в таком случае переформулировать постановку оптимизации не суммы наград, а максимума из наград, что поможет в таких случаях
А как такое сделоть? Через доп переменную, которая интуитивно является аккумулируемой переменной максимума, а остальные детали не отличаются от классических имплементаций


👀LINK

#rl #reward

🕯️Друзья, вчера случилась большая трагедия!

Нападение террористов на Крокус привело к большому числу жертв и пострадавших.

Сбер не остался в стороне и вместе с Российским красным крестом запустил благотворительный фонд. Прошу не оставаться в стороне, помощь каждого из вас безмерно важна🙏

➡️По ссылке сразу перейдёте в Сбербанк Онлайн и сможете внести пожертвование.

Берегите себя🙏

Inference via Interpolation:
Contrastive Representations Provably Enable Planning and Inference

Работать с временными рядами сложно, особенно когда эти ряды еще и многомерны. Но можно ли снизить размерность -> облегчить инференс, который интуитивно отвечает на вопрос "а что произойдет в будущем?"

Ну можно перевести в какие-то эмбеддинги, а лучше не просто, а применить метрик или контрастив лернинг

А как именно применить контрастив лернинг? - перевести ряды в такие эмбеддинги, чтобы временная разность между рядами сохранялась в пространственной между эмбеддингами

Авторы делают такой процесс при помощи классического InfoNCE, да и теоретически показывают, что такие репрезентации следуют процессу Гаусса-Маркова, а значит и инференс благодаря этому получается analytically tractable, да и еще можно интерполяцию делать между дискретными таймстепами

👀LINK

#timeseries #representationlearning #contrastivelearning #decisionmaking

HIQL: Offline Goal-Conditioned RL with Latent States as Actions

Есть рл, где мы отталкиваемся от ревард функции. Окей, а что делать если этой функции нет - можно ли все равно делать роботов и прочее, что мы хотим? Yes, можно свести отсутствие реварда к задаче достижения цели (goal), где надо прийти в какое-то место, а ревард функция в данном случае будет индикатором того, достигли ли мы желаемой точки или нет. В каком-то смысле отсутствие реварда в явном виде подталкивает нас на то, что такие модели будут склонны к self-supervised (unsupervised) поведению

Но чем дальше наша цель, тем сложнее. Верно как и для людей, так и для универсальных аппроксиматоров (нейронок), Seohong Park, ранее упоминавшийся в нашем канале, решает эту проблему через обобщенную Value function, которая принимает на вход вместо действий так называемые подцели (subgoals) + вводит иерархичного актора (policy), первый уровень которого моделирует эмбеддинг этого subgoal, а второй уровень по действию и по подцели предсказывает действие, которое надо сделать чтобы прийти к изначальному goal

Звучит не так сложно, а ведь так и должно - зачастую скейлятся и остаются на года именно те решения, которые стараются как можно проще решить задачу, и при этом решают ее

👀LINK

#rl #goal #rewardfree #value #offlinerl

Is the Policy Gradient a Gradient?

Есть важная для теории рл вещь как Policy Gradient - позволяет связать (почти) напрямую реварды в рл с параметрами модели, которая предпринимает действия в среде.
Однако есть важный нюанс, который часто откидывают в более продвинутых методах - в них откидывают discount factor, коэф < 1, который интуитивно склоняет агента получать как можно больше награды как можно раньше (ну и на самом деле без этого коэффициента часто где не будут сходиться определенные величины и алгоритмы еще на уровне теории второго курса точно не будут работать)

Авторы задают вопрос - а можно ли вообще такое делать? останется ли такой измененный "градиент" градиентом хоть какой-то функции, или хотя бы будут ли теоретические показания, что алгоритм все равно хоть куда-то сойдется?

Как оказывается - такие градиенты вообще не градиенты (думайте.) Если ниже из списка популярных алгоритмов хоть один вам известен - в нем оптимизация идет не функции, а непонятно по чему

[ A3C SAC ACKTR ACER PPO TD3 ]

Ну, окей - хотя бы практически работает, но почему? where is my mind?
К сожалению или счастью, непонятно, почему это работает, кроме как фразы: "Ну мы вкладываем такое предположение, которое должно работать"

Считаю, это тот момент, когда очень наглядно современный теоретический аппарат науки отстает от человеческой интуиции - авторы вносят практические (эвристические) модификации, обусловленные эмпирическими результатами и упрощенными размышлениями, а теоретически это не выразить


👀LINK

#rl #policygradient #theory #practice