Inference via Interpolation:
Contrastive Representations Provably Enable Planning and Inference

Работать с временными рядами сложно, особенно когда эти ряды еще и многомерны. Но можно ли снизить размерность -> облегчить инференс, который интуитивно отвечает на вопрос "а что произойдет в будущем?"

Ну можно перевести в какие-то эмбеддинги, а лучше не просто, а применить метрик или контрастив лернинг

А как именно применить контрастив лернинг? - перевести ряды в такие эмбеддинги, чтобы временная разность между рядами сохранялась в пространственной между эмбеддингами

Авторы делают такой процесс при помощи классического InfoNCE, да и теоретически показывают, что такие репрезентации следуют процессу Гаусса-Маркова, а значит и инференс благодаря этому получается analytically tractable, да и еще можно интерполяцию делать между дискретными таймстепами

👀LINK

#timeseries #representationlearning #contrastivelearning #decisionmaking

HIQL: Offline Goal-Conditioned RL with Latent States as Actions

Есть рл, где мы отталкиваемся от ревард функции. Окей, а что делать если этой функции нет - можно ли все равно делать роботов и прочее, что мы хотим? Yes, можно свести отсутствие реварда к задаче достижения цели (goal), где надо прийти в какое-то место, а ревард функция в данном случае будет индикатором того, достигли ли мы желаемой точки или нет. В каком-то смысле отсутствие реварда в явном виде подталкивает нас на то, что такие модели будут склонны к self-supervised (unsupervised) поведению

Но чем дальше наша цель, тем сложнее. Верно как и для людей, так и для универсальных аппроксиматоров (нейронок), Seohong Park, ранее упоминавшийся в нашем канале, решает эту проблему через обобщенную Value function, которая принимает на вход вместо действий так называемые подцели (subgoals) + вводит иерархичного актора (policy), первый уровень которого моделирует эмбеддинг этого subgoal, а второй уровень по действию и по подцели предсказывает действие, которое надо сделать чтобы прийти к изначальному goal

Звучит не так сложно, а ведь так и должно - зачастую скейлятся и остаются на года именно те решения, которые стараются как можно проще решить задачу, и при этом решают ее

👀LINK

#rl #goal #rewardfree #value #offlinerl

Is the Policy Gradient a Gradient?

Есть важная для теории рл вещь как Policy Gradient - позволяет связать (почти) напрямую реварды в рл с параметрами модели, которая предпринимает действия в среде.
Однако есть важный нюанс, который часто откидывают в более продвинутых методах - в них откидывают discount factor, коэф < 1, который интуитивно склоняет агента получать как можно больше награды как можно раньше (ну и на самом деле без этого коэффициента часто где не будут сходиться определенные величины и алгоритмы еще на уровне теории второго курса точно не будут работать)

Авторы задают вопрос - а можно ли вообще такое делать? останется ли такой измененный "градиент" градиентом хоть какой-то функции, или хотя бы будут ли теоретические показания, что алгоритм все равно хоть куда-то сойдется?

Как оказывается - такие градиенты вообще не градиенты (думайте.) Если ниже из списка популярных алгоритмов хоть один вам известен - в нем оптимизация идет не функции, а непонятно по чему

[ A3C SAC ACKTR ACER PPO TD3 ]

Ну, окей - хотя бы практически работает, но почему? where is my mind?
К сожалению или счастью, непонятно, почему это работает, кроме как фразы: "Ну мы вкладываем такое предположение, которое должно работать"

Считаю, это тот момент, когда очень наглядно современный теоретический аппарат науки отстает от человеческой интуиции - авторы вносят практические (эвристические) модификации, обусловленные эмпирическими результатами и упрощенными размышлениями, а теоретически это не выразить


👀LINK

#rl #policygradient #theory #practice

Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations

Есть близкая к рл подобласть - imitation learning, где нам не дана функция награды, но есть примеры от эксперта (демонстратора), по которым надо научиться действовать в среде. По сути это обычный supervised learning. А значит и этой идее присущи все недостатки супервайзд лернинга, связанные с характеристиками данных и лейблов. В нашем случае мы это назовем невозможностью превзойти демонстратора, которым были собраны данные

Но авторы придумали, как обойти этот потолок - раз у нас есть лучшие действия которые надо копировать, почему бы не зашумить их тем или иным образом, перформанс ухудшится от шума, а значит и у нас уже будут не просто лучшие действия, а пара из оптимального и неоптимального действия, а если еще и шум постепенно увеличивать, то мы будем наблюдать постепенную деградацию в результате с разной степенью оптимальности. Можем ли мы обучить на этом функцию награды и вернуться к классической постановке обучения с подкреплением? Как оказывается, да!


👀LINK

#rl #reward #noiseinjection #irl #imitationlearning