Real-World Humanoid Locomotion with Reinforcement Learning

Долгое время основной проблемой AI в робототехнике был Sim2Real Gap — разница между симуляцией и реальностью. Можно сколь угодно долго тренировать своих ботов в компьютере, но как только они сталкиваются с жесткой реальностью (типа отходняка в субботу) — мало что работает.

Исследователи из Berkeley показали невероятный результат — они смогли обучиться полностью в симуляции, а затем запустить нейронку на реальном роботе (1.6 метра/45 кг). И всё это end-2-end, без ручного программирования логики. Вы можете спросить: «так а чё, Boston Dynamics нас уже 10 лет таким развлекают?». Да, но у них долгое время вся логика была прописана вручную программистами, и это, как вы понимаете, плохо масштабируется. Обучение новому навыку может занимать год. А тут — всё сделано без вмешательства человека от начала и до конца. Это называется Zero-shot transfer (потому что с нулем дополнительных данных мы пренесли навык из симуляции).

Ключевых отличия от прошлых работ 2:
— масштаб сбора данных. Симуляция и обучение происходят на 4 GPU A100 (очень мало по современным меркам. GPT-4, по слухам, обучали на 25'000!) с помощью специального движка Nvidia IsaacGym, и в сутки генерируется больше 10 миллиардов попыток.
— как и принято в Deep Learning, все ручные эвристики убрали, и отдали на откуп Трансформеру: тот видит только состояние среды и действия из прошлого, и предсказывает, что нужно делать дальше (как GPT предсказывает следующее слово, так и этот — действия для конечностей). Никакого хардкода типа «если впереди ступеньки, то замедлись и подними ногу».

Вот вы читаете новость и радуетесь, а Джон Коннор сморит на вас из будущего с гримасой непонимания 😂😳

В продолжение темы роботов — Tesla выкатили новый ролик с Optimus.

Ему прокачали дизайн (выглядит действительно гуманоидно, разве что спина плоская), облегчили на 10 килограмм, добавили манёвренности — бегает на 30% быстрее (в видео ничего не ускорено), дали сенсоры давления на каждый палец — это вообще вау!

Ролик завораживает, действия получаются почти естественными, а мелкая моторика в примере с перекладыванием яйца — жестб. И этот робот тоже учится в симуляции, навыки — не программируются вручную! А ещё Tesla планирует нарастить мощности суперкомпьютера для обучения нейросетей в 10+ раз в следующем году.

Эх, ждём коллаба GPT-6 и тысяч таких роботов 👍