Как устроен беспилотный автомобиль. Часть первая.

Уверен, что вы ждали посты о беспилотниках. Больше не буду вас мучать.
Начну с самых основ, чтобы всегда можно было ссылаться на этот пост.
Первая часть про железо.

Сейчас все наши машины — Hyundai Sonata 8-го поколения. Почему мы выбрали именно эту модель? Она оборудована всем, что нужно для программного управления рулём и ускорением. Hyundai Sonata, которые мы превращаем в беспилотные, ничем не отличаются от других автомобилей той же модели.

Для учёта автомобиля в наших внутренних системах мы используем два параметра: его VIN-код и имя. Если перевести в IT-термины, VIN — это MAC-адрес, а имя машины — FQDN. Да-да, у каждой из наших машин есть своё имя. VIN-код слишком сложно запомнить, а госномер может измениться.

Сначала мы называли автомобили в честь героев сериала «Мир Дикого Запада»: Takoda, Kohana, Akecheta. Когда персонажи закончились, нам на помощь пришла нейросеть, которая сгенерировала 60 тысяч уникальных имён. Так появились Natelio, Keyro, Onipa.

Если встретите на дорогах наш беспилотник, без труда узнаете, как его зовут. Стикеры с именами мы наклеиваем всегда в одно и то же место: справа, под лобовое стекло.
Беспилотный автомобиль состоит из трех частей: сам автомобиль, сенсорсет, вычислитель и сотни метров различной проводки. Про машину мы уже поговорили, теперь расскажу про сенсорсет.

Сенсорсет — это набор датчиков, которые являются органами восприятия автомобиля. В индустрии все используют один и тот же набор типов сенсоров: лидар, радар и камеру.

У нас на машине установлены следующие сенсоры:

Четыре лидара: лидар собственной разработки на крыше, эквивалентный 90-лучевому; два 16-лучевых на крыльях; один 16-лучевой в передней части автомобиля.

Шесть радаров: четыре на крыше в сенсор-боксе; два на крыльях.

Камеры. Они также собственной разработки. Их на машине десять штук: четыре на крыше в сенсор-боксе, три внутри под лобовым стеклом, две на крыльях и одна спереди под решёткой радиатора.

Зачем так много сенсоров и что каждый из них делает?

Лидар — он же лазерный дальномер. Благодаря ему машина знает расстояния до всех предметов вокруг с сантиметровой точностью. А еще он используется для локализации машины в пространстве (пишите, если интересно, что такое локализация, расскажу).

Радар — устройство, которое определяет скорость объектов вокруг.

Камеры — служит для того, чтобы детектировать сигналы светофора и прочие необычные ситуации на дороге, например открытые двери у припаркованной машины.

Человеческий глаз — это очень функциональное устройство, и чтобы заменить его в цифровом виде, приходится использовать информацию сразу со всех сенсоров.

Мы живём не в самом благоприятном климате: у нас выпадают все возможные виды осадков, да и резкие перепады температуры не редкость. Всё это загрязняет наши сенсоры и мешает машине «видеть». Поэтому мы разработали специальную систему очистки, которая подаёт на лидар и камеры воздух и воду в правильной пропорции.

Все данные от сенсоров стекаются в мозг нашего беспилотника — вычислитель.

⬆️⬆️⬆️Машина полностью автономна, и все вычисления происходят на борту. Так что отключения интернета или мобильной связи никак не скажется на поведении автомобиля. Внутри вычислителя трудятся два серверных процессора, промышленная видеокарта и куча гигабайт оперативной памяти. Все эти устройства потребляют дополнительное электричество, примерно столько же, сколько и штатный кондиционер, поэтому мы оснащаем автомобиль дополнительными батареями. А чтобы компьютер не перегревался в ограниченном пространстве, даже в самое жаркое сочинское лето, мы разработали специальную водяную систему охлаждения, которая, в свою очередь, охлаждается штатным кондиционером автомобиля.
Главное в машине — это безопасность. На всю электронику нижнего уровня, включая устройство, которое подает управляющие сигналы автомобилю, приходят две независимые линии питания. Мы контролируем обе из них. В случае отклонений хотя бы в одной линии машину просто не удастся перевести в автономный режим.
Есть еще много разных девайсов: внутренняя сеть, планшет водителя...

Как устроен беспилотный автомобиль. Часть вторая
В прошлой части мы разобрали из какого железа состоит беспилотный автомобиль.
Пришло время алгоритмам.
Работа беспилотной технологии это своего рода конвейер, который собирает данные со всех сенсоров, принимает решение и передаеет команды автомобилю.
Этот конвейер состоит из четырех основных уровней: Восприятие (Perception), предсказание (prediction), планирование(planning), управление (control).
Восприятие (Perception).
На первом этапе автомобилю нужно “понять” где он находится. это процесс называется “локализация”. Большинство беспилотных автомобилей ездят по высокоточной карте, которая загружена в вычислитель. В ней есть информация о зданиях, дороге, разметке, дорожных знаках, светофорах, “лежачих полицейских”. Все статические предметы и объекты располагаются в карте, она строится на основе лидарной карты и обычных карт. Лидарная карта - это облако точек ( многочисленные отражения лучей лидара от поверхностей), которое заранее записывается, с нее удаляют все динамические объекты - машины, пешеходы, велосипеды и т.д Автомобиль, на котором запускается автопилот сравнивает данные с лидара, полученные в реальном времени, и сопоставляет их с картой, тем самым позиционирует себя на местности с сантиметровой точностью. После того, как машина локализовалась, она десятки раз в секунду получает данные со всех своих сенсоров об объектах вокруг нее: Скорость, ускорение, расстояние до каждой машины, велосипеда, пешехода или даже животного. Сигналы светофора, качестве дорожного полотна и даже об осадках. Все эти данные отправляет на следующий уровень - прогнозирование(Prediction).Самый крутой и сложный элемент автопилота. Нейросети вместе со сложными алгоритмами, строют сотни гипотез развития событий вокруг машины на несколько секунд вперед для каждого объекта. “Повернет ли БМВ с правой полосы налево или Приора подрежет?” “Пойдет ли пешеход на зеленый или нарушит?” Для каждой гипотезы есть свой вес и алгоритм выбирает наиболее вероятное развитие будущего.
Эти данные передаются дальше по конвейеру на слой Планирование (planning). Исходя из маршрута робоводитель строит кривую движения автомобиля, с ускорениями или маневрами, включает поворотник или наоборот отменяет перестроение. на выходе из конвейера мы получаем набор сигналов автомобилю: угол поворота руля и сила нажатия на педали, которые приводят в движения автомобиль.
На самом деле, все что я описал выше работает значительно сложнее, но для общего понимание, такое описание самое подходящее.

Задумывались ли вы, как будет выглядеть беспилотное будущее?

Когда все без исключения транспортные средства будут управляться только искусственным интеллектом. В голове где-то далеко всплывают картинки из фантастических фильмов, типа “Я, робот футуристические машины и не менее футуристичная дорожная инфраструктура.

Я люблю рассматривать такую перспективу исключительно с практической точки зрения.
Во-первых, на дорогах практически не останется светофоров. Потому что машины смогут “договориться” между собой о порядке проезда перекрестков, кроме того скорость проезда перекрестков кратно возрастет. Ведь машины будут заранее притормаживать или ускоряться в зависимости от алгоритма.

Во-вторых аварийность значительно снизится. Ведь роботы не нарушают ПДД.
И даже если на дороге произойдет какой-то инцидент, это не повлечет за собой скопление машин, или вторичные ДТП, ведь все машины вокруг уже знают, что на третьей полосе сломалась другая машина.

Это будет очень похоже на умный дом, где все устройства могут обмениваться информацией друг с другом. Машины смогут обмениваться информацией о дорожном полотне, об осадках, о ветре или тумане. И как следствие — выбирать альтернативный маршрут или подстраивать стиль вождения под текущую ситуацию. Все это приведет к повышению уровня безопасности и комфорта в поездках.

📸 Aurora показала, как её автономный грузовик распознаёт спецсигнал полиции, безопасно съезжает на обочину и останавливается.

#aurora

Тут «Aurora» опубликовало интересное видео, где их грузовик определяет сигналы спецтранспорта и прижимается к обочине.

У меня много вопросов к этому видео.

1. Видео снято на их полигоне. Обратите внимание на остальных участников движения, перекрестки, предметы, постройки и людей. Т. е. это полностью контролируемая среда, в которой все работает по известному сценарию: обочина существует и приспособлена для того, чтобы на ней остановиться. В округе нет других участников движения, которые могли бы воспрепятствовать парковке грузовика.

2. А теперь давайте представим реальную ситуацию. Грузовик едет 90 км/ч в пургу по трассе Москва — Санкт-Петербург. Дорогу уже почистили, и на обочине образовался полуметровый снежный отвал. И тут сзади с какого-то появляется автомобиль с проблесковыми маячками. Тут надо отметить, что в РФ есть несколько типов проблесковых маячков: желтый, синий и сине-красный. Последние используются сотрудниками ДПС и ФСО, синие — пожарными и полицией, желтые — спецтехникой. Допустим, это сотрудники ДПС, и наш грузовик максимально быстро пытается припарковаться, но тут нюанс, у нас нет обочины, ее завалило. Т. е. надо парковаться в правой полосе, а это совсем не безопасное решение. Ну, допустим, мы запарковались, но вот зачем? Это сотрудник ДПС сопровождает колонну детей в лагерь. Т. е. как определить, что спецсигнал предназначен именно беспилотному грузовику?

3. Кажется, что на данном видео, после детекции спецтранспорта, к машине подключился удаленный оператор и запарковал ее. Это мне видится самым простым и безошибочным способом.

Я это все к чему — детекция спецтранспорта и дальнейшая реакция беспилотника — очень сложная задача. Ребята из «Aurora» сняли хорошее промовидео, вероятно, для гос. органов, чтобы показать, что они работают и над этой задачей тоже и стремятся максимально адаптироваться к различным дорожным ситуациям. Молодцы.

Интересное событие случилось в Китае. Беспилотный автомобиль компании Baidu сбил человека. Да, стоит оговориться, человек нарушил правила дорожного движения и пошёл на красный сигнал светофора. Что здесь важного?

Во-первых, этому событию придали большую огласку и, кажется, осознанно раструбили во всех СМИ. Те, кто следят за беспилотным миром, хорошо помнят, что случилось с Cruise, когда они скрыли подробности их ДТП с человеком. Поэтому Baidu молодцы — они использовали принцип минимального риска и максимальной открытости. По правилам ПДД их вины нет, но они не скрывают любые дорожные инциденты.

Во-вторых, почему такое произошло? Почему беспилотный автомобиль, который видит на 360 градусов разными сенсорами и реагирует быстрее, чем человек, такое допустил? Обучающий датасет автомобиля на 99% состоит из ситуаций, в которых люди не ходят на красный сигнал светофора, и беспилотник, вероятно, неверно выбрал гипотезу развития будущего. Вероятность такого развития события оценивалась как кратно меньшая, чем события, в котором человек стоит и не пойдёт на красный. А когда он всё-таки поехал на своем скутере, остановиться было слишком поздно, и беспилотник допустил хоть и незначительное, но ДТП.

Конечно, можно было бы алгоритмически всегда считать, что люди могут выбежать на красный, но тогда возникнет другая ситуация: машина будет всегда пропускать людей, которые стоят на красный. Представьте себе какой-нибудь оживлённый пешеходный переход, где всегда стоит толпа народу и ждёт разрешающего сигнала, — машина бы никогда такое не проехала.

Стоит ли этого бояться и утверждать, что беспилотники хуже людей? — Точно нет. Да, беспилотники сейчас как выпускники автошкол: они отлично знают правила, но могут ещё допускать какие-то ошибки. Поэтому в России, например, беспилотников помечают, как молодых водителей, специальным знаком — буква "А" в красном треугольнике. Да и в целом по машине можно понять, что она какая-то необычная.

По мере роста флота беспилотных автомобилей ДТП с ними будут учащаться, и это будет происходить до того момента, пока на дорогах остаются люди. Люди — самый большой фактор риска. И это нормально. Самолёты на заре своего развития падали десятками, но стали ли мы от этого меньше летать?

В прошлом году мы собрали партию из 50 роботов, для нас это была большая цифра. И чтобы это как-то отметить, решили сделать какой-нибудь перфоманс.

На носу как раз была премьера “Кибердеревни” и у меня возникла идея отправить роботов смотреть кино =) План был такой: роботы стартуют от центрального входа в Парк Горького и едут до Плюс Дачи – летней “резиденции” “Кинопоиска”. Едут, конечно же, в автопилоте в одной линеечке друг за другом. Идея – огонь! Осталось это только реализовать. Спасибо администрации парка за то, что разрешили провести такой перфоманс.

Сначала надо было нарисовать HD-карту по маршруту следования роботов. Для это ранним утром беспилотный автомобиль Toyota Prius стал накатывать километры по парковым дорожкам и аллеям. Готово. Дальше сложнее. Роботы едут с почти одинаковой скоростью, но всегда есть какая-то небольшая погрешность +\- 0.01 м\с, а для колонны из 50 роботов это становится большой проблемой. Даже при четко заданном маршруте, самый быстрый робот норовил выскочить и обогнать колонну. Чтобы это исправить, ребята сделали отдельную ветку кода, специально для этого проезда, чтобы роботы ехали строго друг за другом. После нескольких тестов в гараже, проблема была решена. Идея была сделать длинный ручеек из роботов, поэтому проезд запланировали на раннее утро, чтобы люди не создавали помех роботам

Первоначальный план был поставить роботов в открытом кинотеатре, но пока мы готовились, наступила осень и летний кинотеатр разобрали и у нас осталось только закрытое помещение, в которое всех роботов закатить не получится. Мы расстроились, т.к. нам пришлось кидать жребий среди роботов, кто пойдет смотреть кино, а кто будет создавать массовку у входа =) По правде сказать, жеребьевка была не очень честная 😉

Не менее интересной задачей было было придумать как привезти 50 роботов в центр города одномоментно. Но нам помогла Яндекс Доставка – ребята заказали несколько грузовых фургончиков, взяли наших водителей-испытателей, и всей толпой сумели быстро погрузить и разгрузить роботов, не создавая большого шума. Классно сработали! Робот выгрузили и выставили вдоль центральной проходной для эпичной фотосессии. И вот в намеченный час, ранним утром 50 роботов выдвинулись от входа в парк к Плюс Даче, попутно удивляя единичных прохожих. Проезд выглядел эпично, масштабно и очень организовано, все в стиле наших роботов.

Unitree представила робота-собаку на колесах Go2-W. такой форм-фактор не совсем новый, и такие роботы уже демонстрировались, но этот выглядит самым технологичным.
4D Lidar, Nvidia Orin NX и способность подниматься на вертикальные препятствия до 70 см - невероятная механика. Если смотреть на цену Go2, она стартует с отметки в $1600 за самую простую версию и где-то в районе $5000 за версию EDU (Pro cтоит $2800 + Orin $2100 + расширенная батарея). Эта штука способна управляться через ChatGPT и выполнять команды с пульта или удаленно. И казалось бы? чем не идеальное решение для робота доставщика? Поставь на его спину контейнер и он доставит вам ваш любимый салат через любые ямы да канавы. Но есть один нюанс. Работать эта штука в полной нагрузке будет не больше 2-х часов. Производитель заявляет работу с батареей в 15000mAh до 4-х часов, но в суровой городской реальности, с коробкой еды на спине зимой я, честно, не верю, что одного заряда хватит больше чем на 1,5 часа.
Так что 6-ти колесные роботы доставщики пока самый правильный формат для роботов курьеров