За прошедшую неделю все уважающие себя паблики, посвященные беспилотникам, активно обсуждают видео, на котором автономные автомобили Waymo (подразделение компании Google) бибикают на парковке.

Ситуация одновременно комичная и показательная. Команда Waymo внедрила полезную функцию — сигналить для предотвращения столкновений. Вероятно, эта функция алгоритмическая, то есть основана на множественных условиях IF. Уверен, что они протестировали ее в различных сценариях в своем симуляторе, но данный случай просто не пришел им в голову. Это, на мой взгляд, веский аргумент против концепции "все можно протестировать в симуляторе".

Скорее всего, у Waymo есть превосходный симулятор, но реальный мир гораздо сложнее и разнообразнее любой виртуальной среды. Также, учитывая размер их автопарка, Waymo уже стоит задуматься о внедрении технологии V2X (Vehicle-to-Everything), хотя бы для взаимодействия между машинами и сервисными локациями, такими как парковки.

https://3dnews.ru/1109669/waymo-pokazala-vmestitelnoe-i-nedorogoe-robotaksi-pokoleniya-6


Давайте на этом фоне продолжим знакомиться с принципом работы автономного автомобиля и обсудим, на мой взгляд, один из сложнейших этапов — Perception (Восприятие). Чтобы автомобиль принимал решения и корректировал движение, сначала он должен определить, что его окружает. На первый взгляд, задача кажется простой: установи множество камер, которые смотрят в разные стороны, и получишь изображение лучше, чем у любого живого водителя. Однако всё не так просто.

Человеческий глаз — это уникальный сенсор, особенно когда их два, и они работают в паре с мощным вычислителем — нашим мозгом. Глаза способны определять скорость, расстояние и могут мгновенно фокусироваться с дальних объектов на ближние. Для вождения автомобиля эти навыки крайне важны. Чтобы наделить беспилотный автомобиль аналогичными способностями, одних камер недостаточно. Ошибки в измерениях привести к серьезной аварии. Точность определения скорости не может ошибаться даже на 10 км/ч, а расстояние до объекта — даже на метр.

Именно поэтому все серьёзные компании, разрабатывающие автопилот 4+ уровня (об уровнях автопилота можно почитать тут), оснащают автомобили тремя типами сенсоров:

Камеры, естественно, присутствуют на автомобиле. Они в основном служат для определения цвета сигнала светофора, распознавания его положения, выявления различных коллизий, таких как открытые двери других автомобилей, и прочтения дорожных знаков.

Радары используются для точного определения скорости движущихся металлических объектов. Их на машине обычно штук шесть (кто напишет почему 6 и где они расположены и почему именно в этих местах, с меня подарок). Они также могут измерять расстояние, но делают это менее точно, чем лидары.

Лидар — главный сенсор на автомобиле. Его задача — определять расстояние до любых объектов с сантиметровой точностью. Разные компании используют различное количество лидаров: у Яндекса, например, 4 лидара, а у Waymo было 7, а теперь 6. Центральный лидар устанавливается на крыше. Обычно это многолучевой лидар (100+ лучей) с высокой интенсивностью, который может «видеть» объекты на расстоянии от 100 метров. Он обеспечивает локализацию и детекцию объектов. Для обзора ближней зоны и задней части автомобиля устанавливаются дополнительные лидары на крылья, в передний бампер и заднюю часть автомобиля. Эти лидары имеют высокую плотность и низкую интенсивность лучей, что позволяет «видеть» мелкие объекты: детей, животных, самокаты и детей на самокатах с животными =)

Все эти данные собираются и синхронизируются в цифровом виде сотни раз в секунду. Попробуйте провести простой тест: выйдите на оживлённый перекрёсток и осмотритесь вокруг. Что вы видите? Десятки машин и столько же пешеходов, пару собак, несколько голубей, курьера на велосипеде и парочку на одном самокате. Теперь представьте, что беспилотный автомобиль определяет тип каждого объекта, расстояние до него и его скорость 100 раз в секунду. Это не просто круто — это невероятно круто и очень сложно.

Поэтому я искренне считаю, что тот кто сможет реализовать лучший perception на машине, тот и будет лидером отрасли.

А что происходит в сложных погодных условиях, таких как дождь, снег или туман? Об этом я расскажу в следующем посте.
#selfdrivingcar #selfdriving #lidar

Очень хочется верить, что у Паши есть план и он его придерживается

#FreeDurov

Беспилотные автомобили катаются по трем городам в России: в Москве, в Иннополисе и чуть больше года назад запустились в Сириусе. Рассказать вам историю запуска?

Архивное видео. Везде его размещал, а тут еще не было. Исправляюсь.

Сразу две( Сбер, СтарЛайн) компании, производящие автономные грузовики, опубликовали на прошлой неделе видео своих тестовых поездок по дорогам общего пользования без человека за рулем. Это несомненно огромное достижение на пути к беспилотному будущему.
Такие испытания являются важным этапом в развитии технологии. Хотя в кабине находится инженер-испытатель, он не может быстро вмешаться в управление автомобилем. Удалённый оператор следит за машиной, но в случае экстренной ситуации он может только остановить автомобиль, и то с небольшой задержкой.
Этот шаг свидетельствует о полном доверии команд своей технологии автономного вождения. Я очень рад за них и желаю им дальнейших успехов и скорейших поездок совсем без человека в кабине.
На видео, снятом весной 2023 года, я с командой впервые едем по городским улицам Москвы без человека за рулем. 😊

Иннополис — город, который построили в чистом поле. Город, чья стратегия направлена на технологичность и науку. Город, в котором мы впервые в Европе запустили беспилотное такси без человека за рулем. Город, в котором все курьеры — роботы. Город, в котором впервые в Европе было запущено абсолютно автономное транспортное средство. Город, в котором хочется жить.

В Москве планируют развивать беспилотный транспорт.

Это отличные новости. Почему-то многие воспринимают их так: "Бедные таксисты и водители общественного транспорта, у них отберут работу". Но это не соответствует действительности. В Москве, как и во всем мире, наблюдается серьёзный дефицит водителей. Развитие автономного транспорта может помочь восполнить нехватку кадров. Беспилотное будущее не наступит завтра — процесс внедрения этой технологии займёт годы. За это время количество новых водителей в профессии будет сокращаться, поскольку она станет менее популярной.
На видео мы тестируем робототакси в районе Ясенево в 2023 году.

Уровень предсказания (Prediction)

Для меня этот уровень является самым мистическим и алгоритмически сложным. Именно здесь мы можем заглянуть в будущее с помощью машинного обучения.

Попробуйте задаться вопросом: как работает ваш мозг, когда вы проезжаете оживлённый перекрёсток? Вы предсказываете, что синий Opel проедет первым, чёрный BMW встроится в вашу полосу, а пешеход попытается перейти дорогу. Ваш мозг, основываясь на знаниях законов физики, правил дорожного движения и опыте вождения по московским улицам, прогнозирует развитие ситуации. С каждой секундой, по мере изменения обстановки, ваш мозг обновляет свой прогноз. Например, если этот пешеход поскользнулся и больше не двигается, а также заблокировал чёрный BMW, у вас появляется возможность спокойно проехать.

Беспилотный автомобиль действует по аналогичной логике. У него есть знания о правилах дорожного движения и физическом мире, переданные уровнем представления. Используя нейросети, обученные на миллионах аналогичных ситуаций, система строит прогноз для каждого объекта на дороге. В каждую последующую секунду учитываются изменения, произошедшие в предыдущую. Генерируются несколько гипотез, которые пересекаются, отсекая неприемлемые варианты и так до некоторого горизонта предсказаний. Итоговый уровень предсказания выдает состояние мира в следующую секунду (а на самом деле, в следующую сотую долю секунды), определяя, где будут находиться объекты, какую скорость они будут иметь и какие сценарии будущего для них возможны. Разве это не похоже на фантастику?

Наши внутренние инструменты позволяют после обработки всех логов исследовать развитие событий на несколько секунд вперёд и сравнить прогнозы с реальным развитием ситуации. Это напоминает мне фразу, которая всегда забавляла меня с точки зрения грамматики: "Как бы было в будущем."

p.s. В действительности, я опять очень сильно все упростил, если вам стало интересно как детально работает уровень предсказания, почитайте очень классную статью Вити Юрченко https://habr.com/ru/companies/yandex/articles/763348/

Яндекс» выпустил беспилотные грузовики на трассу «Дон»
Ну как-то так.
Включаемся в гонку технологий вместе со Старлайном, Сбером и КамАЗом

Завершаем знакомство с системой управления беспилотным автомобилем, рассказом про планнер и контрол. Я сначала думал разделить эти две части, так как каждая из них заслуживает отдельного поста, но потом решил объединить их, чтобы рассказ стал интереснее.

На предыдущем этапе у беспилотника сформировалось представление о мире с самой вероятной гипотезой развития событий на несколько секунд вперед. Теперь необходимо принять решение, что делать автомобилю - спланировать траекторию движения. Ускориться или притормозить, перестроиться или продолжить движение в своем ряду. Допустим, автопилот решает обогнать медленно движущееся транспортное средство впереди (уборочная техника движется в крайне правом ряду). Кстати, определить, что это именно тихоход, а не пробка из-за объезда ДТП, тоже непростая задача - об этом я расскажу отдельно.

Казалось бы, что здесь сложного: скорость тихохода мала, по левой полосе до ближайшего автомобиля сзади 300 метров, впереди тоже никого. Все просто: включить левый поворотник, повернуть руль влево, ускориться, повернуть руль вправо, включить правый поворотник, перестроиться и вернуть руль влево.

Но не все так просто. Мы сталкиваемся с первой сложностью. "Повернуть руль влево" - это значит дать команду электроусилителю повернуть его на определенное количество градусов, с заданной функцией изменения скорости вращения в зависимости от времени и скорости автомобиля.

Объясню подробнее. Сначала нужно начинать поворот медленно, ускоряя его до середины движения, а затем замедляться, чтобы перестроение было плавным. В зависимости от скорости автомобиля, скорость вращения руля тоже будет различной. Если повернуть руль с той же скоростью, как при парковке, беспилотник получит штраф за агрессивное вождение, если вообще удержится в полосе. (Если не включать поворотники, уважение от водителей BMW гарантировано). То же самое касается ускорения – оно тоже должно быть плавным. Алгоритм маневра в целом понятен, функция подобрана, поворотник включен.

Но вы же понимаете, что мир гораздо разнообразнее, чем можно себе представить? Тут возникает вторая сложность: что, если прямо перед беспилотником случается ДТП, а за ним едет грузовик? Его тормозной путь будет больше, чем расстояние до ДТП, и если тормозить, как предписывают ПДД, то у пассажиров останется мало шансов выжить. Есть пустая левая полоса, на которую можно плавно перестроиться. Но в такой ситуации это нужно сделать быстро. Вычислитель принимает такое решение за доли секунды, прогнозируя будущее. Автопилот должен действовать, как профессиональный гонщик.

Другими словами, в разных ситуациях планер и контролл должны работать по-разному. И таких ситуаций на дороге бесчисленное множество. На первом видео видно, как автомобиль Waymo принимает решение выехать на встречную полосу, отступив от правил дорожного движения. Это отличный пример работы планера в исключительной ситуации. Можно долго обсуждать, правильно это или нет, но ясно одно – это ОЧЕНЬ сложно.

Если вы думаете, что это все проблемы планера и контроллера, спешу вас огорчить – нет. Третья сложность – это среда, в которой находится автомобиль, и какой именно это автомобиль. Хорошо, когда сухо и тепло, и наш беспилотник - на базе полноприводного электрического автомобиля. У электромобиля почти нет задержки при ускорении. Давая команду на увеличение ускорения (проще говоря, нажимая на педаль газа), автомобиль практически мгновенно реагирует. Но с ДВС и классической автоматической коробкой передач так не получится. Необходимо учитывать задержку в пару секунд, пока автомобиль переключит передачи вниз, и двигатель начнет передавать мощность на колеса. Тут снова появляется сюрприз: слева, без поворотника, выскакивает другая машина, и наш маневр больше не безопасен, его нужно отменять. Отмена маневра - это тоже маневр, и это тоже задача для планера. Особенно сложно, когда беспилотник уже вышел из полосы и начал набирать скорость для обгона, а теперь нужно тормозить и возвращаться в ряд.

⬆️⬆️⬆️
И финально, мы увеличиваем сложность разработки планнера, добавляя в окружающую среду снег, дождь, гололёд и другие погодные аномалии. Если на дороге лежат глубокие сугробы, все наши траектории и функции для ускорения необходимо пересмотреть.

Существует два подхода к разработке планёра. Первый — это алгоритмическое описание всех возможных ситуаций, используя конструкции типа if … then … else, добавляя новые условия по мере их появления в процессе эксплуатации. Второй подход — это создание модели машинного обучения (ML), которая будет принимать на вход гипотезу о будущем развитии ситуации, а на выходе выдавать команды рулю и ускорению ( газ – положительное ускорение, тормоз - отрицательное).

В первом случае огромное количество условий if может в какой-то момент начать отрицательно сказываться на скорости работы планёра. Да и все варианты все-равно не учесть. Поэтому я искренне верю в потенциал планера на основе ML. Однако, чтобы он принимал 99.9% верных решений, ему необходимо обучение на сотнях миллионов километров дорожных испытаний, где редкие ситуации могут встречаться нечасто. Это делает обучение длительным и крайне дорогим процессом. Единственное логичное решение — создать симулятор, в котором можно моделировать все возможные ситуации и "проезжать" миллионы километров за одну ночь. По фату, нужно написать матрицу, симуляцию, в которой все по-настоящему, чтобы научить беспилотник ездить среди людей.

P.s. Второе видео от "Наши Обзоры (4pdaReviews)" очень старое видео, но на нем можно посмотреть на планшете как планер строит маршут.

Беспилотный автомобиль Waymo был остановлен полицией.
Интересная новость, связанная с моим предыдущим постом. Похоже, что Waymo использует машинное обучение для построения маршрута. Ведь при использовании традиционных алгоритмов такая ситуация вряд ли возникла бы, тогда как нейросеть иногда может допускать подобные ошибки. Это уже не первый и не последний случай, но это не означает, что беспилотные автомобили хуже человека. В Краснодарском крае такие ситуации — обыденное явление, но никто ведь не пишет об этом в новостях. =)
#waymo #selfdrivingcar #robot