Год назад я и моя команда запустили беспилотный автомобиль по дорогам настоящего города и сделали это первыми в Европе. Да, я знаю про Waymo и Baidu.
Мы готовились к этому почти год. Накатали миллионы километров в симуляторе, провели тесты на полигоне и последние три месяца катали в режиме имитации пустой машины, в которой водитель вмешивается в работу автопилота только в кризисной ситуации. Все остальные ситуации автопилот должен решать сам или с помощью удаленных операторов.
Каких тестов мы только не проводили: имитировали лежачего человека на дороге, машину, которая выезжала из-за угла, машину, которая не уступала дорогу на главной нашему беспилотнику; самокатчика, который выскакивал под колеса; пьяного человека на дороге и много других кейсов, которые наш флот видел за миллионы пройденных километров. Самый волнительный был первый раз, когда мы вышли из машины и, хлопнув ее по заднему крылу, наблюдали, как она отъезжает от остановки абсолютно пустая.
Особенно интересно было наблюдать за реакцией жителей Иннополиса. Они уже привыкли, что машина ездит без водителя: с 2018 года беспилотники перевозят пассажиров в режиме такси без человека за рулем, водитель-испытатель находится на пассажирском сиденье. Но когда они понимали, что машина полностью пустая, то тут же доставали свои телефоны и начинали снимать её с большим удивлением.
Машина ездила по цикличному маршруту, а наша команда снимала видео этих проездов с разных ракурсов и в различных ситуациях. И в какой-то момент это стало настолько обыденным, что у меня побежали мурашки. Такое ощущение, что будущее наступило за несколько часов. Пустая машина катится по настоящему городу. Она перестраивается, поворачивает, уступает и проезжает первой на главной дороге, уступает дорогу роботу-курьеру, который везет чей-то заказ. И люди это воспринимают как должное, как будто так было всегда.
Кайф. Ради таких моментов и стоит работать ночами, спорить на встречах, экспериментировать, ошибаться и снова экспериментировать. Короче, создавать будущее.
Мы готовились к этому почти год. Накатали миллионы километров в симуляторе, провели тесты на полигоне и последние три месяца катали в режиме имитации пустой машины, в которой водитель вмешивается в работу автопилота только в кризисной ситуации. Все остальные ситуации автопилот должен решать сам или с помощью удаленных операторов.
Каких тестов мы только не проводили: имитировали лежачего человека на дороге, машину, которая выезжала из-за угла, машину, которая не уступала дорогу на главной нашему беспилотнику; самокатчика, который выскакивал под колеса; пьяного человека на дороге и много других кейсов, которые наш флот видел за миллионы пройденных километров. Самый волнительный был первый раз, когда мы вышли из машины и, хлопнув ее по заднему крылу, наблюдали, как она отъезжает от остановки абсолютно пустая.
Особенно интересно было наблюдать за реакцией жителей Иннополиса. Они уже привыкли, что машина ездит без водителя: с 2018 года беспилотники перевозят пассажиров в режиме такси без человека за рулем, водитель-испытатель находится на пассажирском сиденье. Но когда они понимали, что машина полностью пустая, то тут же доставали свои телефоны и начинали снимать её с большим удивлением.
Машина ездила по цикличному маршруту, а наша команда снимала видео этих проездов с разных ракурсов и в различных ситуациях. И в какой-то момент это стало настолько обыденным, что у меня побежали мурашки. Такое ощущение, что будущее наступило за несколько часов. Пустая машина катится по настоящему городу. Она перестраивается, поворачивает, уступает и проезжает первой на главной дороге, уступает дорогу роботу-курьеру, который везет чей-то заказ. И люди это воспринимают как должное, как будто так было всегда.
Кайф. Ради таких моментов и стоит работать ночами, спорить на встречах, экспериментировать, ошибаться и снова экспериментировать. Короче, создавать будущее.
🔥20❤8
Forwarded from Джейпег Малевича
This media is not supported in your browser
VIEW IN TELEGRAM
Парень показал, как по утрам выглядит «наступившее будущее» у него под окнами.
Беспилотные такси отчаянно пытаются выехать на работу.
Беспилотные такси отчаянно пытаются выехать на работу.
😁5
За прошедшую неделю все уважающие себя паблики, посвященные беспилотникам, активно обсуждают видео, на котором автономные автомобили Waymo (подразделение компании Google) бибикают на парковке.
Ситуация одновременно комичная и показательная. Команда Waymo внедрила полезную функцию — сигналить для предотвращения столкновений. Вероятно, эта функция алгоритмическая, то есть основана на множественных условиях IF. Уверен, что они протестировали ее в различных сценариях в своем симуляторе, но данный случай просто не пришел им в голову. Это, на мой взгляд, веский аргумент против концепции "все можно протестировать в симуляторе".
Скорее всего, у Waymo есть превосходный симулятор, но реальный мир гораздо сложнее и разнообразнее любой виртуальной среды. Также, учитывая размер их автопарка, Waymo уже стоит задуматься о внедрении технологии V2X (Vehicle-to-Everything), хотя бы для взаимодействия между машинами и сервисными локациями, такими как парковки.
Ситуация одновременно комичная и показательная. Команда Waymo внедрила полезную функцию — сигналить для предотвращения столкновений. Вероятно, эта функция алгоритмическая, то есть основана на множественных условиях IF. Уверен, что они протестировали ее в различных сценариях в своем симуляторе, но данный случай просто не пришел им в голову. Это, на мой взгляд, веский аргумент против концепции "все можно протестировать в симуляторе".
Скорее всего, у Waymo есть превосходный симулятор, но реальный мир гораздо сложнее и разнообразнее любой виртуальной среды. Также, учитывая размер их автопарка, Waymo уже стоит задуматься о внедрении технологии V2X (Vehicle-to-Everything), хотя бы для взаимодействия между машинами и сервисными локациями, такими как парковки.
❤2👍1
https://3dnews.ru/1109669/waymo-pokazala-vmestitelnoe-i-nedorogoe-robotaksi-pokoleniya-6
Давайте на этом фоне продолжим знакомиться с принципом работы автономного автомобиля и обсудим, на мой взгляд, один из сложнейших этапов — Perception (Восприятие). Чтобы автомобиль принимал решения и корректировал движение, сначала он должен определить, что его окружает. На первый взгляд, задача кажется простой: установи множество камер, которые смотрят в разные стороны, и получишь изображение лучше, чем у любого живого водителя. Однако всё не так просто.
Человеческий глаз — это уникальный сенсор, особенно когда их два, и они работают в паре с мощным вычислителем — нашим мозгом. Глаза способны определять скорость, расстояние и могут мгновенно фокусироваться с дальних объектов на ближние. Для вождения автомобиля эти навыки крайне важны. Чтобы наделить беспилотный автомобиль аналогичными способностями, одних камер недостаточно. Ошибки в измерениях привести к серьезной аварии. Точность определения скорости не может ошибаться даже на 10 км/ч, а расстояние до объекта — даже на метр.
Именно поэтому все серьёзные компании, разрабатывающие автопилот 4+ уровня (об уровнях автопилота можно почитать тут), оснащают автомобили тремя типами сенсоров:
Камеры, естественно, присутствуют на автомобиле. Они в основном служат для определения цвета сигнала светофора, распознавания его положения, выявления различных коллизий, таких как открытые двери других автомобилей, и прочтения дорожных знаков.
Радары используются для точного определения скорости движущихся металлических объектов. Их на машине обычно штук шесть (кто напишет почему 6 и где они расположены и почему именно в этих местах, с меня подарок). Они также могут измерять расстояние, но делают это менее точно, чем лидары.
Лидар — главный сенсор на автомобиле. Его задача — определять расстояние до любых объектов с сантиметровой точностью. Разные компании используют различное количество лидаров: у Яндекса, например, 4 лидара, а у Waymo было 7, а теперь 6. Центральный лидар устанавливается на крыше. Обычно это многолучевой лидар (100+ лучей) с высокой интенсивностью, который может «видеть» объекты на расстоянии от 100 метров. Он обеспечивает локализацию и детекцию объектов. Для обзора ближней зоны и задней части автомобиля устанавливаются дополнительные лидары на крылья, в передний бампер и заднюю часть автомобиля. Эти лидары имеют высокую плотность и низкую интенсивность лучей, что позволяет «видеть» мелкие объекты: детей, животных, самокаты и детей на самокатах с животными =)
Все эти данные собираются и синхронизируются в цифровом виде сотни раз в секунду. Попробуйте провести простой тест: выйдите на оживлённый перекрёсток и осмотритесь вокруг. Что вы видите? Десятки машин и столько же пешеходов, пару собак, несколько голубей, курьера на велосипеде и парочку на одном самокате. Теперь представьте, что беспилотный автомобиль определяет тип каждого объекта, расстояние до него и его скорость 100 раз в секунду. Это не просто круто — это невероятно круто и очень сложно.
Поэтому я искренне считаю, что тот кто сможет реализовать лучший perception на машине, тот и будет лидером отрасли.
А что происходит в сложных погодных условиях, таких как дождь, снег или туман? Об этом я расскажу в следующем посте.
#selfdrivingcar #selfdriving #lidar
Давайте на этом фоне продолжим знакомиться с принципом работы автономного автомобиля и обсудим, на мой взгляд, один из сложнейших этапов — Perception (Восприятие). Чтобы автомобиль принимал решения и корректировал движение, сначала он должен определить, что его окружает. На первый взгляд, задача кажется простой: установи множество камер, которые смотрят в разные стороны, и получишь изображение лучше, чем у любого живого водителя. Однако всё не так просто.
Человеческий глаз — это уникальный сенсор, особенно когда их два, и они работают в паре с мощным вычислителем — нашим мозгом. Глаза способны определять скорость, расстояние и могут мгновенно фокусироваться с дальних объектов на ближние. Для вождения автомобиля эти навыки крайне важны. Чтобы наделить беспилотный автомобиль аналогичными способностями, одних камер недостаточно. Ошибки в измерениях привести к серьезной аварии. Точность определения скорости не может ошибаться даже на 10 км/ч, а расстояние до объекта — даже на метр.
Именно поэтому все серьёзные компании, разрабатывающие автопилот 4+ уровня (об уровнях автопилота можно почитать тут), оснащают автомобили тремя типами сенсоров:
Камеры, естественно, присутствуют на автомобиле. Они в основном служат для определения цвета сигнала светофора, распознавания его положения, выявления различных коллизий, таких как открытые двери других автомобилей, и прочтения дорожных знаков.
Радары используются для точного определения скорости движущихся металлических объектов. Их на машине обычно штук шесть (кто напишет почему 6 и где они расположены и почему именно в этих местах, с меня подарок). Они также могут измерять расстояние, но делают это менее точно, чем лидары.
Лидар — главный сенсор на автомобиле. Его задача — определять расстояние до любых объектов с сантиметровой точностью. Разные компании используют различное количество лидаров: у Яндекса, например, 4 лидара, а у Waymo было 7, а теперь 6. Центральный лидар устанавливается на крыше. Обычно это многолучевой лидар (100+ лучей) с высокой интенсивностью, который может «видеть» объекты на расстоянии от 100 метров. Он обеспечивает локализацию и детекцию объектов. Для обзора ближней зоны и задней части автомобиля устанавливаются дополнительные лидары на крылья, в передний бампер и заднюю часть автомобиля. Эти лидары имеют высокую плотность и низкую интенсивность лучей, что позволяет «видеть» мелкие объекты: детей, животных, самокаты и детей на самокатах с животными =)
Все эти данные собираются и синхронизируются в цифровом виде сотни раз в секунду. Попробуйте провести простой тест: выйдите на оживлённый перекрёсток и осмотритесь вокруг. Что вы видите? Десятки машин и столько же пешеходов, пару собак, несколько голубей, курьера на велосипеде и парочку на одном самокате. Теперь представьте, что беспилотный автомобиль определяет тип каждого объекта, расстояние до него и его скорость 100 раз в секунду. Это не просто круто — это невероятно круто и очень сложно.
Поэтому я искренне считаю, что тот кто сможет реализовать лучший perception на машине, тот и будет лидером отрасли.
А что происходит в сложных погодных условиях, таких как дождь, снег или туман? Об этом я расскажу в следующем посте.
#selfdrivingcar #selfdriving #lidar
👍13❤1🔥1
🙏8💊2
This media is not supported in your browser
VIEW IN TELEGRAM
Беспилотные автомобили катаются по трем городам в России: в Москве, в Иннополисе и чуть больше года назад запустились в Сириусе. Рассказать вам историю запуска?
🔥10👍3😍2
Media is too big
VIEW IN TELEGRAM
Архивное видео. Везде его размещал, а тут еще не было. Исправляюсь.
🔥15❤4🤡4⚡3👍3
Waymo на днях продемонстрировала, как их автомобили справляются со сложными ситуациями с пешеходами. Нашёл несколько видео в мою бытность в роботакси, как наши автономные автомобили тоже показывают хорошие результаты в подобных случаях. Многое я не могу показать из-за соглашения о неразглашении (NDA — священная вещь), но примером нескольких сценариев я могу поделиться.
Такие экстраординарные случаи являются высшей точкой развития технологии. Человек решает подобные задачи на уровне рефлексов, практически не анализируя происходящее. Для компьютера такой "экстраординарный случай" является тоже обыденным событием. Важно, чтобы весь процесс обработки данных работал максимально быстро и принял правильное решение.
Такие экстраординарные случаи являются высшей точкой развития технологии. Человек решает подобные задачи на уровне рефлексов, практически не анализируя происходящее. Для компьютера такой "экстраординарный случай" является тоже обыденным событием. Важно, чтобы весь процесс обработки данных работал максимально быстро и принял правильное решение.
❤4👍3🔥1
Media is too big
VIEW IN TELEGRAM
Сразу две( Сбер, СтарЛайн) компании, производящие автономные грузовики, опубликовали на прошлой неделе видео своих тестовых поездок по дорогам общего пользования без человека за рулем. Это несомненно огромное достижение на пути к беспилотному будущему.
Такие испытания являются важным этапом в развитии технологии. Хотя в кабине находится инженер-испытатель, он не может быстро вмешаться в управление автомобилем. Удалённый оператор следит за машиной, но в случае экстренной ситуации он может только остановить автомобиль, и то с небольшой задержкой.
Этот шаг свидетельствует о полном доверии команд своей технологии автономного вождения. Я очень рад за них и желаю им дальнейших успехов и скорейших поездок совсем без человека в кабине.
На видео, снятом весной 2023 года, я с командой впервые едем по городским улицам Москвы без человека за рулем. 😊
Такие испытания являются важным этапом в развитии технологии. Хотя в кабине находится инженер-испытатель, он не может быстро вмешаться в управление автомобилем. Удалённый оператор следит за машиной, но в случае экстренной ситуации он может только остановить автомобиль, и то с небольшой задержкой.
Этот шаг свидетельствует о полном доверии команд своей технологии автономного вождения. Я очень рад за них и желаю им дальнейших успехов и скорейших поездок совсем без человека в кабине.
На видео, снятом весной 2023 года, я с командой впервые едем по городским улицам Москвы без человека за рулем. 😊
👍5🔥1
Media is too big
VIEW IN TELEGRAM
Иннополис — город, который построили в чистом поле. Город, чья стратегия направлена на технологичность и науку. Город, в котором мы впервые в Европе запустили беспилотное такси без человека за рулем. Город, в котором все курьеры — роботы. Город, в котором впервые в Европе было запущено абсолютно автономное транспортное средство. Город, в котором хочется жить.
🔥8❤5🤡4❤🔥1😍1
This media is not supported in your browser
VIEW IN TELEGRAM
В Москве планируют развивать беспилотный транспорт.
Это отличные новости. Почему-то многие воспринимают их так: "Бедные таксисты и водители общественного транспорта, у них отберут работу". Но это не соответствует действительности. В Москве, как и во всем мире, наблюдается серьёзный дефицит водителей. Развитие автономного транспорта может помочь восполнить нехватку кадров. Беспилотное будущее не наступит завтра — процесс внедрения этой технологии займёт годы. За это время количество новых водителей в профессии будет сокращаться, поскольку она станет менее популярной.
На видео мы тестируем робототакси в районе Ясенево в 2023 году.
Это отличные новости. Почему-то многие воспринимают их так: "Бедные таксисты и водители общественного транспорта, у них отберут работу". Но это не соответствует действительности. В Москве, как и во всем мире, наблюдается серьёзный дефицит водителей. Развитие автономного транспорта может помочь восполнить нехватку кадров. Беспилотное будущее не наступит завтра — процесс внедрения этой технологии займёт годы. За это время количество новых водителей в профессии будет сокращаться, поскольку она станет менее популярной.
На видео мы тестируем робототакси в районе Ясенево в 2023 году.
👍8🔥4🤡1
Уровень предсказания (Prediction)
Для меня этот уровень является самым мистическим и алгоритмически сложным. Именно здесь мы можем заглянуть в будущее с помощью машинного обучения.
Попробуйте задаться вопросом: как работает ваш мозг, когда вы проезжаете оживлённый перекрёсток? Вы предсказываете, что синий Opel проедет первым, чёрный BMW встроится в вашу полосу, а пешеход попытается перейти дорогу. Ваш мозг, основываясь на знаниях законов физики, правил дорожного движения и опыте вождения по московским улицам, прогнозирует развитие ситуации. С каждой секундой, по мере изменения обстановки, ваш мозг обновляет свой прогноз. Например, если этот пешеход поскользнулся и больше не двигается, а также заблокировал чёрный BMW, у вас появляется возможность спокойно проехать.
Беспилотный автомобиль действует по аналогичной логике. У него есть знания о правилах дорожного движения и физическом мире, переданные уровнем представления. Используя нейросети, обученные на миллионах аналогичных ситуаций, система строит прогноз для каждого объекта на дороге. В каждую последующую секунду учитываются изменения, произошедшие в предыдущую. Генерируются несколько гипотез, которые пересекаются, отсекая неприемлемые варианты и так до некоторого горизонта предсказаний. Итоговый уровень предсказания выдает состояние мира в следующую секунду (а на самом деле, в следующую сотую долю секунды), определяя, где будут находиться объекты, какую скорость они будут иметь и какие сценарии будущего для них возможны. Разве это не похоже на фантастику?
Наши внутренние инструменты позволяют после обработки всех логов исследовать развитие событий на несколько секунд вперёд и сравнить прогнозы с реальным развитием ситуации. Это напоминает мне фразу, которая всегда забавляла меня с точки зрения грамматики: "Как бы было в будущем."
p.s. В действительности, я опять очень сильно все упростил, если вам стало интересно как детально работает уровень предсказания, почитайте очень классную статью Вити Юрченко https://habr.com/ru/companies/yandex/articles/763348/
Для меня этот уровень является самым мистическим и алгоритмически сложным. Именно здесь мы можем заглянуть в будущее с помощью машинного обучения.
Попробуйте задаться вопросом: как работает ваш мозг, когда вы проезжаете оживлённый перекрёсток? Вы предсказываете, что синий Opel проедет первым, чёрный BMW встроится в вашу полосу, а пешеход попытается перейти дорогу. Ваш мозг, основываясь на знаниях законов физики, правил дорожного движения и опыте вождения по московским улицам, прогнозирует развитие ситуации. С каждой секундой, по мере изменения обстановки, ваш мозг обновляет свой прогноз. Например, если этот пешеход поскользнулся и больше не двигается, а также заблокировал чёрный BMW, у вас появляется возможность спокойно проехать.
Беспилотный автомобиль действует по аналогичной логике. У него есть знания о правилах дорожного движения и физическом мире, переданные уровнем представления. Используя нейросети, обученные на миллионах аналогичных ситуаций, система строит прогноз для каждого объекта на дороге. В каждую последующую секунду учитываются изменения, произошедшие в предыдущую. Генерируются несколько гипотез, которые пересекаются, отсекая неприемлемые варианты и так до некоторого горизонта предсказаний. Итоговый уровень предсказания выдает состояние мира в следующую секунду (а на самом деле, в следующую сотую долю секунды), определяя, где будут находиться объекты, какую скорость они будут иметь и какие сценарии будущего для них возможны. Разве это не похоже на фантастику?
Наши внутренние инструменты позволяют после обработки всех логов исследовать развитие событий на несколько секунд вперёд и сравнить прогнозы с реальным развитием ситуации. Это напоминает мне фразу, которая всегда забавляла меня с точки зрения грамматики: "Как бы было в будущем."
p.s. В действительности, я опять очень сильно все упростил, если вам стало интересно как детально работает уровень предсказания, почитайте очень классную статью Вити Юрченко https://habr.com/ru/companies/yandex/articles/763348/
👍10🤡2❤1🔥1👌1🤝1
Зачем роботу флажок и прочие световые приборы?
Вы наверняка знаете ответ на этот вопрос. Конечно, в первую очередь, для увеличения заметности. Когда робот пересекает дорогу по пешеходному переходу, он может быть совершенно незаметен для водителей автомобилей, поскольку находится ниже видимой линии капота большинства машин. Флажок решает эту проблему: он привлекает внимание водителей и сигнализирует о присутствии объекта перед автомобилем, что позволяет водителю его заметить и пропустить.
В дополнение к этому, флажок моргает, когда робот пересекает дорогу, чтобы ещё больше привлечь внимание. У роботов также есть фары, которые у некоторых производителей стилизованы под глазки. Это не только добавляет роботу привлекательности, но и несет практическую функцию: в тёмное время суток фары помогают удалённым операторам видеть, что происходит перед роботом, в случае если необходимо подключиться к управлению в сложной ситуации. Например, если проезд роботу заблокировали студенты, которые легли кружком вокруг него.
У роботов Яндекса присутствует световая лента, идущая по контуру крышки. Она служит индикатором различных статусов робота. Когда робот пересекает проезжую часть, лента мигает в такт с флажком. А когда заказ успешно доставлен клиенту, она мигает фиолетовым цветом. Существуют и другие, технические сигналы, но о них я не скажу NDA, как никак.
Вы наверняка знаете ответ на этот вопрос. Конечно, в первую очередь, для увеличения заметности. Когда робот пересекает дорогу по пешеходному переходу, он может быть совершенно незаметен для водителей автомобилей, поскольку находится ниже видимой линии капота большинства машин. Флажок решает эту проблему: он привлекает внимание водителей и сигнализирует о присутствии объекта перед автомобилем, что позволяет водителю его заметить и пропустить.
В дополнение к этому, флажок моргает, когда робот пересекает дорогу, чтобы ещё больше привлечь внимание. У роботов также есть фары, которые у некоторых производителей стилизованы под глазки. Это не только добавляет роботу привлекательности, но и несет практическую функцию: в тёмное время суток фары помогают удалённым операторам видеть, что происходит перед роботом, в случае если необходимо подключиться к управлению в сложной ситуации. Например, если проезд роботу заблокировали студенты, которые легли кружком вокруг него.
У роботов Яндекса присутствует световая лента, идущая по контуру крышки. Она служит индикатором различных статусов робота. Когда робот пересекает проезжую часть, лента мигает в такт с флажком. А когда заказ успешно доставлен клиенту, она мигает фиолетовым цветом. Существуют и другие, технические сигналы, но о них я не скажу NDA, как никак.
👍14🖕2🔥1💩1🤡1
Яндекс» выпустил беспилотные грузовики на трассу «Дон»
Ну как-то так.
Включаемся в гонку технологий вместе со Старлайном, Сбером и КамАЗом
Ну как-то так.
Включаемся в гонку технологий вместе со Старлайном, Сбером и КамАЗом
3DNews - Daily Digital Digest
«Яндекс» выпустил беспилотные грузовики на трассу «Дон»
«Яндекс» подключил к доставке товаров беспилотные грузовики. На начальном этапе они будут перевозить заказы «Яндекс Маркета» в дневное время по трассе М-4 «Дон» из Москвы в Тулу, но в перспективе машины начнут работать и в ночное время, а также станут двигаться…
🔥19💩3🤡3⚡1👍1🖕1
Planner + Control
👍3❤🔥1