Исследование реакции пешеходов на визуальные сигналы от "автономного" автомобиля

Исследование, проведенное в Ноттингемском университете, показало что пешеходы доверяют одним визуальным сигналам больше, чем другим, когда решают стоит ли переходить дорогу перед автомобилем, воспринимаемым как автономный.

Цель исследования - понять, как пешеходы реагируют на автономные автомобили с визуальными дисплеями eHMI (External Human-Machine Interfaces), расположенными на передней части автомобиля.

Для этого по университетскому кампусу Park Campus ездил автомобиль с замаскированным под водительское сиденье человеком, в пресс-релизе университета названным "ghost-driver". Серия различных рисунков, проецируемых на eHMI, информировала пешеходов о поведении и намерениях автомобиля, включая выразительные глаза и лицо, сопровождаемые короткими текстовыми фразами, такими как "Я вас увидел" или "Я уступаю дорогу".

Работой eHMI управлял один из членов команды, сидящий на заднем сиденье, а записи с передней и задней приборных камер собирались для наблюдения за реакцией пешеходов в режиме реального времени. Кроме того, исследователи на четырех перекрестках просили пешеходов заполнить небольшой опросник об их впечатлениях от автомобиля с дисплеем.

В своем заявлении Дэвид Р. Лардж, старший научный сотрудник исследовательской группы, сказал: "В рамках проекта ServCity, создающего инфраструктуру для автономных транспортных средств в Великобритании, мы хотели изучить, как пешеходы будут взаимодействовать с автомобилем без водителя, и разработали эту уникальную методику для изучения их реакции. Мы хотели определить, какие конструкции вызывают наибольшее доверие у людей, желающих перейти дорогу. Для этого мы использовали три различных уровня антропоморфизма: неявный - светодиодная лента над лобовым стеклом, низкий - значок, ориентированный на транспортное средство, и такие слова, как "уступи дорогу", и явный - выразительное лицо и человекоподобный язык".

В общей сложности 520 пешеходов взаимодействовали с автомобилем, и за дни испытаний было собрано 64 анкеты. По данным Университета, для оценки поведения пешеходов на переходе использовались несколько показателей, полученных с помощью камер наблюдения, включая время, которое потребовалось людям, чтобы перейти дорогу, сколько времени они смотрели на автомобиль и количество раз, когда они смотрели на автомобиль и/или жестикулировали.

Профессор Гэри Бернетт, сказал: "Мы были рады увидеть, что внешний HMI был признан важным фактором значительным числом респондентов при принятии решения о том, переходить дорогу или нет - обнадеживающее открытие для дальнейшей работы в этом направлении. Что касается дисплеев, то выразительные глаза на eHMI не только привлекли наибольшее визуальное внимание, но и получили хорошие оценки доверия и ясности, а также наибольшее предпочтение, в то время как неявная светодиодная лента была оценена как менее ясная и вызвала более низкие оценки доверия".

Лардж добавил: "Интересным дополнительным открытием стало то, что пешеходы продолжали использовать жесты рук, например, благодарили автомобиль, несмотря на то, что большинство респондентов считали, что автомобиль действительно без водителя - это говорит о том, что все еще существует ожидание какого-то социального элемента в этих типах взаимодействия".

Теперь команда намерена рассмотреть более широкий круг уязвимых участников дорожного движения, таких как велосипедисты и пользователи средств индивидуальной мобильности, и то, как они могут взаимодействовать с будущим автономным транспортным средством. Дополнительная рекомендация заключается в том, что исследования должны проводиться в течение длительного времени, чтобы понять, как реакция общественности на автомобиль без водителя может измениться со временем.

https://vimeo.com/833665304

Более подробную информацию об исследовании можно найти здесь.

https://robogeek.ru/avtonomnyi-transport/issledovanie-reaktsii-peshehodov-na-vizualnye-signaly-ot-avtonomnogo-avtomobilya

Исследователи представили первого робота, разработанного совместно с ChatGPT

Исследователи EPFL использовали популярную большую языковую модель ChatGPT3 для разработки роботизированного захвата для сбора томатов, впервые продемонстрировав потенциал этого инструмента ИИ для совместной работы с человеком при проектировании роботов.

В исследовании, опубликованном в журнале Nature Machine Intelligence, Джози Хьюз, руководитель лаборатории вычислительного проектирования и изготовления роботов в Инженерной школе, аспирант EPFL Франческо Стелла и Козимо Делла Сантина из TU Delft использовали ChatGPT для разработки робота-сборщика томатов. Это исследование обеспечивает основу для совместного проектирования таких устройств людьми и LLM. Основываясь на своем опыте, исследователи описывают возможности и риски применения инструментов искусственного интеллекта (ИИ) в робототехнике, которые, по их мнению, "могут изменить способ проектирования роботов, одновременно обогащая и упрощая этот процесс".

"Несмотря на то, что ChatGPT является языковой моделью, а его генерация кода основана на тексте, он предоставил значительное понимание и интуицию для физического проектирования и показал большой потенциал в качестве резонатора для стимулирования человеческого творчества", - говорит Хьюз.

На первом этапе исследователи и LLM провели "идейную" дискуссию, чтобы определить назначение робота, параметры конструкции и технические характеристики. Второй этап был посвящен реализации робота в реальном мире, что включало в себя доработку созданного LLM кода, изготовление устройства и устранение неполадок в его работе.

На первом этапе исследователи начали с философского момента, обсудив с LLM будущие проблемы человечества и определив роботизированную уборку урожая как решение проблемы глобального снабжения продовольствием. Затем они использовали доступ LLM к глобальным данным из научных публикаций, технических руководств, книг и СМИ, чтобы дать "наиболее вероятный" ответ на такие вопросы, как "какими характеристиками должен обладать робот-сборщик?".

После определения базового формата робототехники (захват с моторным приводом для захвата спелых помидоров) исследователи могли задать более конкретные вопросы, например, "какую форму должен иметь захват?", и попросить ChatGPT сделать технические предложения, включая материалы и компьютерный код для управления устройством.

"В то время как вычисления в основном использовались для помощи инженерам в технической реализации, впервые система ИИ может создавать идеи новых систем, автоматизируя таким образом высокоуровневые когнитивные задачи. Это может повлечь за собой смену человеческих ролей на более технические", - говорит Стелла.

Но отмечается, что с использованием ChatGPT связаны логические и этические риски, исследователи предупреждают, что роль LLM должна быть тщательно оценена в будущем. Например, использование ChatGPT поднимает вопросы предвзятости, плагиата и интеллектуальной собственности, поскольку неясно, можно ли считать дизайн, созданный ИИ, новым.

"В нашем исследовании ChatGPT определил томаты как культуру, "наиболее достойную" для роботизированной сборки. Однако это может быть предвзятое отношение к культурам, которые больше освещены, в отличие от тех, где действительно существует реальная потребность. Когда решения принимаются вне рамок знаний инженера, это может привести к значительным этическим, инженерным или фактическим ошибкам", - говорит Хьюз.

Несмотря на эти предостережения, Хьюз и ее команда, основываясь на своем опыте, пришли к выводу, что LLM имеют большой потенциал, чтобы "стать силой добра", если ими правильно управлять: "Поэтому сообщество робототехников должно определить, как использовать эти мощные инструменты для ускорения развития роботов этичным, устойчивым и социально значимым способом".

https://robogeek.ru/iskusstvennyi-intellekt/issledovateli-predstavili-pervogo-robota-razrabotannogo-sovmestno-s-chatgpt

Команда CMU разрабатывает автономного робота для борьбы с пятнистой фонарницей

Пятнистая фонарница (Lycorma delicatula) серьезный инвазивный вредитель на севере Индии, в некоторых частях Южного Китая, Тайваня и Вьетнама, Японии, Южной Корее и США, наносящий значительный ущерб таким культурам, как яблоки, виноград и хмель. Для уничтожения яиц этого вредителя команда из Университета Карнеги-Меллона (CMU) разрабатывает робота TartanPest.

Созданный группой студентов CMU, он состоит из роботизированной руки Ufactory xArm6 и системы компьютерного зрения, установленных на электрическом микротракторе Amiga производства калифорнийской компании Farm-ng. TartanPest - это фактически заявка команды на участие в конкурсе 2023 Farm Robotics Challenge от Farm-ng, итоги которого будут подведены в середине сентября этого года.

При автономном движении робота TartanPest использует систему компьютерного зрения для поиска кладки яиц пятнистой фонарницы. Эта система использует алгоритм глубокого обучения, который был обучен на 700 фотографиях яиц, которые обычно располагаются на деревьях, камнях и других поверхностях.

При обнаружении кладки яиц робот использует вращающуюся щетку на конце манипулятора, чтобы ее уничтожить. Каждая кладка содержит примерно 30-50 яиц, которые откладываются вредителем осенью и вылупляются следующей весной.

"В настоящее время пятнистые фонарницы сосредоточены в восточной части страны, но по прогнозам они могут распространиться на всю страну, - говорит член команды TartanPest Кэролин Алекс. - Инвестируя в эту проблему сейчас, мы избежим больших затрат в будущем".

https://www.youtube.com/watch?v=jTWhQ8cPPwM

Базовый полноприводный трактор Amiga, стоимостью $12 990, весит 145 кг, может перевозить максимальную полезную нагрузку в 454 кг, имеет максимальную скорость около 9 км/ч и время автономной работы от трех до восьми часов на одной зарядке батареи.

https://robogeek.ru/roboty-v-selskom-hozyaistve/komanda-cmu-razrabatyvaet-avtonomnogo-robota-dlya-borby-s-pyatnistoi-fonarnitsei

EPFL представили следующую итерацию модульных роботов Mori

Объединив свои наработки в создании небольших треугольных роботов, которые могут соединяться друг с другом, и роевое поведения некоторых биологических видов, робот Mori3 может превращаться из двухмерных треугольников практически в любой трехмерный объект.

Исследование EPFL, опубликованное в журнале Nature Machine Intelligence, показывает перспективность модульной робототехники для космических путешествий.

"Наша цель при создании Mori3 - создать модульного робота, похожего на оригами, которого можно собирать и разбирать по своему усмотрению в зависимости от окружающей среды и поставленной задачи, - говорит Джейми Пайк, директор лаборатории реконфигурируемых роботов. - Mori3 может менять свой размер, форму и функции".

Отдельные модули робота Mori3 имеют треугольную форму. Модули легко соединяются друг с другом, создавая многоугольники различных размеров и конфигураций в процессе, известном как полигональное зацепление. "Мы показали, что полигональное зацепление является жизнеспособной стратегией робототехники", - говорит Кристоф Бельке, постдок и исследователь в области робототехники.

Чтобы добиться этого, команде пришлось расширить границы различных аспектов робототехники, включая механический и электронный дизайн, компьютерные системы и инженерные разработки.

"Нам пришлось переосмыслить то, как мы понимаем робототехнику, - объясняет Бельке. - Эти роботы могут менять собственную форму, прикрепляться друг к другу, общаться и изменять конфигурацию, образуя функциональные и шарнирные структуры".

Это доказательство концепции является успешным, поскольку роботы Mori3 хорошо выполняют три вещи, которые должны уметь делать роботы: передвигаться, транспортировать объекты и взаимодействовать с пользователями.

В чем преимущество создания модульных и многофункциональных роботов? Пайк объясняет, что для выполнения широкого спектра задач роботы должны иметь возможность менять свою форму или конфигурацию. "Полигональные и полиморфные роботы, которые соединяются друг с другом для создания шарнирных структур, могут эффективно использоваться для различных задач", - говорит она.

https://www.youtube.com/watch?v=CD5Cj7RhxY0

"Конечно, робот общего назначения, такой как Mori3, будет менее эффективен, чем специализированные роботы в определенных областях. Тем не менее, главным преимуществом Mori3 является его универсальность".

Роботы Mori3 были разработаны отчасти для использования в космических кораблях, где нет места для хранения различных роботов для каждой отдельной задачи, которую необходимо выполнить. Исследователи надеются, что роботы Mori3 будут использоваться для коммуникационных целей и внешнего ремонта.

https://robogeek.ru/kosmicheskie-roboty/epfl-predstavili-sleduyuschuyu-iteratsiyu-modulnyh-robotov-mori

Использование глубокого обучения для выявления респираторных заболеваний

Новый алгоритм искусственного интеллекта, разработанный в EPFL и University Hospital Geneva (HUG), будет использоваться в интеллектуальном стетоскопе Pneumoscope с потенциалом улучшения лечения респираторных заболеваний.

В новом исследовании, опубликованном в журнале Nature Digital Medicine, исследовательская группа EPFL описала свой алгоритм ИИ DeepBreath, который демонстрирует потенциал автоматизированной интерпретации в диагностике респираторных заболеваний.

"Что делает это исследование особенно уникальным, так это разнообразие и тщательный сбор банка аускультативных звуков, - сказала старший автор исследования доктор Мэри-Энн Хартли. - Почти 600 педиатрических амбулаторных пациентов были набраны в пяти странах - Швейцарии, Бразилии, Сенегале, Камеруне и Марокко. Звуки дыхания записывались у пациентов в возрасте до пятнадцати лет с тремя наиболее распространенными типами респираторных заболеваний - рентгенографически подтвержденной пневмонией и клинически диагностированным бронхиолитом, а также астмой".

"Респираторные заболевания являются причиной номер один предотвратимой смертности в этой возрастной группе, - объясняет профессор Ален Жерве, заведующий кафедрой педиатрической медицины HUG и основатель стартапа Onescope, который выведет на рынок стетоскоп с алгоритмом DeepBreath. - Эта работа прекрасный пример успешного сотрудничества между HUG и EPFL, между клиническими исследованиями и фундаментальной наукой. Pneumoscope с алгоритмом DeepBreath - это прорывная инновация для диагностики и лечения респираторных заболеваний".

Команда доктора Хартли руководит разработкой ИИ для Onescope. "Многоразовые, не требующие расходных материалов диагностические инструменты, такие как этот интеллектуальный стетоскоп, обладают уникальным преимуществом - гарантированной устойчивостью, - пояснила она. - Инструменты ИИ также обладают потенциалом постоянного самосовершенствования, и я надеюсь, что мы сможем расширить алгоритм на другие респираторные заболевания и группы населения, получив дополнительные данные".

Алгоритм DeepBreath был обучен на пациентах из Швейцарии и Бразилии, а затем проверен на записях из Сенегала, Камеруна и Марокко, что дает представление о географической обобщаемости инструмента. "Вы можете себе представить, что существует множество различий между отделениями неотложной помощи в Швейцарии, Камеруне и Сенегале, - говорит д-р Хартли и перечисляет примеры "звуковой ландшафт фонового шума, то, как врач держит стетоскоп, устройство записывающее звук, эпидемиология и местные протоколы диагностики".

При достаточном количестве данных алгоритм должен быть устойчив к этим нюансам и находить сигнал среди шума. Несмотря на небольшое количество пациентов, DeepBreath продемонстрировал впечатляющие результаты в разных местах, что указывает на потенциал дальнейшего совершенствования при увеличении количества данных.

Особенно уникальным вкладом исследования стало включение методов, направленных на раскрытие внутренней работы "черного ящика" алгоритма. Авторы смогли продемонстрировать, что модель действительно использует дыхательный цикл для своих прогнозов, и показать, какие его части наиболее важны. Доказательство того, что алгоритм действительно использует звуки дыхания, а не "обманывает", используя предвзятые сигнатуры в фоновом шуме, является критическим пробелом в существующей литературе.

Междисциплинарная команда работает над подготовкой алгоритма к реальному использованию в интеллектуальном стетоскопе Pneumoscope. Следующей важной задачей является повторение исследования на большем количестве пациентов с использованием записей с этого недавно разработанного стетоскопа, который также регистрирует температуру пациента и насыщение крови кислородом. "Объединение этих сигналов вместе, вероятно, еще больше улучшит прогнозы", - прогнозирует д-р Хартли.

https://robogeek.ru/roboty-v-meditsine/ispolzovanie-glubokogo-obucheniya-dlya-vyyavleniya-respiratornyh-zabolevanii

Обучение алгоритмов безопасным действиям в незнакомой среде

Дети, которые только учатся ходить, могут идти слишком быстро и упасть или столкнуться с мебелью. Однако этот элемент причинно-следственной связи учит их бесценной информации о том, как их тела перемещаются в пространстве, чтобы они могли избежать падений в будущем.

Машины учатся во многом так же, как и люди, в том числе учатся на своих ошибках. Однако для многих машин, таких как автономные автомобили и энергосистемы, обучение в реальных условиях представляет собой проблему. По мере развития и распространения машинного обучения растет интерес к его применению в очень сложных, критически важных для безопасности автономных системах. Однако перспективность этих технологий сдерживается рисками безопасности, присущими процессу обучения и не только.

Новая исследовательская работа опровергает идею о том, что для обучения безопасным действиям в незнакомой среде необходимо неограниченное количество испытаний. В работе, опубликованной в журнале IEEE Transactions on Automatic Control, представлен новый подход, обеспечивающий обучение безопасным действиям с полной уверенностью, при этом соблюдается баланс между оптимальностью, опасными ситуациями и быстрым распознаванием небезопасных действий.

"Обычно машинное обучение ищет наиболее оптимальное решение, что может привести к увеличению количества ошибок на этом пути. Это проблематично, когда ошибка может означать столкновение со стеной, - объяснил Хуан Андрес Базерк, доцент кафедры электротехники и вычислительной техники в Школе инженеров Свонсона, который возглавил исследование вместе с доцентом Энрике Маллада из Университета Джона Хопкинса. - В этом исследовании мы показываем, что обучение безопасной политике принципиально отличается от обучения оптимальной политике, и что это можно делать отдельно и эффективно".

Исследовательская группа провела исследования в двух различных сценариях, чтобы проиллюстрировать свою концепцию. Они создали алгоритм, который обнаруживает все небезопасные действия в течение ограниченного числа раундов. Команда также решила задачу поиска оптимальной политики для марковского процесса принятия решений (Markov decision process, MDP) с почти уверенными ограничениями.

Их анализ подчеркнул компромисс между временем, необходимым для обнаружения небезопасных действий в базовом MDP, и уровнем подверженности небезопасным событиям. MDP полезна, поскольку она обеспечивает математическую основу для моделирования принятия решений в ситуациях, когда результаты частично случайны, а частично находятся под контролем лица, принимающего решение.

Для подтверждения своих теоретических выводов исследователи провели моделирование, которое подтвердило выявленные компромиссы. Эти результаты также показали, что включение ограничений безопасности может ускорить процесс обучения.

"Это исследование опровергает сложившееся мнение о том, что для обучения безопасным действиям требуется неограниченное количество испытаний, - заявил Базерк. - Наши результаты показывают, что, эффективно управляя компромиссами между оптимальностью, подверженностью небезопасным событиям и временем обнаружения, мы можем достичь гарантированной безопасности без бесконечного числа исследований. Это имеет значительные последствия для робототехники, автономных систем, искусственного интеллекта и многого другого".

https://robogeek.ru/iskusstvennyi-intellekt/obuchenie-algoritmov-bezopasnym-deistviyam-v-neznakomoi-srede

В финской больнице начались испытания телеробота Valkky

Эдинбургский стартап, резидент National Robotarium, Touchlab запустил 3-месячный эксперимент в Laakso Hospital, Хельсинки, по использованию своего телеробота Valkky, который дает врачам возможность дистанционно "чувствовать" пациентов. Команда медсестер изучит, как роботизированная система может помочь в оказании медицинской помощи, снизить рабочую нагрузку и предотвратить распространение инфекций и заболеваний.

Управляемый операторами в электронных тактильных перчатках, Valkky оснащен передовой технологией электронной кожи (e-skin) для передачи чувства осязания от роботизированной руки к пользователю.

Предполагается, что Valkky дополнит существующий персонал, освободив людей, чтобы они могли сосредоточиться на более сложных задачах по уходу за больными, в то время как робот сможет выполнять повседневные клинические обязанности, такие как измерение жизненно важных показателей, включая пульс, температуру и уровень кислорода в крови. Он также может подавать еду, перемещать вспомогательные устройства и поддерживать уход за пациентами, например, расчесывать волосы.

"Наша долгосрочная цель состоит в том, чтобы Valkky помогал выполнять различные повседневные задачи в палатах, обеспечивая комплексный контроль и уход за пациентами, - говорит Кирси Ахонен, старшая медсестра и руководитель проекта в больнице Лааксо. - Хотя Valkky первоначально будет развернут в небольших масштабах, у него есть потенциал для оказания помощи в ряде более сложных работ. К ним относится подъем пациентов, что может помочь избежать потенциальных физических травм персонала и снизить распространение инфекции".

"Мы надеемся, что анонимные данные, собранные в режиме реального времени в ходе проекта, помогут доказать, что полуавтономные роботы могут сосуществовать с профессионалами в различных отраслях, таких как здравоохранение и переход на более экологичные источники энергии". - говорит доктор Заки Хуссейн, генеральный директор Touchlab.

Пилотный проект координируется Forum Virium Helsinki, инновационной компанией города Хельсинки, как часть более широкого проекта стоимостью €7 млрд. по строительству самой технологически продвинутой больницы в Европе, который должен быть завершен в 2028 году.

Дополнительные сферы применения технологии могут включать вывод из эксплуатации ядерных объектов и обработку токсичных отходов, что поможет сократить количество работ, потенциально опасных для здоровья и благополучия человека.

https://robogeek.ru/roboty-v-meditsine/v-finskoi-bolnitse-nachalis-ispytaniya-telerobota-valkky

RAMP - эталон для оценки манипулирования и планирования роботизированной сборки

Исследования в области робототехники бурно развиваются в последнее десятилетие с целью решения задач, представляющих реальную ценность для промышленности и общества. Поскольку новые роботизированные системы появляются каждый день, разработка надежных инструментов, которые можно использовать для оценки их работы и тестирования алгоритмов, лежащих в основе их функционирования, имеет большое значение.

Исследователи из Oxford Robotics Institute, Manufacturing Technology Center (MTC) и University of Birmingham недавно представили RAMP (Robotic Assembly Manipulation and Planning) - эталон, который можно использовать для оценки способности сборочных роботов (т.е. роботов, предназначенных для сборки изделий) манипулировать объектами и планировать свою работу. Новый эталон, представленный в работе, опубликованной в arXiv, может помочь расширить возможности сборочных роботов, облегчая их использование в обрабатывающей промышленности.

"Статья появилась в результате сотрудничества с MTC в Ковентри, Великобритания, который имеет ряд партнеров в промышленности, сталкивающихся с аналогичными проблемами в области долгосрочного планирования сборки, - говорит Джек Коллинз, один из исследователей. - Эта область проблем включает в себя множество задач и открытых вопросов в робототехнике, поэтому, работая с MTC, мы разработали эталон, который отражает область и задачи, а также обеспечивает доступность для исследователей, чтобы они могли внести свой вклад в решение согласованных проблем".

Работа ведется в рамках гранта программы EPSRC "Embodied Intelligence" под руководством профессора Ингмара Познера в Оксфорде. "Цель нашего эталона - быть ориентированным на вызов, доступным и открытым. Наше видение заключается в том, чтобы предложить платформу, которая в дальнейшем будет развиваться в управляемые сообществом усилия по продвижению исследований в области робототехники с особым упором на применение в производстве и сборке".

Познер, Коллинз и их коллеги задались целью создать открытый эталон, который можно было бы применять к более широкому кругу задач. RAMP использует серию базовых деталей, которые могут быть изменены и расширены, чтобы проверить способность роботов собирать более широкий спектр объектов. "Для решения проблемы вариативности конфигураций целей RAMP требует явного рассуждения и планирования для принятия решения о порядке сборки балок, без чего результатом были бы невыполнимые последовательности сборки", - пояснил Коллинз.

По сути, RAMP позволяет пользователям достоверно оценить способность роботизированного манипулятора собирать различные балки в одну из нескольких различных целевых конфигураций. Эталон был разработан с учетом общих проблем, возникающих при внеплощадочном строительстве, когда детали изготавливаются и собираются на месте, например, для формирования каркасов, составляющих внутреннюю структуру зданий.

"В эталоне представлены балки, созданные из серии 3D-печатных соединений и алюминиевых профилей, цель - собрать эти балки в заданную конфигурацию как можно быстрее, обеспечив при этом повторяемость, - сказал Коллинз. - RAMP уникально разработан для оценки задач сборки с длинным горизонтом, которые требуют явного рассуждения о порядке сборки. Наш эталон также снижает барьер для входа, делая все общедоступным, чтобы люди могли начать работу".

RAMP находится в открытом доступе, поэтому исследователи и производители по всему миру могут использовать его для тестирования собственных роботизированных систем. Пользователям предоставляется все необходимое для начала использования эталона, включая базовые детали, руководство по сборке, код для базовой реализации и код для высокореалистичной среды моделирования на базе платформы Nvidia Isaac.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/ramp-etalon-dlya-otsenki-manipulirovaniya-i-planirovaniya-robotizirovannoi-sborki

На соревнованиях Indy Autonomous Challenge в Монце установлен новый рекорд скорости автономных автомобилей

Организаторы Indy Autonomous Challenge (IAC) объявил о том, что команда PoliMOVE выиграла первое в истории соревнование по автономному вождению на национальном автодроме Монцы, одной из старейших гоночных трасс мира. Мероприятие состоялось в рамках Milan Monza Motor Show (MIMO), автосалон проходил с 16 по 18 июня 2023.

В январе IAC объявил о расширении своей географии за пределы США и заключил двухлетнее партнерство с MIMO, чтобы проводить соревнования на знаменитой трассе. Перед командами IAC стояла задача запрограммировать ИИ на управление идентичными гоночными автомобилями Dallara AV-21.

"В очередной раз Indy Autonomous Challenge расширяет границы высокоскоростной автоматизации, проводя историческую гонку на время на культовой трассе в Монце, - сказал Пол Митчелл, президент IAC. - Для IAC было большой честью получить одобрение Automobile Club d’Italia (ACI Sport) и наблюдать за тем, как болельщики поддерживают победившую команду PoliMOVE. Нам не терпится вернуться в следующем году и провести несколько гонок "один на один".

IAC привезла на MIMO шесть автономных гоночных автомобилей и пять университетских команд для участия в шести сессиях в течение трех дней, в общей сложности более 2 000 км испытаний, где автомобили последовательно развивали все большую скорость, постепенно ускоряя время прохождения круга. Программное обеспечение для автономного вождения было запрограммировано студентами и исследователями из самых передовых университетов и исследовательских центров мира, в число которых вошли команды из:

- KAIST (Корейский передовой институт науки и технологий)
- MIT-PITT-RW (Массачусетский технологический институт, Питтсбургский университет, Рочестерский технологический институт, Университет Ватерлоо)
- PoliMOVE (Миланский политехнический институт, Университет Алабамы)
- TII UNIMORE Racing (Университет Модены и Реджо-нель-Эмилии)
- TUM Autonomous Motorsport (Технический университет Мюнхена)

В воскресенье днем команды TII UNIMORE Racing, TUM Autonomous Motorsport и PoliMOVE вступили в финальный раунд соревнований с разницей всего в три секунды.

В финале команда PoliMOVE завершила свой последний круг за 2:05.87 на трассе длиной 5,79 километра с 11 поворотами, достигнув максимальной скорости 273,4 км/ч. ИИ команды PoliMOVE управлял запасным болидом AV-21 из-за поломки основного во время тренировки в начале недели.

Команда TUM Autonomous Motorsport заняла второе место со временем круга 2:08.66 и максимальной скоростью 269,9 км/ч, а TII UNIMORE Racing финишировала третьей со временем финального круга 2:11.24 и максимальной скоростью 250,8 км/ч. За соревнованиями с трибун наблюдали более 10 000 зрителей. Примечательно, что победу одержала команда "родного города", представляющая Миланский Политех.

Каждая из пяти университетских команд-участниц получила официальную водительскую лицензию на участие в соревнованиях, выданную ACI. Хотя лицензия выдается руководителю команды, она представляет собой первую в своем роде лицензию на участие в автоспорте для ИИ. Чтобы получить разрешение IAC и каждая университетская команда должны были представить исторические данные и продемонстрировать тесты на трассе в Монце для подтверждения возможностей и безопасной эксплуатации автономного гоночного автомобиля.

Сообщается, что IAC продолжит сотрудничать с ACI и национальным автодромом Монцы для разработки правил и положений, регулирующих автономные гоночные соревнования, с целью проведения следующих заездов во время MIMO 2024.

https://robogeek.ru/avtonomnyi-transport/na-sorevnovaniyah-indy-autonomous-challenge-v-montse-ustanovlen-novyi-rekord-skorosti-avtonomnyh-avtomobilei

Исследователи CMU расширили возможности роботов по обучению на основе видеоматериалов

Новая работа исследователей из Carnegie Mellon University (CMU) позволила роботам научиться выполнять домашние дела, просматривая видеозаписи где их выполняют люди. Исследование может помочь улучшить использование роботов в быту, позволяя им помогать людям в таких задачах, как приготовление пищи и уборка.

В ходе исследования 2 робота успешно выучили 12 задач, включая открытие ящика кухонного шкафа и дверцы духовки, снятие кастрюли с плиты и крышки с нее, взятие телефонной трубки, овощей или банки с консервами.

"Робот может узнать, где и как люди взаимодействуют с различными объектами, просматривая видео, - сказал Дипак Патхак, доцент Института робототехники Школы компьютерных наук CMU. - На основе этих данных мы можем обучить модель, которая позволит двум роботам выполнять одни и те же задачи в различных условиях".

Существующие методы обучения роботов требуют либо ручной демонстрации задач человеком, либо обучения в симулированной среде. И то, и другое занимает много времени и чревато неудачами. В прошлом Патхака и его студенты продемонстрировали метод WHIRL (In-the-Wild Human Imitating Robot Learning), при котором роботы обучались, наблюдая за выполнением задач человеком. Но этот метод требовал, чтобы человек выполнял задание в той же среде, что и робот.

Последняя работа Патхака VRB (Vision-Robotics Bridge) основана на WHIRL. Новая модель исключает необходимость демонстрации человеком и работы в идентичной среде. Как и WHIRL, робот по-прежнему требует практики для освоения задачи. Исследования команды показали, что он может освоить новую задачу примерно за 25 минут.

"Мы смогли провести роботов по кампусу и выполнить самые разные задачи, - говорит Шикхар Бахл, аспирант кафедры робототехники. - Роботы могут использовать эту модель, чтобы исследовать окружающий мир. Вместо того чтобы просто махать руками, робот может быть более непосредственным в своем взаимодействии".

VRB определяет, где и как робот может взаимодействовать с объектом, основываясь на поведении человека. Например, наблюдая за тем, как человек открывает ящик, робот определяет точки контакта и направление движения ящик. В пресс-релизе университета сообщается, что после просмотра нескольких подобных видеороликов, на которых люди открывают ящики, робот может определить, как открыть любой ящик.

Команда использовала видео из больших наборов данных, таких как Ego4D и Epic Kitchens. Ego4D содержит почти 4 000 часов видеозаписей повседневной деятельности со всего мира. Epic Kitchens содержит аналогичные видео, на которых запечатлены приготовление пищи, уборка и другие кухонные дела. Оба набора данных предназначены для обучения моделей компьютерного зрения.

https://www.youtube.com/watch?v=Bik4s57iPsY

Более подробную информацию можно найти на сайте проекта и в статье, представленной в июне на Конференция по компьютерному зрению и распознаванию образов.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/issledovateli-cmu-rasshirili-vozmozhnosti-robotov-po-obucheniyu-na-osnove-videomaterialov

Спаринг человека и ИИ на ринге с помощью роботов QIBBOT

Вдохновившись финальной сценой фильма "Живая сталь" (Real Steel), во вселенной которого бокс запрещен и заменен боями роботов под управлением людей, компания Qibo Robot Company разработала телеуправляемого робота под названием QIBBOT, который имитирует реальные движения человека.

Робот не только может наносить удары, но и делает это с высокой скоростью с задержкой в 12 миллисекунд. Разработчики заявляют, что их QIBBOT является самым быстрым телеуправляемым роботом, созданным на сегодняшний день. Затем его испытали на прочность против противника управляемого ИИ, который учится и адаптируется во время боя.

"Вдохновившись фильмом и руководствуясь развлекательной ценностью, мы решили посмотреть, сможем ли мы реализовать концепцию боевых роботов в реальной жизни, - говорит генеральный директор компании Qibo Robot Йинин (Джеймс) Генг. - Мы подумали, что опыт игроков с большими и реальными роботами будет очень новым и отличным от компьютерных игр".

Существует много различных телеуправляемых роботов, но они имеют совершенно иные цели, и большинство из них, как правило, небольшие и двигаются только на медленной или средней скорости. "Для боевых роботов на первом месте стоит быстрая скорость, - говорит Генг. - В случае с телеуправляемыми роботами на скорость влияет множество различных аспектов, включая связь, интерфейс, приведение в действие, передачу, контроллер и вычисления".

Чтобы помочь QIBBOT достичь высокой скорости, разработчики сосредоточилась на решении проблем, связанных с механикой и контроллером робота. Сначала они построили точную модель кинематики и динамики, которую использовали для оптимизации распределения массы, механической структуры, управления и связи QIBBOT. Затем, в дополнение к использованию обычного контроллера с обратной связью, они разработали новый контроллер с обратной связью, который проактивно реагирует на команды движения от контроллера VR. По словам Генга, такой подход устраняет некоторые задержки, вызванные другими компонентами системы.

Чтобы создать противника, управляемого ИИ, Генг и его коллеги объединили несколько различных существующих алгоритмов ИИ. В совокупности они помогают роботу различать атаку и защиту, генерировать стратегии борьбы и обращаться к библиотеке данных о параметрах для конкретных сценариев борьбы. Робот под управлением ИИ может изучать приемы во время боя с роботом под управлением человека. Несмотря на некоторую степень зрелищности боя роботов, все же есть некоторые аспекты QIBBOT, которые требуют доработки.

"Мы оптимизировали конструкцию механической системы QIBBOT для быстрого реагирования, и за это приходится платить - точностью", - говорит Генг. Он отмечает, что хотя точность может не иметь большого значения в сценарии боя, она будет важна, если эта технология будет адаптирована для других целей.

https://www.youtube.com/watch?v=o15-j_oXda8

QIBBOT - это всего лишь прототип для тестирования конструкции и контроллера. Отмечается, что у него есть некоторые проблемы, такие как нежелательная вибрация, неестественный стиль движения и так далее. Разработчики работают над созданием нового робота, у которого будут две руки и больше суставов в теле и руках, что позволит решить эти проблемы.

https://robogeek.ru/interesnoe-o-robotah/sparing-cheloveka-i-ii-na-ringe-s-pomoschyu-robotov-qibbot

Робот M4 разработанный в Caltech сочетает несколько способов локомоции

Недавно созданный робот-трансформер способен изменять конфигурацию своего тела для достижения различных типов движения и может автономно оценивать окружающую среду, чтобы выбрать наиболее эффективную комбинацию для маневрирования.

Новый робот, получивший название M4 (Multi-Modal Mobility Morphobot), может катиться на четырех колесах, летать, стоять на двух колесах, "ходить", используя свои колеса как ноги, и использовать два ротора для преодоления крутых склонов на двух колесах.

По словам профессора Мори Гариба, директора Центра автономных систем и технологий (CAST) Калифорнийского технологического института (Caltech), робот с таким широким набором возможностей нашел бы широкое применение - от транспортировки раненых людей в больницу до исследования других планет.

M4 - разработка Гариба и Алирезы Рамезани, доцента кафедры электротехники и вычислительной техники Северо-Восточного университета. В команду, поддерживающую технические аспекты M4, входили Эрик Сихите, научный сотрудник постдокторантуры в аэрокосмической области в Caltech, Реза Немови, инженер-конструктор в CAST и Араш Калантари из JPL.

"Наша цель заключалась в том, чтобы расширить границы локомоции роботов, разработав систему, демонстрирующую исключительные возможности мобильности с широким спектром различных режимов локомоции. Проект M4 успешно достиг этих целей", - говорит Рамезани.

Гибкость движений робота в сочетании с ИИ позволяет ему выбирать, какая форма локомоции будет наиболее эффективной в зависимости от местности перед ним. В пресс-релизе института говориться, что M4, исследующий незнакомую среду может начать движение на четырех колесах, что является его наиболее энергоэффективным режимом. Достигнув препятствия, например, валуна, он может встать на два колеса, чтобы осмотреть его и получить более четкое представление о местности впереди. Затем, если он увидит овраг или другое препятствие, которое колесный робот не сможет преодолеть, он может перенастроить свои колеса на режим полета, перелететь через овраг на другую сторону и продолжить движение.

"При столкновении с неизвестной средой успеха могут добиться только те роботы, которые способны перепрофилировать свои мультимодальные компоненты с помощью ИИ", - говорит Гариб.

Когда M4 нужно встать на два колеса, два из четырех колес складываются, и их встроенные пропеллеры вращаются, обеспечивая баланс робота. Когда M4 нужно лететь, все четыре колеса складываются, и движители поднимают робота с земли.

Шарниры на узлах колес позволяют M4 совершать шагающие движения, но отмечается, что текущей итерации ходьба является скорее доказательством концепции. Однако с учетом ожидаемого прогресса будущие поколения M4 смогут более эффективно передвигаться по пересеченной местности.

https://www.youtube.com/watch?v=J91jTI2-k_U

Робот был протестирован на открытом воздухе и ориентировался на местности в кампусе Caltech. Статья "Multi-Modal Mobility Morphobot (M4), A Platform to Inspect Appendage Repurposing for Locomotion Plasticity Enhancement" была опубликована в Nature Communications.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/robot-m4-razrabotannyi-v-caltech-sochetaet-neskolko-sposobov-lokomatsii

Мягкая робо-перчатка может помочь пациентам перенесшим инсульт заново научиться играть музыку

Инсульт является самой важной причиной инвалидности взрослых в ЕС, от которой ежегодно страдает около 1,1 млн людей. После инсульта пациенты обычно нуждаются в реабилитации, чтобы заново научиться ходить, говорить или выполнять повседневные задачи. Исследования показали, что помимо физической и трудовой терапии, музыкальная терапия может помочь пациентам, перенесшим инсульт, восстановить речь и моторику.

Для людей, обученных музыке и перенесших инсульт, воспроизведение музыки может оказаться навыком, который нужно осваивать заново. Исследование, опубликованное в журнале Frontiers in Robotics and AI, показало, как новая мягкая робототехника может помочь выздоравливающим пациентам заново научиться играть музыку и другим навыкам, требующим ловкости и координации.

"Здесь мы показываем, что наша умная перчатка-экзоскелет с интегрированными тактильными датчиками, мягкими приводами и ИИ может эффективно помочь в повторном обучении после нейротравмы", - говорит ведущий автор исследования доктор Маохуа Лин, адъюнкт-профессор кафедры океанотехники и машиностроения Атлантического университета Флориды.

Лин и его коллеги разработали и испытали экзоскелет в форме многослойной гибкой 3D-печатной робо-перчатки, которая весит 191 грамм. Вся ладонь и область запястья перчатки сделаны мягкими и гибкими, а форма перчатки может быть изготовлена на заказ в соответствии с анатомическими особенностями каждого пользователя.

Мягкие пневматические приводы в кончиках пальцев генерируют движение и прикладывают силу, имитируя естественные, точно выверенные движения руки. Каждый кончик пальца также содержит массив из 16 гибких датчиков, которые передают тактильные ощущения руке пользователя при взаимодействии с объектами или поверхностями. Производство перчатки очень простое, так как все приводы и датчики устанавливаются на место с помощью одного процесса формования.

"Надевая перчатку, пользователь в значительной степени контролирует движение каждого пальца, - сказал старший автор доктор Эрик Энгеберг, профессор кафедры океанотехники и машиностроения Атлантического университета Флориды. - Перчатка предназначена для помощи и улучшения естественных движений руки, позволяя контролировать сгибание и разгибание пальцев. Перчатка направляет руку, обеспечивая поддержку и усиливая ловкость".

Авторы предполагают, что в конечном итоге пациенты могут носить пару таких перчаток, чтобы помочь обеим рукам независимо друг от друга восстановить ловкость, двигательные навыки и чувство координации.

Авторы использовали машинное обучение, чтобы успешно научить перчатку "чувствовать" разницу между правильным и неправильным исполнением произведения на фортепиано. Здесь перчатка работала автономно, без участия человека, с заранее запрограммированными движениями. Это была американская детская песня XIX века «Mary Had a Little Lamb», для исполнения которой требуется четыре пальца.

"Мы обнаружили, что перчатка может научиться различать правильную и неправильную игру на фортепиано. Это означает, что она может стать ценным инструментом для персонализированной реабилитации людей, которые хотят заново научиться играть", - сказал Энгеберг.

https://www.youtube.com/watch?v=ekr0SLdSll0

Теперь, когда этап проверки и подтверждения принципа действия технологии успешно продемонстрирован, перчатку можно запрограммировать так, чтобы она давала пользователю обратную связь о том, что было правильно или неправильно в его игре, с помощью тактильной обратной связи, визуальных подсказок или звука. Это позволит ей или ему понять свою игру и улучшить ее.

https://robogeek.ru/ekzoskelety-protezy/myagkaya-robo-perchatka-mozhet-pomoch-patsientam-perenesshim-insult-zanovo-nauchitsya-igrat-muzyku

MR4Weld - первое роботизированное мобильное решение для судостроения

На выставке Automatica две итальянские компании Comau и Fincantieri представили результат своего сотрудничества - мобильного робота MR4Weld (Mobile Robot for Welding) для автоматизации трудоемких сварочных работ на открытом воздухе.

Компании также продлили свое стратегическое соглашение о применении технологий, цифровизации и инноваций в рамках передовых мобильных роботизированных решений, которые повысят скорость производства и благосостояние работников за счет автоматизации традиционно ручных процессов.

В 2021 году Comau и Fincantieri подписали соглашение о намерениях, целью которого была разработка прототипов роботизированных решений для сварки стали и последующее строительство серии машин. После успешного завершения производственных испытаний прототипов, директора компаний подписали обновленное соглашение, которое предусматривает разработку дополнительных мобильных роботизированных машин и решений для неструктурированных сред.

Мобильный робот MR4Weld в дальнейшем будет использоваться на верфях Fincantieri для автономной сварки стальных конструкций с возможным 3-кратным увеличением производительности по сравнению с ручным процессом. Он представляет из себя 6-осевой промышленный с высокой грузоподъемностью, оснащенный сварочной горелкой, который установлен на гусеничном шасси и оборудован встроенной системой машинного зрения для автономного определения сварочных швов. Сообщается, что робот гарантирует более высокое качество сварки при одновременном снижении эргономических рисков, способствуя преобразованию производственного процесса в судостроении за счет обеспечения большей гибкости и повышенной безопасности в дополнение к снижению общих затрат.

Разработанная для перемещения в любых условиях и совместной работы с персоналом, система MR4Weld может легко управляться одним оператором во время перемещения и сварки. В системе также используются цифровые инструменты для сбора сварочных и производственных данных, которые могут быть использованы для регистрации сварных соединений. Поскольку система MR4Weld полностью соответствует действующим нормам безопасности, она может использоваться без ограждений на каждой из многочисленных палуб, из которых состоит судно. Fincantieri и Comau совместно подали европейскую патентную заявку на конкретные технологические особенности MR4Weld. Передовое решение также может быть легко интегрировано в цифровую инфраструктуру Comau, что еще больше повышает производительность и рентабельность роботизированной системы.

В рамках продолжающегося сотрудничества компании будут разрабатывать усовершенствованные мобильные роботы для автоматизации других повторяющихся действий в судостроительных процессах, включая те, которые характеризуются вертикальными и нелинейными поверхностями, а также неструктурированной средой, в дополнение к тестированию экзоскелетов Comau. Fincantieri также будет сотрудничать с Comau для укрепления и повышения технических навыков своих операторов по использованию и программированию роботизированных мобильных систем, адаптируя их к специальным форматам повышения квалификации судостроительных операторов, которые уже разработаны Comau.

Comau также сделает еще один шаг к дифференциации своего основного бизнеса и расширению в новые сегменты за пределами заводского цеха. Кроме того, компании начнут промышленное внедрение своего уникального роботизированного решения MR4Weld, которое может быть применено не только в судостроительной промышленности, но и в отраслях, требующих производства крупных стальных инфраструктур.

https://www.youtube.com/watch?v=0xnfOzyfBds

https://robogeek.ru/promyshlennye-roboty/mr4weld-pervoe-robotizirovannoe-mobilnoe-reshenie-dlya-sudostroeniya

Картирование рек и озер с помощью беспилотных водных аппаратов

Власти и операторы портов должны предоставлять актуальные карты русла рек и портовых сооружений. До сих пор это требовало использования специальных картографических судов и большого количества рабочей силы. Это дорого и не выполняется с той частотой и точностью, которые потребуются для будущих приложений, таких как автономное судоходство.

По этой причине группа исследователей из Fraunhofer IOSB разработала простое в управлении беспилотное судно размером 2х1,5х1 м и весом 64 кг, которое автономно обследует водоемы и создает соответствующие 3D карты. Эти карты должны регулярно составляться и обновляться соответствующими органами, что очень дорого, поскольку в настоящее время съемки проводятся вручную с помощью специалистов на картографических судах. Проведение подводного и надводного картирования с помощью автономных плавсредств обходится гораздо дешевле.

Исследователи из Fraunhofer IOSB в Карлсруэ разработали такую систему в рамках проекта Teilautomatisches Peilsystem für Flüsse und Seen (полуавтоматическая навигационная система для рек и озер) на базе коммерческого беспилотного надводного судна (USV). Подключенное только к центральной рабочей станции или станции управления на суше, судно составляет карты всех типов внутренних водоемов и их окрестностей, проводя съемку как над, так и под поверхностью воды. Возможно также применение в прибрежных районах, поскольку в своем нынешней итерации судно может составлять карты на глубине до 100 метров.

Используя GPS, датчики ускорения и угловой скорости, а также доплеровский измеритель скорости и сноса, оно способно двигаться автономно. Данные с различных датчиков объединяются для управления полуавтоматической навигационной системой. Для картирования над водой используются лазерные сканеры и камеры в сочетании с картографическим программным обеспечением, разработанным в Fraunhofer IOSB, что позволяет устройствам воссоздавать высокоточные 3D-модели окружающей среды. Подводное картирование, в свою очередь, осуществляется с помощью многолучевого гидролокатора, который интегрирован в систему датчиков и создает полную 3D-модель дна.

"Наша навигационная система является полуавтоматической в том смысле, что пользователю необходимо лишь указать область, которую необходимо картографировать. Сам процесс съемки полностью автоматизирован, а оценка данных осуществляется всего несколькими щелчками мыши. Мы разработали программные модули, необходимые для картографирования и автономного пилотирования", - объясняет д-р Янко Петерейт, ученый из Fraunhofer IOSB.

Первым шагом является определение площади, которую необходимо исследовать, после чего ПО использует эту информацию для расчета маршрута. Выполняя свою задачу, судно автономно уклоняется от препятствий. Во время движения в реальном времени создается быстрая 3D-модель для целей навигации. Вторая высокоточная 3D-модель рассчитывается программным обеспечением после оценки данных, захватывая как дно водоема, так и сцену над водной поверхностью, скрывая при этом движущиеся объекты.

Испытания геодезического судна проводились на нескольких озерах. Действующий прототип в настоящее время используется исследовательской группой в городе Росток.

https://www.youtube.com/watch?v=M3N0JN1du50

"В настоящее время ручные обследования проводятся лишь раз в один-два года и дают гораздо менее точные результаты, чем наши комплексные 3D-модели, поэтому состояние водных путей не отражается оптимально. Поэтому в будущем исследования рек необходимо будет проводить гораздо чаще и с более высоким уровнем детализации. Наша полуавтоматическая навигационная система предлагает экономически эффективную альтернативу существующим методам съемки", - говорит Петерейт.

https://robogeek.ru/podvodnye-i-nadvodnye-roboty/kartirovanie-rek-i-ozer-s-pomoschyu-bespilotnyh-vodnyh-apparatov

Китайская компания WeRide получила лицензию на развертывание автономных автомобилей в ОАЭ

Власти ОАЭ выдали китайской компании WeRide первую национальную лицензию на развертывание автономных автомобилей. Разрешение позволяет WeRide тестировать свои автомобили 4-го уровня автономности на дорогах общего пользования по всей стране.

Лицензия является шагом на пути к достижению цели сделать 25% транспорта в стране полностью автономным к 2030 году. В понедельник Совет министров ОАЭ одобрил разрешение WeRide наряду с национальной политикой в отношении электромобилей. Эта политика включает в себя создание национальной сети зарядки, регулирование рынка электромобилей и стимулирование смежных отраслей, таких как электромобили, которые могут сократить выбросы и сохранить качество дорог.

В ОАЭ, и в частности в Дубае, на протяжении многих лет проводились различные испытания автономных автомобилей. В 2019 году Управление дорог и транспорта Дубая (RTA) организовало Всемирную конференцию по самодвижущемуся транспорту - мероприятие, направленное на объединение лидеров отрасли в этой сфере. В этом году конференция запланирована на сентябрь и включает в себя конкурс, на котором компании и академические институты продемонстрируют свои решения в области автономных автобусов. RTA поставило перед собой цель ограничить количество транспортных средств на дорогах Дубая и увеличить число роботакси до 4 000 единиц к концу десятилетия.

WeRide в своем заявлении сообщила, что начнет тестирование "всех типов самоуправляемых автомобилей" в стране. Компания планирует коммерциализировать свою технологию самодвижения на различных транспортных средствах, включая роботакси, робоавтобусы и автономные уборочные машины.

В течение последнего года WeRide проводила испытания роботакси на некоторых дорогах общего пользования в ОАЭ. В марте компания официально открыла свое присутствие в China-UAE Industrial Capacity Cooperation Demonstration Zone.

Пока неясно, через какие нормативно-правовые акты власти ОАЭ заставят пройти компанию для тестирования, внедрения и коммерциализации автономных транспортных средств в стране. Процесс тестирования будет осуществляться лабораторией RegLab, инициативой Генерального секретариата кабинета министров.

Власти ОАЭ также пригласили Cruise, дочернюю компанию General Motors из Сан-Франциско. Компания начала картирование Дубая в июле 2022 года в рамках подготовки к запланированному запуску в 2023 году. Компания заявила, что надеется вывести Cruise Origins, свое специально разработанное роботакси, на улицы Дубая в этом году. В апреле RTA Дубая подтвердило, что у Cruise есть несколько автономных Chevrolet Bolt собирающих данные и проводящих испытания в жилом районе на побережье.

https://robogeek.ru/avtonomnyi-transport/kitaiskaya-kompaniya-weride-poluchila-litsenziyu-na-razvertyvanie-avtonomnyh-avtomobilei-v-oae

Новый набор данных ChattyChef привносит ИИ в кулинарию

ИИ может помочь людям делать покупки, планировать и писать, но не готовить. Алгоритмам трудно следовать пошаговым рецептам в правильном порядке, но новое исследование, проведенное в Колледже вычислительной техники Технологического института Джорджии, может изменить ситуацию.

Исследователи создали набор данных под названием ChattyChef, в котором используются модели обработки естественного языка, способные помочь пользователю приготовить рецепт. Используя большую языковую модель GPT-J с открытым исходным кодом, набор данных ChattyChef с кулинарными диалогами следует рецептам вместе с пользователем.

Исследователи представили свой ИИ в работе "Improved Instruction Ordering in Recipe-Grounded Conversation", представленной на 61-й ежегодной встрече Association for Computational Linguistics.

Хотя другие исследователи теоретизировали о возможности создания ИИ-повара, работа Georgia Tech продвигает эту область вперед. "Мы - одна из первых исследовательских групп, которая проанализировала проблемы использования больших языковых моделей для создания ИИ-повара", - сказал Дуонг Ле, аспирант Школы интерактивных вычислений.

Большинство попыток использовать языковые модели для приготовления пищи терпят неудачу, потому что GPT-J не понимает, что пользователь хочет делать дальше, или намерения пользователя, и с трудом отслеживает, насколько далеко пользователь продвинулся в рецепте. Он также не может ответить на уточняющие вопросы, например, о количестве ингредиентов или времени приготовления.

Например, если кто-то пытается приготовить драники ИИ говорит ему налить масло на сковороду и добавить картофель. Затем пользователь спрашивает о следующем шаге. Алгоритм может перепутать порядок действий и сказать, что можно подавать блюдо, хотя оно еще не до конца приготовлено. Или пользователь задаст вопрос о том, как долго готовить дранник, и ИИ не будет достаточно точным, вместо этого он укажет общее время приготовления и не уточнит время приготовления для каждой стороны.

Учитывая это, исследователи позаботились о том, чтобы их модель имела две ключевые особенности:

- определение текущих намерений пользователя в рамках фиксированного набора возможностей, таких как "Попросить следующую инструкцию" или "Спросить подробности об ингредиентах";
- отслеживание рецептуры для определения того, на каком этапе находится пользователь, что работает с 80% точностью.

Объединенная информация из этих функций поддерживает третью инновацию ChattyChef - генерацию ответов. Намерение пользователя помогает сгенерировать лучший ответ на вопрос пользователя. ИИ выбирает наиболее важные части рецепта, а не включает весь рецепт, чтобы не запутать пользователя и не обременять его лишними действиями во время приготовления.

Набор данных ChattyChef создан на основе рецептов WikiHow с положительными оценками и менее чем восемью шагами. Чтобы определить, какие рецепты лучше всего включить в набор данных, исследователи привлекли людей для ролевой игры в то, как они могли бы использовать ChattyChef.

Исследователи считают, что инновации ChattyChef могут быть использованы во многих областях, помимо кулинарии, например, в руководствах по ремонту или документации к программному обеспечению.

https://robogeek.ru/iskusstvennyi-intellekt/novyi-nabor-dannyh-chattychef-privnosit-ii-v-kulinariyu

Уничтожение вредителей в теплицах с помощью дронов

Растения, выращиваемые в теплицах, подвергаются нападению летающих насекомых. Разработанная в Голландии система PATS призвана помочь в этом, посылая крошечные дроны для уничтожения этих вредителей в воздухе.

Система PATS, которую производит одноименная компания, являющаяся подразделением Wageningen University, состоит из двух частей: PATS-C и PATS-X.

Компонент PATS-C состоит из подключенных к интернету инфракрасных камер, которые установлены по всей теплице. Используя алгоритмы на основе ИИ, эти устройства обнаруживают и идентифицируют любых летающих насекомых, которые попадают в воздушное пространство над растениями. Идентификация вида основана на частоте ударов крыльев и размере.

Если насекомое оказывается полезным видом, например, пчелой, его оставляют в покое. Если же это вредитель, то в дело вступает второй компонент системы PATS-X.

PATS-X состоит из одного или нескольких небольших квадрокоптеров, которые находятся на беспроводной зарядной станции в теплице. При обнаружении вредителя PATS-C активирует дрон и направляет его к месту нахождения насекомого. Затем он просто летит прямо на вредителя, уничтожая его своими винтами, после чего возвращается на зарядную станцию.

Базовая версия PATS-C уже используется примерно в 250 теплицах по всей Европе. Клиенты получают информацию о популяции насекомых в своих помещениях через дашборд. PATS-X в настоящее время проходит испытания, его поставки планируются к концу этого года.

Интересный факт, недавнее исследование, проведенное в Wageningen University под руководством биолога Дайо Янсена, показало, что двигатели дронов издают ультразвук в том же диапазоне, что и летучие мыши. По этой причине некоторые виды мотыльков активно уклоняются от беспилотника, направляясь к земле.

Сейчас Янсен учитывает этот фактор в алгоритмах управления дронами, предвидя уклонение мотыльков при приближении дрона. Кроме того, можно предположить, что пользователи PATS смогут воспроизводить такие звуки через динамики в своих теплицах, чтобы мотыльки вообще не летали над растениями.

"В ходе моего исследования мы стремимся глубоко изучить некоторые из наиболее распространенных и вредных видов в европейских теплицах и убедиться, что наши системы готовы к индивидуальному подходу в борьбе с ними", - сказал Янсен.

https://www.youtube.com/watch?v=BQBJaQhrKKQ

"PATS" - это голландское описание звука, издаваемого, когда комара прихлопывают руками.

https://robogeek.ru/roboty-v-selskom-hozyaistve/unichtozhenie-vreditelei-v-teplitsah-s-pomoschyu-dronov

В EPFL представили лапароскопическую систему с четыремя манипуляторами

Исследователи из EPFL разработали первую систему, которая позволяет проводить лапароскопические операции с помощью четырех манипуляторов. По задумке, хирург управляет двумя дополнительными роботизированными руками с помощью ног.

Робототехники из EPFL объединили манипуляции несколькими конечностями с расширенным совместным управлением, что позволило добиться прогресса в области лапароскопической хирургии. Результаты, опубликованные в журнале The International Journal of Robotics Research, подтверждают целесообразность использования этой системы для снижения нагрузки на хирурга и повышения точности и безопасности. Специалисты уже успешно прошли обучение на этой системе, клинические испытания которой продолжаются в Женеве.

В тесном сотрудничестве между исследовательской группой REHAssist и лабораторией LASA (Learning Algorithms and Systems Laboratory) аспиранты Джейкоб Эрнандес и Валид Аманхуд разработали систему, которая позволяет хирургам, помимо двух основных манипуляторов с хирургическими инструментами, управлять двумя дополнительными роботизированными руками (одна с эндоскопом, вторая с захватом) с помощью тактильных ножных интерфейсов с пятью степенями свободы.

По словам Мохамеда Бури, руководителя группы REHAssist, "актуаторы в ножных педалях обеспечивают тактильную обратную связь с пользователем, направляя ногу к цели, как будто следуя за невидимым полем сил, а также ограничивают силу и движение, чтобы ошибочные движения ног не подвергали опасности пациента". Бури продолжает: "Наша система открывает перед хирургами новые возможности для проведения лапароскопических процедур 4 руками, позволяя одному человеку выполнять задачу, которую обычно выполняют два, а иногда и три человека".

Одновременная работа с четырьмя инструментами может быть довольно затруднительной. По этой причине система способна предсказывать некоторые основные действия хирурга и направлять его движения соответствующим образом. Например, если завязывается узел на шве, эндоскоп может автоматически переместиться в положение, обеспечивающее наилучший обзор, а захват будет убран.

"Управление четырьмя руками одновременно, тем более ногами, далеко не рутинная работа и может быть довольно утомительной. Чтобы уменьшить сложность управления, роботы активно помогают хирургу, координируя свои движения с движениями хирурга посредством активного прогнозирования намерений хирурга и адаптивного визуального отслеживания лапароскопических инструментов с помощью камеры. Кроме того, предлагается помощь для более точного захвата тканей", - говорит профессор Од Биллар, руководитель LASA. Мохамед Бури добавляет, что "благодаря использованию роботов-ассистентов, управляемых ногами, и стратегии совместного управления, мы снижаем умственную и физическую нагрузку на хирургов и, как мы предполагаем, улучшаем результаты хирургических операций".

https://www.youtube.com/watch?v=gr9fJHrNmDU

Для оценки простоты использования и эффективности системы было проведено комплексное исследование с участием практикующих хирургов. По словам доктора Энрико Броннимана, который участвовал в испытаниях в сотрудничестве со Швейцарским фондом инноваций и обучения хирургии (SFITS), "идея активно использовать ноги для проведения робот-ассистированных операций - хорошая идея, и это определенно обучаемый навык. Я бы хотел, чтобы это было реализовано в операционной, возможно, в кабине на большом расстоянии от пациента, чтобы повысить эргономичность".

https://robogeek.ru/roboty-v-meditsine/v-epfl-predstavili-laparoskopicheskuyu-sistemu-s-chetyremya-manipulyatorami

Тестирование роботов-охранников на территории общеобразовательных школ

Обеспечение безопасности в школах постоянная забота персонала и родителей учащихся. В ряде американских школ проводятся испытания роботов-охранников, оснащенных ИИ, которые будут круглосуточно перемещаться по территории учебного заведения в поисках нежелательных посетителей.

Школа Santa Fe High School в штате Нью-Мексико одной из первых тестирует нового автономного робота от поставщика Team 1st Technologies из Альбукерке, сообщает Wall Street Journal (WSJ).

Четырехколесный робот, разработанный компанией SMP Robotics, весом 182 кг и ростом 178 см с помощью камеры на мачте обеспечивает 360-градусное видео для службы безопасности школы. Робот использует ИИ для изучения различных характеристик школы, включая ее планировку и характер активности людей вокруг себя.

Робот может распознать агрессивное или необычное поведение и направиться к предполагаемому нарушителю, давая ему понять, что за ним наблюдают, и выигрывая время для реагирования службы безопасности. Не смотря на некоторые опасения местного сообщества относительно конфиденциальности, робот не обладает функцией распознавания лиц, и в рамках текущей экспериментальной программы за обработку отснятого материала отвечают сотрудники школы Santa Fe High School, которые и решают, как долго его хранить.

Один из преподавателей школы сообщил WSJ, что робот, которого он назвал "seven camera dog" (собакой с семью камерами), может быть полезен для наблюдения за изолированными участками кампуса, которым не уделяется должное внимание со стороны школьной службы безопасности.

Компания Team 1st Technologies предоставляет роботов по модели RaaS (робот-как-услуга), но не раскрывает конкретную стоимость. По некоторым данным она может составлять $60-70 тыс. за весь учебный год, поэтому руководство школы все еще решает, стоит ли робот таких вложений.

https://www.youtube.com/watch?v=lvu_8595SIU

Team 1st Technologies входит в число компаний, внедряющих роботов-охранников в школы, и если 60-дневный эксперимент в Santa Fe High School окажется успешным, то в ближайшем будущем такие роботы могут будут развернуты и в других школах.

https://robogeek.ru/roboty-spasateli/testirovanie-robotov-ohrannikov-na-territorii-obscheobrazovatelnyh-shkol

Японские исследователи разработали метод выявления приобретённых пороков сердца с помощью ИИ

Утверждается, что разработка исследовательской группы из Osaka Metropolitan University позволяет с беспрецедентной точностью выявлять приобретённые пороки сердца, называемые также клапанными пороками, с помощью рентгенографии грудной клетки .

Приобретённый порок сердца - причина сердечной недостаточности, которая часто диагностируется с помощью эхокардиографии. Этот метод требует специальных навыков, а квалифицированных специалистов не хватает.

Рентгенография грудной клетки - одно из наиболее распространенных исследований для выявления заболеваний, прежде всего легких. Сердце также видно на рентгенограммах грудной клетки. До настоящего времени было мало известно о возможности определять заболевание сердца по рентгенограммам грудной клетки.

Рентгенограммы грудной клетки выполняются во многих больницах, и на их проведение требуется очень мало времени, что делает их весьма доступными и воспроизводимыми. Исследовательская группа под руководством доктора Дайю Уеда рассчитала, что если функции и заболевания сердца будут определяться по рентгенограммам грудной клетки, то это может стать полезным дополнением к эхокардиографии.

Поскольку ИИ, обученный на одном наборе данных, может привести к низкой точности, команда стремилась использовать данные нескольких институтов. Таким образом, в период с 2013 по 2021 гг. в четырех медицинских учреждениях было собрано 22 551 рентгенограмма грудной клетки и 22 551 эхокардиограмма от 16 946 пациентов. На основе рентгенограмм грудной клетки в качестве входных данных и эхокардиограмм в качестве выходных данных была обучена модель ИИ для изучения признаков, связывающих оба набора данных.

Модель ИИ смогла точно классифицировать шесть выбранных типов приобретенных пороков сердца по показателю площади под фармакокинетической кривой (AUC, показатель оценки для ИИ-моделей, использующий диапазон значений от 0 до 1. Чем ближе к 1, тем лучше модель). Значение AUC составило 0,92 при 40-процентном пороговом значении для определения фракции выброса левого желудочка, что является важным показателем для мониторинга сердечной функции.

"Нам потребовалось очень много времени, чтобы прийти к этим результатам, но я считаю, что это значимое исследование, - сказал в своем заявлении д-р Уэда. - Помимо повышения эффективности диагностики, система может быть использована в районах, где нет специалистов, в экстренных случаях в ночное время, а также для пациентов, которым трудно пройти эхокардиографию".

Результаты исследования опубликованы в журнале The Lancet Digital Health.

https://robogeek.ru/iskusstvennyi-intellekt/yaponskie-issledovateli-razrabotali-metod-vyyavleniya-priobretyonnyh-porokov-serdtsa-s-pomoschyu-ii