Исследователи CMU расширили возможности роботов по обучению на основе видеоматериалов

Новая работа исследователей из Carnegie Mellon University (CMU) позволила роботам научиться выполнять домашние дела, просматривая видеозаписи где их выполняют люди. Исследование может помочь улучшить использование роботов в быту, позволяя им помогать людям в таких задачах, как приготовление пищи и уборка.

В ходе исследования 2 робота успешно выучили 12 задач, включая открытие ящика кухонного шкафа и дверцы духовки, снятие кастрюли с плиты и крышки с нее, взятие телефонной трубки, овощей или банки с консервами.

"Робот может узнать, где и как люди взаимодействуют с различными объектами, просматривая видео, - сказал Дипак Патхак, доцент Института робототехники Школы компьютерных наук CMU. - На основе этих данных мы можем обучить модель, которая позволит двум роботам выполнять одни и те же задачи в различных условиях".

Существующие методы обучения роботов требуют либо ручной демонстрации задач человеком, либо обучения в симулированной среде. И то, и другое занимает много времени и чревато неудачами. В прошлом Патхака и его студенты продемонстрировали метод WHIRL (In-the-Wild Human Imitating Robot Learning), при котором роботы обучались, наблюдая за выполнением задач человеком. Но этот метод требовал, чтобы человек выполнял задание в той же среде, что и робот.

Последняя работа Патхака VRB (Vision-Robotics Bridge) основана на WHIRL. Новая модель исключает необходимость демонстрации человеком и работы в идентичной среде. Как и WHIRL, робот по-прежнему требует практики для освоения задачи. Исследования команды показали, что он может освоить новую задачу примерно за 25 минут.

"Мы смогли провести роботов по кампусу и выполнить самые разные задачи, - говорит Шикхар Бахл, аспирант кафедры робототехники. - Роботы могут использовать эту модель, чтобы исследовать окружающий мир. Вместо того чтобы просто махать руками, робот может быть более непосредственным в своем взаимодействии".

VRB определяет, где и как робот может взаимодействовать с объектом, основываясь на поведении человека. Например, наблюдая за тем, как человек открывает ящик, робот определяет точки контакта и направление движения ящик. В пресс-релизе университета сообщается, что после просмотра нескольких подобных видеороликов, на которых люди открывают ящики, робот может определить, как открыть любой ящик.

Команда использовала видео из больших наборов данных, таких как Ego4D и Epic Kitchens. Ego4D содержит почти 4 000 часов видеозаписей повседневной деятельности со всего мира. Epic Kitchens содержит аналогичные видео, на которых запечатлены приготовление пищи, уборка и другие кухонные дела. Оба набора данных предназначены для обучения моделей компьютерного зрения.

https://www.youtube.com/watch?v=Bik4s57iPsY

Более подробную информацию можно найти на сайте проекта и в статье, представленной в июне на Конференция по компьютерному зрению и распознаванию образов.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/issledovateli-cmu-rasshirili-vozmozhnosti-robotov-po-obucheniyu-na-osnove-videomaterialov

Спаринг человека и ИИ на ринге с помощью роботов QIBBOT

Вдохновившись финальной сценой фильма "Живая сталь" (Real Steel), во вселенной которого бокс запрещен и заменен боями роботов под управлением людей, компания Qibo Robot Company разработала телеуправляемого робота под названием QIBBOT, который имитирует реальные движения человека.

Робот не только может наносить удары, но и делает это с высокой скоростью с задержкой в 12 миллисекунд. Разработчики заявляют, что их QIBBOT является самым быстрым телеуправляемым роботом, созданным на сегодняшний день. Затем его испытали на прочность против противника управляемого ИИ, который учится и адаптируется во время боя.

"Вдохновившись фильмом и руководствуясь развлекательной ценностью, мы решили посмотреть, сможем ли мы реализовать концепцию боевых роботов в реальной жизни, - говорит генеральный директор компании Qibo Robot Йинин (Джеймс) Генг. - Мы подумали, что опыт игроков с большими и реальными роботами будет очень новым и отличным от компьютерных игр".

Существует много различных телеуправляемых роботов, но они имеют совершенно иные цели, и большинство из них, как правило, небольшие и двигаются только на медленной или средней скорости. "Для боевых роботов на первом месте стоит быстрая скорость, - говорит Генг. - В случае с телеуправляемыми роботами на скорость влияет множество различных аспектов, включая связь, интерфейс, приведение в действие, передачу, контроллер и вычисления".

Чтобы помочь QIBBOT достичь высокой скорости, разработчики сосредоточилась на решении проблем, связанных с механикой и контроллером робота. Сначала они построили точную модель кинематики и динамики, которую использовали для оптимизации распределения массы, механической структуры, управления и связи QIBBOT. Затем, в дополнение к использованию обычного контроллера с обратной связью, они разработали новый контроллер с обратной связью, который проактивно реагирует на команды движения от контроллера VR. По словам Генга, такой подход устраняет некоторые задержки, вызванные другими компонентами системы.

Чтобы создать противника, управляемого ИИ, Генг и его коллеги объединили несколько различных существующих алгоритмов ИИ. В совокупности они помогают роботу различать атаку и защиту, генерировать стратегии борьбы и обращаться к библиотеке данных о параметрах для конкретных сценариев борьбы. Робот под управлением ИИ может изучать приемы во время боя с роботом под управлением человека. Несмотря на некоторую степень зрелищности боя роботов, все же есть некоторые аспекты QIBBOT, которые требуют доработки.

"Мы оптимизировали конструкцию механической системы QIBBOT для быстрого реагирования, и за это приходится платить - точностью", - говорит Генг. Он отмечает, что хотя точность может не иметь большого значения в сценарии боя, она будет важна, если эта технология будет адаптирована для других целей.

https://www.youtube.com/watch?v=o15-j_oXda8

QIBBOT - это всего лишь прототип для тестирования конструкции и контроллера. Отмечается, что у него есть некоторые проблемы, такие как нежелательная вибрация, неестественный стиль движения и так далее. Разработчики работают над созданием нового робота, у которого будут две руки и больше суставов в теле и руках, что позволит решить эти проблемы.

https://robogeek.ru/interesnoe-o-robotah/sparing-cheloveka-i-ii-na-ringe-s-pomoschyu-robotov-qibbot

Робот M4 разработанный в Caltech сочетает несколько способов локомоции

Недавно созданный робот-трансформер способен изменять конфигурацию своего тела для достижения различных типов движения и может автономно оценивать окружающую среду, чтобы выбрать наиболее эффективную комбинацию для маневрирования.

Новый робот, получивший название M4 (Multi-Modal Mobility Morphobot), может катиться на четырех колесах, летать, стоять на двух колесах, "ходить", используя свои колеса как ноги, и использовать два ротора для преодоления крутых склонов на двух колесах.

По словам профессора Мори Гариба, директора Центра автономных систем и технологий (CAST) Калифорнийского технологического института (Caltech), робот с таким широким набором возможностей нашел бы широкое применение - от транспортировки раненых людей в больницу до исследования других планет.

M4 - разработка Гариба и Алирезы Рамезани, доцента кафедры электротехники и вычислительной техники Северо-Восточного университета. В команду, поддерживающую технические аспекты M4, входили Эрик Сихите, научный сотрудник постдокторантуры в аэрокосмической области в Caltech, Реза Немови, инженер-конструктор в CAST и Араш Калантари из JPL.

"Наша цель заключалась в том, чтобы расширить границы локомоции роботов, разработав систему, демонстрирующую исключительные возможности мобильности с широким спектром различных режимов локомоции. Проект M4 успешно достиг этих целей", - говорит Рамезани.

Гибкость движений робота в сочетании с ИИ позволяет ему выбирать, какая форма локомоции будет наиболее эффективной в зависимости от местности перед ним. В пресс-релизе института говориться, что M4, исследующий незнакомую среду может начать движение на четырех колесах, что является его наиболее энергоэффективным режимом. Достигнув препятствия, например, валуна, он может встать на два колеса, чтобы осмотреть его и получить более четкое представление о местности впереди. Затем, если он увидит овраг или другое препятствие, которое колесный робот не сможет преодолеть, он может перенастроить свои колеса на режим полета, перелететь через овраг на другую сторону и продолжить движение.

"При столкновении с неизвестной средой успеха могут добиться только те роботы, которые способны перепрофилировать свои мультимодальные компоненты с помощью ИИ", - говорит Гариб.

Когда M4 нужно встать на два колеса, два из четырех колес складываются, и их встроенные пропеллеры вращаются, обеспечивая баланс робота. Когда M4 нужно лететь, все четыре колеса складываются, и движители поднимают робота с земли.

Шарниры на узлах колес позволяют M4 совершать шагающие движения, но отмечается, что текущей итерации ходьба является скорее доказательством концепции. Однако с учетом ожидаемого прогресса будущие поколения M4 смогут более эффективно передвигаться по пересеченной местности.

https://www.youtube.com/watch?v=J91jTI2-k_U

Робот был протестирован на открытом воздухе и ориентировался на местности в кампусе Caltech. Статья "Multi-Modal Mobility Morphobot (M4), A Platform to Inspect Appendage Repurposing for Locomotion Plasticity Enhancement" была опубликована в Nature Communications.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/robot-m4-razrabotannyi-v-caltech-sochetaet-neskolko-sposobov-lokomatsii

Мягкая робо-перчатка может помочь пациентам перенесшим инсульт заново научиться играть музыку

Инсульт является самой важной причиной инвалидности взрослых в ЕС, от которой ежегодно страдает около 1,1 млн людей. После инсульта пациенты обычно нуждаются в реабилитации, чтобы заново научиться ходить, говорить или выполнять повседневные задачи. Исследования показали, что помимо физической и трудовой терапии, музыкальная терапия может помочь пациентам, перенесшим инсульт, восстановить речь и моторику.

Для людей, обученных музыке и перенесших инсульт, воспроизведение музыки может оказаться навыком, который нужно осваивать заново. Исследование, опубликованное в журнале Frontiers in Robotics and AI, показало, как новая мягкая робототехника может помочь выздоравливающим пациентам заново научиться играть музыку и другим навыкам, требующим ловкости и координации.

"Здесь мы показываем, что наша умная перчатка-экзоскелет с интегрированными тактильными датчиками, мягкими приводами и ИИ может эффективно помочь в повторном обучении после нейротравмы", - говорит ведущий автор исследования доктор Маохуа Лин, адъюнкт-профессор кафедры океанотехники и машиностроения Атлантического университета Флориды.

Лин и его коллеги разработали и испытали экзоскелет в форме многослойной гибкой 3D-печатной робо-перчатки, которая весит 191 грамм. Вся ладонь и область запястья перчатки сделаны мягкими и гибкими, а форма перчатки может быть изготовлена на заказ в соответствии с анатомическими особенностями каждого пользователя.

Мягкие пневматические приводы в кончиках пальцев генерируют движение и прикладывают силу, имитируя естественные, точно выверенные движения руки. Каждый кончик пальца также содержит массив из 16 гибких датчиков, которые передают тактильные ощущения руке пользователя при взаимодействии с объектами или поверхностями. Производство перчатки очень простое, так как все приводы и датчики устанавливаются на место с помощью одного процесса формования.

"Надевая перчатку, пользователь в значительной степени контролирует движение каждого пальца, - сказал старший автор доктор Эрик Энгеберг, профессор кафедры океанотехники и машиностроения Атлантического университета Флориды. - Перчатка предназначена для помощи и улучшения естественных движений руки, позволяя контролировать сгибание и разгибание пальцев. Перчатка направляет руку, обеспечивая поддержку и усиливая ловкость".

Авторы предполагают, что в конечном итоге пациенты могут носить пару таких перчаток, чтобы помочь обеим рукам независимо друг от друга восстановить ловкость, двигательные навыки и чувство координации.

Авторы использовали машинное обучение, чтобы успешно научить перчатку "чувствовать" разницу между правильным и неправильным исполнением произведения на фортепиано. Здесь перчатка работала автономно, без участия человека, с заранее запрограммированными движениями. Это была американская детская песня XIX века «Mary Had a Little Lamb», для исполнения которой требуется четыре пальца.

"Мы обнаружили, что перчатка может научиться различать правильную и неправильную игру на фортепиано. Это означает, что она может стать ценным инструментом для персонализированной реабилитации людей, которые хотят заново научиться играть", - сказал Энгеберг.

https://www.youtube.com/watch?v=ekr0SLdSll0

Теперь, когда этап проверки и подтверждения принципа действия технологии успешно продемонстрирован, перчатку можно запрограммировать так, чтобы она давала пользователю обратную связь о том, что было правильно или неправильно в его игре, с помощью тактильной обратной связи, визуальных подсказок или звука. Это позволит ей или ему понять свою игру и улучшить ее.

https://robogeek.ru/ekzoskelety-protezy/myagkaya-robo-perchatka-mozhet-pomoch-patsientam-perenesshim-insult-zanovo-nauchitsya-igrat-muzyku

MR4Weld - первое роботизированное мобильное решение для судостроения

На выставке Automatica две итальянские компании Comau и Fincantieri представили результат своего сотрудничества - мобильного робота MR4Weld (Mobile Robot for Welding) для автоматизации трудоемких сварочных работ на открытом воздухе.

Компании также продлили свое стратегическое соглашение о применении технологий, цифровизации и инноваций в рамках передовых мобильных роботизированных решений, которые повысят скорость производства и благосостояние работников за счет автоматизации традиционно ручных процессов.

В 2021 году Comau и Fincantieri подписали соглашение о намерениях, целью которого была разработка прототипов роботизированных решений для сварки стали и последующее строительство серии машин. После успешного завершения производственных испытаний прототипов, директора компаний подписали обновленное соглашение, которое предусматривает разработку дополнительных мобильных роботизированных машин и решений для неструктурированных сред.

Мобильный робот MR4Weld в дальнейшем будет использоваться на верфях Fincantieri для автономной сварки стальных конструкций с возможным 3-кратным увеличением производительности по сравнению с ручным процессом. Он представляет из себя 6-осевой промышленный с высокой грузоподъемностью, оснащенный сварочной горелкой, который установлен на гусеничном шасси и оборудован встроенной системой машинного зрения для автономного определения сварочных швов. Сообщается, что робот гарантирует более высокое качество сварки при одновременном снижении эргономических рисков, способствуя преобразованию производственного процесса в судостроении за счет обеспечения большей гибкости и повышенной безопасности в дополнение к снижению общих затрат.

Разработанная для перемещения в любых условиях и совместной работы с персоналом, система MR4Weld может легко управляться одним оператором во время перемещения и сварки. В системе также используются цифровые инструменты для сбора сварочных и производственных данных, которые могут быть использованы для регистрации сварных соединений. Поскольку система MR4Weld полностью соответствует действующим нормам безопасности, она может использоваться без ограждений на каждой из многочисленных палуб, из которых состоит судно. Fincantieri и Comau совместно подали европейскую патентную заявку на конкретные технологические особенности MR4Weld. Передовое решение также может быть легко интегрировано в цифровую инфраструктуру Comau, что еще больше повышает производительность и рентабельность роботизированной системы.

В рамках продолжающегося сотрудничества компании будут разрабатывать усовершенствованные мобильные роботы для автоматизации других повторяющихся действий в судостроительных процессах, включая те, которые характеризуются вертикальными и нелинейными поверхностями, а также неструктурированной средой, в дополнение к тестированию экзоскелетов Comau. Fincantieri также будет сотрудничать с Comau для укрепления и повышения технических навыков своих операторов по использованию и программированию роботизированных мобильных систем, адаптируя их к специальным форматам повышения квалификации судостроительных операторов, которые уже разработаны Comau.

Comau также сделает еще один шаг к дифференциации своего основного бизнеса и расширению в новые сегменты за пределами заводского цеха. Кроме того, компании начнут промышленное внедрение своего уникального роботизированного решения MR4Weld, которое может быть применено не только в судостроительной промышленности, но и в отраслях, требующих производства крупных стальных инфраструктур.

https://www.youtube.com/watch?v=0xnfOzyfBds

https://robogeek.ru/promyshlennye-roboty/mr4weld-pervoe-robotizirovannoe-mobilnoe-reshenie-dlya-sudostroeniya

Картирование рек и озер с помощью беспилотных водных аппаратов

Власти и операторы портов должны предоставлять актуальные карты русла рек и портовых сооружений. До сих пор это требовало использования специальных картографических судов и большого количества рабочей силы. Это дорого и не выполняется с той частотой и точностью, которые потребуются для будущих приложений, таких как автономное судоходство.

По этой причине группа исследователей из Fraunhofer IOSB разработала простое в управлении беспилотное судно размером 2х1,5х1 м и весом 64 кг, которое автономно обследует водоемы и создает соответствующие 3D карты. Эти карты должны регулярно составляться и обновляться соответствующими органами, что очень дорого, поскольку в настоящее время съемки проводятся вручную с помощью специалистов на картографических судах. Проведение подводного и надводного картирования с помощью автономных плавсредств обходится гораздо дешевле.

Исследователи из Fraunhofer IOSB в Карлсруэ разработали такую систему в рамках проекта Teilautomatisches Peilsystem für Flüsse und Seen (полуавтоматическая навигационная система для рек и озер) на базе коммерческого беспилотного надводного судна (USV). Подключенное только к центральной рабочей станции или станции управления на суше, судно составляет карты всех типов внутренних водоемов и их окрестностей, проводя съемку как над, так и под поверхностью воды. Возможно также применение в прибрежных районах, поскольку в своем нынешней итерации судно может составлять карты на глубине до 100 метров.

Используя GPS, датчики ускорения и угловой скорости, а также доплеровский измеритель скорости и сноса, оно способно двигаться автономно. Данные с различных датчиков объединяются для управления полуавтоматической навигационной системой. Для картирования над водой используются лазерные сканеры и камеры в сочетании с картографическим программным обеспечением, разработанным в Fraunhofer IOSB, что позволяет устройствам воссоздавать высокоточные 3D-модели окружающей среды. Подводное картирование, в свою очередь, осуществляется с помощью многолучевого гидролокатора, который интегрирован в систему датчиков и создает полную 3D-модель дна.

"Наша навигационная система является полуавтоматической в том смысле, что пользователю необходимо лишь указать область, которую необходимо картографировать. Сам процесс съемки полностью автоматизирован, а оценка данных осуществляется всего несколькими щелчками мыши. Мы разработали программные модули, необходимые для картографирования и автономного пилотирования", - объясняет д-р Янко Петерейт, ученый из Fraunhofer IOSB.

Первым шагом является определение площади, которую необходимо исследовать, после чего ПО использует эту информацию для расчета маршрута. Выполняя свою задачу, судно автономно уклоняется от препятствий. Во время движения в реальном времени создается быстрая 3D-модель для целей навигации. Вторая высокоточная 3D-модель рассчитывается программным обеспечением после оценки данных, захватывая как дно водоема, так и сцену над водной поверхностью, скрывая при этом движущиеся объекты.

Испытания геодезического судна проводились на нескольких озерах. Действующий прототип в настоящее время используется исследовательской группой в городе Росток.

https://www.youtube.com/watch?v=M3N0JN1du50

"В настоящее время ручные обследования проводятся лишь раз в один-два года и дают гораздо менее точные результаты, чем наши комплексные 3D-модели, поэтому состояние водных путей не отражается оптимально. Поэтому в будущем исследования рек необходимо будет проводить гораздо чаще и с более высоким уровнем детализации. Наша полуавтоматическая навигационная система предлагает экономически эффективную альтернативу существующим методам съемки", - говорит Петерейт.

https://robogeek.ru/podvodnye-i-nadvodnye-roboty/kartirovanie-rek-i-ozer-s-pomoschyu-bespilotnyh-vodnyh-apparatov

Китайская компания WeRide получила лицензию на развертывание автономных автомобилей в ОАЭ

Власти ОАЭ выдали китайской компании WeRide первую национальную лицензию на развертывание автономных автомобилей. Разрешение позволяет WeRide тестировать свои автомобили 4-го уровня автономности на дорогах общего пользования по всей стране.

Лицензия является шагом на пути к достижению цели сделать 25% транспорта в стране полностью автономным к 2030 году. В понедельник Совет министров ОАЭ одобрил разрешение WeRide наряду с национальной политикой в отношении электромобилей. Эта политика включает в себя создание национальной сети зарядки, регулирование рынка электромобилей и стимулирование смежных отраслей, таких как электромобили, которые могут сократить выбросы и сохранить качество дорог.

В ОАЭ, и в частности в Дубае, на протяжении многих лет проводились различные испытания автономных автомобилей. В 2019 году Управление дорог и транспорта Дубая (RTA) организовало Всемирную конференцию по самодвижущемуся транспорту - мероприятие, направленное на объединение лидеров отрасли в этой сфере. В этом году конференция запланирована на сентябрь и включает в себя конкурс, на котором компании и академические институты продемонстрируют свои решения в области автономных автобусов. RTA поставило перед собой цель ограничить количество транспортных средств на дорогах Дубая и увеличить число роботакси до 4 000 единиц к концу десятилетия.

WeRide в своем заявлении сообщила, что начнет тестирование "всех типов самоуправляемых автомобилей" в стране. Компания планирует коммерциализировать свою технологию самодвижения на различных транспортных средствах, включая роботакси, робоавтобусы и автономные уборочные машины.

В течение последнего года WeRide проводила испытания роботакси на некоторых дорогах общего пользования в ОАЭ. В марте компания официально открыла свое присутствие в China-UAE Industrial Capacity Cooperation Demonstration Zone.

Пока неясно, через какие нормативно-правовые акты власти ОАЭ заставят пройти компанию для тестирования, внедрения и коммерциализации автономных транспортных средств в стране. Процесс тестирования будет осуществляться лабораторией RegLab, инициативой Генерального секретариата кабинета министров.

Власти ОАЭ также пригласили Cruise, дочернюю компанию General Motors из Сан-Франциско. Компания начала картирование Дубая в июле 2022 года в рамках подготовки к запланированному запуску в 2023 году. Компания заявила, что надеется вывести Cruise Origins, свое специально разработанное роботакси, на улицы Дубая в этом году. В апреле RTA Дубая подтвердило, что у Cruise есть несколько автономных Chevrolet Bolt собирающих данные и проводящих испытания в жилом районе на побережье.

https://robogeek.ru/avtonomnyi-transport/kitaiskaya-kompaniya-weride-poluchila-litsenziyu-na-razvertyvanie-avtonomnyh-avtomobilei-v-oae

Новый набор данных ChattyChef привносит ИИ в кулинарию

ИИ может помочь людям делать покупки, планировать и писать, но не готовить. Алгоритмам трудно следовать пошаговым рецептам в правильном порядке, но новое исследование, проведенное в Колледже вычислительной техники Технологического института Джорджии, может изменить ситуацию.

Исследователи создали набор данных под названием ChattyChef, в котором используются модели обработки естественного языка, способные помочь пользователю приготовить рецепт. Используя большую языковую модель GPT-J с открытым исходным кодом, набор данных ChattyChef с кулинарными диалогами следует рецептам вместе с пользователем.

Исследователи представили свой ИИ в работе "Improved Instruction Ordering in Recipe-Grounded Conversation", представленной на 61-й ежегодной встрече Association for Computational Linguistics.

Хотя другие исследователи теоретизировали о возможности создания ИИ-повара, работа Georgia Tech продвигает эту область вперед. "Мы - одна из первых исследовательских групп, которая проанализировала проблемы использования больших языковых моделей для создания ИИ-повара", - сказал Дуонг Ле, аспирант Школы интерактивных вычислений.

Большинство попыток использовать языковые модели для приготовления пищи терпят неудачу, потому что GPT-J не понимает, что пользователь хочет делать дальше, или намерения пользователя, и с трудом отслеживает, насколько далеко пользователь продвинулся в рецепте. Он также не может ответить на уточняющие вопросы, например, о количестве ингредиентов или времени приготовления.

Например, если кто-то пытается приготовить драники ИИ говорит ему налить масло на сковороду и добавить картофель. Затем пользователь спрашивает о следующем шаге. Алгоритм может перепутать порядок действий и сказать, что можно подавать блюдо, хотя оно еще не до конца приготовлено. Или пользователь задаст вопрос о том, как долго готовить дранник, и ИИ не будет достаточно точным, вместо этого он укажет общее время приготовления и не уточнит время приготовления для каждой стороны.

Учитывая это, исследователи позаботились о том, чтобы их модель имела две ключевые особенности:

- определение текущих намерений пользователя в рамках фиксированного набора возможностей, таких как "Попросить следующую инструкцию" или "Спросить подробности об ингредиентах";
- отслеживание рецептуры для определения того, на каком этапе находится пользователь, что работает с 80% точностью.

Объединенная информация из этих функций поддерживает третью инновацию ChattyChef - генерацию ответов. Намерение пользователя помогает сгенерировать лучший ответ на вопрос пользователя. ИИ выбирает наиболее важные части рецепта, а не включает весь рецепт, чтобы не запутать пользователя и не обременять его лишними действиями во время приготовления.

Набор данных ChattyChef создан на основе рецептов WikiHow с положительными оценками и менее чем восемью шагами. Чтобы определить, какие рецепты лучше всего включить в набор данных, исследователи привлекли людей для ролевой игры в то, как они могли бы использовать ChattyChef.

Исследователи считают, что инновации ChattyChef могут быть использованы во многих областях, помимо кулинарии, например, в руководствах по ремонту или документации к программному обеспечению.

https://robogeek.ru/iskusstvennyi-intellekt/novyi-nabor-dannyh-chattychef-privnosit-ii-v-kulinariyu

Уничтожение вредителей в теплицах с помощью дронов

Растения, выращиваемые в теплицах, подвергаются нападению летающих насекомых. Разработанная в Голландии система PATS призвана помочь в этом, посылая крошечные дроны для уничтожения этих вредителей в воздухе.

Система PATS, которую производит одноименная компания, являющаяся подразделением Wageningen University, состоит из двух частей: PATS-C и PATS-X.

Компонент PATS-C состоит из подключенных к интернету инфракрасных камер, которые установлены по всей теплице. Используя алгоритмы на основе ИИ, эти устройства обнаруживают и идентифицируют любых летающих насекомых, которые попадают в воздушное пространство над растениями. Идентификация вида основана на частоте ударов крыльев и размере.

Если насекомое оказывается полезным видом, например, пчелой, его оставляют в покое. Если же это вредитель, то в дело вступает второй компонент системы PATS-X.

PATS-X состоит из одного или нескольких небольших квадрокоптеров, которые находятся на беспроводной зарядной станции в теплице. При обнаружении вредителя PATS-C активирует дрон и направляет его к месту нахождения насекомого. Затем он просто летит прямо на вредителя, уничтожая его своими винтами, после чего возвращается на зарядную станцию.

Базовая версия PATS-C уже используется примерно в 250 теплицах по всей Европе. Клиенты получают информацию о популяции насекомых в своих помещениях через дашборд. PATS-X в настоящее время проходит испытания, его поставки планируются к концу этого года.

Интересный факт, недавнее исследование, проведенное в Wageningen University под руководством биолога Дайо Янсена, показало, что двигатели дронов издают ультразвук в том же диапазоне, что и летучие мыши. По этой причине некоторые виды мотыльков активно уклоняются от беспилотника, направляясь к земле.

Сейчас Янсен учитывает этот фактор в алгоритмах управления дронами, предвидя уклонение мотыльков при приближении дрона. Кроме того, можно предположить, что пользователи PATS смогут воспроизводить такие звуки через динамики в своих теплицах, чтобы мотыльки вообще не летали над растениями.

"В ходе моего исследования мы стремимся глубоко изучить некоторые из наиболее распространенных и вредных видов в европейских теплицах и убедиться, что наши системы готовы к индивидуальному подходу в борьбе с ними", - сказал Янсен.

https://www.youtube.com/watch?v=BQBJaQhrKKQ

"PATS" - это голландское описание звука, издаваемого, когда комара прихлопывают руками.

https://robogeek.ru/roboty-v-selskom-hozyaistve/unichtozhenie-vreditelei-v-teplitsah-s-pomoschyu-dronov

В EPFL представили лапароскопическую систему с четыремя манипуляторами

Исследователи из EPFL разработали первую систему, которая позволяет проводить лапароскопические операции с помощью четырех манипуляторов. По задумке, хирург управляет двумя дополнительными роботизированными руками с помощью ног.

Робототехники из EPFL объединили манипуляции несколькими конечностями с расширенным совместным управлением, что позволило добиться прогресса в области лапароскопической хирургии. Результаты, опубликованные в журнале The International Journal of Robotics Research, подтверждают целесообразность использования этой системы для снижения нагрузки на хирурга и повышения точности и безопасности. Специалисты уже успешно прошли обучение на этой системе, клинические испытания которой продолжаются в Женеве.

В тесном сотрудничестве между исследовательской группой REHAssist и лабораторией LASA (Learning Algorithms and Systems Laboratory) аспиранты Джейкоб Эрнандес и Валид Аманхуд разработали систему, которая позволяет хирургам, помимо двух основных манипуляторов с хирургическими инструментами, управлять двумя дополнительными роботизированными руками (одна с эндоскопом, вторая с захватом) с помощью тактильных ножных интерфейсов с пятью степенями свободы.

По словам Мохамеда Бури, руководителя группы REHAssist, "актуаторы в ножных педалях обеспечивают тактильную обратную связь с пользователем, направляя ногу к цели, как будто следуя за невидимым полем сил, а также ограничивают силу и движение, чтобы ошибочные движения ног не подвергали опасности пациента". Бури продолжает: "Наша система открывает перед хирургами новые возможности для проведения лапароскопических процедур 4 руками, позволяя одному человеку выполнять задачу, которую обычно выполняют два, а иногда и три человека".

Одновременная работа с четырьмя инструментами может быть довольно затруднительной. По этой причине система способна предсказывать некоторые основные действия хирурга и направлять его движения соответствующим образом. Например, если завязывается узел на шве, эндоскоп может автоматически переместиться в положение, обеспечивающее наилучший обзор, а захват будет убран.

"Управление четырьмя руками одновременно, тем более ногами, далеко не рутинная работа и может быть довольно утомительной. Чтобы уменьшить сложность управления, роботы активно помогают хирургу, координируя свои движения с движениями хирурга посредством активного прогнозирования намерений хирурга и адаптивного визуального отслеживания лапароскопических инструментов с помощью камеры. Кроме того, предлагается помощь для более точного захвата тканей", - говорит профессор Од Биллар, руководитель LASA. Мохамед Бури добавляет, что "благодаря использованию роботов-ассистентов, управляемых ногами, и стратегии совместного управления, мы снижаем умственную и физическую нагрузку на хирургов и, как мы предполагаем, улучшаем результаты хирургических операций".

https://www.youtube.com/watch?v=gr9fJHrNmDU

Для оценки простоты использования и эффективности системы было проведено комплексное исследование с участием практикующих хирургов. По словам доктора Энрико Броннимана, который участвовал в испытаниях в сотрудничестве со Швейцарским фондом инноваций и обучения хирургии (SFITS), "идея активно использовать ноги для проведения робот-ассистированных операций - хорошая идея, и это определенно обучаемый навык. Я бы хотел, чтобы это было реализовано в операционной, возможно, в кабине на большом расстоянии от пациента, чтобы повысить эргономичность".

https://robogeek.ru/roboty-v-meditsine/v-epfl-predstavili-laparoskopicheskuyu-sistemu-s-chetyremya-manipulyatorami

Тестирование роботов-охранников на территории общеобразовательных школ

Обеспечение безопасности в школах постоянная забота персонала и родителей учащихся. В ряде американских школ проводятся испытания роботов-охранников, оснащенных ИИ, которые будут круглосуточно перемещаться по территории учебного заведения в поисках нежелательных посетителей.

Школа Santa Fe High School в штате Нью-Мексико одной из первых тестирует нового автономного робота от поставщика Team 1st Technologies из Альбукерке, сообщает Wall Street Journal (WSJ).

Четырехколесный робот, разработанный компанией SMP Robotics, весом 182 кг и ростом 178 см с помощью камеры на мачте обеспечивает 360-градусное видео для службы безопасности школы. Робот использует ИИ для изучения различных характеристик школы, включая ее планировку и характер активности людей вокруг себя.

Робот может распознать агрессивное или необычное поведение и направиться к предполагаемому нарушителю, давая ему понять, что за ним наблюдают, и выигрывая время для реагирования службы безопасности. Не смотря на некоторые опасения местного сообщества относительно конфиденциальности, робот не обладает функцией распознавания лиц, и в рамках текущей экспериментальной программы за обработку отснятого материала отвечают сотрудники школы Santa Fe High School, которые и решают, как долго его хранить.

Один из преподавателей школы сообщил WSJ, что робот, которого он назвал "seven camera dog" (собакой с семью камерами), может быть полезен для наблюдения за изолированными участками кампуса, которым не уделяется должное внимание со стороны школьной службы безопасности.

Компания Team 1st Technologies предоставляет роботов по модели RaaS (робот-как-услуга), но не раскрывает конкретную стоимость. По некоторым данным она может составлять $60-70 тыс. за весь учебный год, поэтому руководство школы все еще решает, стоит ли робот таких вложений.

https://www.youtube.com/watch?v=lvu_8595SIU

Team 1st Technologies входит в число компаний, внедряющих роботов-охранников в школы, и если 60-дневный эксперимент в Santa Fe High School окажется успешным, то в ближайшем будущем такие роботы могут будут развернуты и в других школах.

https://robogeek.ru/roboty-spasateli/testirovanie-robotov-ohrannikov-na-territorii-obscheobrazovatelnyh-shkol

Японские исследователи разработали метод выявления приобретённых пороков сердца с помощью ИИ

Утверждается, что разработка исследовательской группы из Osaka Metropolitan University позволяет с беспрецедентной точностью выявлять приобретённые пороки сердца, называемые также клапанными пороками, с помощью рентгенографии грудной клетки .

Приобретённый порок сердца - причина сердечной недостаточности, которая часто диагностируется с помощью эхокардиографии. Этот метод требует специальных навыков, а квалифицированных специалистов не хватает.

Рентгенография грудной клетки - одно из наиболее распространенных исследований для выявления заболеваний, прежде всего легких. Сердце также видно на рентгенограммах грудной клетки. До настоящего времени было мало известно о возможности определять заболевание сердца по рентгенограммам грудной клетки.

Рентгенограммы грудной клетки выполняются во многих больницах, и на их проведение требуется очень мало времени, что делает их весьма доступными и воспроизводимыми. Исследовательская группа под руководством доктора Дайю Уеда рассчитала, что если функции и заболевания сердца будут определяться по рентгенограммам грудной клетки, то это может стать полезным дополнением к эхокардиографии.

Поскольку ИИ, обученный на одном наборе данных, может привести к низкой точности, команда стремилась использовать данные нескольких институтов. Таким образом, в период с 2013 по 2021 гг. в четырех медицинских учреждениях было собрано 22 551 рентгенограмма грудной клетки и 22 551 эхокардиограмма от 16 946 пациентов. На основе рентгенограмм грудной клетки в качестве входных данных и эхокардиограмм в качестве выходных данных была обучена модель ИИ для изучения признаков, связывающих оба набора данных.

Модель ИИ смогла точно классифицировать шесть выбранных типов приобретенных пороков сердца по показателю площади под фармакокинетической кривой (AUC, показатель оценки для ИИ-моделей, использующий диапазон значений от 0 до 1. Чем ближе к 1, тем лучше модель). Значение AUC составило 0,92 при 40-процентном пороговом значении для определения фракции выброса левого желудочка, что является важным показателем для мониторинга сердечной функции.

"Нам потребовалось очень много времени, чтобы прийти к этим результатам, но я считаю, что это значимое исследование, - сказал в своем заявлении д-р Уэда. - Помимо повышения эффективности диагностики, система может быть использована в районах, где нет специалистов, в экстренных случаях в ночное время, а также для пациентов, которым трудно пройти эхокардиографию".

Результаты исследования опубликованы в журнале The Lancet Digital Health.

https://robogeek.ru/iskusstvennyi-intellekt/yaponskie-issledovateli-razrabotali-metod-vyyavleniya-priobretyonnyh-porokov-serdtsa-s-pomoschyu-ii

Chipotle и Vebu тестируют прототип Autocado, роботизированного помощника для приготовления гуакамоле

Вчера сеть ресторанов быстрого питания мексиканской кухни Chipotle Mexican Grill объявила о запуске прототипа Autocado. Роботизированная установка разработана с целью подготовки авокадо для фирменного гуакамоле сети ресторанов. Прототип, разработанный в сотрудничестве с компанией Vebu, в настоящее время проходит испытания в Chipotle Cultivate Center в Ирвайне, штат Калифорния.

Принцип работы прототипа Autocado:

- сотрудник загружает полный ящик спелых авокадо и выбирает размер. Autocado вмещает до 11 кг;
- каждое авокадо ориентируется вертикально и передается в устройство для обработки;
- фрукты нарезаются пополам. Семя и кожица автоматически удаляются, а отходы выбрасываются;
- плоды собираются в чашу из нержавеющей стали в нижней части устройства;
- члены команды вынимают чашу с плодами авокадо и переносят на кухню для последующего ручного измельчения и приготовления фирменного гуакамоле Chipotle.

Компания Vebu работала в тесном сотрудничестве с сертифицированными менеджерами по обучению из ресторанов Chipotle, чтобы проанализировать процесс приготовления блюд в компании и выявить задачи, которые отнимают много времени и вызывают наименьшие симпатии у сотрудников. Традиционно, обработкой авокадо и приготовлением гуакамоле занимались конкретные сотрудники. Приготовление одной порции этого блюда занимает около 50 минут.

Команда Vebu стремится повысить скорость обработки данных в устройстве, что в конечном итоге позволит сократить время приготовления гуакамоле на 50% и позволит сотрудникам Chipotle сосредоточиться на обслуживании гостей и обеспечении высокого уровня гостеприимства. Ожидается, что в этом году в ресторанах США, Канады и Европы будет использовано около 4,5 млн. ящиков авокадо, что эквивалентно более чем 45 тыс. тонн фруктов. В рамках поддержки инициатив Chipotle по устойчивому развитию и сокращению отходов Autocado может увеличить выход плодов авокадо за счет точной обработки. В в случае успешного тестирования и дальнейшего масштабирования, технологии может привести к ежегодной экономии миллионов долларов на продуктах питания.

"Мы стремимся изучить возможности совместной робототехники для повышения эффективности и облегчения проблем наших сотрудников, - сказал Курт Гарнер, директор по работе с клиентами и технологиям компании Chipotle. - С помощью Autocado можно облегчить интенсивный труд, связанный с нарезкой, извлечением семя и извлечением мякоти, но при этом мы сохраняем важный кулинарный опыт ручного измельчения и ручного приготовления гуакамоле в соответствии с нашими строгими стандартами".

"Наша цель как робототехнической компании - использовать технологии автоматизации для предоставления работникам большей гибкости в их повседневной работе, - сказал Бак Джордан, генеральный директор компании Vebu. - Autocado может работать вместе с сотрудниками Chipotle, создавая тот же самый вкусный гуакамоле, который так любят поклонники Chipotle, но более эффективно, чем когда-либо прежде".

Vebu разрабатывает стек ИИ и машинного обучения для подключения ко всем своим роботизированным решениям, где это применимо. Цель состоит в том, чтобы будущие версии Autocado использовали машинное обучение и датчики для оценки качества авокадо и количественной оценки сокращения отходов.

https://www.youtube.com/watch?v=AsGMXr22gig

Дополнительно сообщается, что Chipotle инвестирует в Vebu в рамках CULTIVATE NEXT, венчурного фонда компании объемом $50 млн, который предназначен для инвестиций на ранних стадиях в стратегически ориентированные компании, способствующие реализации миссии Cultivate a Better World и ускорению агрессивных планов роста.

https://robogeek.ru/servisnye-roboty/chipotle-i-vebu-testiruyut-prototip-autocado-robotizirovannogo-pomoschnika-dlya-prigotovleniya-guakamole

Fourier Intelligence планирует выпустить сотню человекоподобных роботов к концу года

Китайская компания Fourier Intelligence заявляет, что к концу 2023 года планирует изготовить 100 человекоподобных роботов общего назначения GR-1, уточняя при этом, что они смогут переносить почти свой собственный вес.

Компания Fourier в основном специализируется на реабилитационных технологиях. Их платформа RehabHub предлагает серию интегрированных физиотерапевтических устройств для лечения различных проблем, начиная от устройств для тренировки кисти и пальцев и заканчивая экзоскелетами для нижних конечностей.

Поэтому проект робота GR-1, запущенный еще в 2019 году, может показаться непрофильным для компании. Но, с другой стороны, экзоскелет для нижних конечностей, вероятно, использует то же оборудование и должен решать те же задачи, что и ноги робота.

Fourier позиционирует GR-1 как робота общего назначения, подобного тем над которыми работают Tesla, но при этом указывает, что первые сферы применения будут помощь по уходу и физиотерапевтическую помощь.

GR-1 ростом 165 см и весом 55 кг будет иметь максимальную скорость передвижения около 5 км/ч и грузоподъемность до 50 кг. Его суставы будут иметь 40 степеней. Сообщается, что самый большой электродвигатель, предположительно в бедрах, будет развивать крутящий момент до 300 Нм.

"По мере нашего продвижения вперед GR-1 может стать сиделкой, помощником в терапии, компаньоном дома для пожилых людей, которые остаются одни, - говорит генеральный директор и соучредитель компании Зен Кох. - Сама система может самостоятельно балансировать при ходьбе и выполнять различные задачи. Мы можем запрограммировать ее на сидение, стояние и прыжки. Руки можно запрограммировать на захват посуды, инструментов и выполнение задач по желанию инженеров".

С 2021 года компания создала и тестирует различные прототипы с частичным и полным телом, и на видео ниже можно увидеть, как они учатся ходить, сохраняют баланс, поднимают и опускают хрупкие предметы, например стеклянные бутылки, выполняют несколько элементарных танцевальных движений, реагируют на физические сигналы человека и самостоятельно обходят некоторые препятствия.

Один из сотрудников компании Figure объясняет, что создание аппаратного обеспечения и обеспечение базовых движений, таких как ходьба самое простое и это более или менее решенная проблема. Самое сложное научить GR-1 автономно ориентироваться в мире и выполнять задачи, на которые они не были специально запрограммированы, в хаотичной и незнакомой обстановке.

И, похоже, именно поэтому компания Fourier торопится к концу года выпустить 100 единиц роботов. Это не будут полнофункциональные роботы общего назначения - это будут программно-аппаратные платформы с базовыми возможностями, и отправятся они в основном в научно-исследовательские лаборатории, где, предположительно, 100 различных команд робототехников будут пробовать сделать этих роботов умнее, способнее и готовыми выйти в мир.

https://www.youtube.com/watch?v=KoAEaZm1Hw4

Это интересная стратегия, в отличие от более закрытого подхода, и она может привести к появлению разнообразных и взаимодополняющих технологий, которые могут ускорить путь GR-1 к полезности. Время покажет, принесет ли такой подход к сотрудничеству плоды и окажется ли компания Fourier в выигрыше.

https://robogeek.ru/chelovekopodobnye-roboty/fourier-intelligence-planiruet-vypustit-sotnyu-chelovekopodobnyh-robotov-k-kontsu-goda

Мягкий роботизированный захват, вдохновленный цветком розы

При работе с хрупкими предметами роботы должны обладать высокой чувствительностью. И если в предыдущих попытках придать им это свойство использовались, например, мягкие резиновые пальцы, то новое экспериментальное устройство было вдохновлено цветком розой.

Устройство, разрабатываемое в настоящее время в Japan Advanced Institute of Science and Technology, получило название ROSE (ROtation-based-Squeezing grippEr).

Он состоит из воронкообразного рукава из мягкого, гибкого эластомера, закрепленного на жестком круглом основании. Основание, в свою очередь, соединено с электроприводом, который может вращать его (и соединенную с ним втулку) подобно поворотной платформе.

При захвате предмета, робот опускает на него актуатор, так чтобы его часть соприкасалась с боковыми сторонами предмета. Затем привод вращает основание, в результате чего рукав мягко сминается и оборачивается вокруг предмета. После этого предмет можно поднять, переместить, а затем отпустить, просто повернув актуатор в противоположном направлении, чтобы вернуть его в исходное положение.

По словам ученых, создавших ROSE, его производство обходится дешевле, чем производство традиционных мягких захватов, он может захватывать более широкий спектр предметов, поскольку давление на них оказывается более мягкое и равномерное. Утверждается, что он очень долговечен, ROSE сохранил свою работоспособность после 400 000 испытаний, после чего актуатор получил повреждение, но но сила захвата не снизилась.

"Захват ROSE обладает значительным потенциалом для революционного изменения приложений для захвата и широкого распространения в различных областях, - сказал ведущий ученый, доцент Ван Ань Хо. - Его простая, но надежная и прочная конструкция уже в ближайшем будущем вдохновит исследователей и производителей на использование его для решения широкого спектра задач".

https://www.youtube.com/watch?v=E1wAI09LaoY

В рамках технологии предполагается создать два продукта. Во-первых, робот, который может заменить операции по сбору урожая любого вида фруктов. Во-вторых, робот для улучшения качества жизни людей, получающих уход. Результаты исследования "ROSE: Rotation-based Squeezing Robotic Gripper toward Universal Handling of Objects" были представлены на международной конференции Robotics: Science and Systems, проходившей в Корее с 10 по 14 июля 2023 года.

https://robogeek.ru/promyshlennye-roboty/myagkii-robotizirovannyi-zahvat-vdohnovlennyi-tsvetkom-rozy

Исследователи разработали методику для более быстрого обучения робота

Группа исследователей из Massachusetts Institute of Technology (MIT), New York University (NYU) и University of California at Berkeley (UC Berkeley) создали систему, которая позволяет человеку быстро и с минимальными усилиями научить робота тому, что ему необходимо сделать.

В пресс-релизе MIT приводится пример робота для выполнения бытовых задач, доставленного в дом пользователя. Этот робот был создан и обучен на заводе определенному набору задач и никогда не видел предметов в этом конкретном доме. Если попросит его взять кружку с кухонного стола, то он может не справиться с этой задачей, не понимая разнообразие форм и расцветок.

"Сейчас, когда мы обучаем этих роботов, мы не знаем причин их отказа. Поэтому вы просто разводите руками и говорите: "Ладно, придется начинать все сначала". Важнейшим компонентом, которого не хватает в этой системе, является возможность демонстрации роботом причин неудачи, чтобы пользователь мог дать ему обратную связь", - говорит Энди Пенг, аспирант кафедры электротехники и вычислительной техники (EECS) MIT.

Когда робот терпит неудачу, система с помощью алгоритма генерирует контрфактические объяснения, описывающие, что должно было измениться, чтобы робот добился успеха. Например, возможно, робот смог бы поднять кружку, если бы она была определенного цвета. Система показывает эти контрфактические объяснения человеку и просит его высказать свое мнение о причинах неудачи робота. Затем система использует эту обратную связь для генерации новых данных, которые используются для тонкой настройки робота.

Тонкая настройка заключается в изменении модели машинного обучения, которая была обучена для выполнения одной задачи, с тем чтобы она могла выполнять вторую, аналогичную задачу.

Исследователи протестировали эту методику на симуляторах и обнаружили, что она позволяет обучать робота более эффективно, чем другие методы. Роботы, обученные по этой схеме, показали лучшие результаты, а процесс обучения занял меньше времени у человека.

Такая схема может помочь роботам быстрее осваиваться в новых условиях, не требуя от пользователя технических знаний. В перспективе это может стать шагом к тому, чтобы роботы общего назначения могли эффективно выполнять повседневные задачи для пожилых людей или людей с ограниченными возможностями в различных условиях.

В дальнейшем исследователи надеются протестировать эту схему на реальных роботах. Они также хотят сосредоточиться на сокращении времени, которое требуется системе для создания новых данных с помощью генеративных моделей машинного обучения.

"Мы хотим, чтобы роботы делали то же, что и люди, и чтобы они делали это семантически осмысленно. Человек, как правило, работает в абстрактном пространстве, где он не задумывается о каждом свойстве изображения. В конечном счете, речь идет о том, чтобы дать роботу возможность выучить похожее на человеческое представление на абстрактном уровне", - говорит Пенг.

Результаты исследования будут представлены на Международной конференции по машинному обучению.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/issledovatelei-razrabotali-metodiku-dlya-bolee-bystrogo-obucheniya-robota

Revolute Robotics представила автономного инспекционного робота

Компания Revolute Robotics из Аризоны разработала автономного робота Hybrid Mobility Robot (HMR), представляющий собой вращающуюся сферическую клетку, которая может летать как мультикоптер или перемещаться по земле в любом направлении с помощью двух гироскопических колец.

Легкий экзоскелет HMR может деформироваться, что делает его небольшим амортизатором при посадке, а также помогает изолировать ключевую электронику от сильных вибраций, когда этот робот перемещается по пересеченной местности. Кроме того, внешний корпус создает защитную сферу для четырех пропеллеров, используемых в режиме полета, что является бонусом к безопасности и позволяет использовать робота в помещении рядом с людьми.

Он создан для автономной работы, предпочитая, по возможности, катиться, но используя свои летные возможности для преодоления препятствий или помощи при подъеме по крутым склонам. Режим полета расходует батарею в пять раз быстрее, чем движение. На сегодняшний день компания построила и испытывает несколько прототипов HMR.

Сначала компания надеется продавать HMR в качестве автономного инспекционного робота для замкнутых пространств, например, для спуска по трубопроводам с настраиваемой полезной нагрузкой, это может быть камера или необходимый датчик. В этом случае режим полета позволит ему легко подниматься по вертикальным участкам труб, чего не могут сделать колесные роботы.

В перспективе Revolute надеется разработать автономный охранный беспилотник и рассмотреть возможность его использования в военных целях. В обоих случаях будут использоваться возможности интеллектуального роя, когда несколько HMR могут работать вместе. Потенциально HMR может применяться также в горнодобывающей промышленности, например, для оценки структурной целостности старых шахтных стволов и в поисково-спасательных работах.

https://www.youtube.com/watch?v=YUcwM7pCZkk

Компания Revolute собрала около $115 000 в рамках краудфандинговой кампании на StartEngine, чтобы подготовить HMR к производству и коммерческому внедрению.

https://robogeek.ru/letayuschie-roboty/revolute-robotics-predstavila-avtonomnogo-inspektsionnogo-robota

В UC San Diego разработали беспилотного робота способного перемещаться в гранулированной среде

Робот разработанный группой робототехников из University of California San Diego (UC San Diego) представили робота, который может передвигаться под песком благодаря двум передним конечностям, имитирующим ласты вылупившихся черепашат.

Этот робот способен передвигаться в песке на глубине 127 мм со скоростью 1,2 миллиметра в секунду. Согласно опубликованной в журнале Advanced Intelligent Systems статье "Toward Robotic Sensing and Swimming in Granular Environments using Underactuated Appendages", это "быстрее, чем любой другой зарегистрированный беспривязной робот на такой глубине". Робот оснащен датчиками силы на концах конечностей, которые позволяют ему обнаруживать препятствия во время движения. Он может работать без привязи и управляться через WiFi.

Роботы, способные передвигаться по песку, сталкиваются со значительными трудностями, например, с большим сопротивлением, чем роботы, передвигающиеся по воздуху или воде. Кроме того, они легче повреждаются. Однако потенциальная польза от решения проблемы передвижения по песку заключается в проверке зерновых бункеров, измерении уровня загрязнения почвы, раскопках морского дна, космических исследованиях, поиске и спасении людей.

Робот является результатом нескольких экспериментов, проведенных группой робототехников из UC San Diego с целью более глубокого изучения песка и способов передвижения по нему роботов. Песок представляет особую сложность из-за трения между песчинками, которое приводит к возникновению большего сопротивления и сложности обнаружения препятствий.

Команда решила, что наблюдение за животными станет ключом к созданию робота, который сможет перемещаться в песке. Они остановились на детенышах морской черепахи, которые имеют увеличенные передние плавники, позволяющие им вылезать на поверхность после вылупления. Ласты, похожие на черепашьи, могут генерировать большую движущую силу, позволяют роботу перемещаться и обнаруживать препятствия.

Исследовательская группа провела обширное моделирование и тестирование, и в итоге остановилась на конической форме корпуса и лопатообразной носовой части.

"Нам нужно было создать робота, который был бы одновременно сильным и обтекаемым, - говорит Шивам Чопра, ведущий автор статьи о роботе и аспирант в Jacobs School of Engineering в UC San Diego.

Бот обнаруживает препятствия, отслеживая изменения крутящего момента, возникающего при движении его ласт. В пресс-релизе университета сообщается, что подобный метод позволяет обнаруживать препятствия над корпусом робота, но не под ним или непосредственно перед ним.

Для того чтобы робот находился на ровной глубине в песке, исследователи разработали две террадинамические органы управления, которые они назвали "terrafoil", по бокам носовой части робота. Это позволило контролировать подъем, так как робот стремился задирать нос в сторону поверхности.

Исследователи протестировали робота в лабораторных условиях в аквариуме длиной 1,6 м, а также на пляже La Jolla Shores недалеко от кампуса университета. Было отмечено, что робот замедляет движение на влажном песке, который оказывает большее сопротивление. Дальнейшие шаги команды разработчиков - увеличить скорость робота и позволить ему не только выкапывать себя из песка, но и зарываться в него.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/v-uc-san-diego-razrabotali-bespilotnogo-robota-sposobnogo-peremeschatsya-v-granulirovannoi-srede

Обучение с подкреплением позволяет подводным роботам находить и отслеживать объекты под водой

Группа специалистов, возглавляемая Institut de Ciencies del Mar (ICM-CSIC) в Барселоне в сотрудничестве с Monterey Bay Aquarium Research Institute (MBARI) в Калифорнии, Universitat Politecnica de Catalunya (UPC) и Universitat de Girona, впервые доказала, что обучение с подкреплением позволяет автономным транспортным средствам и подводным роботам находить и отслеживать морские объекты и животных.

В настоящее время подводная робототехника становится одним из ключевых инструментов для углубления знаний об океане в условиях многочисленных трудностей его исследования: аппараты способны опускаться на глубину до 4000 метров. Кроме того, получаемые с их помощью данные in-situ помогают дополнить другие данные, например, полученные со спутников.

В частности, в новой работе показано, что обучение с подкреплением, широко используемое в области управления и робототехники, а также при разработке инструментов, связанных с обработкой естественного языка, таких как ChatGPT, позволяет подводным роботам научиться тому, какие действия необходимо выполнять в каждый момент времени для достижения определенной цели. Эти политики действий соответствуют, а в некоторых случаях даже улучшают традиционные методы, основанные на аналитической разработке.

"Такой тип обучения позволяет нам обучить нейронную сеть оптимизировать конкретную задачу, что было бы очень сложно сделать в противном случае. Например, нам удалось продемонстрировать, что можно оптимизировать траекторию движения аппарата для обнаружения и отслеживания объектов, движущихся под водой", - поясняет Иван Масмитья, ведущий автор исследования.

“Это позволит нам углубить изучение таких экологических явлений, как миграция или перемещение в малых и больших масштабах множества морских видов с помощью автономных роботов. Кроме того, эти достижения позволят осуществлять мониторинг других океанографических приборов в режиме реального времени с помощью сети роботов, где одни могут находиться на поверхности, отслеживая и передавая через спутник действия, выполняемые другими роботизированными платформами на морском дне", - отмечает исследователь ICM-CSIC Джоан Наварро, также принимавший участие в исследовании.

Для выполнения этой работы исследователи использовали дальномерные акустические методы, позволяющие оценить положение объекта по измерениям расстояния, сделанным в разных точках. Однако это обстоятельство делает точность определения местоположения объекта сильно зависящей от места проведения акустических измерений. Именно здесь становится важным применение ИИ, в частности, обучения с подкреплением, которое позволяет определить наилучшие точки и, соответственно, оптимальную траекторию движения робота.

Нейронные сети обучались, в частности, с помощью компьютерного кластера Barcelona Supercomputing Center (BSC-CNS), где расположен самый мощный суперкомпьютер в Испании и один из самых мощных в Европе. "Это позволило настраивать параметры различных алгоритмов гораздо быстрее, чем при использовании обычных компьютеров", - отмечает профессор Марио Мартин, сотрудник кафедры компьютерных наук UPC и один из авторов исследования.

После обучения алгоритмы были протестированы на различных автономных аппаратах, включая AUV Sparus II, разработанный компанией VICOROB, в серии экспериментальных миссий в порту Сан-Фелиу-де-Гиксолс, в заливе Байш-Эмпорда и в заливе Монтерей (Калифорния) в сотрудничестве с главным исследователем лаборатории биоинспирации в MBARI Какани Катией.

Статья была опубликована в журнале Science Robotics.

https://robogeek.ru/podvodnye-i-nadvodnye-roboty/obuchenie-s-podkrepleniem-pozvolyaet-podvodnym-robotam-nahodit-i-otslezhivat-obekty-pod-vodoi

Система телеоперации AnyTeleop может быть применена к различным роботам

Последние достижения в области робототехники и ИИ открыли новые возможности для телеоперации. Например, это может быть удаленное посещение различных мероприятий и музеев в интерактивном режиме или дистанционное техническое обслуживание промышленного оборудования и инфраструктуры.

Большинство существующих систем телеоперации разработаны для применения в конкретных условиях и с использованием конкретного робота. Это затрудняет их применение в различных реальных сценариях и ограничивает их потенциал.

Исследователи из NVIDIA и UC San Diego разработали AnyTeleop - систему телеоперации на основе компьютерного зрения, которая может быть использована в более широком спектре сценариев. Статья об этой системе, которая позволяет дистанционно управлять различными роботизированными руками и манипуляторами, была опубликована на сайте arXiv.

"Основной задачей NVIDIA является изучение того, как человек может научить роботов выполнять задачи, - говорит Дитер Фокс, старший директор по исследованиям в области робототехники в NVIDIA и руководитель исследовательской лаборатории NVIDIA Robotics Research Lab. - В предыдущих работах основное внимание уделялось тому, как человек будет телеоперировать, или направлять, робота, но такой подход имеет два препятствия. Во-первых, для обучения современной модели требуется множество демонстраций. Во-вторых, для создания таких моделей обычно используется дорогостоящая аппаратура или сенсорное оборудование, и они рассчитаны только на конкретного робота или среду".

Основной целью недавней работы Фокса и его коллег было создание недорогой, простой в развертывании системы телеоперации для различных задач, сред и робототехнических систем. Для обучения своей системы исследователи телеуправляли как виртуальными роботами в виртуальной среде, так и реальными роботами в физической среде. Это позволило снизить необходимость приобретения и сборки большого количества роботов.

"AnyTeleop - это система телеоперации на основе технического зрения, которая позволяет человеку использовать свои руки для управления ловкими роботизированными манипуляторами, - пояснил Фокс. - Система отслеживает положение рук человека с помощью одной или нескольких камер, а затем перенацеливает их для управления пальцами многопалой руки робота. Точка запястья используется для управления движением руки робота с помощью планировщика движений на базе CUDA".

В отличие от большинства других систем телеоперации, представленных в прошлых исследованиях, AnyTeleop может быть сопряжена с различными манипуляторами, руками роботов, конфигурациями камер и различными моделируемыми или реальными средами. Кроме того, она может применяться как в сценариях, когда пользователи находятся рядом, так и в удаленных местах.

Платформа AnyTeleop также может помочь в сборе демонстрационных данных (т.е. данных, отражающих движения и действия человека при выполнении определенных ручных задач). Эти данные, в свою очередь, могут быть использованы для более эффективного обучения роботов автономному выполнению различных задач.

"Главным достижением AnyTeleop является его обобщенная и легко развертываемая конструкция, - говорит Фокс. - Одно из потенциальных применений - развертывание виртуальных сред и виртуальных роботов в облаке, что позволит пользователям с компьютерами и камерами начального уровня (например, iPhone или ПК) телеуправлять ими. В конечном итоге это может произвести революцию в конвейерной обработке данных для исследователей и промышленных разработчиков, обучающих роботов новым навыкам".

NVIDIA планирует выпустить версию системы AnyTeleop с открытым исходным кодом, что позволит исследовательским группам по всему миру тестировать ее и применять в своих роботах.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/sistema-teleoperatsii-anyteleop-kotoraya-mozhet-byt-primenena-k-razlichnym-robotam

Инструмент на основе ИИ для прогнозирования госпитализации больных COVID на основе отбора проб сточных вод

Новое исследование показало, что с помощью системы ИИ, основанной на анализе проб сточных вод, содержащих COVID-19, можно точно предсказать число госпитализаций на срок до четырех недель вперед.

Исследование возглавили два инженера из University of Technology Sydney (UTS) - профессор Цилинь Ванг и доктор Сюань Ли. Работая вместе с коллегами из UNSW Sydney, Delft University of Technology и Morgan State University, ученые изучили данные о сточных водах 159 округов США, охватывающих около 100 млн. граждан. Затем они сопоставили эти данные с данными о госпитализации в США и разработали свою модель прогнозирования. Работа опубликована в журнале Nature Communications.

"Моя докторская диссертация была посвящена проектированию канализационных систем для снижения коррозии бетона, однако я закончил университет как раз в то время, когда начался COVID-19, и увидел возможность отслеживать и изучать эту пандемию, - сказала д-р Ли.- Существующие методы прогнозирования основаны на лабораторном тестировании COVID-19 или самотестировании и отчетности, однако это не позволяет выявить бессимптомные случаи, а многие страны отказываются от строгих требований к тестированию".

По мнению профессора Ванга, сточные воды представляют собой богатый источник данных, который пока не используется в полной мере. Он считает, что моделирование на основе ИИ может стать экономически эффективной системой раннего предупреждения, позволяющей работникам здравоохранения лучше подготовиться к пандемическим волнам и управлять ими, а также эффективно распределять ограниченные ресурсы здравоохранения.

"Мониторинг сточных вод уже проводится во многих странах, но он ограничивается тем, что показывает, присутствует ли COVID-19 в том или ином регионе, а также дает приблизительную оценку того, увеличивается или уменьшается его нагрузка, - сказал он. - Мы использовали ИИ для выявления закономерностей и изменений в данных и обучения на их основе для повышения точности прогнозов".

Профессор Ванг поясняет, что “среди переменных, которые могут влиять на госпитализацию: изменение поведения в связи с государственной политикой, уровень вакцинации, праздники и погода. Созданная модель может помочь точно предсказать потребности в госпитализации в регионе".

По словам д-ра Ли, результаты работы команды могут стать основой для создания системы раннего отслеживания COVID и ряда других заболеваний, а также для прогнозирования степени воздействия пандемий и вспышек на местное население.

Исследование было поддержано Australian Research Council и Australian Academy of Science.

https://robogeek.ru/iskusstvennyi-intellekt/instrument-na-osnove-ii-dlya-prognozirovaniya-gospitalizatsii-bolnyh-covid-na-osnove-otbora-prob-stochnyh-vod