Кейсы цифровой трансформации – Telegram
Кейсы цифровой трансформации
361 subscribers
3 photos
1 video
1 file
836 links
Здесь мы делимся реальными историями
успеха цифровой трансформации компаний, обсуждаем новости и тенденции в этой области, проводим вебинары.
Проект https://casestudy.techart.ru
Download Telegram
Инженеры CU Boulder разрабатывают микророботов для доставки лекарств

Группа инженеров из University of Colorado Boulder (CU Boulder) разработала новый класс микророботов, которые могут с относительно высокой скоростью перемещаться по жидкости. Команда надеется, что в будущем они смогут доставлять рецептурные лекарства в труднодоступные места внутри человеческого организма.

Исследователи описали своих микророботов в статье, опубликованной в журнале Small.

"Представьте себе, если бы микророботы могли выполнять определенные задачи в организме, например, неинвазивные операции, - говорит Джин Ли, ведущий автор исследования и постдокторант кафедры химической и биологической инженерии. - Вместо того, чтобы резать пациента, мы можем просто ввести роботов в организм с помощью таблетки или инъекции, и они сами проведут операцию".

Ли и его коллеги еще не достигли этой цели, но новое исследование - это большой шаг вперед для крошечных роботов.

Ширина каждого микроробота составляет 20 микрометров, что в несколько раз меньше толщины человеческого волоса. Они способны перемещаться со скоростью около 3 миллиметров в секунду, что примерно в 9000 раз больше их собственной длины в минуту. В пресс-релизе университета указывается, что "в относительном выражении это во много раз быстрее гепарда".

В новом исследовании группа задействовала множество таких микророботов для доставки доз дексаметазона, синтетического глюкокортикостероида, в мочевые пузыри лабораторных мышей. Полученные результаты позволяют предположить, что микророботы могут стать полезным инструментом для лечения заболеваний мочевого пузыря и других болезней у людей.

"Микророботы вызывают большой ажиотаж в научных кругах, но для нас они интересны тем, что мы можем создать их для выполнения полезных задач в организме", - сказал К. Уайатт Шилдс, соавтор нового исследования и доцент кафедры химической и биологической инженерии.

Команда создает своих микророботов из биосовместимых полимеров, используя технологию, похожую на 3D-печать. Машины оснащены тремя крошечными плавниками. В каждом из роботов находится маленький пузырек с воздухом, который под воздействием акустического поля, подобного тому, которое используется в ультразвуке, начинают вибрировать, отталкивая воду и двигая роботов вперед.

Чтобы испытать своих микророботов, исследователи обратили внимание на распространенную проблему людей - заболевание мочевого пузыря. Интерстициальный цистит, также известный как синдром болезненного мочевого пузыря, поражает миллионы людей. Часто пациентам приходится приходить в клинику несколько раз в течение нескольких недель, где врач вводит жесткий раствор дексаметазона в мочевой пузырь через катетер.

Ли считает, что микророботы могут принести некоторое облегчение. В лабораторных экспериментах исследователи изготовили микророботов, содержащих высокую концентрацию дексаметазона. Затем они ввели тысячи этих ботов в мочевые пузыри лабораторных мышей. В результате микророботы рассеялись по органу, а затем прилипли к его стенкам, что, вероятно, затруднило бы их выведение.

Попав туда, машины медленно высвобождали дексаметазон в течение примерно двух дней. По словам Ли, такой постоянный поток лекарств может позволить пациентам получать больше препаратов в течение более длительного периода времени, что улучшит результаты лечения пациентов. Он добавил, что группе предстоит проделать большую работу, прежде чем микророботы смогут перемещаться по реальным человеческим телам. Для начала, группа хочет сделать машины полностью биоразлагаемыми, чтобы они в конечном итоге растворялись в организме.

https://www.youtube.com/watch?v=fBsDLIjBE-s

"Если мы сможем заставить эти частицы работать в мочевом пузыре, - сказал Ли, - тогда мы сможем добиться более устойчивого высвобождения лекарств, и, возможно, пациентам не придется так часто приходить в клинику".

https://robogeek.ru/roboty-v-meditsine/inzhenery-cu-boulder-razrabatyvayut-mikrorobotov-dlya-dostavki-lekarstv
ИИ идентифицирует 5 видов сердечной недостаточности для прогнозирования риска и лечения

Сердечная недостаточность поражает миллионы людей во всем мире. Болезнь может быть вызвана множеством факторов, требующих различных методов лечения. Теперь исследователи обучили несколько моделей машинного обучения, используя большой набор данных, чтобы определить 5 подтипов сердечной недостаточности.

Традиционно различные типы сердечной недостаточности классифицируются в зависимости от фракции выброса левого желудочка (LVEF) - количества крови, которое левый желудочек сердца выталкивает при каждом сокращении. Однако шведское исследование 2018 года с применением машинного обучения показало, что LVEF не позволяет предсказать выживаемость при сердечной недостаточности.

Исследователи из University College London использовали четыре модели машинного обучения для разработки системы определения подтипов сердечной недостаточности. Они изучили анонимные данные электронных медицинских карт более чем 300 000 пациентов, у которых в течение 20 лет была диагностирована сердечная недостаточность.

"Мы стремились улучшить классификацию сердечной недостаточности, чтобы лучше понять вероятное течение болезни и донести это до пациентов, - говорит Амитава Банерджи, ведущий автор исследования. - В настоящее время трудно предсказать, как будет развиваться болезнь у отдельных пациентов. У некоторых людей состояние стабильно в течение многих лет, в то время как у других оно быстро ухудшается".

Чтобы избежать предвзятости, которая может возникнуть при использовании одной модели машинного обучения, исследователи использовали четыре модели для разделения случаев сердечной недостаточности на группы. После обучения на сегментах данных модели выделили пять подтипов на основе 87 из 635 возможных факторов, включая возраст, симптомы, наличие других заболеваний, лекарства, которые принимал пациент, параметры здоровья, такие как кровяное давление, и результаты анализов. Подтипы были проверены на отдельном наборе данных.

Пять подтипов были сгруппированы в соответствии со специфическими характеристиками. К "раннему началу" относились молодые люди с низким уровнем факторов риска. К "позднему началу" относились люди старшего возраста, принимавшие мало лекарств и страдавшие сердечно-сосудистыми заболеваниями. Подтип "связанный с фибрилляцией предсердий" включал людей с нерегулярным сердечным ритмом или с заболеванием клапанов сердца. Подтип "метаболический" включал людей с избыточным весом, со средним уровнем факторов риска, но с низким уровнем сердечно-сосудистых заболеваний. К подтипу "кардиометаболический" относились люди с избыточным весом, принимающие большое количество назначенных лекарств, с высоким уровнем факторов риска и сердечно-сосудистыми заболеваниями.

Исследователи обнаружили, что риск смерти в течение года после постановки диагноза различался между подтипами. Через год риск смертности от всех причин был самым высоким в подгруппе, связанной с фибрилляцией предсердий (61%), далее следуют подгруппы с поздним началом (46%), кардиометаболическим (37%), ранним началом (20%) и метаболическим (11%). По словам исследователей, результаты исследования могут быть использованы для улучшения лечения сердечной недостаточности.

"Более четкое различие между типами сердечной недостаточности может привести к более целенаправленному лечению и поможет нам по-другому взглянуть на потенциальные методы лечения", - сказал Банерджи.

Исследователи разработали приложение, основанное на подходе машинного обучения, которое врачи могут использовать для определения того, к какому подтипу относится человек.

Исследование было опубликовано в журнале The Lancet Digital Health.

https://robogeek.ru/iskusstvennyi-intellekt/ii-identifitsiruet-5-vidov-serdechnoi-nedostatochnosti-dlya-prognozirovaniya-riska-i-lecheniya
Японские исследователи представили многоногого робота Myriapod

Исследователи из Osaka University разработали робота, похожего на сороконожку, и показали, как его движения могут переключаться с прямолинейной на криволинейную ходьбу, что может помочь в поисково-спасательных операциях или исследовании других планет.

Большинство животных на Земле выработали надежную систему передвижения с помощью ног, которая обеспечивает им высокую степень мобильности в широком диапазоне сред. К некоторому разочарованию, инженеры, которые пытались повторить этот подход, часто обнаруживали, что такие роботы удивительно хрупки. Поломка даже одной ноги из-за повторяющихся нагрузок может серьезно ограничить способность этих роботов функционировать. Кроме того, управление большим количеством суставов, чтобы робот мог перемещаться по сложной среде, требует большой мощности компьютера. Усовершенствование этой конструкции было бы чрезвычайно полезно для создания автономных или полуавтономных роботов, которые могли бы действовать в качестве разведывательных или спасательных машин и проникать в опасные зоны.

В пресс-релизе университета заявлено, что Myriapod - это "новый вид шагающего робота, который использует преимущества динамической нестабильности для навигации". Изменяя гибкость муфт, можно заставить робота поворачивать без использования сложных вычислительных систем управления.

Их робот использует преимущества естественной нестабильности, способной преобразовывать прямолинейную ходьбу в изогнутое движение. В исследовании "Maneuverable and Efficient Locomotion of a Myriapod Robot with Variable Body-Axis Flexibility via Instability and Bifurcation", опубликованном недавно в журнале Soft Robotics, исследователи из Университета Осаки описывают своего робота, который состоит из шести сегментов и гибких суставов. С помощью регулируемого винта гибкость соединений может быть изменена с помощью двигателей во время ходьбы. Исследователи показали, что увеличение гибкости соединений привело к ситуации, называемой "бифуркация типа вилки", при которой прямолинейная ходьба становится неустойчивой. Вместо этого робот переходит к ходьбе по кривой, то вправо, то влево. Обычно инженеры стараются избегать возникновения нестабильности, однако их контролируемое использование может обеспечить эффективную маневренность.

"Нас вдохновила способность некоторых чрезвычайно проворных насекомых управлять динамической нестабильностью собственного движения для быстрого изменения движения, - говорит Шинья Аой, автор исследования. - Поскольку этот подход не управляет непосредственно движением оси тела, а скорее контролирует гибкость, он позволяет значительно снизить как вычислительную сложность, так и потребность в энергии".

https://www.youtube.com/watch?v=5b8w4LajcEY

Команда проверила способность робота достигать определенных мест и обнаружила, что он может ориентироваться, прокладывая кривые пути к целям. Будущие версии могут включать дополнительные сегменты и механизмы управления.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/yaponskie-issledovateli-predstavili-mnogonogogo-robota-myriapod
Uber Eats планирует масштабировать доставку еды с помощью роботов в Северной Америке

В течение последнего года колесные роботы Serve Robotics, созданные при поддержке Uber, доставляли еду на вынос и продукты клиентам в районе Лос-Анджелеса. Вчера компания объявила, что до 2 000 таких роботов будут использоваться и в других городах Северной Америки.

По данным Serve Robotics, в настоящее время более 200 ресторанов участвуют в пилотном проекте в Лос-Анджелесе. Кроме того сообщается, что эти автономные роботы, перемещающиеся по тротуарам, "выполнили десятки тысяч доставок" с момента основания Serve в 2017 году.

В рамках объявленного расширения планируется задействовать до 2 000 ботов Uber Eats во городах США и Канады. В настоящее время компания Serve работает с отраслевыми партнерами и муниципальными властями в различных регионах. По некоторым данным в список возможных городов входят Сан-Хосе, Ванкувер и Даллас.

Каждый четырехколесный робот может работать в течение дня на одном заряде батареи, перевозя до 23 кг груза с максимальной скоростью 11 км/ч. Его грузовой отсек может разблокировать только корпоративный клиент или клиент, сделавший заказ, с помощью мобильного приложения. Отмечается, что эти роботы четвертого уровня автономности.

"Уровень 4 - это когда в заранее определенных областях не требуется вмешательство человека, - поясняет соучредитель/генеральный директор Serve Robotics Али Кашани. - Это достигается с помощью множества передовых возможностей ИИ, которые помогают нашим роботам ориентироваться в городах. ИИ помогает роботам определить, по какой поверхности двигаться, найти самый быстрый и безопасный маршрут, обнаружить и идентифицировать людей и автомобили, и даже определить риск столкновения с автомобилями, когда водители невнимательны на перекрестках".

Расширение планируется в основном в 2024 году, но первые роботы начнут осуществлять доставку уже в четвертом квартале этого года.

https://robogeek.ru/servisnye-roboty/uber-eats-planiruet-masshtabirovat-dostavku-edy-s-pomoschyu-robotov-v-severnoi-amerike
Ученые Гарварда разработали экзокостюм для реабилитации после инсульта для повседневного ношения

Более 80% людей, переживших инсульт, испытывают проблемы с походкой, часто связанные с потерей контроля над движением голеностопа. Существующие реабилитационные устройства для борьбы с этой проблемой ограничены лабораторными или клиническими условиями.

Теперь, согласно результатам экспериментального исследования, новый голеностопный экзокостюм может помочь людям, перенесшим инсульт, улучшить двигательную активность при ходьбе. Работа, возглавляемая группой профессора Конора Уолша из Гарвардской школы инженерных и прикладных наук имени Джона А. Полсона (SEAS), опубликована в журнале Annals of the New York Academy of Sciences.

"Мы увидели возможность использовать носимые технологии для переосмысления подхода к физиотерапии и реабилитации, - говорит Уолш. - Если мы сможем перенести некоторые из этих клинических услуг из клиники в дом и общину, мы сможем улучшить доступ, снизить расходы и обеспечить более качественный уход. Очень интересно наблюдать, как инженерные и физиотерапевтические науки объединяются для того, чтобы это произошло".

Лаборатория биодизайна Уолша в Гарварде ранее разработала технологии вспомогательных и реабилитационных экзокостюмов для различных применений. Некоторые из этих технологий уже были лицензированы и коммерциализированы компанией ReWalk Robotics и получили статус прорывных от Управления по контролю за продуктами и лекарствами США. Чтобы разработать голеностопный экзокостюм для использования в повседневной деятельности, команде Уолша необходимо было упростить механические компоненты экзокостюма и сделать его легким в управлении.

"В прошлом наши голеностопные экзокостюмы имели два активных привода - один помогал при дорсифлексии, чтобы держать пальцы ног, а другой - при плантарфлексии, отталкивая стопу и тело от земли, - говорит Ричард Наколс, бывший постдокторант лаборатории Уолша в SEAS. - Вместо активного привода дорсифлексии новый экзокостюм содержит пассивный материал, который сгибается и работает как пружина, помогая пальцам ног оставаться вверху во время маха стопы и не позволяя владельцу зацепиться пальцами за землю".

"Заменив активный привод на пассивный, экзокостюм по своей сути стал более безопасным; в случае неожиданной потери питания или сбоя контроллера, состояние по умолчанию будет поддерживать пальцы ног пользователя и снизит риск споткнуться и упасть", - продолжает Наколс.

"Мы также разработали мобильное приложение, чтобы пользователи могли легко взаимодействовать с устройством, - говорит Чи-Канг Чанг, кандидат наук в лаборатории Уолша. - Приложение позволяет пользователям самостоятельно включать устройство и сообщать экзокостюму, когда они хотят начать ходить".

Кроме того, команда включила датчики, расположенные на стопе, голени и тазе, чтобы обеспечить дистанционный мониторинг прогресса пользователя с течением времени.

Для тестирования экзокостюма команда Уолша сотрудничала с лабораториями Лу Авада и Терри Эллиса из Колледжа здоровья и реабилитации Сарджента Бостонского университета. Они набрали четырех участников для использования устройства в их собственных условиях в течение 4 недель, совершая самостоятельные прогулки 3-5 раз в неделю.

https://www.youtube.com/watch?v=35khjfVXsqM

Из-за индивидуальной вариативности реакции (участники с более низким исходным уровнем двигательной активности при ходьбе получили больше пользы от ношения экзокостюма), терапевтический эффект не наблюдался во всей группе. Но двое из участников улучшили свою двигательную активность в среднем на 27%. Они также прошли в среднем на 4 000 шагов больше за неделю после исследования, чем за неделю до его начала.

https://robogeek.ru/ekzoskelety-protezy/uchenye-garvarda-razrabotali-ekzokostyum-dlya-reabilitatsii-posle-insulta-dlya-povsednevnogo-nosheniya
Исследователи обучили робота воссоздавать рецепты блюд из видеороликов

Исследователи из Кембриджского университета научили своего робота готовить 8 простых салатов. В качестве обучающего материала использовались видеоролики на которых человек демонстрировал эти рецепты.

Кроме того, видеоматериалы помогали роботу постепенно пополнить свою "поваренную книгу". Результаты исследования, о которых сообщается в журнале IEEE Access, демонстрируют, как видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, и могут способствовать более простому и дешевому внедрению роботов на кухни.

Роботы-повара десятилетиями фигурировали в научной фантастике, но в реальности приготовление пищи - сложная задача для робота. Несколько коммерческих компаний создали прототипы роботов-поваров, но они значительно отстают от человека в плане мастерства. Люди могут изучать новые рецепты, наблюдая за тем, как готовит другой человек, или просматривая видео на YouTube, но программирование робота для приготовления различных блюд требует больших финансовых затрат и времени.

"Мы хотели узнать, сможем ли мы обучить робота тому же постепенному обучению, что и людей - путем определения ингредиентов и их сочетания в блюде", - сказал Гжегож Сохацки с инженерного факультета Кембриджа, первый автор статьи.

Сохацки и его коллеги разработали восемь простых рецептов салатов и сняли на видео их приготовление. Затем они использовали общедоступную нейронную сеть для обучения своего робота. Нейронная сеть уже была запрограммирована на распознавание ряда различных объектов, включая фрукты и овощи, использованные в восьми рецептах салата (брокколи, морковь, яблоко, банан и апельсин).

Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека. Правильно идентифицируя ингредиенты и действия человека, робот мог определить, какой из рецептов готовится. Робот мог сделать вывод, что если человек держит в одной руке нож, а в другой - морковь, то морковь будет нарезана.

Из 16 просмотренных видеороликов робот распознавал правильный рецепт в 93% случаев, хотя он идентифицировал только 83% действий человека правильно. Робот также смог определить, что незначительные изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Робот также правильно распознал демонстрацию нового, девятого по счету салата, добавил его в свою кулинарную книгу и приготовил.

"Удивительно, как много нюансов смог обнаружить робот, - говорит Сохацки. - Эти рецепты не являются сложными - по сути, это нарезанные фрукты и овощи, но он действительно эффективно распознавал, например, что два нарезанных яблока и две нарезанные моркови - это тот же рецепт, что и три нарезанных яблока и три нарезанных моркови".

Видеоролики, использованные для обучения робота, не похожи на видеоролики от блогеров и поваров в соцсетях, которые полны сокращений, визуальных эффектов и быстрых перемещений продуктов питания. Например, робот с трудом распознает морковь, если человек обхватывает ее рукой. Чтобы робот смог это сделать необходимо положить морковь так, чтобы он мог видеть овощ целиком.

https://www.youtube.com/watch?v=nx3k4XA3x4Q

"Наш робот не заинтересован в таких видеороликах о еде, которые становятся вирусными в социальных сетях - за ними просто слишком сложно уследить, - говорит Сохацки. - Но когда роботы станут лучше и быстрее определять ингредиенты в видеороликах, они смогут использовать такие сайты, как YouTube, для изучения целого ряда рецептов".

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/issledovateli-obuchili-robota-vossozdavat-retsepty-blyud-iz-videorolikov
Исследование реакции пешеходов на визуальные сигналы от "автономного" автомобиля

Исследование, проведенное в Ноттингемском университете, показало что пешеходы доверяют одним визуальным сигналам больше, чем другим, когда решают стоит ли переходить дорогу перед автомобилем, воспринимаемым как автономный.

Цель исследования - понять, как пешеходы реагируют на автономные автомобили с визуальными дисплеями eHMI (External Human-Machine Interfaces), расположенными на передней части автомобиля.

Для этого по университетскому кампусу Park Campus ездил автомобиль с замаскированным под водительское сиденье человеком, в пресс-релизе университета названным "ghost-driver". Серия различных рисунков, проецируемых на eHMI, информировала пешеходов о поведении и намерениях автомобиля, включая выразительные глаза и лицо, сопровождаемые короткими текстовыми фразами, такими как "Я вас увидел" или "Я уступаю дорогу".

Работой eHMI управлял один из членов команды, сидящий на заднем сиденье, а записи с передней и задней приборных камер собирались для наблюдения за реакцией пешеходов в режиме реального времени. Кроме того, исследователи на четырех перекрестках просили пешеходов заполнить небольшой опросник об их впечатлениях от автомобиля с дисплеем.

В своем заявлении Дэвид Р. Лардж, старший научный сотрудник исследовательской группы, сказал: "В рамках проекта ServCity, создающего инфраструктуру для автономных транспортных средств в Великобритании, мы хотели изучить, как пешеходы будут взаимодействовать с автомобилем без водителя, и разработали эту уникальную методику для изучения их реакции. Мы хотели определить, какие конструкции вызывают наибольшее доверие у людей, желающих перейти дорогу. Для этого мы использовали три различных уровня антропоморфизма: неявный - светодиодная лента над лобовым стеклом, низкий - значок, ориентированный на транспортное средство, и такие слова, как "уступи дорогу", и явный - выразительное лицо и человекоподобный язык".

В общей сложности 520 пешеходов взаимодействовали с автомобилем, и за дни испытаний было собрано 64 анкеты. По данным Университета, для оценки поведения пешеходов на переходе использовались несколько показателей, полученных с помощью камер наблюдения, включая время, которое потребовалось людям, чтобы перейти дорогу, сколько времени они смотрели на автомобиль и количество раз, когда они смотрели на автомобиль и/или жестикулировали.

Профессор Гэри Бернетт, сказал: "Мы были рады увидеть, что внешний HMI был признан важным фактором значительным числом респондентов при принятии решения о том, переходить дорогу или нет - обнадеживающее открытие для дальнейшей работы в этом направлении. Что касается дисплеев, то выразительные глаза на eHMI не только привлекли наибольшее визуальное внимание, но и получили хорошие оценки доверия и ясности, а также наибольшее предпочтение, в то время как неявная светодиодная лента была оценена как менее ясная и вызвала более низкие оценки доверия".

Лардж добавил: "Интересным дополнительным открытием стало то, что пешеходы продолжали использовать жесты рук, например, благодарили автомобиль, несмотря на то, что большинство респондентов считали, что автомобиль действительно без водителя - это говорит о том, что все еще существует ожидание какого-то социального элемента в этих типах взаимодействия".

Теперь команда намерена рассмотреть более широкий круг уязвимых участников дорожного движения, таких как велосипедисты и пользователи средств индивидуальной мобильности, и то, как они могут взаимодействовать с будущим автономным транспортным средством. Дополнительная рекомендация заключается в том, что исследования должны проводиться в течение длительного времени, чтобы понять, как реакция общественности на автомобиль без водителя может измениться со временем.

https://vimeo.com/833665304

Более подробную информацию об исследовании можно найти здесь.

https://robogeek.ru/avtonomnyi-transport/issledovanie-reaktsii-peshehodov-na-vizualnye-signaly-ot-avtonomnogo-avtomobilya
Исследователи представили первого робота, разработанного совместно с ChatGPT

Исследователи EPFL использовали популярную большую языковую модель ChatGPT3 для разработки роботизированного захвата для сбора томатов, впервые продемонстрировав потенциал этого инструмента ИИ для совместной работы с человеком при проектировании роботов.

В исследовании, опубликованном в журнале Nature Machine Intelligence, Джози Хьюз, руководитель лаборатории вычислительного проектирования и изготовления роботов в Инженерной школе, аспирант EPFL Франческо Стелла и Козимо Делла Сантина из TU Delft использовали ChatGPT для разработки робота-сборщика томатов. Это исследование обеспечивает основу для совместного проектирования таких устройств людьми и LLM. Основываясь на своем опыте, исследователи описывают возможности и риски применения инструментов искусственного интеллекта (ИИ) в робототехнике, которые, по их мнению, "могут изменить способ проектирования роботов, одновременно обогащая и упрощая этот процесс".

"Несмотря на то, что ChatGPT является языковой моделью, а его генерация кода основана на тексте, он предоставил значительное понимание и интуицию для физического проектирования и показал большой потенциал в качестве резонатора для стимулирования человеческого творчества", - говорит Хьюз.

На первом этапе исследователи и LLM провели "идейную" дискуссию, чтобы определить назначение робота, параметры конструкции и технические характеристики. Второй этап был посвящен реализации робота в реальном мире, что включало в себя доработку созданного LLM кода, изготовление устройства и устранение неполадок в его работе.

На первом этапе исследователи начали с философского момента, обсудив с LLM будущие проблемы человечества и определив роботизированную уборку урожая как решение проблемы глобального снабжения продовольствием. Затем они использовали доступ LLM к глобальным данным из научных публикаций, технических руководств, книг и СМИ, чтобы дать "наиболее вероятный" ответ на такие вопросы, как "какими характеристиками должен обладать робот-сборщик?".

После определения базового формата робототехники (захват с моторным приводом для захвата спелых помидоров) исследователи могли задать более конкретные вопросы, например, "какую форму должен иметь захват?", и попросить ChatGPT сделать технические предложения, включая материалы и компьютерный код для управления устройством.

"В то время как вычисления в основном использовались для помощи инженерам в технической реализации, впервые система ИИ может создавать идеи новых систем, автоматизируя таким образом высокоуровневые когнитивные задачи. Это может повлечь за собой смену человеческих ролей на более технические", - говорит Стелла.

Но отмечается, что с использованием ChatGPT связаны логические и этические риски, исследователи предупреждают, что роль LLM должна быть тщательно оценена в будущем. Например, использование ChatGPT поднимает вопросы предвзятости, плагиата и интеллектуальной собственности, поскольку неясно, можно ли считать дизайн, созданный ИИ, новым.

"В нашем исследовании ChatGPT определил томаты как культуру, "наиболее достойную" для роботизированной сборки. Однако это может быть предвзятое отношение к культурам, которые больше освещены, в отличие от тех, где действительно существует реальная потребность. Когда решения принимаются вне рамок знаний инженера, это может привести к значительным этическим, инженерным или фактическим ошибкам", - говорит Хьюз.

Несмотря на эти предостережения, Хьюз и ее команда, основываясь на своем опыте, пришли к выводу, что LLM имеют большой потенциал, чтобы "стать силой добра", если ими правильно управлять: "Поэтому сообщество робототехников должно определить, как использовать эти мощные инструменты для ускорения развития роботов этичным, устойчивым и социально значимым способом".

https://robogeek.ru/iskusstvennyi-intellekt/issledovateli-predstavili-pervogo-robota-razrabotannogo-sovmestno-s-chatgpt
Команда CMU разрабатывает автономного робота для борьбы с пятнистой фонарницей

Пятнистая фонарница (Lycorma delicatula) серьезный инвазивный вредитель на севере Индии, в некоторых частях Южного Китая, Тайваня и Вьетнама, Японии, Южной Корее и США, наносящий значительный ущерб таким культурам, как яблоки, виноград и хмель. Для уничтожения яиц этого вредителя команда из Университета Карнеги-Меллона (CMU) разрабатывает робота TartanPest.

Созданный группой студентов CMU, он состоит из роботизированной руки Ufactory xArm6 и системы компьютерного зрения, установленных на электрическом микротракторе Amiga производства калифорнийской компании Farm-ng. TartanPest - это фактически заявка команды на участие в конкурсе 2023 Farm Robotics Challenge от Farm-ng, итоги которого будут подведены в середине сентября этого года.

При автономном движении робота TartanPest использует систему компьютерного зрения для поиска кладки яиц пятнистой фонарницы. Эта система использует алгоритм глубокого обучения, который был обучен на 700 фотографиях яиц, которые обычно располагаются на деревьях, камнях и других поверхностях.

При обнаружении кладки яиц робот использует вращающуюся щетку на конце манипулятора, чтобы ее уничтожить. Каждая кладка содержит примерно 30-50 яиц, которые откладываются вредителем осенью и вылупляются следующей весной.

"В настоящее время пятнистые фонарницы сосредоточены в восточной части страны, но по прогнозам они могут распространиться на всю страну, - говорит член команды TartanPest Кэролин Алекс. - Инвестируя в эту проблему сейчас, мы избежим больших затрат в будущем".

https://www.youtube.com/watch?v=jTWhQ8cPPwM

Базовый полноприводный трактор Amiga, стоимостью $12 990, весит 145 кг, может перевозить максимальную полезную нагрузку в 454 кг, имеет максимальную скорость около 9 км/ч и время автономной работы от трех до восьми часов на одной зарядке батареи.

https://robogeek.ru/roboty-v-selskom-hozyaistve/komanda-cmu-razrabatyvaet-avtonomnogo-robota-dlya-borby-s-pyatnistoi-fonarnitsei
EPFL представили следующую итерацию модульных роботов Mori

Объединив свои наработки в создании небольших треугольных роботов, которые могут соединяться друг с другом, и роевое поведения некоторых биологических видов, робот Mori3 может превращаться из двухмерных треугольников практически в любой трехмерный объект.

Исследование EPFL, опубликованное в журнале Nature Machine Intelligence, показывает перспективность модульной робототехники для космических путешествий.

"Наша цель при создании Mori3 - создать модульного робота, похожего на оригами, которого можно собирать и разбирать по своему усмотрению в зависимости от окружающей среды и поставленной задачи, - говорит Джейми Пайк, директор лаборатории реконфигурируемых роботов. - Mori3 может менять свой размер, форму и функции".

Отдельные модули робота Mori3 имеют треугольную форму. Модули легко соединяются друг с другом, создавая многоугольники различных размеров и конфигураций в процессе, известном как полигональное зацепление. "Мы показали, что полигональное зацепление является жизнеспособной стратегией робототехники", - говорит Кристоф Бельке, постдок и исследователь в области робототехники.

Чтобы добиться этого, команде пришлось расширить границы различных аспектов робототехники, включая механический и электронный дизайн, компьютерные системы и инженерные разработки.

"Нам пришлось переосмыслить то, как мы понимаем робототехнику, - объясняет Бельке. - Эти роботы могут менять собственную форму, прикрепляться друг к другу, общаться и изменять конфигурацию, образуя функциональные и шарнирные структуры".

Это доказательство концепции является успешным, поскольку роботы Mori3 хорошо выполняют три вещи, которые должны уметь делать роботы: передвигаться, транспортировать объекты и взаимодействовать с пользователями.

В чем преимущество создания модульных и многофункциональных роботов? Пайк объясняет, что для выполнения широкого спектра задач роботы должны иметь возможность менять свою форму или конфигурацию. "Полигональные и полиморфные роботы, которые соединяются друг с другом для создания шарнирных структур, могут эффективно использоваться для различных задач", - говорит она.

https://www.youtube.com/watch?v=CD5Cj7RhxY0

"Конечно, робот общего назначения, такой как Mori3, будет менее эффективен, чем специализированные роботы в определенных областях. Тем не менее, главным преимуществом Mori3 является его универсальность".

Роботы Mori3 были разработаны отчасти для использования в космических кораблях, где нет места для хранения различных роботов для каждой отдельной задачи, которую необходимо выполнить. Исследователи надеются, что роботы Mori3 будут использоваться для коммуникационных целей и внешнего ремонта.

https://robogeek.ru/kosmicheskie-roboty/epfl-predstavili-sleduyuschuyu-iteratsiyu-modulnyh-robotov-mori
Использование глубокого обучения для выявления респираторных заболеваний

Новый алгоритм искусственного интеллекта, разработанный в EPFL и University Hospital Geneva (HUG), будет использоваться в интеллектуальном стетоскопе Pneumoscope с потенциалом улучшения лечения респираторных заболеваний.

В новом исследовании, опубликованном в журнале Nature Digital Medicine, исследовательская группа EPFL описала свой алгоритм ИИ DeepBreath, который демонстрирует потенциал автоматизированной интерпретации в диагностике респираторных заболеваний.

"Что делает это исследование особенно уникальным, так это разнообразие и тщательный сбор банка аускультативных звуков, - сказала старший автор исследования доктор Мэри-Энн Хартли. - Почти 600 педиатрических амбулаторных пациентов были набраны в пяти странах - Швейцарии, Бразилии, Сенегале, Камеруне и Марокко. Звуки дыхания записывались у пациентов в возрасте до пятнадцати лет с тремя наиболее распространенными типами респираторных заболеваний - рентгенографически подтвержденной пневмонией и клинически диагностированным бронхиолитом, а также астмой".

"Респираторные заболевания являются причиной номер один предотвратимой смертности в этой возрастной группе, - объясняет профессор Ален Жерве, заведующий кафедрой педиатрической медицины HUG и основатель стартапа Onescope, который выведет на рынок стетоскоп с алгоритмом DeepBreath. - Эта работа прекрасный пример успешного сотрудничества между HUG и EPFL, между клиническими исследованиями и фундаментальной наукой. Pneumoscope с алгоритмом DeepBreath - это прорывная инновация для диагностики и лечения респираторных заболеваний".

Команда доктора Хартли руководит разработкой ИИ для Onescope. "Многоразовые, не требующие расходных материалов диагностические инструменты, такие как этот интеллектуальный стетоскоп, обладают уникальным преимуществом - гарантированной устойчивостью, - пояснила она. - Инструменты ИИ также обладают потенциалом постоянного самосовершенствования, и я надеюсь, что мы сможем расширить алгоритм на другие респираторные заболевания и группы населения, получив дополнительные данные".

Алгоритм DeepBreath был обучен на пациентах из Швейцарии и Бразилии, а затем проверен на записях из Сенегала, Камеруна и Марокко, что дает представление о географической обобщаемости инструмента. "Вы можете себе представить, что существует множество различий между отделениями неотложной помощи в Швейцарии, Камеруне и Сенегале, - говорит д-р Хартли и перечисляет примеры "звуковой ландшафт фонового шума, то, как врач держит стетоскоп, устройство записывающее звук, эпидемиология и местные протоколы диагностики".

При достаточном количестве данных алгоритм должен быть устойчив к этим нюансам и находить сигнал среди шума. Несмотря на небольшое количество пациентов, DeepBreath продемонстрировал впечатляющие результаты в разных местах, что указывает на потенциал дальнейшего совершенствования при увеличении количества данных.

Особенно уникальным вкладом исследования стало включение методов, направленных на раскрытие внутренней работы "черного ящика" алгоритма. Авторы смогли продемонстрировать, что модель действительно использует дыхательный цикл для своих прогнозов, и показать, какие его части наиболее важны. Доказательство того, что алгоритм действительно использует звуки дыхания, а не "обманывает", используя предвзятые сигнатуры в фоновом шуме, является критическим пробелом в существующей литературе.

Междисциплинарная команда работает над подготовкой алгоритма к реальному использованию в интеллектуальном стетоскопе Pneumoscope. Следующей важной задачей является повторение исследования на большем количестве пациентов с использованием записей с этого недавно разработанного стетоскопа, который также регистрирует температуру пациента и насыщение крови кислородом. "Объединение этих сигналов вместе, вероятно, еще больше улучшит прогнозы", - прогнозирует д-р Хартли.

https://robogeek.ru/roboty-v-meditsine/ispolzovanie-glubokogo-obucheniya-dlya-vyyavleniya-respiratornyh-zabolevanii
Обучение алгоритмов безопасным действиям в незнакомой среде

Дети, которые только учатся ходить, могут идти слишком быстро и упасть или столкнуться с мебелью. Однако этот элемент причинно-следственной связи учит их бесценной информации о том, как их тела перемещаются в пространстве, чтобы они могли избежать падений в будущем.

Машины учатся во многом так же, как и люди, в том числе учатся на своих ошибках. Однако для многих машин, таких как автономные автомобили и энергосистемы, обучение в реальных условиях представляет собой проблему. По мере развития и распространения машинного обучения растет интерес к его применению в очень сложных, критически важных для безопасности автономных системах. Однако перспективность этих технологий сдерживается рисками безопасности, присущими процессу обучения и не только.

Новая исследовательская работа опровергает идею о том, что для обучения безопасным действиям в незнакомой среде необходимо неограниченное количество испытаний. В работе, опубликованной в журнале IEEE Transactions on Automatic Control, представлен новый подход, обеспечивающий обучение безопасным действиям с полной уверенностью, при этом соблюдается баланс между оптимальностью, опасными ситуациями и быстрым распознаванием небезопасных действий.

"Обычно машинное обучение ищет наиболее оптимальное решение, что может привести к увеличению количества ошибок на этом пути. Это проблематично, когда ошибка может означать столкновение со стеной, - объяснил Хуан Андрес Базерк, доцент кафедры электротехники и вычислительной техники в Школе инженеров Свонсона, который возглавил исследование вместе с доцентом Энрике Маллада из Университета Джона Хопкинса. - В этом исследовании мы показываем, что обучение безопасной политике принципиально отличается от обучения оптимальной политике, и что это можно делать отдельно и эффективно".

Исследовательская группа провела исследования в двух различных сценариях, чтобы проиллюстрировать свою концепцию. Они создали алгоритм, который обнаруживает все небезопасные действия в течение ограниченного числа раундов. Команда также решила задачу поиска оптимальной политики для марковского процесса принятия решений (Markov decision process, MDP) с почти уверенными ограничениями.

Их анализ подчеркнул компромисс между временем, необходимым для обнаружения небезопасных действий в базовом MDP, и уровнем подверженности небезопасным событиям. MDP полезна, поскольку она обеспечивает математическую основу для моделирования принятия решений в ситуациях, когда результаты частично случайны, а частично находятся под контролем лица, принимающего решение.

Для подтверждения своих теоретических выводов исследователи провели моделирование, которое подтвердило выявленные компромиссы. Эти результаты также показали, что включение ограничений безопасности может ускорить процесс обучения.

"Это исследование опровергает сложившееся мнение о том, что для обучения безопасным действиям требуется неограниченное количество испытаний, - заявил Базерк. - Наши результаты показывают, что, эффективно управляя компромиссами между оптимальностью, подверженностью небезопасным событиям и временем обнаружения, мы можем достичь гарантированной безопасности без бесконечного числа исследований. Это имеет значительные последствия для робототехники, автономных систем, искусственного интеллекта и многого другого".

https://robogeek.ru/iskusstvennyi-intellekt/obuchenie-algoritmov-bezopasnym-deistviyam-v-neznakomoi-srede
В финской больнице начались испытания телеробота Valkky

Эдинбургский стартап, резидент National Robotarium, Touchlab запустил 3-месячный эксперимент в Laakso Hospital, Хельсинки, по использованию своего телеробота Valkky, который дает врачам возможность дистанционно "чувствовать" пациентов. Команда медсестер изучит, как роботизированная система может помочь в оказании медицинской помощи, снизить рабочую нагрузку и предотвратить распространение инфекций и заболеваний.

Управляемый операторами в электронных тактильных перчатках, Valkky оснащен передовой технологией электронной кожи (e-skin) для передачи чувства осязания от роботизированной руки к пользователю.

Предполагается, что Valkky дополнит существующий персонал, освободив людей, чтобы они могли сосредоточиться на более сложных задачах по уходу за больными, в то время как робот сможет выполнять повседневные клинические обязанности, такие как измерение жизненно важных показателей, включая пульс, температуру и уровень кислорода в крови. Он также может подавать еду, перемещать вспомогательные устройства и поддерживать уход за пациентами, например, расчесывать волосы.

"Наша долгосрочная цель состоит в том, чтобы Valkky помогал выполнять различные повседневные задачи в палатах, обеспечивая комплексный контроль и уход за пациентами, - говорит Кирси Ахонен, старшая медсестра и руководитель проекта в больнице Лааксо. - Хотя Valkky первоначально будет развернут в небольших масштабах, у него есть потенциал для оказания помощи в ряде более сложных работ. К ним относится подъем пациентов, что может помочь избежать потенциальных физических травм персонала и снизить распространение инфекции".

"Мы надеемся, что анонимные данные, собранные в режиме реального времени в ходе проекта, помогут доказать, что полуавтономные роботы могут сосуществовать с профессионалами в различных отраслях, таких как здравоохранение и переход на более экологичные источники энергии". - говорит доктор Заки Хуссейн, генеральный директор Touchlab.

Пилотный проект координируется Forum Virium Helsinki, инновационной компанией города Хельсинки, как часть более широкого проекта стоимостью €7 млрд. по строительству самой технологически продвинутой больницы в Европе, который должен быть завершен в 2028 году.

Дополнительные сферы применения технологии могут включать вывод из эксплуатации ядерных объектов и обработку токсичных отходов, что поможет сократить количество работ, потенциально опасных для здоровья и благополучия человека.

https://robogeek.ru/roboty-v-meditsine/v-finskoi-bolnitse-nachalis-ispytaniya-telerobota-valkky
RAMP - эталон для оценки манипулирования и планирования роботизированной сборки

Исследования в области робототехники бурно развиваются в последнее десятилетие с целью решения задач, представляющих реальную ценность для промышленности и общества. Поскольку новые роботизированные системы появляются каждый день, разработка надежных инструментов, которые можно использовать для оценки их работы и тестирования алгоритмов, лежащих в основе их функционирования, имеет большое значение.

Исследователи из Oxford Robotics Institute, Manufacturing Technology Center (MTC) и University of Birmingham недавно представили RAMP (Robotic Assembly Manipulation and Planning) - эталон, который можно использовать для оценки способности сборочных роботов (т.е. роботов, предназначенных для сборки изделий) манипулировать объектами и планировать свою работу. Новый эталон, представленный в работе, опубликованной в arXiv, может помочь расширить возможности сборочных роботов, облегчая их использование в обрабатывающей промышленности.

"Статья появилась в результате сотрудничества с MTC в Ковентри, Великобритания, который имеет ряд партнеров в промышленности, сталкивающихся с аналогичными проблемами в области долгосрочного планирования сборки, - говорит Джек Коллинз, один из исследователей. - Эта область проблем включает в себя множество задач и открытых вопросов в робототехнике, поэтому, работая с MTC, мы разработали эталон, который отражает область и задачи, а также обеспечивает доступность для исследователей, чтобы они могли внести свой вклад в решение согласованных проблем".

Работа ведется в рамках гранта программы EPSRC "Embodied Intelligence" под руководством профессора Ингмара Познера в Оксфорде. "Цель нашего эталона - быть ориентированным на вызов, доступным и открытым. Наше видение заключается в том, чтобы предложить платформу, которая в дальнейшем будет развиваться в управляемые сообществом усилия по продвижению исследований в области робототехники с особым упором на применение в производстве и сборке".

Познер, Коллинз и их коллеги задались целью создать открытый эталон, который можно было бы применять к более широкому кругу задач. RAMP использует серию базовых деталей, которые могут быть изменены и расширены, чтобы проверить способность роботов собирать более широкий спектр объектов. "Для решения проблемы вариативности конфигураций целей RAMP требует явного рассуждения и планирования для принятия решения о порядке сборки балок, без чего результатом были бы невыполнимые последовательности сборки", - пояснил Коллинз.

По сути, RAMP позволяет пользователям достоверно оценить способность роботизированного манипулятора собирать различные балки в одну из нескольких различных целевых конфигураций. Эталон был разработан с учетом общих проблем, возникающих при внеплощадочном строительстве, когда детали изготавливаются и собираются на месте, например, для формирования каркасов, составляющих внутреннюю структуру зданий.

"В эталоне представлены балки, созданные из серии 3D-печатных соединений и алюминиевых профилей, цель - собрать эти балки в заданную конфигурацию как можно быстрее, обеспечив при этом повторяемость, - сказал Коллинз. - RAMP уникально разработан для оценки задач сборки с длинным горизонтом, которые требуют явного рассуждения о порядке сборки. Наш эталон также снижает барьер для входа, делая все общедоступным, чтобы люди могли начать работу".

RAMP находится в открытом доступе, поэтому исследователи и производители по всему миру могут использовать его для тестирования собственных роботизированных систем. Пользователям предоставляется все необходимое для начала использования эталона, включая базовые детали, руководство по сборке, код для базовой реализации и код для высокореалистичной среды моделирования на базе платформы Nvidia Isaac.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/ramp-etalon-dlya-otsenki-manipulirovaniya-i-planirovaniya-robotizirovannoi-sborki
На соревнованиях Indy Autonomous Challenge в Монце установлен новый рекорд скорости автономных автомобилей

Организаторы Indy Autonomous Challenge (IAC) объявил о том, что команда PoliMOVE выиграла первое в истории соревнование по автономному вождению на национальном автодроме Монцы, одной из старейших гоночных трасс мира. Мероприятие состоялось в рамках Milan Monza Motor Show (MIMO), автосалон проходил с 16 по 18 июня 2023.

В январе IAC объявил о расширении своей географии за пределы США и заключил двухлетнее партнерство с MIMO, чтобы проводить соревнования на знаменитой трассе. Перед командами IAC стояла задача запрограммировать ИИ на управление идентичными гоночными автомобилями Dallara AV-21.

"В очередной раз Indy Autonomous Challenge расширяет границы высокоскоростной автоматизации, проводя историческую гонку на время на культовой трассе в Монце, - сказал Пол Митчелл, президент IAC. - Для IAC было большой честью получить одобрение Automobile Club d’Italia (ACI Sport) и наблюдать за тем, как болельщики поддерживают победившую команду PoliMOVE. Нам не терпится вернуться в следующем году и провести несколько гонок "один на один".

IAC привезла на MIMO шесть автономных гоночных автомобилей и пять университетских команд для участия в шести сессиях в течение трех дней, в общей сложности более 2 000 км испытаний, где автомобили последовательно развивали все большую скорость, постепенно ускоряя время прохождения круга. Программное обеспечение для автономного вождения было запрограммировано студентами и исследователями из самых передовых университетов и исследовательских центров мира, в число которых вошли команды из:

- KAIST (Корейский передовой институт науки и технологий)
- MIT-PITT-RW (Массачусетский технологический институт, Питтсбургский университет, Рочестерский технологический институт, Университет Ватерлоо)
- PoliMOVE (Миланский политехнический институт, Университет Алабамы)
- TII UNIMORE Racing (Университет Модены и Реджо-нель-Эмилии)
- TUM Autonomous Motorsport (Технический университет Мюнхена)

В воскресенье днем команды TII UNIMORE Racing, TUM Autonomous Motorsport и PoliMOVE вступили в финальный раунд соревнований с разницей всего в три секунды.

В финале команда PoliMOVE завершила свой последний круг за 2:05.87 на трассе длиной 5,79 километра с 11 поворотами, достигнув максимальной скорости 273,4 км/ч. ИИ команды PoliMOVE управлял запасным болидом AV-21 из-за поломки основного во время тренировки в начале недели.

Команда TUM Autonomous Motorsport заняла второе место со временем круга 2:08.66 и максимальной скоростью 269,9 км/ч, а TII UNIMORE Racing финишировала третьей со временем финального круга 2:11.24 и максимальной скоростью 250,8 км/ч. За соревнованиями с трибун наблюдали более 10 000 зрителей. Примечательно, что победу одержала команда "родного города", представляющая Миланский Политех.

Каждая из пяти университетских команд-участниц получила официальную водительскую лицензию на участие в соревнованиях, выданную ACI. Хотя лицензия выдается руководителю команды, она представляет собой первую в своем роде лицензию на участие в автоспорте для ИИ. Чтобы получить разрешение IAC и каждая университетская команда должны были представить исторические данные и продемонстрировать тесты на трассе в Монце для подтверждения возможностей и безопасной эксплуатации автономного гоночного автомобиля.

Сообщается, что IAC продолжит сотрудничать с ACI и национальным автодромом Монцы для разработки правил и положений, регулирующих автономные гоночные соревнования, с целью проведения следующих заездов во время MIMO 2024.

https://robogeek.ru/avtonomnyi-transport/na-sorevnovaniyah-indy-autonomous-challenge-v-montse-ustanovlen-novyi-rekord-skorosti-avtonomnyh-avtomobilei
Исследователи CMU расширили возможности роботов по обучению на основе видеоматериалов

Новая работа исследователей из Carnegie Mellon University (CMU) позволила роботам научиться выполнять домашние дела, просматривая видеозаписи где их выполняют люди. Исследование может помочь улучшить использование роботов в быту, позволяя им помогать людям в таких задачах, как приготовление пищи и уборка.

В ходе исследования 2 робота успешно выучили 12 задач, включая открытие ящика кухонного шкафа и дверцы духовки, снятие кастрюли с плиты и крышки с нее, взятие телефонной трубки, овощей или банки с консервами.

"Робот может узнать, где и как люди взаимодействуют с различными объектами, просматривая видео, - сказал Дипак Патхак, доцент Института робототехники Школы компьютерных наук CMU. - На основе этих данных мы можем обучить модель, которая позволит двум роботам выполнять одни и те же задачи в различных условиях".

Существующие методы обучения роботов требуют либо ручной демонстрации задач человеком, либо обучения в симулированной среде. И то, и другое занимает много времени и чревато неудачами. В прошлом Патхака и его студенты продемонстрировали метод WHIRL (In-the-Wild Human Imitating Robot Learning), при котором роботы обучались, наблюдая за выполнением задач человеком. Но этот метод требовал, чтобы человек выполнял задание в той же среде, что и робот.

Последняя работа Патхака VRB (Vision-Robotics Bridge) основана на WHIRL. Новая модель исключает необходимость демонстрации человеком и работы в идентичной среде. Как и WHIRL, робот по-прежнему требует практики для освоения задачи. Исследования команды показали, что он может освоить новую задачу примерно за 25 минут.

"Мы смогли провести роботов по кампусу и выполнить самые разные задачи, - говорит Шикхар Бахл, аспирант кафедры робототехники. - Роботы могут использовать эту модель, чтобы исследовать окружающий мир. Вместо того чтобы просто махать руками, робот может быть более непосредственным в своем взаимодействии".

VRB определяет, где и как робот может взаимодействовать с объектом, основываясь на поведении человека. Например, наблюдая за тем, как человек открывает ящик, робот определяет точки контакта и направление движения ящик. В пресс-релизе университета сообщается, что после просмотра нескольких подобных видеороликов, на которых люди открывают ящики, робот может определить, как открыть любой ящик.

Команда использовала видео из больших наборов данных, таких как Ego4D и Epic Kitchens. Ego4D содержит почти 4 000 часов видеозаписей повседневной деятельности со всего мира. Epic Kitchens содержит аналогичные видео, на которых запечатлены приготовление пищи, уборка и другие кухонные дела. Оба набора данных предназначены для обучения моделей компьютерного зрения.

https://www.youtube.com/watch?v=Bik4s57iPsY

Более подробную информацию можно найти на сайте проекта и в статье, представленной в июне на Конференция по компьютерному зрению и распознаванию образов.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/issledovateli-cmu-rasshirili-vozmozhnosti-robotov-po-obucheniyu-na-osnove-videomaterialov
Спаринг человека и ИИ на ринге с помощью роботов QIBBOT

Вдохновившись финальной сценой фильма "Живая сталь" (Real Steel), во вселенной которого бокс запрещен и заменен боями роботов под управлением людей, компания Qibo Robot Company разработала телеуправляемого робота под названием QIBBOT, который имитирует реальные движения человека.

Робот не только может наносить удары, но и делает это с высокой скоростью с задержкой в 12 миллисекунд. Разработчики заявляют, что их QIBBOT является самым быстрым телеуправляемым роботом, созданным на сегодняшний день. Затем его испытали на прочность против противника управляемого ИИ, который учится и адаптируется во время боя.

"Вдохновившись фильмом и руководствуясь развлекательной ценностью, мы решили посмотреть, сможем ли мы реализовать концепцию боевых роботов в реальной жизни, - говорит генеральный директор компании Qibo Robot Йинин (Джеймс) Генг. - Мы подумали, что опыт игроков с большими и реальными роботами будет очень новым и отличным от компьютерных игр".

Существует много различных телеуправляемых роботов, но они имеют совершенно иные цели, и большинство из них, как правило, небольшие и двигаются только на медленной или средней скорости. "Для боевых роботов на первом месте стоит быстрая скорость, - говорит Генг. - В случае с телеуправляемыми роботами на скорость влияет множество различных аспектов, включая связь, интерфейс, приведение в действие, передачу, контроллер и вычисления".

Чтобы помочь QIBBOT достичь высокой скорости, разработчики сосредоточилась на решении проблем, связанных с механикой и контроллером робота. Сначала они построили точную модель кинематики и динамики, которую использовали для оптимизации распределения массы, механической структуры, управления и связи QIBBOT. Затем, в дополнение к использованию обычного контроллера с обратной связью, они разработали новый контроллер с обратной связью, который проактивно реагирует на команды движения от контроллера VR. По словам Генга, такой подход устраняет некоторые задержки, вызванные другими компонентами системы.

Чтобы создать противника, управляемого ИИ, Генг и его коллеги объединили несколько различных существующих алгоритмов ИИ. В совокупности они помогают роботу различать атаку и защиту, генерировать стратегии борьбы и обращаться к библиотеке данных о параметрах для конкретных сценариев борьбы. Робот под управлением ИИ может изучать приемы во время боя с роботом под управлением человека. Несмотря на некоторую степень зрелищности боя роботов, все же есть некоторые аспекты QIBBOT, которые требуют доработки.

"Мы оптимизировали конструкцию механической системы QIBBOT для быстрого реагирования, и за это приходится платить - точностью", - говорит Генг. Он отмечает, что хотя точность может не иметь большого значения в сценарии боя, она будет важна, если эта технология будет адаптирована для других целей.

https://www.youtube.com/watch?v=o15-j_oXda8

QIBBOT - это всего лишь прототип для тестирования конструкции и контроллера. Отмечается, что у него есть некоторые проблемы, такие как нежелательная вибрация, неестественный стиль движения и так далее. Разработчики работают над созданием нового робота, у которого будут две руки и больше суставов в теле и руках, что позволит решить эти проблемы.

https://robogeek.ru/interesnoe-o-robotah/sparing-cheloveka-i-ii-na-ringe-s-pomoschyu-robotov-qibbot
Робот M4 разработанный в Caltech сочетает несколько способов локомоции

Недавно созданный робот-трансформер способен изменять конфигурацию своего тела для достижения различных типов движения и может автономно оценивать окружающую среду, чтобы выбрать наиболее эффективную комбинацию для маневрирования.

Новый робот, получивший название M4 (Multi-Modal Mobility Morphobot), может катиться на четырех колесах, летать, стоять на двух колесах, "ходить", используя свои колеса как ноги, и использовать два ротора для преодоления крутых склонов на двух колесах.

По словам профессора Мори Гариба, директора Центра автономных систем и технологий (CAST) Калифорнийского технологического института (Caltech), робот с таким широким набором возможностей нашел бы широкое применение - от транспортировки раненых людей в больницу до исследования других планет.

M4 - разработка Гариба и Алирезы Рамезани, доцента кафедры электротехники и вычислительной техники Северо-Восточного университета. В команду, поддерживающую технические аспекты M4, входили Эрик Сихите, научный сотрудник постдокторантуры в аэрокосмической области в Caltech, Реза Немови, инженер-конструктор в CAST и Араш Калантари из JPL.

"Наша цель заключалась в том, чтобы расширить границы локомоции роботов, разработав систему, демонстрирующую исключительные возможности мобильности с широким спектром различных режимов локомоции. Проект M4 успешно достиг этих целей", - говорит Рамезани.

Гибкость движений робота в сочетании с ИИ позволяет ему выбирать, какая форма локомоции будет наиболее эффективной в зависимости от местности перед ним. В пресс-релизе института говориться, что M4, исследующий незнакомую среду может начать движение на четырех колесах, что является его наиболее энергоэффективным режимом. Достигнув препятствия, например, валуна, он может встать на два колеса, чтобы осмотреть его и получить более четкое представление о местности впереди. Затем, если он увидит овраг или другое препятствие, которое колесный робот не сможет преодолеть, он может перенастроить свои колеса на режим полета, перелететь через овраг на другую сторону и продолжить движение.

"При столкновении с неизвестной средой успеха могут добиться только те роботы, которые способны перепрофилировать свои мультимодальные компоненты с помощью ИИ", - говорит Гариб.

Когда M4 нужно встать на два колеса, два из четырех колес складываются, и их встроенные пропеллеры вращаются, обеспечивая баланс робота. Когда M4 нужно лететь, все четыре колеса складываются, и движители поднимают робота с земли.

Шарниры на узлах колес позволяют M4 совершать шагающие движения, но отмечается, что текущей итерации ходьба является скорее доказательством концепции. Однако с учетом ожидаемого прогресса будущие поколения M4 смогут более эффективно передвигаться по пересеченной местности.

https://www.youtube.com/watch?v=J91jTI2-k_U

Робот был протестирован на открытом воздухе и ориентировался на местности в кампусе Caltech. Статья "Multi-Modal Mobility Morphobot (M4), A Platform to Inspect Appendage Repurposing for Locomotion Plasticity Enhancement" была опубликована в Nature Communications.

https://robogeek.ru/nauchnye-razrabotki-programmnoe-obespechenie/robot-m4-razrabotannyi-v-caltech-sochetaet-neskolko-sposobov-lokomatsii
Мягкая робо-перчатка может помочь пациентам перенесшим инсульт заново научиться играть музыку

Инсульт является самой важной причиной инвалидности взрослых в ЕС, от которой ежегодно страдает около 1,1 млн людей. После инсульта пациенты обычно нуждаются в реабилитации, чтобы заново научиться ходить, говорить или выполнять повседневные задачи. Исследования показали, что помимо физической и трудовой терапии, музыкальная терапия может помочь пациентам, перенесшим инсульт, восстановить речь и моторику.

Для людей, обученных музыке и перенесших инсульт, воспроизведение музыки может оказаться навыком, который нужно осваивать заново. Исследование, опубликованное в журнале Frontiers in Robotics and AI, показало, как новая мягкая робототехника может помочь выздоравливающим пациентам заново научиться играть музыку и другим навыкам, требующим ловкости и координации.

"Здесь мы показываем, что наша умная перчатка-экзоскелет с интегрированными тактильными датчиками, мягкими приводами и ИИ может эффективно помочь в повторном обучении после нейротравмы", - говорит ведущий автор исследования доктор Маохуа Лин, адъюнкт-профессор кафедры океанотехники и машиностроения Атлантического университета Флориды.

Лин и его коллеги разработали и испытали экзоскелет в форме многослойной гибкой 3D-печатной робо-перчатки, которая весит 191 грамм. Вся ладонь и область запястья перчатки сделаны мягкими и гибкими, а форма перчатки может быть изготовлена на заказ в соответствии с анатомическими особенностями каждого пользователя.

Мягкие пневматические приводы в кончиках пальцев генерируют движение и прикладывают силу, имитируя естественные, точно выверенные движения руки. Каждый кончик пальца также содержит массив из 16 гибких датчиков, которые передают тактильные ощущения руке пользователя при взаимодействии с объектами или поверхностями. Производство перчатки очень простое, так как все приводы и датчики устанавливаются на место с помощью одного процесса формования.

"Надевая перчатку, пользователь в значительной степени контролирует движение каждого пальца, - сказал старший автор доктор Эрик Энгеберг, профессор кафедры океанотехники и машиностроения Атлантического университета Флориды. - Перчатка предназначена для помощи и улучшения естественных движений руки, позволяя контролировать сгибание и разгибание пальцев. Перчатка направляет руку, обеспечивая поддержку и усиливая ловкость".

Авторы предполагают, что в конечном итоге пациенты могут носить пару таких перчаток, чтобы помочь обеим рукам независимо друг от друга восстановить ловкость, двигательные навыки и чувство координации.

Авторы использовали машинное обучение, чтобы успешно научить перчатку "чувствовать" разницу между правильным и неправильным исполнением произведения на фортепиано. Здесь перчатка работала автономно, без участия человека, с заранее запрограммированными движениями. Это была американская детская песня XIX века «Mary Had a Little Lamb», для исполнения которой требуется четыре пальца.

"Мы обнаружили, что перчатка может научиться различать правильную и неправильную игру на фортепиано. Это означает, что она может стать ценным инструментом для персонализированной реабилитации людей, которые хотят заново научиться играть", - сказал Энгеберг.

https://www.youtube.com/watch?v=ekr0SLdSll0

Теперь, когда этап проверки и подтверждения принципа действия технологии успешно продемонстрирован, перчатку можно запрограммировать так, чтобы она давала пользователю обратную связь о том, что было правильно или неправильно в его игре, с помощью тактильной обратной связи, визуальных подсказок или звука. Это позволит ей или ему понять свою игру и улучшить ее.

https://robogeek.ru/ekzoskelety-protezy/myagkaya-robo-perchatka-mozhet-pomoch-patsientam-perenesshim-insult-zanovo-nauchitsya-igrat-muzyku
MR4Weld - первое роботизированное мобильное решение для судостроения

На выставке Automatica две итальянские компании Comau и Fincantieri представили результат своего сотрудничества - мобильного робота MR4Weld (Mobile Robot for Welding) для автоматизации трудоемких сварочных работ на открытом воздухе.

Компании также продлили свое стратегическое соглашение о применении технологий, цифровизации и инноваций в рамках передовых мобильных роботизированных решений, которые повысят скорость производства и благосостояние работников за счет автоматизации традиционно ручных процессов.

В 2021 году Comau и Fincantieri подписали соглашение о намерениях, целью которого была разработка прототипов роботизированных решений для сварки стали и последующее строительство серии машин. После успешного завершения производственных испытаний прототипов, директора компаний подписали обновленное соглашение, которое предусматривает разработку дополнительных мобильных роботизированных машин и решений для неструктурированных сред.

Мобильный робот MR4Weld в дальнейшем будет использоваться на верфях Fincantieri для автономной сварки стальных конструкций с возможным 3-кратным увеличением производительности по сравнению с ручным процессом. Он представляет из себя 6-осевой промышленный с высокой грузоподъемностью, оснащенный сварочной горелкой, который установлен на гусеничном шасси и оборудован встроенной системой машинного зрения для автономного определения сварочных швов. Сообщается, что робот гарантирует более высокое качество сварки при одновременном снижении эргономических рисков, способствуя преобразованию производственного процесса в судостроении за счет обеспечения большей гибкости и повышенной безопасности в дополнение к снижению общих затрат.

Разработанная для перемещения в любых условиях и совместной работы с персоналом, система MR4Weld может легко управляться одним оператором во время перемещения и сварки. В системе также используются цифровые инструменты для сбора сварочных и производственных данных, которые могут быть использованы для регистрации сварных соединений. Поскольку система MR4Weld полностью соответствует действующим нормам безопасности, она может использоваться без ограждений на каждой из многочисленных палуб, из которых состоит судно. Fincantieri и Comau совместно подали европейскую патентную заявку на конкретные технологические особенности MR4Weld. Передовое решение также может быть легко интегрировано в цифровую инфраструктуру Comau, что еще больше повышает производительность и рентабельность роботизированной системы.

В рамках продолжающегося сотрудничества компании будут разрабатывать усовершенствованные мобильные роботы для автоматизации других повторяющихся действий в судостроительных процессах, включая те, которые характеризуются вертикальными и нелинейными поверхностями, а также неструктурированной средой, в дополнение к тестированию экзоскелетов Comau. Fincantieri также будет сотрудничать с Comau для укрепления и повышения технических навыков своих операторов по использованию и программированию роботизированных мобильных систем, адаптируя их к специальным форматам повышения квалификации судостроительных операторов, которые уже разработаны Comau.

Comau также сделает еще один шаг к дифференциации своего основного бизнеса и расширению в новые сегменты за пределами заводского цеха. Кроме того, компании начнут промышленное внедрение своего уникального роботизированного решения MR4Weld, которое может быть применено не только в судостроительной промышленности, но и в отраслях, требующих производства крупных стальных инфраструктур.

https://www.youtube.com/watch?v=0xnfOzyfBds

https://robogeek.ru/promyshlennye-roboty/mr4weld-pervoe-robotizirovannoe-mobilnoe-reshenie-dlya-sudostroeniya
Картирование рек и озер с помощью беспилотных водных аппаратов

Власти и операторы портов должны предоставлять актуальные карты русла рек и портовых сооружений. До сих пор это требовало использования специальных картографических судов и большого количества рабочей силы. Это дорого и не выполняется с той частотой и точностью, которые потребуются для будущих приложений, таких как автономное судоходство.

По этой причине группа исследователей из Fraunhofer IOSB разработала простое в управлении беспилотное судно размером 2х1,5х1 м и весом 64 кг, которое автономно обследует водоемы и создает соответствующие 3D карты. Эти карты должны регулярно составляться и обновляться соответствующими органами, что очень дорого, поскольку в настоящее время съемки проводятся вручную с помощью специалистов на картографических судах. Проведение подводного и надводного картирования с помощью автономных плавсредств обходится гораздо дешевле.

Исследователи из Fraunhofer IOSB в Карлсруэ разработали такую систему в рамках проекта Teilautomatisches Peilsystem für Flüsse und Seen (полуавтоматическая навигационная система для рек и озер) на базе коммерческого беспилотного надводного судна (USV). Подключенное только к центральной рабочей станции или станции управления на суше, судно составляет карты всех типов внутренних водоемов и их окрестностей, проводя съемку как над, так и под поверхностью воды. Возможно также применение в прибрежных районах, поскольку в своем нынешней итерации судно может составлять карты на глубине до 100 метров.

Используя GPS, датчики ускорения и угловой скорости, а также доплеровский измеритель скорости и сноса, оно способно двигаться автономно. Данные с различных датчиков объединяются для управления полуавтоматической навигационной системой. Для картирования над водой используются лазерные сканеры и камеры в сочетании с картографическим программным обеспечением, разработанным в Fraunhofer IOSB, что позволяет устройствам воссоздавать высокоточные 3D-модели окружающей среды. Подводное картирование, в свою очередь, осуществляется с помощью многолучевого гидролокатора, который интегрирован в систему датчиков и создает полную 3D-модель дна.

"Наша навигационная система является полуавтоматической в том смысле, что пользователю необходимо лишь указать область, которую необходимо картографировать. Сам процесс съемки полностью автоматизирован, а оценка данных осуществляется всего несколькими щелчками мыши. Мы разработали программные модули, необходимые для картографирования и автономного пилотирования", - объясняет д-р Янко Петерейт, ученый из Fraunhofer IOSB.

Первым шагом является определение площади, которую необходимо исследовать, после чего ПО использует эту информацию для расчета маршрута. Выполняя свою задачу, судно автономно уклоняется от препятствий. Во время движения в реальном времени создается быстрая 3D-модель для целей навигации. Вторая высокоточная 3D-модель рассчитывается программным обеспечением после оценки данных, захватывая как дно водоема, так и сцену над водной поверхностью, скрывая при этом движущиеся объекты.

Испытания геодезического судна проводились на нескольких озерах. Действующий прототип в настоящее время используется исследовательской группой в городе Росток.

https://www.youtube.com/watch?v=M3N0JN1du50

"В настоящее время ручные обследования проводятся лишь раз в один-два года и дают гораздо менее точные результаты, чем наши комплексные 3D-модели, поэтому состояние водных путей не отражается оптимально. Поэтому в будущем исследования рек необходимо будет проводить гораздо чаще и с более высоким уровнем детализации. Наша полуавтоматическая навигационная система предлагает экономически эффективную альтернативу существующим методам съемки", - говорит Петерейт.

https://robogeek.ru/podvodnye-i-nadvodnye-roboty/kartirovanie-rek-i-ozer-s-pomoschyu-bespilotnyh-vodnyh-apparatov