​​🎓 — Семинар 3. Visual Question Answering: Применение сценариев и способ их извлечения из текста | Алексей Ковалев, Александр Корчемный

В последнее время мультимодальные постановки задач привлекают всё больше исследователей. Пример такой мультимодальной задачи - ответ на вопрос по изображению (Visual Question Answering). На вход модели подается изображение и вопрос на естественном языке об изображении, а модель должна выдать ответ. Существует множество наборов данных для этой задачи (VQA, CLEVR, Visual Genome, VixWiz и др.), но основной объем вопросов в этих данных носит объектный характер.

Вопросы спрашивают: о наличии\отсутствии конкретных объектов, их свойствах (цвет, размер, форма, вегетарианский продукт или нет и т.д.), отношении этих свойств, взаимном расположении и отношении объектов друг к другу (слева-справа, часть-целое и т.д.). Очевидно, что такие вопросы покрывают не всё многообразие доступных вариантов.

В наборе данных VCR (Visual Commonsense Reasoning) предлагается отвечать на вопросы о ситуациях (сцена в ресторане, ограбление банка, уличный перформанс, и д.р.) и давать объяснения этим ответам. Составители VCR предполагают, что при ответе на такие вопросы, должен использоваться «здравый смысл». В нашей работе мы предлагаем использовать в качестве «здравого смысла» типичные сценарии поведения людей в той или иной ситуации, выделяемые из текстов.

На семинаре мы конкретизируем постановку задачи, предложим способ выделения и хранения сценариев, которые могут быть использованы в VQA.

👉🏻 Дата: 30.09.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=oFxuUVFF6eU

Наш партнер Dragon Tree Labs вместе с их роботом-аватаром Джонни на полуфинальном тестировании ANA Avatar XPRIZE, которое прошло с 10 по 21 сентября в Майами, Флорида.

Жюри конкурса оценивало 37 аватаров из 15 стран.

Системы аватаров, разрабатываемые командами-участницами на протяжении 2 лет с момента старта соревнования, демонстрировали не только способность выполнить задания и решить задачи тестового сценария, но и передать ощущения удаленного присутствия как для оператора, так и человека, взаимодействующего с ним.

Ведь, основная цель – это сочетание физического взаимодействия роботизированного аватара и создания ощущения личного присутствия удаленного участника, что позволит расширить границы человеческого общения.

20 лучших команд выйдут в финал конкурса, который пройдет осенью 2022 года. С нетерпением ждем оглашения результатов полуфинального теста и держим кулачки за Джонни!

​​🎓 — Семинар 4. Computer Vision: Современные методы распознавания зеркал и стекол на изображениях, опубликованные на ведущих научных конференциях CVPR и ICCV | Ди Ун Пак

Для надежного управления и построения карты автономными роботами проблемой является наличие прозрачных, стеклянных и зеркальных объектов в помещениях. Сенсоры робота (камеры или лидары) просто не видят подобных препятствий. Это затрудняет решение задачи навигации и создает угрозу столкновения. Решением такой проблемы активно занимается и Центр когнитивного моделирования МФТИ.

В ходе семинара будет сделан обзор современных методов распознавания зеркал и стекол на изображениях, в том числе опубликованных на самых авторитетных конференциях по компьютерному зрению CVPR и ICCV. Отдельное внимание будет уделено новым открытым программным реализациям этих подходов.

👉🏻 Дата: 7.10.21, четверг в 17:00

💬 Трансляция Zoom: https://clck.ru/XZbu3
📹 Трансляция Youtube: https://clck.ru/XZbqq

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=6kdpFufFfDI

​​🎓 — Семинар 5. Reinforcement Learning: Kinodynamic Motion Planning | Брайн Ангуло

В последнее время применение обучения с подкреплением в задачах планирования вызывает всё больше интерес у исследователей. С одной стороны в задачах кинодинамического планирования требуется учитывать динамику робота (автомобиля), что сам по себе уже является трудной задачей, а с другой стороны необходимо избегать коллизию со статическими и динамическими препятствиями.

Классические методы планирования решают эти подзадачи по отдельности, однако методы на основе обучения с подкрепления обьединяют их в одно целое, что упрощает задачу в целом и позволяет давать более качественные и безопасные решения. Кроме того, благодаря развитию симуляторов для автономной навигации применение обучения с подкреплением в задачах планирования становится более перспективным.

В ходе семинара будет сделан обзор современных подходов применения обучения с подкреплением в задачах планирования, опубликованных в самых престижных концеренциях по робототехнике как IROS и ICRA. Также Брайн расскажет про исследования локального планирования на основе обучения с подкреплением в задачах парковки. Покажем текущие результаты и расскажем про дальнейшее направление наших исследований.

👉🏻 Дата: 14.10.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

Приглашаем поучаствовать в активностях конференции «Нейроинформатика-2021», которая состоится 18-22 октября 2021 года в МИФИ в смешанном online-offline формате!

Программа: http://neuroinfo.ru/index.php/ru/schedule.

Видеотрансляция докладов будет в youtube: https://youtu.be/W8gsqcCPzhE

На конференции пройдет два воркшопа от команды нашего Центра http://neuroinfo.ru/index.php/ru/industrial:

- В среду 20 октября с 18:30 до 20:30 "Интеграция нейросетевых модулей в операционную систему роботов" (Илья Белкин, Дмитрий Юдин)
- В четверг 21 октября с 18:30 до 20:30 "Глубокое обучение с подкреплением для навигации в помещении" (Алексей Староверов, Александр Панов)

Видеотрансляции будут по ссылке 👉🏻https://www.youtube.com/channel/UC8UsNfjhqJW1d0ryvU-p3qw

⚡— Нейроинформатика 2021 | Воркшопы от индустриальных партнеров: https://youtu.be/WTNrNFRCG68

🎓 — Семинар 6. Распознавание любых динамических объектов на изображениях бортовых камер или облаках точек лидаров | Сергей Линок, Андрей Криштопик

В ходе семинара будет сделан обзор подходов к распознаванию динамических объектов с использованием нейросетей, а также детектирование динамических объектов и определение их скоростей по данным различных датчиков с помощью аналитических методов.

В том числе будет проведен краткий обзор статей на ведущих конференциях CVPR, ICCV, IROS, ICRA - где сформулирована проблематика работы с произвольными объектами и предложены методы решения на основе комбинированного использования оптического потока, глубины и положения камеры на последовательности кадров.

👉🏻 Дата: 21.10.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

💡 — Воркшоп на конференции Нейроинформатика-2021: "Интеграция нейросетевых модулей в операционную систему роботов" в 19.00

Спикеры:
🗣—Илья Вячеславович Белкин – сотрудник ООО «ИнтеграНТ», аспирант Московского физико-технического института

🗣—Дмитрий Александрович Юдин – кандидат технических наук, заведующий Лабораторией интеллектуального транспорта в Московском физико-техническом институте, зам. руководителя Научно-образовательного центра когнитивного моделирования, руководитель исследовательских проектов научно-исследовательского Института искусственного интеллекта

На воркшопе будут рассмотрены особенности интеграции нейросетевых моделей распознавания изображений, обученных с помощью фреймворка глубокого обучения PyTorch, в операционную систему роботов ROS. Будут отмечены различия программной реализации для различных версий ROS1 и ROS2. Особое внимание будет уделено работе с нейронными сетями семантической сегментации изображений.

📹 Youtube: https://youtu.be/-Q4iLFDTpSE

💡 — Воркшоп на конференции Нейроинформатика-2021: "Глубокое обучение с подкреплением для навигации в помещении" в 19.00

Спикеры:
🗣—Алексей Витальевич Староверов – ведущий исследователь в Институте искусственного интеллекта, инженер-исследователь ФИЦ ИУ РАН, аспирант Московского физико-технического института

🗣—Александр Игоревич Панов – кандидат физико-математических наук, доцент, руководитель Научно образовательного центра когнитивного моделирования Московского физико-технического института, заведующий отделом в Федеральном исследовательском центре «Информатика и управление» Российской академии наук, руководитель направления в Институте искусственного интеллекта

На воркшопе будут рассмотрены особенности интеграции нейросетевых моделей распознавания изображений, обученных с помощью фреймворка глубокого обучения PyTorch, в операционную систему роботов ROS. Будут отмечены различия программной реализации для различных версий ROS1 и ROS2. Особое внимание будет уделено работе с нейронными сетями семантической сегментации изображений.

📹 Youtube: https://youtu.be/HMTiwD5MghY

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=aVuom7Ly99A

🔥 — Партнер нашего Центра, комапния Dragon Tree Labs вышла в финал соревнования XPRIZE ANA Avatar на 10 М$!

Причем сделала это не просто, а заняла 2-ое место в общекомандном зачете из 37 команд из 15 стран, после прохождения всех испытаний в полуфинале, который состоялся в Майами, Флорида с 10 по 21 Сентября. Всего в финал прошли 15 команд из 8 стран.

Системы аватаров, которые разрабатывают команды финалистов, продемонстрировали способность выполнять задачи в различных реальных сценариях, но им еще предстоит проделать большую работу перед финальным тестированием, которое состоится осенью 2022 года.

Создание аватаров - это не только разработка следующего поколения ловких, способных решать различные задачи роботов. Речь также идет о передаче ощущения человеческого присутствия как для оператора, так и для получателя. Сочетание физического взаимодействия роботизированного аватара с подлиным ощущением присутствия удаленного участника послужит расширению границ человеческого общения.

Команды-финалисты в равной степени разделят между собой призовой фонд в 2 миллиона долларов и перейдут к финальным тестам осенью 2022 года, где получат шанс выиграть часть призового фонда финала в размере 8 миллионов долларов.

Это по-настоящему огромное достижение и мы желаем Dragon Tree Labs не останавливаться на достигнутом, продолжить путь к созданию аватара-телеприсутсвия и выйграть главный приз в финале🏆

👉🏻 Спиок команд прошедших в финал: https://www.xprize.org/prizes/avatar/articles/ana-avatar-xprize-announces-finalists

👉🏻 Как проходил полуфинал соревнования: https://www.xprize.org/prizes/avatar/articles/on-the-ground-at-the-ana-avatar-xprize-semifinals

https://www.youtube.com/watch?v=7v7YGnO13Tg&t=103s

​​🎓 — Семинар 7. Single/multi motion planning with kinematic
constrains & Инструменты работы с командными графами знаний и система RedForester | Александр Петров, Зейн Али

В первом докладе Александр сделает краткий обзор современных прикладных инструментов работы с графами знаний (Roam, Obsidian и другие) и продемонстрирует проект RedForester - пространство для совместной интеллектуальной работы (Thinkspace), позволяющее визуально работать со знаниями и управлять проектами на их основе.
В основе решения лежит принцип построения командных графов знаний. Для их визуализации мы используем древовидные структуры (внешне похожие на Mindmap, но по факту отличающиеся от них как формально, так и с точки зрения использования на практике).
Основная решаемая задача: структурирование большого объема неорганизованных знаний, планов и коммуникаций (снижение сложности и хаоса в проекте).

Во втором докладе Зейн расскажет про методы решения проблемы поиска путей для мультиагентных систем (точнее мобильных роботов) с учетом кинематических ограничений роботов. Кинематические ограничения включают в себя скорость, ускорение и т.д. робота, в дополнение к динамике робота. А также сделает обзор нескольких современых публикаций с конференций IROS/ICRA/AAMAS и пр. В презентации большее внимание будет уделено оптимальным методам.

👉🏻 Дата: 28.10.21, четверг в 17:00

💬 Трансляция Zoom: https://clck.ru/XZbu3
📹 Трансляция Youtube: https://clck.ru/XZbqq

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=jruDQZrYl0s