​​🎓 — Семинар 2. Hierarchical Intrinsically Motivated Agent Planning Behavior with Dreaming in Grid Environments | Петр Кудеров

В исследованиях нашей команды мы в большей степени опираемся на биологически правдоподобные методы обучения и вычислительные нейробиологические модели. Такой подход может помочь найти ключевые шаги для построения автономных интеллектуальных агентов, способных решать широкий класс задач.

В своем докладе Петр расскажет о своей текущей работе, в которой он с командой предлагает и исследует иерархическую модель агента, действующего в незнакомой среде и движимого сигналом подкрепления.

В предложенной архитектуре мы используем:
а) временную память для обучения разреженного представления состояний-действий и постепенного построения модели среды, а также б) модель базальных ганглий для обучения стратегии на разных уровнях абстракции.

Обученная модель среды используется нами для генерации сигнала внутренней мотивации в отсутствие внешней мотивации и как основа для способности агента оперировать в воображении.

Мы тестируем нашу архитектуру на задаче поиска ресурсов в клеточных средах (в т.ч. 4 комнаты). В докладе Петр расскажет, каких результатов они уже добились, какие есть сложности и открытые вопросы, а также обозначу перспективные направления для дальнейшего исследования

👉🏻 Дата: 23.09.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=5vNvj-RZR44

Приглашаем всех на фестиваль науки, технологий и юмора FestTech 2021!

В рамках научпоп марафона выступит и наш Центр, где поговорим о том, какие задачи можно решать, с известным для наших стажеров и подписчиков, роботом Unitree A1 от наших партнеров Dragon Tree Labs и перспективах в робототехнике.

На мероприятии подготовлена насыщенная программа, будет интересно!

Телеграм бот: https://news.1rj.ru/str/festtechbot

Сайт фестиваля: https://festtech.ru

​​🔥 — Осенняя стажировка по новым темам!

Мы приглашаем на стажировку студентов и аспирантов, молодых и опытных программистов. Вам будут предложены интересные и нетривиальные задачи по разработке систем глубокого обучения с подкреплением, систем управления роботами и манипуляторами, беспилотным транспортом, нейросетевых методов в компьютерном зрении.

💡Темы проектов:
— Обучение с подкреплением для многоагентных систем;
— Разработка базовых решений, в т.ч. на основе обучения с подкреплением, для симулятора игры Heroes of Might and Magic 3;
— Планирование траекторий для колесных платформ с экспериментами на реальном роботе;
— Обнаружение, трекинг и предсказание движения трехмерных объектов по изображениям и облакам точек лидаров;
— Другие (подробнее в анкете и на сайте).

🚀Преимущества:
— Оплачиваемая
— Актуальные прикладные и научные проекты;
— Работа под руководством ведущих специалистов в своих областях исследований;
— Участие в подготовке публикаций в главные журналы и конференции в области искусственного интеллекта;
— Совмещение с курсовой и выпускной работой.

Мы регулярно объявляем набор желающих без ограничений на то, являетесь ли вы студентом или уже закончили обучение. Главное требование - выполнить тестовое задание и быть готовым работать в лаборатории 20 часов в неделю.

👉🏻 Для участия достаточно заполнить анкету: https://clck.ru/TnLyJ

Подробнее: https://cogmodel.mipt.ru/internship

​​🎓 — Семинар 3. Visual Question Answering: Применение сценариев и способ их извлечения из текста | Алексей Ковалев, Александр Корчемный

В последнее время мультимодальные постановки задач привлекают всё больше исследователей. Пример такой мультимодальной задачи - ответ на вопрос по изображению (Visual Question Answering). На вход модели подается изображение и вопрос на естественном языке об изображении, а модель должна выдать ответ. Существует множество наборов данных для этой задачи (VQA, CLEVR, Visual Genome, VixWiz и др.), но основной объем вопросов в этих данных носит объектный характер.

Вопросы спрашивают: о наличии\отсутствии конкретных объектов, их свойствах (цвет, размер, форма, вегетарианский продукт или нет и т.д.), отношении этих свойств, взаимном расположении и отношении объектов друг к другу (слева-справа, часть-целое и т.д.). Очевидно, что такие вопросы покрывают не всё многообразие доступных вариантов.

В наборе данных VCR (Visual Commonsense Reasoning) предлагается отвечать на вопросы о ситуациях (сцена в ресторане, ограбление банка, уличный перформанс, и д.р.) и давать объяснения этим ответам. Составители VCR предполагают, что при ответе на такие вопросы, должен использоваться «здравый смысл». В нашей работе мы предлагаем использовать в качестве «здравого смысла» типичные сценарии поведения людей в той или иной ситуации, выделяемые из текстов.

На семинаре мы конкретизируем постановку задачи, предложим способ выделения и хранения сценариев, которые могут быть использованы в VQA.

👉🏻 Дата: 30.09.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=oFxuUVFF6eU

Наш партнер Dragon Tree Labs вместе с их роботом-аватаром Джонни на полуфинальном тестировании ANA Avatar XPRIZE, которое прошло с 10 по 21 сентября в Майами, Флорида.

Жюри конкурса оценивало 37 аватаров из 15 стран.

Системы аватаров, разрабатываемые командами-участницами на протяжении 2 лет с момента старта соревнования, демонстрировали не только способность выполнить задания и решить задачи тестового сценария, но и передать ощущения удаленного присутствия как для оператора, так и человека, взаимодействующего с ним.

Ведь, основная цель – это сочетание физического взаимодействия роботизированного аватара и создания ощущения личного присутствия удаленного участника, что позволит расширить границы человеческого общения.

20 лучших команд выйдут в финал конкурса, который пройдет осенью 2022 года. С нетерпением ждем оглашения результатов полуфинального теста и держим кулачки за Джонни!

​​🎓 — Семинар 4. Computer Vision: Современные методы распознавания зеркал и стекол на изображениях, опубликованные на ведущих научных конференциях CVPR и ICCV | Ди Ун Пак

Для надежного управления и построения карты автономными роботами проблемой является наличие прозрачных, стеклянных и зеркальных объектов в помещениях. Сенсоры робота (камеры или лидары) просто не видят подобных препятствий. Это затрудняет решение задачи навигации и создает угрозу столкновения. Решением такой проблемы активно занимается и Центр когнитивного моделирования МФТИ.

В ходе семинара будет сделан обзор современных методов распознавания зеркал и стекол на изображениях, в том числе опубликованных на самых авторитетных конференциях по компьютерному зрению CVPR и ICCV. Отдельное внимание будет уделено новым открытым программным реализациям этих подходов.

👉🏻 Дата: 7.10.21, четверг в 17:00

💬 Трансляция Zoom: https://clck.ru/XZbu3
📹 Трансляция Youtube: https://clck.ru/XZbqq

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

⚡️ — Начинаем семинар, присоединяйтесь!
https://www.youtube.com/watch?v=6kdpFufFfDI

​​🎓 — Семинар 5. Reinforcement Learning: Kinodynamic Motion Planning | Брайн Ангуло

В последнее время применение обучения с подкреплением в задачах планирования вызывает всё больше интерес у исследователей. С одной стороны в задачах кинодинамического планирования требуется учитывать динамику робота (автомобиля), что сам по себе уже является трудной задачей, а с другой стороны необходимо избегать коллизию со статическими и динамическими препятствиями.

Классические методы планирования решают эти подзадачи по отдельности, однако методы на основе обучения с подкрепления обьединяют их в одно целое, что упрощает задачу в целом и позволяет давать более качественные и безопасные решения. Кроме того, благодаря развитию симуляторов для автономной навигации применение обучения с подкреплением в задачах планирования становится более перспективным.

В ходе семинара будет сделан обзор современных подходов применения обучения с подкреплением в задачах планирования, опубликованных в самых престижных концеренциях по робототехнике как IROS и ICRA. Также Брайн расскажет про исследования локального планирования на основе обучения с подкреплением в задачах парковки. Покажем текущие результаты и расскажем про дальнейшее направление наших исследований.

👉🏻 Дата: 14.10.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

Приглашаем поучаствовать в активностях конференции «Нейроинформатика-2021», которая состоится 18-22 октября 2021 года в МИФИ в смешанном online-offline формате!

Программа: http://neuroinfo.ru/index.php/ru/schedule.

Видеотрансляция докладов будет в youtube: https://youtu.be/W8gsqcCPzhE

На конференции пройдет два воркшопа от команды нашего Центра http://neuroinfo.ru/index.php/ru/industrial:

- В среду 20 октября с 18:30 до 20:30 "Интеграция нейросетевых модулей в операционную систему роботов" (Илья Белкин, Дмитрий Юдин)
- В четверг 21 октября с 18:30 до 20:30 "Глубокое обучение с подкреплением для навигации в помещении" (Алексей Староверов, Александр Панов)

Видеотрансляции будут по ссылке 👉🏻https://www.youtube.com/channel/UC8UsNfjhqJW1d0ryvU-p3qw

⚡— Нейроинформатика 2021 | Воркшопы от индустриальных партнеров: https://youtu.be/WTNrNFRCG68

🎓 — Семинар 6. Распознавание любых динамических объектов на изображениях бортовых камер или облаках точек лидаров | Сергей Линок, Андрей Криштопик

В ходе семинара будет сделан обзор подходов к распознаванию динамических объектов с использованием нейросетей, а также детектирование динамических объектов и определение их скоростей по данным различных датчиков с помощью аналитических методов.

В том числе будет проведен краткий обзор статей на ведущих конференциях CVPR, ICCV, IROS, ICRA - где сформулирована проблематика работы с произвольными объектами и предложены методы решения на основе комбинированного использования оптического потока, глубины и положения камеры на последовательности кадров.

👉🏻 Дата: 21.10.21, четверг в 17:00

💬 Трансляция Zoom: https://vk.cc/c5W7rA
📹 Трансляция Youtube: https://vk.cc/bXpFy9

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

💡 — Воркшоп на конференции Нейроинформатика-2021: "Интеграция нейросетевых модулей в операционную систему роботов" в 19.00

Спикеры:
🗣—Илья Вячеславович Белкин – сотрудник ООО «ИнтеграНТ», аспирант Московского физико-технического института

🗣—Дмитрий Александрович Юдин – кандидат технических наук, заведующий Лабораторией интеллектуального транспорта в Московском физико-техническом институте, зам. руководителя Научно-образовательного центра когнитивного моделирования, руководитель исследовательских проектов научно-исследовательского Института искусственного интеллекта

На воркшопе будут рассмотрены особенности интеграции нейросетевых моделей распознавания изображений, обученных с помощью фреймворка глубокого обучения PyTorch, в операционную систему роботов ROS. Будут отмечены различия программной реализации для различных версий ROS1 и ROS2. Особое внимание будет уделено работе с нейронными сетями семантической сегментации изображений.

📹 Youtube: https://youtu.be/-Q4iLFDTpSE

💡 — Воркшоп на конференции Нейроинформатика-2021: "Глубокое обучение с подкреплением для навигации в помещении" в 19.00

Спикеры:
🗣—Алексей Витальевич Староверов – ведущий исследователь в Институте искусственного интеллекта, инженер-исследователь ФИЦ ИУ РАН, аспирант Московского физико-технического института

🗣—Александр Игоревич Панов – кандидат физико-математических наук, доцент, руководитель Научно образовательного центра когнитивного моделирования Московского физико-технического института, заведующий отделом в Федеральном исследовательском центре «Информатика и управление» Российской академии наук, руководитель направления в Институте искусственного интеллекта

На воркшопе будут рассмотрены особенности интеграции нейросетевых моделей распознавания изображений, обученных с помощью фреймворка глубокого обучения PyTorch, в операционную систему роботов ROS. Будут отмечены различия программной реализации для различных версий ROS1 и ROS2. Особое внимание будет уделено работе с нейронными сетями семантической сегментации изображений.

📹 Youtube: https://youtu.be/HMTiwD5MghY