🎥Запись доклада Павла Коршунова на ютуб.

А на следующей неделе пройдет вебинар на тему "Эффективные Трансформеры для длинных последовательностей".

Спикер: Валерий Лихошерстов, Кембриджский университет, Кембридж, Великобритания; рисерч Google.

Когда и во сколько: 14 сентября в 17:00 (МСК).

Валерий о вебинаре
Последние годы Трансформеры показывают очень хорошие результаты в различных задачах, включая анализ естественных языков, компьютерное зрение, моделирование протеинов, и т д. К сожалению, сложность вычисления Трансформеров растет квадратично (O(L^2)) с ростом длины последовательности L. На вебинаре мы обсудим зоопарк недавно предложенных методов для уменьшения вычислительной сложности Трансформеров по времени и памяти вплоть до O(L) и даже O(1).

➡️Регистрация

🎥Запись выступления Валерия Лихошерстова.

В следующий вторник, 28 сентября, Денис Катеренчук выступит с докладом "Анализ социальных сетей: определение влияния пользователя с помощью лингвистического анализа"

Спикер: Денис Катеренчук, Университет Города Нью-Йорк, Нью Йорк, США.

Когда и во сколько: 28 сентября в 18:00 (МСК).

Денис о вебинаре
С ростом популярности социальных сетей, миллионы пользователей создают отношения и строят онлайн сообщества с своими лидерами и последователями. Распознавание этих иерархических отношений является важной задачей, потому что это поможет понять социальные сети, предсказать будущие тенденции, улучшить рекомендации, рекламу, и повысить безопасность. В этой работе мы представляем методы основанные на отличиях в стиле общения которые раскрывают информацию о пользователях.

➡️Регистрация

🎥Запись доклада Дениса Катеренчука.

Завтра, 5 октября, пройдет вебинар на тему “Векторно-символьные архитектуры: Искусственный Интеллект на тысячеразмерных случайных векторах”.

Спикер: Евгений Осипов, Технический Университет Лулео, г. Лулео, Швеция.

Когда и во сколько: 5 октября в 12:00 (МСК).

Евгений о вебинаре
Векторно-символьные архитектуры (VSA) - это семейство коннекционистских вычислительных моделей. VSA, также известны как гиперразмерные вычисления, используются для представления концепций (букв, фонем, сложных структур данных) и их значений с использованием принципов распределенного представления данных. Термин "гиперразмерные вычисления" основан на наблюдении, что ключевые аспекты человеческой памяти, восприятия и познания могут быть объяснены математическими свойствами многомерных пространств (теория концентрации меры). Утверждается, что VSA обладают свойствами которые позволят сократить разрыв между символьным и нейросетевым подходом к созданию систем искусственного интеллекта.

Особенный интерес представляет возможность использования VSA как алгоритмическую абстракцию для разработки новых систем искусственного интеллекта на нетрадиционных (нейроморфных) вычислительных архитектурах. В моем докладе я рассмотрю основные принципы векторно-символьных архитектур, их приложения а также некоторые аспекты использования VSA для вычислений на нейроморфных процессорах.

➡️Регистрация

🎥Запись выступления Евгения Осипова.

📊Презентация Евгения.

В следующий вторник Максим Подкорытов выступит с докладом “Влияние архитектуры и процесса обучения на геометрические свойства векторных представлений модели BERT”.

Спикер: Максим Подкорытов, Университет штата Флорида, Таллахасси, Флорида, США.

Когда и во сколько: 12 октября в 17:00 (МСК).

Максим о вебинаре
Модель BERT в свое время показала наилучший результат в нескольких задачах обработки естественного языка. Однако, причины эффективности этой модели недостаточно исследованы. В нашей работе мы устанавливаем, как архитектура и процесс обучения (а именно, моделирование языка с восстановлением случайно испорченных слов) влияют на геометрические свойства векторных представлений модели, и исследуем пригодность промежуточных представлений для задач классификации.

➡️Регистрация

🎥Запись выступления Максима Подкорытова.

В следующий вторник Павел Коршунов выступит с докладом “Распознавание дипфейков: люди против машин”.

Спикер: Павел Коршунов, Исследовательский институт Idiap, Мартиньи, Швейцария.

Когда и во сколько: 19 октября 2021, 14:00 МСК.

Павел о вебинаре
Практически каждый может сейчас сгенерировать реалистичный дипфейк. Уже существует много методов для распознавания дипфейков, но до сих пор непонятно насколько реалистичны дипфейки для обычного человека и справляются ли алгоритмы лучше с их распознаванием. В контексте этого вебинара, мы сравним насколько люди, из результатов субъективного исследования 60-ти человек, лучше или хуже определяют дипфейки по сравнению с двумя моделями распознавания дипфейков.

Публикации по теме:

1. P. Korshunov and S. Marcel, "Subjective and objective evaluation of deepfake videos", ICASSP 2021.

https://publications.idiap.ch/index.php/publications/show/4543



2. A. Jain, P. Korshunov and S. Marcel, "Improving Generalization of Deepfake Detection by Training for Attribution", MMSP 2021.

https://publications.idiap.ch/index.php/publications/show/4635



3. P. Korshunov and S. Marcel, "Vulnerability assessment and detection of Deepfake videos", IJCB 2019

https://publications.idiap.ch/index.php/publications/show/4122

➡️Регистрация

Вебинар Павла Коршунова про распознавание дипфейков начнется через 10 минут!
https://us02web.zoom.us/webinar/register/2016215990886/WN_-LznlRyJTeGz4GLJlcdHrg

В следующий вторник Лидия Пивоварова выступит с докладом “Автоматическое определение изменения значений слов”.

Спикер: Лидия Пивоварова, Университет Хельсинки, Хельсинки, Финляндия.

Когда и во сколько: 26 октября 2021, 12:00 МСК.

Лидия о вебинаре:
В докладе будет представлен обзор недавних работ по автоматическому диахроническому анализу языка, в первую очередь по выявлению слов, изменивших свои значения. Представленные в докладе методы базируются на различных принципах: дистрибутивных векторных моделях и грамматических признаках слов. Также будут затронуты возможные приложения диахронического анализа за пределами лингвистики.

➡️Регистрация

🎥Запись вебинара с Павлом Коршуновым о распознавании дипфейков.

🎥Доклад Лидии Пивоваровой.

В следующий вторник пройдет вебинар на тему “IGLU: Interactive Grounded Language Understanding in a Collaborative Environment”.

Спикерка: Юлия Киселёва, Microsoft Research, Redmond, Вашингтон, США.

Когда и во сколько: 2 ноября в 18:00 (МСК).

Язык вебинара: английский.

Юлия о вебинаре
Human intelligence has the remarkable ability to quickly adapt to new tasks and environments. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research in this direction, we propose \emph{IGLU: Interactive Grounded Language Understanding in a Collaborative Environment}. The primary goal of the competition is to approach the problem of how to build interactive agents that learn to solve a task while provided with grounded natural language instructions in a collaborative environment.

➡️Регистрация

📚Материалы: https://arxiv.org/abs/2110.06536

🎥Выступление Юлии Киселевой 2 ноября.

Уже завтра пройдет вебинар “Оффлайн обучение RL агентов по демонстрациям и неразмеченным данным”.

Спикер: Александр Новиков, DeepMind, Лондон, Великобритания.

Когда и во сколько: 9 ноября в 17:00 (МСК).

Александр о вебинаре
Behavior cloning (BC) хорошо справляется с задачей imitation learning так как делает возможным обучение политики оффлайн и без доступа к ревордам, с помощью обучения с учителем на демонстрациях решения целевой задачи. Однако на практике часто доступно лишь небольшое число демонстраций высокого качества (и их не хватает для обучения с помощью BC), но дополнительно имеется большой корпус траекторий смешанного качества которые не могут быть напрямую использованы для BC обучения. Такие траектории могут быть получены с помощью записи демонстраций людей которые решают другую задачу, траекторий простых политик основанных на правилах, или траекторий других RL агентов исполняющихся на той же среде / роботе.

В данном докладе я разберу несколько трюков позволяющих эффективно использовать такие данные для обучения оффлайн RL агентов. Основная идея заключается в том, чтобы сначала выучить реворд функцию контрастируя демонстрации и неразмеченные данные, затем аннотировать все данные обученной реворд функцией и наконец обучить агента с помощью оффлайн RL методов.

➡Регистрация

🎥Запись вебинара с Александром Новиковым из DeepMind.

16 ноября состоится вебинар «Надежность систем обработки естественного языка»

Спикерка: Екатерина Филиппова, Google Research Berlin, Берлин, Германия.

Когда и во сколько: 16 ноября 14:00 (MCK)

❗️Важно: записи вебинара и презентации не будет.

Екатерина о работе:
В докладе речь пойдет о необходимости повышения надежности систем обработки естественного языка. Определив надежность и то, как она связана с доверием (пользователей), я приведу примеры того, как эти определения можно применить в области языковых технологий. После этого я приведу примеры из недавних публикаций моих коллег, направленных на то, чтобы лучше понять используемые в наши дни модели и их слабые стороны и сделать их менее подверженными разнообразным рискам.

➡Регистрация

Уже завтра Юрий Землянский выступит с темой «Полупараметрические методы извлечения и представления знаний из текста».

Спикер: Юрий Землянский, Южно-Калифорнийский университет, Лос-Анджелес, Калифорния, США.

Когда и во сколько: 23 ноября в 18:00 (MCK).

О вебинаре
Некоторые задачи обработки естественного языка требуют использования информации из разрозненных мест в тексте. Современные методы на основе модели Transformer могут одновременно обрабатывать ввод только ограниченного размера. Это затрудняет их использование в задачах с большим объемом ввода, такие как ответы на вопросы по книгам или Википедии. Мы решаем эту проблему с помощью полупараметрического метода извлечения и представления информации из текста. Наш метод представляет знания с помощью «Таблицы Упоминаний», которая содержит многомерную кодировку для каждого упоминания именованной сущности в тексте. Мы интегрируем таблицу упоминаний в Transformer модель, что позволяет нам комбинировать и использовать информация из по множества разрозненных источников в тексте. Мы применяем нашу модель на задачах с вопросами по целым книгам (https://aclanthology.org/2021.naacl-main.408) или с вопросами по всей Википедии (https://arxiv.org/abs/2110.06176 ).

➡Регистрация

📚Дополнительная информация:
Личный сайт — https://urikz.github.io
Статьи по докладу — ReadTwice (https://aclanthology.org/2021.naacl-main.408) и MentionMemory (https://arxiv.org/abs/2110.06176).

🎥Полупараметрические методы извлечения и представления знаний из текста