Записи вебинаров от 1 и 15 июня доступны на youtube.

Современные Хопфилдовские нейронные сети в машинном обучении и нейробиологии - Дмитрий Кротов, MIT-IBM Watson AI Lab, IBM Research, США.

Tsallis-INF: Оптимальные алгоритмы для стохастических и адверсарных многоруких бандитов - Евгений Сельдин, Копенгагенский Университет, Копенгаген, Дания.

Запись вчерашнего выступления Максима Баженова о сне, памяти и искусственном интеллекте: https://youtu.be/r2O7UMlTDJY

Завтра, 29 июня в 12:00 (МСК), пройдет вебинар на тему “Измерение Compositional Generalization: комплексная методика на реалистичных данных”.

Спикер: Дмитрий Царьков, Google, Цюрих, Швейцария.

Современные методы машинного обучения демонстрируют ограниченную способность к композиционному обобщению (compositional generalization). В то же время отсутствуют реалистичные бенчмарки для полноценной измерения такой способности. Мы представляем новый метод для систематического построения таких тестов, максимизируя составную дивергенцию (compound divergence), гарантируя при этом небольшое расхождение атомов между обучающими и тестовыми наборами, и мы количественно сравниваем этот метод с другими подходами для создания композиционных обобщающих тестов. Мы представляем большой и реалистичный набор данных с ответами на вопросы на естественном языке, построенный в соответствии с этим методом, и используем его для анализа способности к композиционному обобщению трех архитектур машинного обучения. Мы обнаружили, что они не могут обобщать композиционно и что существует сильная отрицательная корреляция между составной дивергенцией и точностью.

➡️Регистрация

6 июля в 12:00 по Москве Константин Соболев из Сколковского Института Науки и Технологий расскажет о сжатии и ускорении сверточных нейронных сетей.

О вебинаре
За последнее десятилетие сверточные нейронные сети получили широкое распространение в большом спектре задач компьютерного зрения. Однако, их эффективному применению для решения практических задач мешает ряд недостатков: высокая вычислительная сложность, большие затраты памяти и энергии. В докладе мы рассмотрим методы, позволяющие нивелировать данные недостатки и сделать возможным использование сверточных нейросетей на устройствах с ограниченными ресурсами.

➡️Регистрация

Запись вебинара о ускорении и сжатии сверточных неронных сетей доступна тут. К сожалению, запись начинается не с начала выступления, поэтому мы попросили Константина прислать нам его презентацию. Если у вас возникнут вопросы к докладу, можем поделиться почтой спикера - для этого пишите в лс @ivanoim.

Презентация Константина: https://drive.google.com/drive/u/0/folders/1AGoWLsuFZkBTj-7m5o7tu4LxA-jY5Ft5

Завтра в 10:00 по Москве пройдет вебинар на тему "TAO: альтернативный метод обучения эффективных древовидных моделей с высокой точностью".

Спикер: Арман Жармагамбетов, Калифорнийский университет в Мерседе, штат Калифорния, США.

Арман о вебинаре
В этом семинаре я представлю новый алгоритм для обучения деревьев решений и моделей на их основе - Tree Alternating Optimization (TAO); Несмотря на свою простоту, алгоритм показал высокую эффективность в ряде задач. В частности, мы продемонстрировали, что обыкновенный ансамбль деревьев (Random Forests), где каждое дерево обучается алгоритмом TAO, превосходит state-of-the-art методы на основе деревьев (например, XGBoost). Более того, алгоритм легко обобщается для обучения более сложных деревообразных структур, например, гибридов деревьев решений и нейронных сетей.

➡️Регистрация

🎥Запись выступления Армана на тему Tree Alternating Optimization уже на ютьюб.

Уже завтра Татьяна Лихоманенко из Facebook AI Research выступит с докладом "slimIPL: Итеративная псевдо-разметка без использования лингвистической модели".

Когда и во сколько: 20 июля в 12:00 (МСК).

Спикер: Татьяна Лихоманенко, Facebook AI Research, Менло-Парк, Калифорния, США.

О вебинаре
В последнее время псевдо-разметка для обучения с частичным учителем продемонстрировала свою эффективность для распознавания речи. Было также показано, что итеративная псевдо-разметка (IPL), которая учит непрерывно одну модель с помощью псевдо-разметки, итеративно сгенерированной в течение обучения этой модели, далее улучшает качество распознавания речи. В текущей работе мы улучшили IPL алгоритм: во время обучения модели мы итеративно генерируем транскрипцию для аудио с помощью hard меток (наиболее вероятностный токен) без использования лингвистической модели.

Один из ключевых компонентов предложенного алгоритма slimIPL - это динамический кэш для псевдо-разметки, который уменьшает чувствительность к гиперпараметрам псевдо-разметки и стабилизирует обучение. slimIPL очень эффективен и требует 3.5-4x меньше вычислительных ресурсов для обучения чем другие state-of-the-art методы.

При использовании только 10 часов размеченных данных slimIPL показывает близкие результаты к state-of-the-art; без использования какой бы то ни было лингвистической модели во время тестирования и генерации псевдо-разметки slimIPL является state-of-the-art при использовании 100 часов размеченных данных.

📚Материалы: https://arxiv.org/abs/2010.11524

➡️Регистрация

🎥Выступление Татьяны Лихоманенко из Facebook AI Research на ютуб.

Завтра, 27 июля в 14:00 (МСК), Лейла Мирвахабова из Сколковского института науки и технологий выступит с докладом на тему "Гиперболические эмбеддинги для задач классификации изображений".

О вебинаре
В этом докладе я расскажу про нашу статью об эмбеддингах изображений в гиперболическое пространство. Обычно в задачах компьютерного зрения используются Евклидовы или сферические эмбеддинги; в нашей статье мы предложили искать эмбеддинги изображений в гиперболическом пространстве.

Сначала я немного поговорю о ранее предложенных методах машинного обучения, использовавшие вложения в гиперболические пространства, потом коротко расскажу об обучении на датасетах с малым количеством примеров на каждый класс (few-shot learning), и, наконец, мы обсудим наши эксперименты.

➡️Регистрация

📚Статья: https://openaccess.thecvf.com/content_CVPR_2020/papers/Khrulkov_Hyperbolic_Image_Embeddings_CVPR_2020_paper.pdf

🎥Выступление Лейлы на тему гиперболических эмбеддингов для задач классификации изображений на ютьюбе.

А мы уходим в небольшой отпуск на месяц. Встретимся в сентябре!

🔔Мы вернулись из отпуска и готовы анонсировать наш следующий вебинар!

Тема: Решена ли проблема обнаружения речевых спуфинг атак?
Спикер: Павел Коршунов, Исследовательский институт Idiap, Мартиньи, Швейцария.
Когда и во сколько: 7 сентября в 14:00 (МСК).

Спикер о вебинаре
Исследования в области голосовых биометрических систем развились настолько, что они потихоньку начинают становиться частью практических индустриальных приложений и процессов. Но повсеместное использование этих систем тормозиться, из-за того что они могут быть легко обмануты с помощью спуфинг атак. В контексте этого вебинара, мы рассмотрим разные подходы и системы для обнаружения спуфинг атак, включая относительно простые модели на основе смеси гауссовских распределений, большие ансамбли разных систем обнаружения атак и модели на основе нейронных систем. Мы также сравним как хорошо разные системы справляются с обнаружением известных и неизвестных атак, а так же как хорошо они работают в контексте одного или нескольких независимых массивов данных.


➡️Регистрация


📚Материалы:
1. P. Korshunov and S. Marcel, "Cross-database evaluation of audio-based spoofing detection systems", Interspeech 2016.
https://infoscience.epfl.ch/record/219837?ln=en

2. P. Korshunov et al. (16 co-authors), "Overview of BTAS 2016 Speaker Anti-spoofing Competition", IEEE International Conference on Biometrics Theory, Applications and Systems (BTAS), 2016.
http://publications.idiap.ch/index.php/publications/show/3348

3. P. Korshunov and S. Marcel, "Joint Operation of Voice Biometrics and Presentation Attack Detection", IEEE International Conference on Biometrics Theory, Applications and Systems (BTAS), 2016.
https://infoscience.epfl.ch/record/223043?ln=en

4. P. Korshunov and S. Marcel, "Impact of score fusion on voice biometrics and presentation attack detection in cross-database evaluations", IEEE Journal of Selected Topics in Signal Processing, Volume: 11, Issue: 4, June 2017.
https://infoscience.epfl.ch/record/231127?ln=en

5. A. Goncalves, P. Korshunov, R. Violato, F. Simoes, S. Marcel, "On the Generalization of Fused Systems in Voice Presentation Attack Detection", BIOSIG 2017.
http://publications.idiap.ch/index.php/publications/show/3682

6. H. Muckenhirn, P. Korshunov, M. Magimai.-Doss, S. Marcel, "Long Term Spectral Statistics for Voice Presentation Attack Detection", IEEE/ACM Transactions on Audio, Speech, and Language Processing, Volume: 25, Issue: 11, Nov. 2017.
http://publications.idiap.ch/index.php/publications/show/3541

7. P. Korshunov, A. Goncalves, R. Violato, F. Simoes, S. Marcel, "On the Use of Convolutional Neural Networks for Speech Presentation Attack Detection", ISBA 2018.
http://publications.idiap.ch/index.php/publications/show/3779

8. P. Korshunov and S. Marcel, "A Cross-database Study of Voice Presentation Attack Detection", Chapter in Handbook of Biometric Anti-Spoofing: Presentation Attack Detection, 2nd Edition, 2018.
http://publications.idiap.ch/index.php/publications/show/3987

🎥Запись доклада Павла Коршунова на ютуб.

А на следующей неделе пройдет вебинар на тему "Эффективные Трансформеры для длинных последовательностей".

Спикер: Валерий Лихошерстов, Кембриджский университет, Кембридж, Великобритания; рисерч Google.

Когда и во сколько: 14 сентября в 17:00 (МСК).

Валерий о вебинаре
Последние годы Трансформеры показывают очень хорошие результаты в различных задачах, включая анализ естественных языков, компьютерное зрение, моделирование протеинов, и т д. К сожалению, сложность вычисления Трансформеров растет квадратично (O(L^2)) с ростом длины последовательности L. На вебинаре мы обсудим зоопарк недавно предложенных методов для уменьшения вычислительной сложности Трансформеров по времени и памяти вплоть до O(L) и даже O(1).

➡️Регистрация

🎥Запись выступления Валерия Лихошерстова.

В следующий вторник, 28 сентября, Денис Катеренчук выступит с докладом "Анализ социальных сетей: определение влияния пользователя с помощью лингвистического анализа"

Спикер: Денис Катеренчук, Университет Города Нью-Йорк, Нью Йорк, США.

Когда и во сколько: 28 сентября в 18:00 (МСК).

Денис о вебинаре
С ростом популярности социальных сетей, миллионы пользователей создают отношения и строят онлайн сообщества с своими лидерами и последователями. Распознавание этих иерархических отношений является важной задачей, потому что это поможет понять социальные сети, предсказать будущие тенденции, улучшить рекомендации, рекламу, и повысить безопасность. В этой работе мы представляем методы основанные на отличиях в стиле общения которые раскрывают информацию о пользователях.

➡️Регистрация

🎥Запись доклада Дениса Катеренчука.

Завтра, 5 октября, пройдет вебинар на тему “Векторно-символьные архитектуры: Искусственный Интеллект на тысячеразмерных случайных векторах”.

Спикер: Евгений Осипов, Технический Университет Лулео, г. Лулео, Швеция.

Когда и во сколько: 5 октября в 12:00 (МСК).

Евгений о вебинаре
Векторно-символьные архитектуры (VSA) - это семейство коннекционистских вычислительных моделей. VSA, также известны как гиперразмерные вычисления, используются для представления концепций (букв, фонем, сложных структур данных) и их значений с использованием принципов распределенного представления данных. Термин "гиперразмерные вычисления" основан на наблюдении, что ключевые аспекты человеческой памяти, восприятия и познания могут быть объяснены математическими свойствами многомерных пространств (теория концентрации меры). Утверждается, что VSA обладают свойствами которые позволят сократить разрыв между символьным и нейросетевым подходом к созданию систем искусственного интеллекта.

Особенный интерес представляет возможность использования VSA как алгоритмическую абстракцию для разработки новых систем искусственного интеллекта на нетрадиционных (нейроморфных) вычислительных архитектурах. В моем докладе я рассмотрю основные принципы векторно-символьных архитектур, их приложения а также некоторые аспекты использования VSA для вычислений на нейроморфных процессорах.

➡️Регистрация

🎥Запись выступления Евгения Осипова.

📊Презентация Евгения.

В следующий вторник Максим Подкорытов выступит с докладом “Влияние архитектуры и процесса обучения на геометрические свойства векторных представлений модели BERT”.

Спикер: Максим Подкорытов, Университет штата Флорида, Таллахасси, Флорида, США.

Когда и во сколько: 12 октября в 17:00 (МСК).

Максим о вебинаре
Модель BERT в свое время показала наилучший результат в нескольких задачах обработки естественного языка. Однако, причины эффективности этой модели недостаточно исследованы. В нашей работе мы устанавливаем, как архитектура и процесс обучения (а именно, моделирование языка с восстановлением случайно испорченных слов) влияют на геометрические свойства векторных представлений модели, и исследуем пригодность промежуточных представлений для задач классификации.

➡️Регистрация

🎥Запись выступления Максима Подкорытова.