Запись вебинара с Ильей Куликовым на ютубе.

Завтра, 11 мая в 15:00 по Москве, состоится вебинар
"Избыточный риск стабильных обучающих алгоритмов".

Спикер: Егор Клочков, Кембриджский Университет, Кембридж, Великобритания.

Егор о вебинаре
Наиболее точные из известных оценок обобщения с высокой вероятностью для равномерно устойчивых алгоритмов (Фельдман, Вондрак, NeurIPS 2018, COLT, 2019), (Буске, Клочков, Животовский, COLT, 2020) содержат неизбежный член ошибки выборки порядка Θ (1 / √n). Применительно к оценкам избыточного риска это приводит к неоптимальным результатам в нескольких стандартных задачах выпуклой оптимизации. Мы поговорим о том как этого члена можно избежать, если выполняется так называемое условие Бернштейна, и оценки избыточного риска порядка O (1 / n) станут возможны благодаря равномерной устойчивости. Используя этот результат, мы покажем оценки избыточного риска порядка O (log n / n) для сильно выпуклых и липшицевых потерь, действительную для любого эмпирического метода минимизации риска. Это решает вопрос поставленный Шалев-Шварцем, Шамиром, Сребро и Шридхарана (COLT, 2009). Доклад основан на совместной работе с Никитой Животовским и Оливье Буске.

➡️Регистрация

Все знают, что SVM придумал Владимир Вапник с коллегами. Меньше людей знает, что Вапник основными своими работами считает работы по статистической теории машинного обучения. Как раз ее традиционно много критиковали за то, что оценки скорости сходимости алгоритмов, которые она дает, заметно медленнее, чем они на самом деле сходятся. Еще меньше людей знают, что в последние несколько лет происходит быстрое продвижение в этой области, и новые оценки скорости сходимости намного интереснее. Наверное, самые интересные оценки скорости сходимости получены в последнее время Егором Клочковым из Кембриджа, который и будет про это рассказывать на очередном вебинаре НТР и Высшей ИТ-школы ТГУ сегодня, 11 мая, в 15:00 МСК.

Регистрация на вебинар тут.

Начинаем!

Для тех, кто вчера не смог присоединиться к вебинару, уже выложили запись выступления Егора Клочкова на youtube. :)

🔥18 мая Дмитрий Ветров из НИУ ВШЭ выступит со второй частью доклада и расскажет о перспективах ансамблирования нейросетей. Начало в 14:00 по Москве.

Дмитрий о вебинаре
Во второй части доклада мы поговорим о том, что может являться причиной разрыва между предсказаниями теории и эмпирически наблюдаемыми результатами. Затем мы обсудим различные подходы к ансамблированию нейронных сетей и сравним их с точки зрения качества оценки неопределенности собственного прогноза. В заключении мы обсудим интересные закономерности, возникающие в попытке ответить на вопрос что лучше - обучить одну большую или много маленьких нейросетей.

➡️Регистрация.

Напомню, что в апреле Дмитрий выступил у нас с темой "Необычные свойства функции потерь в глубинном обучении". Освежить в памяти содержание доклада можно здесь :)

Запись вебинара с Дмитрием Ветровым о перспективах ансамблирования нейросетей.

А сегодня в 13:00 (МСК) Марина Фомичева из Университета Шеффилда в Великобритании расскажет о автоматической оценке качества машинного перевода без использования реферальных значений.

Марина о вебинаре
Большинство современных подходов к автоматической оценке систем генерации естественного языка (NLG) рассматривают оцениваемую модель как черный ящик. В этом выступлении я представлю альтернативный подход, в котором мы заглядывает внутрь модели, чтобы получить представление о качестве сгенерированных выходных данных, на примере нейронного машинного перевода (MT). Благодаря использованию последних достижений в области оценки неопределенности для нейронных сетей, мы предлагаем метод, который не требует дополнительных ресурсов или данных для обучения и в то же время обеспечивает точность, сопоставимую со специализированными системами оценки качества перевода.

➡️Регистрация

Вебинар от 25 мая с Мариной Фомичевой уже на ютуб.

29 апреля 2020 года НТР и Высшая IT-школа ТГУ провели первый научно-технический вебинар. Первые вебинары имели формат закрытого мероприятия, который позволял спикерам рассказывать про свои успехи в профессиональной деятельности перед небольшой аудиторией слушателей.

26 мая 2020 года НТР впервые опубликовала вебинар в открытом доступе. С этого момента мы стали приглашать спикеров с разных уголков планеты, которые готовы рассказать о своей работе перед большим количеством слушателей.

Сегодня мы хотим показать краткую статистику за год.

✅29 вебинаров
✅30 спикеров
✅15 спикеров проживают в России
✅9 спикеров из Северной Америки, 6 - из Европы
✅500 зарегистрировавшихся слушателей
✅около 200 подписчиков в Telegram-канале и около 150 в YouTube-канале

✅Дмитрий Ветров - самый популярный спикер по количеству слушателей вебинара и зрителям YouTube-канала. На первый вебинар Дмитрия “Необычные свойства функции потерь в глубинном обучении” 13.04.21 подключилось 100 слушателей. А запись вебинара на YouTube просмотрело более 600 пользователей за 1 месяц.
✅Национальный политехнический институт г.Мехико и Томский Государственный Университет - самые популярные ВУЗы среди спикеров.
✅НТР - самая популярная компания среди спикеров.

Мы благодарим всех причастных: организаторов, спикеров и слушателей. Двигаемся дальше!

На следующей неделе, 1 июня в 17:00 (МСК), пройдет вебинар “Современные Хопфилдовские нейронные сети в машинном обучении и нейробиологии”.

Спикер: Дмитрий Кротов, MIT-IBM Watson AI Lab, IBM Research, Кембридж, штат Массачусетс, США.

Дмитрий о вебинаре
Современный Хопфилдовские Сети, или модели Плотной Ассоциативной Памяти, представляют собой нейронные сети с набором фиксированных точек аттракторов к которым сходится реккуррентная динамическая траектория в пространстве нейтронных состояний. В отличие от классических Хопфилдовских сетей, их современная модификация позволяет записывать и хранить экспоненциально большое количество памятей. Благодаря этому, с их помощью можно решать многие интересные задачи в машинном обучении и использовать эти математические модели для описания биологической памяти. Я расскажу про математическую теорию этих моделей и про конкретные задачи где эти идеи оказываются полезными. Я также приведу примеры этих моделей которые сводятся в предельных случаях к нейронным сетям которые используются на практике (например механизм внимания в трансформерах).

➡️Регистрация

📚Дополнительные материалы
Идеи, которые Дмитрий будет обсуждать на вебинаре, были упомянуты в нескольких статьях ранее. Две наиболее актуальные статьи:
▪️ Krotov & Hopfield “Large Associative Memory Problem in Neurobiology and Machine Learning”, ICLR 2021, https://arxiv.org/abs/2008.06996
▪️ Krotov & Hopfield “Dense Associative Memory for Pattern Recognition”, NeurIPS 2016, https://arxiv.org/abs/1606.01164

Статьи, которые менее актуальны для вебинара, но имеют большое отношение к теме:
▪️ Demircigil et al, “On a model of associative memory with huge storage capacity”, J. Stat. Phys. 2017, https://arxiv.org/abs/1702.01929
▪️Ramsauer et al., “Hopfield Networks is All You Need”, ICLR 2021, https://arxiv.org/abs/2008.02217
▪️Widrich, et al., “Modern Hopfield Networks and Attention for Immune Repertoire Classification”, NeurIPS 2020, https://arxiv.org/abs/2007.13505
▪️Krotov & Hopfield "Dense Associative Memory Is Robust to Adversarial Inputs", Neural Computation 2018, https://direct.mit.edu/neco/article/30/12/3151/8426/Dense-Associative-Memory-Is-Robust-to-Adversarial

8 июня Дамир Пулатов расскажет о выборе алгоритма: как получить максимальную отдачу от вашего портфолио алгоритмов. Начало в 18.00 по Москве.

Дамир о работе:
Как это часто бывает на практике, алгоритмы имеют взаимодополняющую эффективность. Поэтому выбор правильного алгоритма или решателя для данной проблемы может сильно повлиять на то, сколько времени потребуется для решения этой конкретной проблемы. Выбор алгоритмов - это область исследований, которая автоматизирует процесс выбора алгоритмов для данного экземпляра задачи. Традиционно это делается путем рассмотрения алгоритмов как черных ящиков, где в процессе выбора известно только история прошлой производительности алгоритмов и свойства проблем. В нашей работе мы пытаемся автоматически охарактеризовать алгоритмы, чтобы улучшить процесс их выбора, что, в свою очередь, означает более быстрое и эффективное решение задач.

➡️Регистрация.

Сегодня Евгений Сельдин выступит на научно-техническом вебинаре НТР и Высшей IT-школы ТГУ. Будем снова говорить про многоруких бандитов.

⌚ Дата и время: 15 июня, 18.00 по Томску (14.00 по Москве)
📍Место встречи: Zoom. Ссылка на регистрацию: https://us02web.zoom.us/webinar/register/9316215944594/WN_cVRtsBX4SC-v_8qly5apdg
👤 Спикер: Евгений Сельдин, Копенгагенский Университет, Копенгаген, Дания
📖 Тема: Tsallis-INF: Оптимальные алгоритмы для стохастических и адверсарных многоруких бандитов
👅Язык мероприятия: английский.
🖊 Более подробное описание вебинара можно найти по ссылке: https://www.ntr.ai/webinar/nauchno-tehnicheskiy-vebinar-tsallis-inf-optimalnye-algoritmy-dlya-stohasticheskih-i-adversarnyh-mnogorukih-banditov
До встречи на вебинаре!

Через 5 минут начинаем!

Опыт может устареть после получения новой информации. Биологический мозг может изучать новую информацию почти непрерывно, а эксперименты показали, что сон играет важную роль в непрерывном обучении. На очередном научно-техническом вебинаре НТР&HITs ТГУ Максим Баженов из Калифорнийского университета в Сан-Диего обещает описать особенности и механизмы сна, а после этого представить новые результаты своей лаборатории по применению принципов сна для моделей искусственного интеллекта.

Дата: 22 июня, 14.00 по Томску (10.00 по Москве)
Тема: Сон, Память и Искусственный Интеллект
Регистрация: https://us02web.zoom.us/webinar/register/2016215990886/WN_yJ0Cq6RbRWS1rebOakfEag
Расписание вебинаров: https://www.ntr.ai/webinar

Записи вебинаров от 1 и 15 июня доступны на youtube.

Современные Хопфилдовские нейронные сети в машинном обучении и нейробиологии - Дмитрий Кротов, MIT-IBM Watson AI Lab, IBM Research, США.

Tsallis-INF: Оптимальные алгоритмы для стохастических и адверсарных многоруких бандитов - Евгений Сельдин, Копенгагенский Университет, Копенгаген, Дания.

Запись вчерашнего выступления Максима Баженова о сне, памяти и искусственном интеллекте: https://youtu.be/r2O7UMlTDJY

Завтра, 29 июня в 12:00 (МСК), пройдет вебинар на тему “Измерение Compositional Generalization: комплексная методика на реалистичных данных”.

Спикер: Дмитрий Царьков, Google, Цюрих, Швейцария.

Современные методы машинного обучения демонстрируют ограниченную способность к композиционному обобщению (compositional generalization). В то же время отсутствуют реалистичные бенчмарки для полноценной измерения такой способности. Мы представляем новый метод для систематического построения таких тестов, максимизируя составную дивергенцию (compound divergence), гарантируя при этом небольшое расхождение атомов между обучающими и тестовыми наборами, и мы количественно сравниваем этот метод с другими подходами для создания композиционных обобщающих тестов. Мы представляем большой и реалистичный набор данных с ответами на вопросы на естественном языке, построенный в соответствии с этим методом, и используем его для анализа способности к композиционному обобщению трех архитектур машинного обучения. Мы обнаружили, что они не могут обобщать композиционно и что существует сильная отрицательная корреляция между составной дивергенцией и точностью.

➡️Регистрация

6 июля в 12:00 по Москве Константин Соболев из Сколковского Института Науки и Технологий расскажет о сжатии и ускорении сверточных нейронных сетей.

О вебинаре
За последнее десятилетие сверточные нейронные сети получили широкое распространение в большом спектре задач компьютерного зрения. Однако, их эффективному применению для решения практических задач мешает ряд недостатков: высокая вычислительная сложность, большие затраты памяти и энергии. В докладе мы рассмотрим методы, позволяющие нивелировать данные недостатки и сделать возможным использование сверточных нейросетей на устройствах с ограниченными ресурсами.

➡️Регистрация