Начинаем вебинар, присоединяйтесь!

Когда: 7 декабря 2021, 12:00 (MCK).
Спикер: Максим Панов, Сколтех, Москва, Россия
Тема: Оценка неопределенности: может ли ваша нейронная сеть оценить степень уверенность в своих прогнозах?

О вебинаре
Нейронные сети показывают очень хорошие результаты практически во всех приложениях машинного обучения. Однако нейронные сети часто делают очень уверенные прогнозы для данных, которые лежат вне выборки, или данных на границе между классами. Во многих приложениях это неприемлемо, и поэтому способность оценить степень уверенности в предсказании является крайне важной и востребованной. Однако оценка неопределенности для нейронных сетей является нетривиальной задачей, и существующие подходы демонстрируют не очень высокое качество и зачастую требуют значительных вычислительных ресурсов. На очередном научно-техническом вебинаре, который проводит НТР совместно с Высшей IT-школой ТГУ, Максим Панов из Сколтеха расскажет о существующих подходах к оценке неопределенности, включая методы калибровки моделей, методы построения ансамблей и байесовские нейронные сети. Особое внимание будет уделено современным численно эффективным подходам на основе одной нейронной сети, не требующим построения ансамбля и существенного изменения процедуры обучения.

➡Регистрация

🎥Запись вебинара с Максимом Пановым из Сколтеха.

14 декабря Людмила Прохоренкова выступит с докладом «Теоретический подход к выбору метрик качества в задачах классификации и кластеризации».

Спикерка: Людмила Прохоренкова, Яндекс, Москва, Россия.
Когда и во сколько: 14 декабря в 18:00 (МСК)

О вебинаре
Для сравнения алгоритмов обычно используются метрики качества. Например, в задаче классификации можно использовать точность, F-меру и другие метрики. Возникает вопрос – как выбрать метрику качества для данной задачи? Другими словами, можем ли мы как-то сравнивать между собой метрики? Мы подходим к этому вопросу с теоретической точки зрения – формируем список свойств, которыми должна обладать хорошая метрика, и теоретически проверяем эти свойства для популярных метрик. Помимо этого, мы получаем ряд интересных результатов. Например, мы доказываем, что не может существовать метрики, которая удовлетворяет всем свойствам сразу. Но если отказаться от одного из свойств, то можно предложить целое семейство метрик, которые удовлетворяют всем оставшимся свойствам. Доклад основан на статьях «Systematic analysis of cluster similarity indices: How to validate validation measures» (ICML 2021) и «Good Classification Measures and How to Find Them» (NeurIPS 2021).

➡Регистрация

21 декабря состоится вебинар «Анализ временных рядов: систематизация подходов».

Спикер: Юрий Яхно, Orion Innovation, Нижний Новгород, Россия.

Когда и во сколько: 21 декабря, 12:00 MCK

Юрий о работе:
Для анализа временных рядов до сих пор используется множество разных подходов, среди которых нет одного доминирующего, в отличие, например, от большинства задач обработки изображений или текста. Некоторые из этих подходов много лет развивались независимо в отдельных доменах, таких как эконометрика или моделирование физических процессов, а некоторые появились только с приходом машинного обучения в индустрию. На этом вебинаре я хочу рассказать об известных мне подходах, наметить их систематизацию, а главное получить обратную связь от сообщества. Если вы интересуетесь временными рядами, приходите поговорить!

➡Регистрация

💥После этого вебинара берём паузу на новогодние каникулы💥

🎥Выступление Людмилы Прохоренковой 14 декабря.

🎥Анализ временных рядов: систематизация подходов

Вовзращаемся после праздников в рабочую колею и двигаемся дальше!

Уже завтра пройдет вебинар «Аппроксимации нейронными сетями минимального размера: экзотические режимы и сверхвыразительные активации».

Спикер: Дмитрий Яроцкий, Сколтех, Москва, Россия.
Когда: 11 января в 16:00 МСК.

О вебинаре
Я расскажу про некоторые «экзотические» режимы, возникающие при теоретических исследованиях аппроксимаций функций нейронными сетями минимального размера. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции.

Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные «сверхвыразительные» наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не зависящим от точности). Этот результат тесно связан с теоремой Комогорова(-Арнольда) о представлении функций многих переменных. Примером сверхвыразительного наборя является {sin, arcsin}. При этом, обычно применяемые на практике функции активации не являются сверхвыразительными.

➡Регистрация

🎥Выступление Дмитрия Яроцкого из Сколтеха.

Завтра Михаил Белкин из Калифорнийского университета в Сан-Диего выступит с докладом «Чему учит глубокое обучение?».

Когда и во сколько: 18 января в 18:00 МСК.

О вебинаре
Модели с нулевой или околонулевой погрешностью на тренировочных данных классически считается «переобученными». Несмотря на это, такие модели постоянно используются в современной практике и хорошо обобщаются на новые данные. Я обсужу почему такое поведение противоречит классической теории обобщения, и о прогрессе в понимании и теоретическом описании основанном, в частносте, на кривой «двойного спуска».

➡Регистрация

📚Материалы:
Fit without fear: remarkable mathematical phenomena of deep learning through the prism of interpolation. Mikhail Belkin, Acta Numerica, Volume 30 , May 2021 , pp. 203 — 248, https://arxiv.org/abs/2105.14368.

🎥Доклад Михаила Белкина «Чему учит глубокое обучение?»

Всем привет!

Мы подготовили еще одну расшифровку для вас.

Сегодня это вебинар Максима Подкорытова о влиянии архитектуры и процесса обучения на геометрические свойства векторных представлений модели BERT.

Приятного чтения :)

Google-документ
PDF закреплен

Всем привет, помните вебинар Павла Коршунова из исследовательского института Idiap про распознавание дипфейков? Вы теперь можете ознакомиться с этим выступлением в виде текста:

Google-документ
PDF закреплён

Всем хороших выходных💥

Завтра состоится вебинар с Александром Гасниковым на тему «Седловые задачи и эффективные алгоритмы их решений».

Спикер: Александр Гасников, МФТИ, Москва, Россия.

Дата и время: 1 февраля в 14:00 МСК.

О вебинаре
В последние годы большой интерес к седловым задачам связан с популярностью генеративных состязательных сетей. В докладе будет дан обзор некоторых недавних достижений в разработке эффективных численных методов решения таких задач. Также будут описаны открытые задачи. Доклад будет носить теоретический характер. То есть основное внимание будет уделено именно вопросам, связанным с теорией (приложения можно будет посмотреть в приведенных в ходе доклада статьях).

➡Регистрация

📚Дополнительные материалы:
1. https://arxiv.org/pdf/2112.15199.pdf
2. https://proceedings.neurips.cc/paper/2021/file/44e65d3e9bc2f88b2b3d566de51a5381-Paper.pdf
3. https://arxiv.org/pdf/2110.03313.pdf
4. https://arxiv.org/pdf/2106.08315.pdf
5. https://arxiv.org/pdf/2106.07289.pdf
6. https://arxiv.org/pdf/2102.07758.pdf
7. https://arxiv.org/pdf/2010.13112.pdf
8. https://arxiv.org/pdf/2005.05913.pdf

🎥Вебинар с Александром Гасниковым из МФТИ.

Всем привет! Вот и новая статья на основе вебинара Александра Новикова из DeepMind. В ноябре он рассказывал про оффлайн обучение RL агентов по демонстрациям и неразмеченным данным.

Google-документ и PDF

Завтра Алексей Тихонов из Яндекс выступит на вебинаре с темой «Текст: стиль + контент + структура».

Спикер: Алексей Тихонов — аналитик Яндекса, внешний исследователь в совместной Лаборатории Естественного Языка Яндекса и Высшей школы экономики, исследователь-коллаборатор в Yandex.Research. Ведущий авторского телеграм-канала «Жалкие низкочастотники и соавтор канала «Gonzo-ML». Автор научных публикаций на различные темы, включая NLP, NLG, анализ графов, кластеризацию и другие.

Когда и во сколько: 8 февраля в 12:00 (МСК). ❗️Вебинар будет длиться полтора часа.

О вебинаре
В моём докладе речь пойдёт о задачах генерации текста с учётом трёх аспектов: стиля, смыслового наполнения и структуры. Сначала мы обсудим задачу Text Style Transfer: её формальную постановку, метрики оценки качества, существующие подходы и связанные с ней принципиальные сложности. Поговорим в том числе о современных способах оценки семантической близости текстов и их недостатках. Закончим разговором о том, какие высокоуровневые структуры можно выделять в текстах, и как это может помочь в генерации длинных нетривиальных повествований.

➡Регистрация

🎥Запись выступления Алексея Тихонова с докладом «Текст: стиль + контент + структура».

Всем привет, осенью у нас выступал Денис Катеренчук из City University of New York. Он рассказывал про анализ социальных сетей.

Если вы пропустили или хотите освежить в памяти этот вебинар, то можете ознакомиться с Google-докуметом или PDF.

Уже завтра пройдет наш следующий вебинар на тему «Понятный кластерный анализ».

Спикер: Константин Макарычев, Северо-Западный университет, Эванстон, США.

Когда и во сколько: 15 февраля в 18:00 (МСК).

О вебинаре
Мы обсудим объяснимый (понятный) кластерный анализ. Понятная кластеризация (в отличии от обычной кластеризации, получаемой методом k-средних) определяется деревом принятия решений. Рассмотрим несколько алгоритмов построения деревьев для принятия решений и сравним стоимость понятной и обычной кластеризации.

→Регистрация

📚Дополнительные материалы:
https://arxiv.org/abs/2107.00798
https://arxiv.org/abs/2111.03193

🎥Запись вебинара с Константином Макарычевым.