Вовзращаемся после праздников в рабочую колею и двигаемся дальше!

Уже завтра пройдет вебинар «Аппроксимации нейронными сетями минимального размера: экзотические режимы и сверхвыразительные активации».

Спикер: Дмитрий Яроцкий, Сколтех, Москва, Россия.
Когда: 11 января в 16:00 МСК.

О вебинаре
Я расскажу про некоторые «экзотические» режимы, возникающие при теоретических исследованиях аппроксимаций функций нейронными сетями минимального размера. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции.

Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные «сверхвыразительные» наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не зависящим от точности). Этот результат тесно связан с теоремой Комогорова(-Арнольда) о представлении функций многих переменных. Примером сверхвыразительного наборя является {sin, arcsin}. При этом, обычно применяемые на практике функции активации не являются сверхвыразительными.

➡Регистрация

🎥Выступление Дмитрия Яроцкого из Сколтеха.

Завтра Михаил Белкин из Калифорнийского университета в Сан-Диего выступит с докладом «Чему учит глубокое обучение?».

Когда и во сколько: 18 января в 18:00 МСК.

О вебинаре
Модели с нулевой или околонулевой погрешностью на тренировочных данных классически считается «переобученными». Несмотря на это, такие модели постоянно используются в современной практике и хорошо обобщаются на новые данные. Я обсужу почему такое поведение противоречит классической теории обобщения, и о прогрессе в понимании и теоретическом описании основанном, в частносте, на кривой «двойного спуска».

➡Регистрация

📚Материалы:
Fit without fear: remarkable mathematical phenomena of deep learning through the prism of interpolation. Mikhail Belkin, Acta Numerica, Volume 30 , May 2021 , pp. 203 — 248, https://arxiv.org/abs/2105.14368.

🎥Доклад Михаила Белкина «Чему учит глубокое обучение?»

Всем привет!

Мы подготовили еще одну расшифровку для вас.

Сегодня это вебинар Максима Подкорытова о влиянии архитектуры и процесса обучения на геометрические свойства векторных представлений модели BERT.

Приятного чтения :)

Google-документ
PDF закреплен

Всем привет, помните вебинар Павла Коршунова из исследовательского института Idiap про распознавание дипфейков? Вы теперь можете ознакомиться с этим выступлением в виде текста:

Google-документ
PDF закреплён

Всем хороших выходных💥

Завтра состоится вебинар с Александром Гасниковым на тему «Седловые задачи и эффективные алгоритмы их решений».

Спикер: Александр Гасников, МФТИ, Москва, Россия.

Дата и время: 1 февраля в 14:00 МСК.

О вебинаре
В последние годы большой интерес к седловым задачам связан с популярностью генеративных состязательных сетей. В докладе будет дан обзор некоторых недавних достижений в разработке эффективных численных методов решения таких задач. Также будут описаны открытые задачи. Доклад будет носить теоретический характер. То есть основное внимание будет уделено именно вопросам, связанным с теорией (приложения можно будет посмотреть в приведенных в ходе доклада статьях).

➡Регистрация

📚Дополнительные материалы:
1. https://arxiv.org/pdf/2112.15199.pdf
2. https://proceedings.neurips.cc/paper/2021/file/44e65d3e9bc2f88b2b3d566de51a5381-Paper.pdf
3. https://arxiv.org/pdf/2110.03313.pdf
4. https://arxiv.org/pdf/2106.08315.pdf
5. https://arxiv.org/pdf/2106.07289.pdf
6. https://arxiv.org/pdf/2102.07758.pdf
7. https://arxiv.org/pdf/2010.13112.pdf
8. https://arxiv.org/pdf/2005.05913.pdf

🎥Вебинар с Александром Гасниковым из МФТИ.

Всем привет! Вот и новая статья на основе вебинара Александра Новикова из DeepMind. В ноябре он рассказывал про оффлайн обучение RL агентов по демонстрациям и неразмеченным данным.

Google-документ и PDF

Завтра Алексей Тихонов из Яндекс выступит на вебинаре с темой «Текст: стиль + контент + структура».

Спикер: Алексей Тихонов — аналитик Яндекса, внешний исследователь в совместной Лаборатории Естественного Языка Яндекса и Высшей школы экономики, исследователь-коллаборатор в Yandex.Research. Ведущий авторского телеграм-канала «Жалкие низкочастотники и соавтор канала «Gonzo-ML». Автор научных публикаций на различные темы, включая NLP, NLG, анализ графов, кластеризацию и другие.

Когда и во сколько: 8 февраля в 12:00 (МСК). ❗️Вебинар будет длиться полтора часа.

О вебинаре
В моём докладе речь пойдёт о задачах генерации текста с учётом трёх аспектов: стиля, смыслового наполнения и структуры. Сначала мы обсудим задачу Text Style Transfer: её формальную постановку, метрики оценки качества, существующие подходы и связанные с ней принципиальные сложности. Поговорим в том числе о современных способах оценки семантической близости текстов и их недостатках. Закончим разговором о том, какие высокоуровневые структуры можно выделять в текстах, и как это может помочь в генерации длинных нетривиальных повествований.

➡Регистрация

🎥Запись выступления Алексея Тихонова с докладом «Текст: стиль + контент + структура».

Всем привет, осенью у нас выступал Денис Катеренчук из City University of New York. Он рассказывал про анализ социальных сетей.

Если вы пропустили или хотите освежить в памяти этот вебинар, то можете ознакомиться с Google-докуметом или PDF.

Уже завтра пройдет наш следующий вебинар на тему «Понятный кластерный анализ».

Спикер: Константин Макарычев, Северо-Западный университет, Эванстон, США.

Когда и во сколько: 15 февраля в 18:00 (МСК).

О вебинаре
Мы обсудим объяснимый (понятный) кластерный анализ. Понятная кластеризация (в отличии от обычной кластеризации, получаемой методом k-средних) определяется деревом принятия решений. Рассмотрим несколько алгоритмов построения деревьев для принятия решений и сравним стоимость понятной и обычной кластеризации.

→Регистрация

📚Дополнительные материалы:
https://arxiv.org/abs/2107.00798
https://arxiv.org/abs/2111.03193

🎥Запись вебинара с Константином Макарычевым.

Всем привет!

Публикуем расшифровку вебинара Лейлы Мирвахабовой из Сколтеха про гиперболические эмбеддинги.

Google-документ или PDF.

22 февраля в 16:00 по Москве пройдет вебинар на тему использования языковой модели в рекомендательной системе для киосков самообслуживания сети ресторанов фастфуда.

Спикер: Эдуард Зубчук, НТР, Томск, Россия.

О вебинаре
Киоски являются популярным вариантом самообслуживания во многих ресторанах быстрого питания, они экономят время посетителей и рабочую силу для ресторанов. Мы предлагаем эффективный дизайн системы рекомендаций для покупок в киоске, которая сочетает в себе языковую модель в качестве векторизатора и классификатор на основе нейронной сети. Модель работает лучше, чем другие в оффлайн тестах, и демонстрирует производительность, сопоставимую с лучшими моделями в рамках A/B тестирования.

➡Регистрация

🎥Запись выступления Эдуарда Зубчука.

Всем привет!

Месяц назад мы начали проводить внутренние вебинары НТР.
Сегодня делимся расшифровкой первого такого вебинара.

Спикер: Алексей Попов
Тема: Применение MLP в CV, революция?

Google-документ или PDF.

Сегодня, 1 марта в 15:00 по Москве, пройдет вебинар на тему «Последовательное принятие решений с помощью гауссовских процессов».

Спикер: Вячеслав Боровицкий, СПбГУ, ПОМИ РАН, Россия.

О вебинаре
Задачи, связанные с последовательным принятием решений встречаются повсеместно. Автоматический агент, который решает такие задачи, должен обучаться, взаимодействуя с окружающей средой, и использовать полученные знания для выбора дальнейших действий. Поскольку данных обычно очень мало, для обучения таких агентов часто используются вероятностные модели, такие как гауссовские процессы. Я поговорю о таких моделях и об их приложениях для решения задач последовательного принятия решений, включая оптимизацию неизвестных функций и многое другое.

➡Регистрация

🎥Запись вебинара с Вячеславом Боровицким.

Всем привет!

Сегодня публикуем расшифровку вебинара Армана Жармагамбетова про альтернативный метод обучения эффективных древовидных моделей с высокой точностью TAO.

Google-документ или PDF.