Pro AI – Telegram
Уже завтра Юрий Землянский выступит с темой «Полупараметрические методы извлечения и представления знаний из текста».

Спикер: Юрий Землянский, Южно-Калифорнийский университет, Лос-Анджелес, Калифорния, США.

Когда и во сколько: 23 ноября в 18:00 (MCK).

О вебинаре
Некоторые задачи обработки естественного языка требуют использования информации из разрозненных мест в тексте. Современные методы на основе модели Transformer могут одновременно обрабатывать ввод только ограниченного размера. Это затрудняет их использование в задачах с большим объемом ввода, такие как ответы на вопросы по книгам или Википедии. Мы решаем эту проблему с помощью полупараметрического метода извлечения и представления информации из текста. Наш метод представляет знания с помощью «Таблицы Упоминаний», которая содержит многомерную кодировку для каждого упоминания именованной сущности в тексте. Мы интегрируем таблицу упоминаний в Transformer модель, что позволяет нам комбинировать и использовать информация из по множества разрозненных источников в тексте. Мы применяем нашу модель на задачах с вопросами по целым книгам (https://aclanthology.org/2021.naacl-main.408) или с вопросами по всей Википедии (https://arxiv.org/abs/2110.06176 ).

Регистрация

📚Дополнительная информация:
Личный сайт — https://urikz.github.io
Статьи по докладу — ReadTwice (https://aclanthology.org/2021.naacl-main.408) и MentionMemory (https://arxiv.org/abs/2110.06176).
Уже сегодня состоится вебинар на тему «Обучение машинному синтезу путем автоматического чтения миллионов научных публикаций».

Спикерка: Оля Кононова, Ройвант Саенсес, Нью-Йорк, США.

Когда и во сколько: 30 ноября в 16:00 (МСК).

О вебинаре
На вебинаре мы будем обсуждать проект, над которым я работала в докторантуре Калифорнийского университета в Беркли. Мы построили автоматизированный конвейер анализа текста, который обрабатывает научные публикации и извлекает из них информацию о синтезе материалов. Применяя этот конвейер к ~ 5 млн статей, мы собрали набор данных из ~ 70 тыс. реакций синтеза керамики, принадлежащих к различным типам. Мы использовали этот набор данных для исследования условий синтеза распространенных классов материалов.

Регистрация

📚Дополнительно:
Kononova et al. «Opportunities and challenges of text mining in materials research», iScience 24, 2021, https://doi.org/10.1016/j.isci.2021.102155
Kononova et al. «Text-mined dataset of inorganic materials synthesis recipes», Sci. Data 6, 2019, https://www.nature.com/articles/s41597-019-0224-1
Начинаем вебинар, присоединяйтесь!

Когда: 7 декабря 2021, 12:00 (MCK).
Спикер: Максим Панов, Сколтех, Москва, Россия
Тема: Оценка неопределенности: может ли ваша нейронная сеть оценить степень уверенность в своих прогнозах?

О вебинаре
Нейронные сети показывают очень хорошие результаты практически во всех приложениях машинного обучения. Однако нейронные сети часто делают очень уверенные прогнозы для данных, которые лежат вне выборки, или данных на границе между классами. Во многих приложениях это неприемлемо, и поэтому способность оценить степень уверенности в предсказании является крайне важной и востребованной. Однако оценка неопределенности для нейронных сетей является нетривиальной задачей, и существующие подходы демонстрируют не очень высокое качество и зачастую требуют значительных вычислительных ресурсов. На очередном научно-техническом вебинаре, который проводит НТР совместно с Высшей IT-школой ТГУ, Максим Панов из Сколтеха расскажет о существующих подходах к оценке неопределенности, включая методы калибровки моделей, методы построения ансамблей и байесовские нейронные сети. Особое внимание будет уделено современным численно эффективным подходам на основе одной нейронной сети, не требующим построения ансамбля и существенного изменения процедуры обучения.

Регистрация
14 декабря Людмила Прохоренкова выступит с докладом «Теоретический подход к выбору метрик качества в задачах классификации и кластеризации».

Спикерка: Людмила Прохоренкова, Яндекс, Москва, Россия.
Когда и во сколько: 14 декабря в 18:00 (МСК)

О вебинаре
Для сравнения алгоритмов обычно используются метрики качества. Например, в задаче классификации можно использовать точность, F-меру и другие метрики. Возникает вопрос – как выбрать метрику качества для данной задачи? Другими словами, можем ли мы как-то сравнивать между собой метрики? Мы подходим к этому вопросу с теоретической точки зрения – формируем список свойств, которыми должна обладать хорошая метрика, и теоретически проверяем эти свойства для популярных метрик. Помимо этого, мы получаем ряд интересных результатов. Например, мы доказываем, что не может существовать метрики, которая удовлетворяет всем свойствам сразу. Но если отказаться от одного из свойств, то можно предложить целое семейство метрик, которые удовлетворяют всем оставшимся свойствам. Доклад основан на статьях «Systematic analysis of cluster similarity indices: How to validate validation measures» (ICML 2021) и «Good Classification Measures and How to Find Them» (NeurIPS 2021).

Регистрация
21 декабря состоится вебинар «Анализ временных рядов: систематизация подходов».

Спикер: Юрий Яхно, Orion Innovation, Нижний Новгород, Россия.

Когда и во сколько: 21 декабря, 12:00 MCK

Юрий о работе:
Для анализа временных рядов до сих пор используется множество разных подходов, среди которых нет одного доминирующего, в отличие, например, от большинства задач обработки изображений или текста. Некоторые из этих подходов много лет развивались независимо в отдельных доменах, таких как эконометрика или моделирование физических процессов, а некоторые появились только с приходом машинного обучения в индустрию. На этом вебинаре я хочу рассказать об известных мне подходах, наметить их систематизацию, а главное получить обратную связь от сообщества. Если вы интересуетесь временными рядами, приходите поговорить!

Регистрация

💥После этого вебинара берём паузу на новогодние каникулы💥
Вовзращаемся после праздников в рабочую колею и двигаемся дальше!

Уже завтра пройдет вебинар «Аппроксимации нейронными сетями минимального размера: экзотические режимы и сверхвыразительные активации».

Спикер: Дмитрий Яроцкий, Сколтех, Москва, Россия.
Когда: 11 января в 16:00 МСК.

О вебинаре
Я расскажу про некоторые «экзотические» режимы, возникающие при теоретических исследованиях аппроксимаций функций нейронными сетями минимального размера. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции.

Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные «сверхвыразительные» наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не зависящим от точности). Этот результат тесно связан с теоремой Комогорова(-Арнольда) о представлении функций многих переменных. Примером сверхвыразительного наборя является {sin, arcsin}. При этом, обычно применяемые на практике функции активации не являются сверхвыразительными.

Регистрация
Завтра Михаил Белкин из Калифорнийского университета в Сан-Диего выступит с докладом «Чему учит глубокое обучение?».

Когда и во сколько: 18 января в 18:00 МСК.

О вебинаре
Модели с нулевой или околонулевой погрешностью на тренировочных данных классически считается «переобученными». Несмотря на это, такие модели постоянно используются в современной практике и хорошо обобщаются на новые данные. Я обсужу почему такое поведение противоречит классической теории обобщения, и о прогрессе в понимании и теоретическом описании основанном, в частносте, на кривой «двойного спуска».

Регистрация

📚Материалы:
Fit without fear: remarkable mathematical phenomena of deep learning through the prism of interpolation. Mikhail Belkin, Acta Numerica, Volume 30 , May 2021 , pp. 203 — 248, https://arxiv.org/abs/2105.14368.
🔥7
Максим_Подкорытов_Влияние_архитектуры_и_процесса_обучения_на_геометрические.pdf
2.1 MB
Всем привет!

Мы подготовили еще одну расшифровку для вас.

Сегодня это вебинар Максима Подкорытова о влиянии архитектуры и процесса обучения на геометрические свойства векторных представлений модели BERT.

Приятного чтения :)

Google-документ
PDF закреплен
👍7
Павел_Коршунов_Распознавание_дипфейков_люди_против_машин_docx.pdf
1.5 MB
Всем привет, помните вебинар Павла Коршунова из исследовательского института Idiap про распознавание дипфейков? Вы теперь можете ознакомиться с этим выступлением в виде текста:

Google-документ
PDF закреплён

Всем хороших выходных💥
Завтра состоится вебинар с Александром Гасниковым на тему «Седловые задачи и эффективные алгоритмы их решений».

Спикер: Александр Гасников, МФТИ, Москва, Россия.

Дата и время: 1 февраля в 14:00 МСК.

О вебинаре
В последние годы большой интерес к седловым задачам связан с популярностью генеративных состязательных сетей. В докладе будет дан обзор некоторых недавних достижений в разработке эффективных численных методов решения таких задач. Также будут описаны открытые задачи. Доклад будет носить теоретический характер. То есть основное внимание будет уделено именно вопросам, связанным с теорией (приложения можно будет посмотреть в приведенных в ходе доклада статьях).

Регистрация

📚Дополнительные материалы:
1. https://arxiv.org/pdf/2112.15199.pdf
2. https://proceedings.neurips.cc/paper/2021/file/44e65d3e9bc2f88b2b3d566de51a5381-Paper.pdf
3. https://arxiv.org/pdf/2110.03313.pdf
4. https://arxiv.org/pdf/2106.08315.pdf
5. https://arxiv.org/pdf/2106.07289.pdf
6. https://arxiv.org/pdf/2102.07758.pdf
7. https://arxiv.org/pdf/2010.13112.pdf
8. https://arxiv.org/pdf/2005.05913.pdf
Александр_Новиков_Оффлайн_обучение_RL_агентов_по_демонстрациям_и.pdf
2.9 MB
Всем привет! Вот и новая статья на основе вебинара Александра Новикова из DeepMind. В ноябре он рассказывал про оффлайн обучение RL агентов по демонстрациям и неразмеченным данным.

Google-документ и PDF
Завтра Алексей Тихонов из Яндекс выступит на вебинаре с темой «Текст: стиль + контент + структура».

Спикер: Алексей Тихонов — аналитик Яндекса, внешний исследователь в совместной Лаборатории Естественного Языка Яндекса и Высшей школы экономики, исследователь-коллаборатор в Yandex.Research. Ведущий авторского телеграм-канала «Жалкие низкочастотники и соавтор канала «Gonzo-ML». Автор научных публикаций на различные темы, включая NLP, NLG, анализ графов, кластеризацию и другие.

Когда и во сколько: 8 февраля в 12:00 (МСК). ❗️Вебинар будет длиться полтора часа.

О вебинаре
В моём докладе речь пойдёт о задачах генерации текста с учётом трёх аспектов: стиля, смыслового наполнения и структуры. Сначала мы обсудим задачу Text Style Transfer: её формальную постановку, метрики оценки качества, существующие подходы и связанные с ней принципиальные сложности. Поговорим в том числе о современных способах оценки семантической близости текстов и их недостатках. Закончим разговором о том, какие высокоуровневые структуры можно выделять в текстах, и как это может помочь в генерации длинных нетривиальных повествований.

Регистрация