Self-supervised learning (самообучение) - основа машинного обучения во многих областях. Вычислительную лингвистику невозможно представить без языковых моделей. В изображениях, видео и распознавании речи обучение представлений на неразмеченных данных - тоже привлекательная опция, потому что неразмеченных данных обычно больше, чем размеченных, и они более полно описывают мир.

Алексей Зайцев из Сколтеха расскажет на очередном нашем вебинаре о том, как можно описать основные подходы в этой области и для каких еще модальностей можно и нужно применять самообучение.

Когда: 17 мая, 16:00 MCK
Спикер: Алексей Зайцев, Сколтех, Москва, Россия
Тема: Самообучение для последовательных данных
👉Регистрация

Видеозапись вебинара про самообучение для последовательных данных: https://youtu.be/ueGOCobdLVg

Текстовый вариант вебинара Михаила Белкина «Чему учит глубокое обучение?».

Google-документ или PDF

Приятного чтения:)

Существует множество подходов, которые используют GANы и вариационные автоэнкодеры для генерации гридов месторождений, но они используют "конвенциональные" свертки, поэтому данные имеют обычную (прямоугольную) форму. На очередном научно-техническом вебинаре НТР&HITs ТГУ Роман Выгон опишет новый подход к использованию вариационных автоэнкодеров с графовыми свёртками. Такой подход позволяет эффективно работать с трех- и, потенциально, многомерными областями сложной формы.

Когда: 31 мая 2022, 12:00 MCK (16:00 по Томску)
Спикер: Роман Выгон, НТР, Россия
Тема: Использование графовых свёрток и генеративного глубокого обучения для адаптации геологических моделей
➡️Сайт
➡️Регистрация

Вебинар начнется через 10 минут!

Спикер: Роман Выгон, НТР, Россия
Тема: Использование графовых свёрток и генеративного глубокого обучения для адаптации геологических моделей
➡️Регистрация

Всем привет!

Вчера Влад Большаков из НТР выступил на внутренней встрече компании с темой "Введение в обучение с подкреплением".

Делимся с вами ссылочкой на видео:)

Публикуем расшифровку вебинара Алексея Тихонова "Текст: стиль+контент+структура".

Google-документ и PDF.

Всем привет!

Несмотря на то, что текстовые данные обычно представляются в виде последовательности токенов, существует множество задач вычислительной лингвистики, которые проще всего представить на основе графов. Сегодня Денис Кузнецов из DeepPavlov на научно-техническом вебинаре НТР&HITs расскажет о своих исследованиях, которые показывают, что использование графовых нейронных сетей (GNN) дает выигрыш в качестве на задачах ведения диалога. . В докладе будет проведен обзор GNN, моделей глубокого обучения для задачи Response Prediction, улучшение метрик задачи Response Prediction с использованием GNN

Когда: 14 июня 2022, 18:00 MCK (22:00 по Томску)
Спикер: Денис Кузнецов, Лаборатория нейронных систем и глубокого обучения DeepPavlov, Москва, Россия
Тема: Применение моделей глубокого обучения с графами для задач ведения диалога
Сайт
Регистрация

Видеозапись уже доступна: https://youtu.be/GkyD4EfX7MA

Системы для определения дипфейков плохо генерализируются на новых базах данных или новых дипфейках.

На сегодняшнем вебинаре Павел Коршунов, Исследовательский институт Idiap, Мартиньи, Швейцария продемонстрирует эту проблему и предложит несколько общих подходов, которые должны улучшить генерализацию моделей для определения дипфейков.

Павел рассмотрит такие подходы как: увеличение разнообразия данных при тренировке с помощью агрессивной генерации данных, тонкая настройка моделей под новые данные и переформатирование моделей под обучение для атрибуции вместо обычной бинарной классификации.

Когда: сегодня в 16:00 MCK
Спикер: Павел Коршунов, Исследовательский институт Idiap, Мартиньи, Швейцария
Тема: Улучшение генерализации при определении дипфейков
Сайт
Регистрация

Видеозапись: https://youtu.be/ZockRUVLlR0

Всем привет,

На следующей неделе состоится вебинар НТР&HITs ТГУ, где Мария Молчанова из DeepPavlov, Москва, рассмотрит виды диалоговых систем и методы их разработки. Также Мария расскажет про вызовы, с которыми сталкиваются разработчики различных типов диалоговых систем, применяемые подходы и способ разработки multiskill ассистента на платформе Dream.

Когда: 12 июля 2022, 17:00 MCK (21:00 по Томску)
Спикер: Мария Молчанова, DeepPavlov, Москва, Россия
Тема: Обзор методов и платформ для разработки диалоговых систем
➡️Сайт
➡️Регистрация

Видеозапись: https://youtu.be/27chgvhnk_s

Всем привет,

Сегодня состоится вебинар, где Лейла Мирвахабова, Сколтех, Москва, Россия, расскажет про манипуляции изображений при помощи сетей GAN.

Лейла о вебинаре: Считается, что в латентных пространствах GAN есть векторы, соответствующие семантически значимым признакам на изображении. Сдвиги вдоль этих векторов приводят к интерпретируемым изменениям на самом изображении, например, можно менять цвет волос, добавлять очки и т. д. Я расскажу про две наши статьи, в которых мы рассмотрели как линейные, так и нелинейные сдвиги в латентном пространстве GAN.

Когда: сегодня 26 июля, 13:00 MCK (17:00 по Томску)
Спикер: Лейла Мирвахабова, Сколтех, Москва, Россия
Тема: Манипуляции изображений при помощи сетей GAN
Сайт
Регистрация

Видеозапись вчерашнего вебинара с Лейлой Мирвахабовой уже доступна на YouTube-канале.

Дополнительные материалы от Лейлы можно найти здесь.

Всем привет,

В августе мы делаем запланированный перерыв в проведении научно-технических вебинаров. А также уже активно готовимся к вебинарам, которые пройдут осенью.

Предположительная дата следующего вебинара - 6 сентября.

Напоминаем, что мы готовы рассматривать кандидатуры на роль спикеров. Если у Вас есть интересный материал, то можете написать мне в личных сообщениях Telegram (@heabyfik) или на почту rrafikova@ntr.ai.

Не забывайте, что на YouTube-канале можно найти видеозаписи предыдущих вебинаров.

Всем отличного августа!☀️

Всем привет,

Завтра состоится вебинар НТР&HITs ТГУ, где Дмитрий Зубарев из IBM Research - Алмаден рассмотрит рекомендации экспериментов по открытию полимеров и нейросимволическому обучению с подкреплением

Когда: 20 сентября 2022, 16:00 MCK
Спикер: Дмитрий Зубарев, исследовательский центр Алмаден, IBM Research - Алмаден, Сан-Хосе, Калифорния, США
➡️Сайт
➡️Регистрация

Всем привет,

Завтра состоится вебинар с участием Анастасии Ремизовой из Федеральной политехнической школы Лозанны, Швейцария. Анастасия рассмотрит Трехмерную реконструкцию тела человека с использованием SMPL модели.

В этом докладе Анастасия расскажет про модель SMPL (Skinned Multi-Person Linear Model). Эта модель представляет телосложение и позу человека как набор параметров в низкоразмерном пространстве, которые затем можно отобразить в 3D-сетку человеческого тела.
На вебинаре рассмотрим, как работает эта модель и как она может быть использована в задачах реконструкции тела человека.

Когда: завтра 27 сентября 2022, 16:00 MCK
Спикер: Анастасия Ремизова, Федеральная политехническая школа Лозанны, Швейцария
➡️Сайт
➡️Регистрация

Сегодня вебинар проведет генеральный директор НТР Николай Михайловский с темой "Об обучении языковых моделей, основанных на грамматиках связей, без учителя"

Когда и во сколько: сегодня 18 октября 2022, 15:00 MCK

Николай о вебинаре: Закон Ципфа хорошо знаком всем, кто занимается вычислительной лингвистикой. Он является проявлением более фундаментальных статистических характеристик текста, которые, видимо, связаны с иерархическим устройством человеческой коммуникации. Из этого следуют фундаментальные же выводы о характеристиках языковых моделей (иерархичность контекстов), которые пока что можно обсуждать в гуманитарном их аспекте.
Интересно, что многие классические работы по вычислительной лингвистике 90-х годов игнорируют свойства контекстности, и безоглядное использование их результатов приводит к ошибкам. Такие проблемы, например, встречаются, при попытках обучать языковые модели, основанные на грамматиках связей, без учителя.

Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_F44AnOJCT1WFpbdjE5iUKg

Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-ob-obuchenii-yazykovyh-modelej-osnovannyh-na-grammatikah-svyazej-bez-uchitelya/

Предыдущие вебинары доступны на YouTube-канале: https://www.youtube.com/channel/UCi8TSxLIp-hb8lnYpU7XUmw

Видеозапись вчерашнего вебинара Николая Михайловского, НТР, на тему "Об обучении языковых моделей, основанных на грамматиках связей, без учителя".

Приятного просмотра!

Завтра состоится вебинар на тему «Доброкачественное переобучение в моделях, дополненных поиском по хранилищу»

Когда и во сколько: завтра 8 ноября 2022, 13:00 MCK

Спикер: Женисбек Ассылбеков, Назарбаев Университет, Нур-Султан, Казахстан

Женисбек о вебинаре:
Теория длинного хвоста Фельдмана (STOC 2020) утверждает, что запоминание редких/атипичных примеров неизбежно при обучении на естественных данных.
Несмотря на то, что современные глубокие нейронные сети имеют возможность запоминать (почти) всю обучающую выборку, при обучении с SGD они этого не делают. Напротив, они доброкачественно переобучаются, то есть делают точные прогнозы на новых данных, несмотря на идеальную подгонку к обучающей выборке.
Грубо говоря, все это происходит из-за неявной предвзятости к простоте: SGD предпочитает более простые и надежные модели и использует возможности нейронной сети для запоминания, чтобы подгоняться к нетипичным/редким примерам только в случае необходимости.
В то же время специалисты по машинному обучению (особенно в области обработки естественного языка) придумали, как использовать эту возможность для более эффективного обучения: модели, дополненные поиском по хранилищу данных (kNN-LM, RETRO) явно запоминают (часть) обучающей выборки в хранилище и, таким образом, пытаются (частично) снять нагрузку запоминания с нейронной сети. Насколько мне известно, в настоящее время нет теоретического анализа доброкачественного переобучения в таких моделях.
В своем выступлении я предложу несколько возможных исследовательских вопросов, касающихся доброкачественной переобучения в моделях, снабженных поиском по хранилищу, для дальнейшего обсуждения с участниками вебинара.

Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_TO0nR8adT6-44zlMxhqpnw

Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-dobrokachestvennoe-pereobuchenie-v-modelyah-dopolnennyh-poiskom-po-hranilishhu/

Предыдущие вебинары доступны на YouTube-канале: https://www.youtube.com/@NTRLabs.Webinar