Видеозапись вчерашнего вебинара Николая Михайловского, НТР, на тему "Об обучении языковых моделей, основанных на грамматиках связей, без учителя".

Приятного просмотра!

Завтра состоится вебинар на тему «Доброкачественное переобучение в моделях, дополненных поиском по хранилищу»

Когда и во сколько: завтра 8 ноября 2022, 13:00 MCK

Спикер: Женисбек Ассылбеков, Назарбаев Университет, Нур-Султан, Казахстан

Женисбек о вебинаре:
Теория длинного хвоста Фельдмана (STOC 2020) утверждает, что запоминание редких/атипичных примеров неизбежно при обучении на естественных данных.
Несмотря на то, что современные глубокие нейронные сети имеют возможность запоминать (почти) всю обучающую выборку, при обучении с SGD они этого не делают. Напротив, они доброкачественно переобучаются, то есть делают точные прогнозы на новых данных, несмотря на идеальную подгонку к обучающей выборке.
Грубо говоря, все это происходит из-за неявной предвзятости к простоте: SGD предпочитает более простые и надежные модели и использует возможности нейронной сети для запоминания, чтобы подгоняться к нетипичным/редким примерам только в случае необходимости.
В то же время специалисты по машинному обучению (особенно в области обработки естественного языка) придумали, как использовать эту возможность для более эффективного обучения: модели, дополненные поиском по хранилищу данных (kNN-LM, RETRO) явно запоминают (часть) обучающей выборки в хранилище и, таким образом, пытаются (частично) снять нагрузку запоминания с нейронной сети. Насколько мне известно, в настоящее время нет теоретического анализа доброкачественного переобучения в таких моделях.
В своем выступлении я предложу несколько возможных исследовательских вопросов, касающихся доброкачественной переобучения в моделях, снабженных поиском по хранилищу, для дальнейшего обсуждения с участниками вебинара.

Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_TO0nR8adT6-44zlMxhqpnw

Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-dobrokachestvennoe-pereobuchenie-v-modelyah-dopolnennyh-poiskom-po-hranilishhu/

Предыдущие вебинары доступны на YouTube-канале: https://www.youtube.com/@NTRLabs.Webinar

➡️Видеозапись вебинара Женисбека Ассылбекова: на тему «Доброкачественное переобучение в моделях, дополненных поиском по хранилищу»

Всем привет,

Приглашаем на научно-технический вебинар "О криптоморфизме между решетками подмножеств Дэвиса, атомистическими решетками, системами замкнутых множеств при выполнении аксиомы отделимости T1"

Спикер: Дмитрий Игнатов, НИУ ВШЭ, Москва, Россия

Когда и во сколько: завтра 15 ноября 2022, 15:30 MCK (19:30 по Томску)

Спикер о вебинаре:
В докладе пойдет речь о семействах замкнутых множеств (известных как семейства Мура) для случая, когда все одноэлементные множества семейства замкнуты. Задача порождения таких семейств для объектно-признаковых или транзакционных данных хорошо известна в майнинге данных как поиск частых (замкнутых) множеств товаров (Frequent Itemset Mining).
В частности, нами приводится количество таких строгих (включающих пустое множество) и нестрогих семейств для 6 элементов (признаков). Мы также приводим количество таких неэквивалентных семейств Мура относительно всех перестановок базового множества вплоть до n = 6. Поиск в OEIS и существующей литературе показал совпадение найденных чисел (с учетом изоморфизма семейств) с числом решеток на основе объединения множеств, полученным Д.М. Дэвисом (последовательность OEIS A235604, до n=5), и c |L_n| (без учета изоморфизма) – числом атомистических решеток на n атомах, найденным С. Мейпс (до n=6), соответственно. Нами установлено взаимно-однозначные соответствия между этими тремя типами решеток на основе соответствий Галуа и анализа формальных понятий (Formal Concept Analysis).
Кратко обсуждаются два использованных перечислительных алгоритма, а также дополнительные результаты их работы наибольший размер семейства множеств без пересечений для n=6, наша гипотеза для n=7, верхняя граница числа атомистических решеток L_n и некоторые структурные свойства L_n, основанные на теории экстремальных решеток.

Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_9ppXnwllTm2_6aQNveBbKQ

Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-o-kriptomorfizme-mezhdu-reshetkami-podmnozhestv-devisa-atomisticheskimi-reshetkami-sistemami-zamknutyh-mnozhestv-pri-vypolnenii-aksiomy-otdelimosti-t1/

--

Youtube: https://www.youtube.com/@NTRLabs.Webinar

Видеозапись выступления Дмитрия Игнатова из ВШЭ о криптоморфизме между решетками подмножеств Дэвиса, атомистическими решетками, системами замкнутых множеств при выполнении аксиомы отделимости T1: https://youtu.be/fxM6YnpP-bs

Всем привет,

Завтра пройдет вебинар НТР "Внутренняя мотивация для мультиагентного обучения с подкреплением"

👨‍💻Спикер: Влад Большаков, НТР, Россия.

🕑Когда и во сколько: 20 декабря 2022, 18:00 MCK

🗣️Влад о вебинаре:
Задачи с редкими вознаграждениями являются актуальной проблемой в обучении с подкреплением (Reinforcement Learning, RL). Решение таких задач требует эффективных методов исследования, которые часто основаны на использовании принципов внутренней мотивации (Intrinsic Motivation, IM).
Помимо этого существует множество таких задач в контексте мультиагентного обучения с подкреплением (Multi-Agent RL, MARL), где сложности двух этих доменов накладываются друг на друга, ещё больше осложняя решение проблемы.
Мы рассмотрим некоторые подходы в IM, а также их расширение на MARL, которые могут оказаться эффективными в решении подобных задач.

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_iR_OaYHJSZWbsJHosIIW-Q

➡️Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-vnutrennyaya-motivacziya-dlya-multiagentnogo-obucheniya-s-podkrepleniem/
--
🎥Youtube: https://www.youtube.com/@NTRLabs.Webinar

Всем ❄️предновогодний❄️ привет,

Завтра состоится вебинар "Методы покоординатного спуска для обучения деревьев решения с частичным привлечением учителя"

🎅Спикер: Арман Жармагамбетов, Калифорнийский университет в Мерседе, Калифорния, США.

🕑Когда и во сколько: 27 декабря 2022, 17:00 MCK

🗣️Арман о вебинаре:
Oбучение модели машинного обучения с частичным привлечением учителя применимо когда разметка дана лишь для небольшого количества данных. Наиболее широко распространенный подход для решения таких задач использует регуляризацию на основе графа схожести, который побуждает cхoжие точки иметь похожие прогнозы.
Несмотря на то что, этот подход был очень успешно применён для разных моделей (например нейронные сети, SVM и т.д.), он остается неприменимым к деревьям решений, для которых оптимизационная задача намного труднее.
Мы предлагаем новый подход на основе переформулировки задачи, требующей итеративного решения двух более простых задач:
1) решение разреженной линейной системы;
2) стандартное обучение дерева. Что касается второй части, потенциально может быть применен любой алгоритм обучения дерева. Тем не менее, недавно предложенная нами метод TAO имеет уникальные свойства, которые делают общую структуру высокоэффективной и масштабируемой даже с очень небольшим количеством помеченных данных.

➕Дополнительные материалы: https://openreview.net/forum?id=cZ41U927n8m

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_F3Wn3LQ4SL6Zqt_sggNTWQ

➡️Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-metody-pokoordinatnogo-spuska-dlya-obucheniya-derevev-resheniya-s-chastichnym-privlecheniem-uchitelya/
--
🎥Youtube: https://www.youtube.com/@NTRLabs.Webinar

➡️Видеозапись вебинара "Методы покоординатного спуска для обучения деревьев решения с частичным привлечением учителя" от Армана Жармагамбетова.
https://youtu.be/NQJ6PFbaH-g

Встречаемся завтра на вебинаре "Трансферное обучение для обнаружения оскорбительного словоупотребления"

🗣️Спикер: Tulika Bose, LORIA, INRIA, CNRS, Université de Lorraine, Nancy, France

🕰️Когда и во сколько: завтра 17 января 2023, 16:00 MCK

📢Спикер о вебинаре:
Распространение социальных сетей, несмотря на множество преимуществ, привело к увеличению распространения оскорбительного словоупотребления.
Модели глубокого обучения для обнаружения оскорбительного словоупотребления продемонстрировали высокий уровень производительности на стандартных наборах данных, но намного хуже себя ведут вдалеке от обучающего распределения.
Хуже того, они требуют значительного количества дорогостоящих размеченных данных для обучения.
Поэтому настоятельно нужна эффективная передача знаний c существующих наборов данных оскорбительного словоупотребления, которые могут иметь различные распределения, на малоресурсные ситуации.
В этом докладе я расскажу о некоторых подходах к трансферному обучению для обнаружения оскорбительного словоупотребления, включая адаптацию к предметной области, для улучшения передачи знаний в межкорпусных сценариях, которые я исследовала во время написания диссертации.

❗Примечание: Язык мероприятия-английский

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_alyn-IXHQHyVttoVLzqoSw

Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-transfer-learning-for-abusive-language-detection/

Youtube: https://www.youtube.com/@NTRLabs.Webinar

Видеозапись: https://youtu.be/vAconxmcYXU

Ждем завтра на вебинаре "Сертифицированная устойчивость: основы и вызовы"

🗣️Спикер: Александр Петюшко, Nuro, Маунтин Вью, Калифорния, США

🕰️Когда и во сколько: 24 января 2023, 18:00 MCK

📢Спикер о вебинаре:
Уже более 10 лет активно развивается такое направление в машинном обучении, как состязательные атаки на нейросетевые модели (в основном, решающие задачи компьютерного зрения). В связи с этим, как противовес разрабатываются методы защиты моделей от состязательных атак, будучи в основном эмпирическими попытками. Тем не менее, ряд подходов предоставляет теоретические гарантии защиты под общим названием сертифицированной устойчивости. В данном докладе будут представлены как классические методы предоставления гарантий устойчивости и работы по их улучшению, так и принципиальные проблемы, а также предложены подходы по их преодолению.

❗Примечание: Язык мероприятия-английский

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_tMiLfk5AQr6JJ667iGDlww

Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-certified-robustness-fundamentals-and-challenges/
--
Youtube: https://www.youtube.com/@NTRLabs.Webinar

Видеозапись прошедшего вебинара Александр Петюшко, Nuro, Маунтин Вью, Калифорния, США, "Сертифицированная устойчивость: основы и вызовы"

https://youtu.be/N40xcQBIXDg

⚡️Завтра 3 февраля в 17.00 Николай Михайловский, генеральный директор НТР, выступит на вебинаре «Текст как Big Data: моделирование конвергентных процессов в языке и речи цифровыми методами».

🗣Николай о вебинаре:
В последние годы появились неожиданно мощные языковые модели, опирающиеся на идеи статистического описания языка и дистрибутивной семантики. Взять ту же ChatGPT.
При этом мы удивительно мало знаем о статистических и дистрибутивных свойствах языка, а именно они определяют эффективность использования тех или иных языковых моделей.
Мой доклад - одна из попыток привлечь внимание лингвистов и математиков к этой тематике.

📌Для получения ссылки на Zoom-конференцию, пожалуйста, заполните регистрационную форму.

Организаторы: Проект "Текст как Big Data: моделирование конвергентных процессов в языке и речи цифровыми методами"

Завтра Николай Михайловский выступит на вебинаре НТР с темой "Две теоремы о разнообразии языковых моделей"

🗣️Спикер: Николай Михайловский, НТР, Москва, Россия

🕰️Когда и во сколько: 7 февраля 2023, 15:00МСК (19:00 по Томску)

📢Николай о вебинаре:
Интуитивно очевидно, что ансамбль из языковых моделей имеет смысл строить, если в них есть информация, дополняющая друг друга.Мы впервые формулируем условия, которые определяют это разнообразие языковых моделей и доказываем теоремы, связывающие разнообразие языковых моделей с эффективностью их ансамблей. Условия разнообразия имеют красивую математическую формулировку и, вероятно, более широкое применение. Эксперименты подтверждают выводы теорем.

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_DRMIxXXxRtmXlIzQl6fmHA

✅Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-dve-teoremy-o-raznoobrazii-yazykovyh-modelej/

✅Youtube: https://www.youtube.com/@NTRLabs.Webinar

Видеозапись вчерашнего вебинара Николая Михайловского "Две теоремы о разнообразии языковых моделей": https://youtu.be/IxAtFJ8wKoY

Завтра Роман Щуцкий из Сколтеха выступит на вебинаре "Введение в тензорные сети для квантовых компьютеров и численных методов"

🗣️Спикер: Роман Щуцкий, Сколтех, Москва, Россия

🕰️Когда и во сколько: 21 февраля 2023, 12:00 MCK

📢Спикер о вебинаре:
На семинаре будет представлена техника тензорных диаграмм, часто используемая в квантовой физике численных методах многомерного моделирования.Также будут представлены разработанные нами алгоритмы свертки тензоров и их использование при симуляции квантовых цепочек.

Дополнительные материалы:
https://arxiv.org/pdf/1911.12242
https://arxiv.org/pdf/2004.10892
https://arxiv.org/pdf/2012.02430

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/1416215991580/WN_ccz0IHV-QkKRhDKOsCsezA

✅Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-vvedenie-v-tenzornye-seti-dlya-kvantovyh-kompyuterov-i-chislennyh-metodov/

Видеозапись вебинара "Введение в тензорные сети для квантовых компьютеров и численных методов" Романа Щуцкого: https://youtu.be/13-TqIJhRrw

Завтра Михаил Киселев выступит на вебинаре "Импульсные нейронные сети и нейроморфные процессоры"

🗣️Спикер: Михаил Киселев, Чувашский государственный университет Частное учреждение "Цифрум" АО "Лаборатория Касперского", Чебоксары, Россия

🕰️Когда и во сколько: 28 февраля 2023, 15:00 MCK

📢Спикер о вебинаре:
Такие появившиеся не так давно области искусственного интеллекта (ИИ) как импульсные нейронные сети и не-фоннеймановские нейроморфные вычислители сейчас рассматривается многими исследователями как перспективные с точки зрения как создания разнообразных автономных интеллектуальных устройств, так и построения больших вычислительных систем для реализации сильного ИИ. Это следствие присущих таким системам преимуществ – на порядки меньшее энергопотребление по сравнению с традиционными нейросетевыми решениями, полная асинхронность и, следовательно, потенциально неограниченная масштабируемость, возможность реализации непрерывного обучения.
Подобно нейронным ансамблям мозга, нейроморфные системы оперируют информацией, представленной не в виде чисел, а как последовательности атомарных событий – спайков (в мозге им соответствуют нервные импульсы). В докладе рассматривается построение вычислительных процессов на основе спайков, модели импульсных нейронов и нейросетей, принципы их обучения, моделирования когнитивных процессов на их основе, а также их аппаратная реализация в специализированных нейрочипах.

Страница Михаила Киселева на ResearchGate: https://www.researchgate.net/profile/Mikhail-Kiselev-5

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2816215991698/WN_-gIiZVBiQNqMOlDkTclMxA

✅Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-impulsnye-nejronnye-seti-i-nejromorfnye-proczessory/

Youtube: https://www.youtube.com/@NTRLabs.Webinar

Видеозапись вебинара Михаила Киселева "Импульсные нейронные сети и нейроморфные процессоры": https://youtu.be/hkqt3AieSIg

Завтра Александра Антонова из МФТИ выступит на вебинаре "Подходы к кастомизации end-to-end моделей распознавания речи на основе пользовательского словаря"

🗣️Спикер: Александра Антонова, МФТИ, Москва, Россия

🕰️Когда и во сколько: 21 марта 2023, 14:00 MCK

📢Александра о вебинаре:
Кастомизация с настройкой на словарь пользователя требуется во многих системах распознавания речи и представляет особую проблему для end-to-end систем, не давая им заменить гибридные системы в продакшене. В докладе я рассмотрю основные подходы к кастомизации, более подробно остановлюсь на подходе Microsoft[5], который работает наподобие спеллчекера и представлю нашу новую модель, которую я делала для опенсорсной библиотеки Nvidia NeMo.

Дополнительные материалы:
[1] Sim et al. 2019 Personalization of end-to-end speech recognition on mobile devices for named entities
[2] Jain et al. 2020 Contextual RNN-T for open domain ASR
[3] Yang et al. 2023 Two stage contextual word filtering for context bias in unified streaming and non-streaming transducer
[4] Zhao et al. 2019 Shallow-Fusion End-to-End Contextual Biasing
[5] Wang et al. 2022 Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems

✅Регистрация на вебинар: https://ntrlab.zoom.us/webinar/register/2016215990886/WN_cwXjWil8StuMAUS3Aa9HJA

✅Страница вебинара на сайте НТР: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-podhody-k-kastomizaczii-end-to-end-modelej-raspoznavaniya-rechi-na-osnove-polzovatelskogo-slovarya/

Видеозапись: https://youtu.be/1LRhdxoTnYQ