Федор Писниченко
Доцент кафедры прикладной математики Федерального университета ABC (UFABC) в Бразилии с более чем 14-летним опытом преподавания. Моя специализация охватывает численную оптимизацию, методы оптимизации с ограничениями в виде дифференциальных уравнений (PDE-constrained) и высокопроизводительные вычисления. Мои исследования включают линейное и нелинейное программирование, оптимизацию без использования производных и численные методы для решения дифференциальных уравнений, с применением в обработке сейсмических данных и разработке решений для задач в реальном времени. Сотрудник Chebyshev Research Center.

Курс посвящен теории и методам решения задач линейной оптимизации. Изучаются математические основы: выпуклые множества и многогранники, теорема об экстремальных точках, двойственность и условия оптимальности. Обсуждаются алгоритмы: симплекс-метод с модификациями (инициализация искусственными переменными, двухфазная схема, двойственный симплекс, анализ вырождения и правило Блэнда для предотвращения циклов), методы внутренней точки. Рассматриваются результаты о полиномиальной разрешимости (метод эллипсоидов Хачияна, метод Кармаркара) и их реализация для разреженных данных.

Изучаются специальные структуры и крупные задачи: сетевые модели, транспортные задачи с алгоритмами (максимальный поток/минимальный разрез), техники препроцессинга и факторизации. Обсуждаются основы декомпозиции (Данциг–Вулф). Практика включает моделирование и эксперименты в программных пакетах (открытых и коммерческих решателях ЛП), сравнение методов и анализ результатов. Требуются знания линейной алгебры и математического анализа; полезны навыки программирования.

Константин Сергеевич Яковлев
Ведущий научный сотрудник ФИЦ ИУ РАН, AIRI и Лаборатории Маркова СПбГУ, доцент МФТИ и ВШЭ.

Робототехника стремительно развивается и активно трансформирует наш мир. Логистика, автоматизированные склады, поисковые и спасательные миссии — далеко не полный список областей, где уже активно применяются роботы. Для того, чтобы их внедрение давало нужный эффект, они должны быть максимально интеллектуальными. Но что означает «интеллектуальный робот»? Как добиться от него интеллектуальности (и всегда ли это нужно)? Какие классические и современные подходы используются сегодня для построения систем управления роботами? Эти вопросы мы и обсудим в рамках предстоящего доклада-дискуссии.

Викентий Михеев
Ph.D. Kansas State University. Инженер ключевых проектов, руководитель команды графовых алгоритмов, Chebyshev Research Center

Задача укладки графа — сопоставление вершинам координат в пространстве — редко оказывается в центре внимания. Гораздо чаще говорят о поиске кратчайших путей, потоках, изоморфизмах, кластеризации и других задачах, ценность которых очевидна. На их фоне задача укладки кажется периферийной.

Однако опыт исследовательской команды Graph Algorithm в Chebyshev Research Center показывает: без хорошей визуализации графа невозможно успешно завершить проект, а визуализация невозможна без корректной укладки. Критерии её качества зависят от цели, но в любом случае они формализуются через метрики эстетики.

На лекции мы обсудим несколько таких метрик и подходы к их вычислению.

Максим Николаев
Старший преподаватель МКН СПбГУ, младший научный сотрудник ПОМИ РАН, руководитель программ «Науки о данных» и «AI360: Математика машинного обучения» МКН СПбГУ, преподаватель ШАД Яндекса

Исторически курс по теории случайных процессов в вузах является продвинутой математической дисциплиной, требующей серьезных знаний теории меры и теории вероятностей. Такие курсы обычно достаточно абстрактны, а упоминаемые приложения обычно относятся к финансовой математике и теории обслуживания. В то же время приложения теории случайных процессов встречаются повсеместно в машинном обучении и байесовском анализе данных. Цель этого курса в простых терминах объяснить основные принципы, возникающие при изучении случайных процессов, и как их использовать на практике в задачах анализа данных.

Пререквизиты:
– линейная алгебра: квадратичные формы; собственные числа; диагонализация матриц
– теория вероятностей: нормальное распределение; случайные вектора, их матожидание и матрица ковариации; ковариация и корреляция случайных величин
– Python: знакомство с numpy, scipy, matplotlib, jupyter notebook

Антон Першин
Team Lead команды мат. моделирования и оптимизации, Chebyshev Research Center. Доцент СПбГУ

Большие языковые модели (Large Language Models, LLMs) и их мультимодальные родственники без сомнения являются главными виновниками взрывного роста интереса к искусственному интеллекту как со стороны профессионального сообщества, так и со стороны обывателей. Этот интерес чаще всего фокусируется на способностях LLM. Могут ли они решать задачи с международных олимпиад? Как хорошо они воспроизводят факты из Википедии? Достаточно ли они хороши и компетентны как психологи или преподаватели? Оценка способностей, то есть конечного результата работы LLM, важна с практической точки зрения, и в связи с этим несколько в тени остаётся вопрос о том, что же происходит внутри моделей в тот момент, когда они отвечают на наши вопросы. В этом курсе мы постараемся дать ответ на этот вопрос, который будет чуть более глубоким, чем описание трансформерной архитектуры.

Мы рассмотрим четыре группы объектов, относительно которых удобно анализировать внутренние процессы LLM: attention scores, матрицы весов, активации и трансформерные блоки.

Распределение attention scores отличается разнообразием и зависит от рассматриваемой attention head. Чаще всего мы наблюдаем разреженность соответствующей матрицы attention scores, и паттерн разреженности может использоваться как для интерпретации роли данной attention head в генерации следующего токена, так и для ускорения этой генерации.

Матрицы весов также могут обладать разреженностью, что изначально мотивировало использование прунинга для сжатия глубоких нейронных сетей. Более того, оказывается, что LLM до некоторой степени робастны к понижению точности представления весов, что позволяет уменьшать размер моделей и время отклика с помощью квантизации. При такой кажующейся избыточности матриц весом интересным фактом представляется наличие в них буквально нескольких десятов супервесов с аномально большими абсолютными значениями, чья избыточная квантизация полностью разрушает осмысленную генерацию.

Большой прогресс в исследовании активаций трансформерных блоков стал возможен благодаря использованию sparse autoencoders. С их помощью строится разреженное представление активаций, которое может быть использовано для идентификации обобщенных концептов, влияющих на генерацию LLM. Так, например, можно обнаружить разреженные признаки, отвечающие за вежливость. Усиливая их (feature steering), мы динамически меняем генерацию LLM, делая формулировки ответа более вежливыми.

Наконец, можно взглянуть на процессы в LLM в большем масштабе и проанализировать, как меняется внутреннее представление токенов при перехода одного слоя к последующему. С одной стороны, детальный анализ позволяет характеризовать роли слоев в генерации ответа. С другой (более практической) стороны, этот анализ показывает, что декодируемый токен зачастую известен уже в промежуточных блоках, и глубокие слои в таком случае выполняют пассивную роль. Этот факт используется для ускорения LLM путем пропуска вычислений на последних слоях статистическим образом (прунинг) или динамическим образом (спекулятивный декодинг).