А действительно ли есть полезные применения пучков?
Зависит от того, что мы понимаем под полезными.

Обзор содержит широкое описание приложений в разных областях, в частности для интуиционистской логике, лямбда-исчисления, вычислительной линвистики, для теории ТДА итд. Но здесь я сфокусируюсь на примерах из ML/DS.

Одним из первых применять пучки к обработке данных предложил Роберт Грист (советую его топовое введение в прикладную топологию). В 2013 он применял пучки к задачам, связанным с потоками в сетях. Далее, Карри концептуально развил направление пучков и ко-пучков на клеточных комплексах, что легко в основу современных приложений.

Нейронные пучки. Архитектура графовой свёрточной сети (GCN) с индуктивным смещением на основе пучков - Sheaf Neural Networks впервые была предложена Гебхардом (соавтор обзора), однако он не "выучивает" пучок, т.е. не подбирает restriction map на основе цели обучения, а просто "вручную" инициализирует restriction map. Мне кажется, что отдельная важная тема исследований - поиск хорошего способа инициализации restriction map без обучения на основе знаний из предметной области.

🇹🇫🔥Направление дизайна пучковых DNN архитектур расширили Боднар и Бронштейн, предложив архитектуру Neural Sheaf Diffusion (NSD), где restriction map F (почти честно, но нет) выучиваются через диффузию. Они показали, что NSD с лапласианом пучка выразительнее GCN с обычным лапласином графа, NSD также решает важную (так принято считать в комьюнити, на самом деле, это дискуссионный вопрос, есть ли такая проблема, я к этому скептичен) проблему работы с гетерофильными графами. Это подробно изложено в must-read диссертации Боднара, настоятельно советую его почитать, это пример по-настоящему крутой диссертации. В итоге, они открыли бездну в мир нейро-пучков и их модификаций, и тут понеслось...

Далее Барберо комбинирует способы получения пучка, сначала он строит отображения на основе данных детерминированным способом как Гебхард, а потом доучивает как Боднар, эксперименты показывают прирост перформанса на классификации узлов.

В статье Sheaf Attention Network предложено добавлять в пучки на графах механизм внимания. В борьбе с овер-параметризацией в Bundle Neural Networks предлагается заменить пучок на векторные расслоения. Пучки также определяются и на гиперграфах - Sheaf Hypergraph Convolutional Network. Еще предложено улучшать NSD через интеграцию особых positional encoding для вершин графа.

В этом канале я накидал еще больше ссылок на DNN-архитектуры на основе пучков. Там я просто собираю статьи без их разборов.

Среди теоретических приложений мне показалось необычным статья того самого Роберта Гриста про приложения пучков к теории оригами - Unified Origami Kinematics via Cosheaf Homology.

Приложения в народном хозяйстве. Есть и совсем конкретные приложения пучков для анализа корпусов документов, для графовых рекомендательных систем, к задаче community detection на основе топологии графа. В естественных науках предложено приложение пучков к описанию физических систем моделирующих динамику молекул. Нетрудно заметить, что логика пучков заточена под анализ локально-глобальных отношений, это мотивирует применять пучки к федеративному обучению, как сделано в FedSheafHN.

Гиперпараметром архитектуры NSD является размерность векторных пространств на стеблях (ширина стебля). Более высокая ширина стебля обеспечивает более высокую выразительную силу модели, но увеличивает риск переобучения.

Открытая практическая проблема: недостача эмпирических исследований того, как должна масштабироваться ширина стебля при увеличении размера графа для получения приемлемого перформанса. И в целом, есть существенная недостача применений пучков для больших графов.

В Москве уже 2 часа ночи. Но что же может быть лучше, чем сон? Конечно же 8 тестовый запуск ракеты Starship, который произойдет через полчаса! 🚀🔥

Трансляция будет прямо на сайте SpaceX, вот тут!

(На фото: последствия последнего запуска, случившегося прямо в мой первый день пребывания тут)

Открыта регистрация на LOGML 2025! 🎉

London Geometry and Machine Learning Summer School — это ежегодная школа по геометрии в ML, где участники не только слушают лекции топовых спикеров, но и работают над проектами, которые часто перерастают в коллаборации и публикации.

За неделю работы участники погружаются в исследовательские проекты, а также слушают лекции от ведущих ученых (в этом году почти все из академии, но в 2021-м, например, было много спикеров и из индустрии: Twitter, Nvidia, Google, Facebook). В финале — презентация полученных результатов.

В прошлом году мне удалось поучаствовать, правда дистанционно (пост об этом). Об опыте очного участия можно почитать у Германа. Говоря про свой опыт участия, мы все еще работаем над проектом, и надеемся завершить его к дедлайну NeurIPS.

В этом году, как мне кажется, увеличилось число проектов, связанных с Life Sciences:
- Iterative Reasoning in Graph Neural Networks for Drug Repurposing
- On Depth in Geometric Deep Learning: Scaling Up Biomolecular Analysis Using Deep Neural k-Forms
- Topological data analysis (TDA) to elucidate protein functions via variant landscapes
- Topological Machine Learning for Brain Dynamics

Есть проекты и по трансформерам:
- Beyond Text: Exploring Adaptations of LLMs for Graph-Based Tasks
- Symmetry, degeneracy and effective dimensions of neural networks

Из необычного — проект Finite groups and the Cayley graph representation, such that ML can then help identify symmetry from generators, в котором предлагается поискать разными нейросетками различные закономерности между свойствами графов Кэли и свойствами соответствующих им абелевых групп. Интересный пример ML for Mathematics, направления, которое становится все популярнее.

Дедлайн подачи — 6 апреля. Highly recommended to apply! 🗓

С 17 по 21 марта я буду участвовать в воркшопе «Matroids, Rigidity, and Algebraic Statistics», который пройдет в ICERM!

Institute for Computational and Experimental Research in Mathematics — это институт, специализирующийся на вычислительной и экспериментальной математике, финансируемый NSF и базирующийся в Брауновском университете. Он организует воркшопы, семестровые и годовые программы по самым разным областям — от машинного обучения и оптимизации до алгебраической геометрии, топологии и теории графов.

Так, в 2021 году в ICERM прошел воркшоп “Combinatorial Algebraic Geometry”, организатором которого был June Huh, который получил Филдсовскую премию 2022 года как раз за связи между алгебраической геометрией и комбинаторикой.

В среду я выступлю с коротким докладом: Topological Analysis of Activation Functions, где я расскажу, как можно встроить в нейросети топологические преобразования данных так, чтобы изменять топологию входного пространства в нужную сторону.

Проводим весенние каникулы с пользой! 🔥

На фото: Капитолий Род-Айленда в Провиденсе.