Про работу в Хуавее:
Уже больше месяца я работаю в Ноевом ковчеге (Noah’s Ark) — исследовательском подразделении Хуавея, младшим инженером. На самом деле попасть сюда хотел давно: я видел работы людей отсюда, знал нескольких личностей, что тут работали и работают. Я попал в команду, которая исследует использование нейросеток в различных задачах комбинаторной оптимизации. Устроенный в этом семестре семинар по геометрическому глубокому обучению оказался как нельзя кстати: на работе мы активно используем графовые сеточки.
Единственным минусом, наверное, является очный формат работы: я привык сидеть в Воронеже и делать все онлайн: учиться, работать. Но у очного формата работы куча своих плюсов though.

Про американский университет:
В общем-то, я до этого писал о том, что я сдал TOEFL, это было не просто так: еще в ноябре мой научный руководитель предложил мне поступить к нему в University of Texas Rio Grande Valley. Для меня это было неожиданным предложением: я планировал продолжить обучение в аспирантуре в России, об иностранной аспирантуре я и не думал, хотя мысли об учебе зарубежом у меня были еще со школы. В общем, колеблясь, я решил подавать документы. Помимо TOEFL, мне пришлось сделать оценку диплома в WES, и спустя небольшое время мне пришло письмо о том, что я поступил. Учеба, конечно, очная, о чем я знал, и из-за чего и колебался: покидать близких мне людей не хотелось и не хочется. С другой стороны, это крутая возможность, которую также не хочется упускать. Поэтому, когда мне пришло письмо, я испытывал двоякие эмоции.
В общем, теперь я — студент техасского университета 😎. Городок, в котором я буду находиться ближайший год находится прямо у границы с Мексикой, на 22 параллели, рядом с заливом. Возможно наконец научусь плавать 🌚

Про диплом:
Я писал диплом, совмещая его с работой: это давалось непросто, но все же все получилось. Диплом посвящен топологическим методам в анализе данных, в нем рассмотрены 3 разные темы, из которых мне кажется наиболее стоящей внимания последняя, посвященная тому, как меняется топология данных, проходящих через слои нейросети. Я немного уже упоминал про статью статью Topology of Deep Neural Networks, исследования на эту тему в моем дипломе вдохновлены этой статьей. Несмотря на то, что мне было наиболее интересно заниматься этой темой, я не могу сказать, что у меня получились какие-то крутые результаты, или что работа хоть как-то окончена: еще есть, что делать, и, может быть, однажды это выльется в действительно хорошую работу и полноценную публикацию.
Защита прошла довольно хорошо, правда давалось мало времени на доклад. По итогу я получил свою отл(9).

С Llama-2 🦙 уже можно поговорить

У французского стартапа Hugging Face 🤗, которые изначально прославились хабом для трансформеров (когда еще это называлось NLP), оказывается есть свой веб-интерфейс для чат моделек.

Он называется Hugging Chat и они только что добавили поддержку Llama-2.

Уже можно идти общаться!

🤗 HuggingChat

Офигенно! Документирование чуть ли не построчно :3

This is a collection of simple PyTorch implementations of neural networks and related algorithms. These implementations are documented with explanations, and the website renders these as side-by-side formatted notes. We believe these would help you understand these algorithms better.

https://nn.labml.ai/

Люди работают, понимать надо ...

Нежданно-негаданно решил с друзьями: Сережей и Германом, залететь на Всероссийский хакатон от Цифрового прорыва в Нижнем, на кейс от РЖД. Необходимо было придумать модель для координации вагонопотока между жд станциями.

Мы посидели-посидели, и в итоге заняли 3-е место, выйграли килограмм варенья, килограмм печенья, а также поездку куда-то 🥳🥳

Аспирантура:

Очень жизненно

Если по какой-то причине вам не знакома фамилия Прокудина-Горского, то утро субботы воскресенья -- отличное время для того, чтобы побольше о нем узнать

Еще в июле я и Герман решили принять участие в ICML 2023 Topological Deep Learning Challenge -- соревновании на одной из самых крупных конференций по машинному обучению, суть которого заключалась в реализации топологических нейросетей.

Топологические нейросети -- это такое обобщение графовых нейросетей. Обычные графовые нейросети работают лучше в случаях, если домейн имеет графовую структуру, при этом топологические GNN работают лучше, когда домейн -- нечто более сложное, чем граф, когда структура данных обладает отношением высшего порядка. Ну например, это могут быть гиперграфы, симплициальные комплексы.

Как вообще работают графовые сети? Как-нибудь я напишу об этом пост, а пока расскажу вкратце. Графовые сети применяются в ситуации, когда данные представляют собой граф. Обычно в вершинах графа сосредоточена какая-то информация, которая описывает наши данные. Об этом можно думать как о векторных представлениях наших вершин, по аналогии с векторными представлениями слов. Графовые нейросети в процессе оптимизации постепенно изменяют эти представления на основе аггрегации представлений с соседних вершин.

Так вот, гиперграфовые нейросети работают точно также, только вместо графов данные представляют собой гиперграф. Вот и все, да-да, не удивляйтесь. Математика тут немного меняется, но в общем идея графовых сеток в данном случае просто переносится с графовой структуры на гиперграфовую.

В частности, на соревновании мы реализовывали две архитектуры гиперграфовых нейросетей: HyperGAT и HyperSage. В рамках соревнования предполагалось реализовать эти нейросети с использованием фреймворка TopoModelX, таким образом способствуя его развитию и популяризации. Ну, кажется, мы справились!

И вот спустя пару месяцев наконец вышел сhallenge white paper, где описано само соревнование и полученные результаты. В качестве авторов статьи засветились и мы с Германом (правда я почему-то подписан как Paul, хоть и просил назвать меня Pavel 😡). В общем, это было весело и познавательно! Я думаю, что без участия в соревновании, я бы не погрузился настолько хорошо в тему топологических сеток, так что это того стоило.

Год назад мы с друзьями устраивали мини-курс по маломерной топологии, на котором Андрей Рябичев рассказывал всякое.
В этом же году мы стали больше, и делаем конференцию по топологии и анализу данных! Это все дело начнется завтра и будет идти 3 дня, по вечерам. Короче, приходите 😈

Уже прошло больше недели с того, как мы организовали конференцию по топологии, комбинаторике и анализу данных. По ощущениям, в этот раз пришло меньше людей, чем в прошлом, но в итоге все равно вышло круто!
Я рассказывал про устойчивые гомологии и топологический анализ данных, что, в общем, не удивительно. Правда рассказал не лучшим образом: готовился рассказывать одно, а рассказывал другое и по-другому. Что-то, что хотел осветить, просто не успел. Наверное, это приходит с опытом.
Мы записывали доклады, они уже выложены, и там даже есть какие-то просмотры 😼

Наконец решил по-нормальному вкатиться в этот ваш кеггл, а тут как раз идет подходящее соревнование: The Polytope Permutation Puzzle. Его суть заключается в нахождении оптимальных (в смысле числа шагов) решений головоломок по типу кубика Рубика.

Вообще это довольно интересное соревнование. Уже хотя бы потому что условные топ-10 на лб очень сильно вырываются вперед по сравнению с остальными участниками. А паблик решение уже почти дает медальку.
С другой стороны, в этом соревновании можно применять разные штуки: от алгоритмов поиска пути на графах, до обучения с подкреплением, до нахождения соотношений в группах. Кстати о них.

Многие знают, что преобразования стандартного кубика Рубика (кубика размеров 3х3х3), то есть всякие повороты граней и все такое, образуют группу с нехитрым названием: группа кубика Рубика. Аналогично обстоит дело с кубиками Рубика и других размеров: 2х2х2, 4х4х4, 128х128х128 и т.д. Все (известные мне) алгоритмы так или иначе опираются теорию групп.

В чем же прикол соревнования? Ведь, раз есть алгоритмы, наверняка есть их реализации, достаточно просто их применить и все, получим решение?
Ну вот оказывается, что среди представленных головоломок есть не только кубики Рубика (хотя их и большинство). В то же время, солверы кубика Рубика обычно дают не самое оптимальное решение даже для стандартного кубика 3х3х3. Хотя задачу они, конечно, как-то решают. Да и более того, для кубиков Рубика больших размеров даже не известно, за сколько ходов их точно можно собрать (God's number известен только для кубиков 2х2х2 и 3х3х3, для всего остального есть всякие оценки)

Ну вот. А можно ли, имея какое-то решение, как-то его упростить? Ответ: Да! Уж попытаться точно стоит.
Раз каждая головоломка определяет какую-то (конечную) группу, то давайте попробуем эту группу как-то изучить. Например, было бы здорово получить ее копредставление. Образующие нам известны -- это те самые повороты граней кубика. В других головоломках какие-то свои преобразования. Осталось получить соотношения: такие последовательности преобразований, которые никак не меняют состояние головоломки. Получив их, можно будет упрощать любое решение! А именно, если есть некоторое решение, то остается найти в нем эти соотношения и удалить их из него, получив новое решение. Так как соотношения никак не меняют состояние головоломки, то новое решение действительно будет решением, но так как какие-то преобразования из него удаляются, оно будет более оптимальным.

Остается лишь одна проблема: находить соотношения довольно сложно с вычислительной точки зрения. Особенно для каких-то очень больших групп: для одной из групп из соревнования копредставление у меня считалось более 13 часов, после чего я просто его прервал. Для более простых их найти несложно, однако для них известные решения итак оказываются (почти) оптимальными. Наверное тут можно использовать всякие нейронки для поиска соотношений (в духе работ, где применяют нейросети к математике, как эта, эта или эта), как и в целом для ускорения разных алгоритмов компьютерной алгебры.

Про это все я сделал целую тетрадку. Там все это детальнее описано. Такие дела. Накидайте мне апвоутов