А я тем временем сдавал TOEFL, удалось набрать 99/120 баллов 🤨

Экзамен длился почти 4 часа, и уж точно не был самым простым. Но и сложным, в общем, назвать его было бы неправильным.

Я хотел набрать 100 баллов, но не хватило совсем чуть-чуть. Меньше всего набрал в Speaking, может быть, мой плохой встроенный в ноутбук микрофон подвел меня, может быть заветный 1 балл я бы добрал, будь микрофон получше. А может и нет.

Но и 99 баллов — это тоже неплохой результат, учитывая, что я почти не готовился к тесту. Я писал тест 20 марта, регистрировался на него 18 марта, и времени на подготовку толком и не было. Все, что я в итоге сделал — это прослушал курс TOEFL: Test Preparation на edX, который дал мне представление о структуре экзамена.

В общем, первый опыт сдачи международного экзамена оказался неплохим

Результат генерации по запросу "короткая точная последовательность в реальной жизни"

Давно я сюда ничего не писал ...

За прошедшие 1.5 месяца успело многое измениться:
- Я устроился на работу в Хуавей
- Я поступил в американский университет
- Я защитил диплом

Про работу в Хуавее:
Уже больше месяца я работаю в Ноевом ковчеге (Noah’s Ark) — исследовательском подразделении Хуавея, младшим инженером. На самом деле попасть сюда хотел давно: я видел работы людей отсюда, знал нескольких личностей, что тут работали и работают. Я попал в команду, которая исследует использование нейросеток в различных задачах комбинаторной оптимизации. Устроенный в этом семестре семинар по геометрическому глубокому обучению оказался как нельзя кстати: на работе мы активно используем графовые сеточки.
Единственным минусом, наверное, является очный формат работы: я привык сидеть в Воронеже и делать все онлайн: учиться, работать. Но у очного формата работы куча своих плюсов though.

Про американский университет:
В общем-то, я до этого писал о том, что я сдал TOEFL, это было не просто так: еще в ноябре мой научный руководитель предложил мне поступить к нему в University of Texas Rio Grande Valley. Для меня это было неожиданным предложением: я планировал продолжить обучение в аспирантуре в России, об иностранной аспирантуре я и не думал, хотя мысли об учебе зарубежом у меня были еще со школы. В общем, колеблясь, я решил подавать документы. Помимо TOEFL, мне пришлось сделать оценку диплома в WES, и спустя небольшое время мне пришло письмо о том, что я поступил. Учеба, конечно, очная, о чем я знал, и из-за чего и колебался: покидать близких мне людей не хотелось и не хочется. С другой стороны, это крутая возможность, которую также не хочется упускать. Поэтому, когда мне пришло письмо, я испытывал двоякие эмоции.
В общем, теперь я — студент техасского университета 😎. Городок, в котором я буду находиться ближайший год находится прямо у границы с Мексикой, на 22 параллели, рядом с заливом. Возможно наконец научусь плавать 🌚

Про диплом:
Я писал диплом, совмещая его с работой: это давалось непросто, но все же все получилось. Диплом посвящен топологическим методам в анализе данных, в нем рассмотрены 3 разные темы, из которых мне кажется наиболее стоящей внимания последняя, посвященная тому, как меняется топология данных, проходящих через слои нейросети. Я немного уже упоминал про статью статью Topology of Deep Neural Networks, исследования на эту тему в моем дипломе вдохновлены этой статьей. Несмотря на то, что мне было наиболее интересно заниматься этой темой, я не могу сказать, что у меня получились какие-то крутые результаты, или что работа хоть как-то окончена: еще есть, что делать, и, может быть, однажды это выльется в действительно хорошую работу и полноценную публикацию.
Защита прошла довольно хорошо, правда давалось мало времени на доклад. По итогу я получил свою отл(9).

С Llama-2 🦙 уже можно поговорить

У французского стартапа Hugging Face 🤗, которые изначально прославились хабом для трансформеров (когда еще это называлось NLP), оказывается есть свой веб-интерфейс для чат моделек.

Он называется Hugging Chat и они только что добавили поддержку Llama-2.

Уже можно идти общаться!

🤗 HuggingChat

Офигенно! Документирование чуть ли не построчно :3

This is a collection of simple PyTorch implementations of neural networks and related algorithms. These implementations are documented with explanations, and the website renders these as side-by-side formatted notes. We believe these would help you understand these algorithms better.

https://nn.labml.ai/

Люди работают, понимать надо ...

Нежданно-негаданно решил с друзьями: Сережей и Германом, залететь на Всероссийский хакатон от Цифрового прорыва в Нижнем, на кейс от РЖД. Необходимо было придумать модель для координации вагонопотока между жд станциями.

Мы посидели-посидели, и в итоге заняли 3-е место, выйграли килограмм варенья, килограмм печенья, а также поездку куда-то 🥳🥳

Аспирантура:

Очень жизненно

Если по какой-то причине вам не знакома фамилия Прокудина-Горского, то утро субботы воскресенья -- отличное время для того, чтобы побольше о нем узнать

Еще в июле я и Герман решили принять участие в ICML 2023 Topological Deep Learning Challenge -- соревновании на одной из самых крупных конференций по машинному обучению, суть которого заключалась в реализации топологических нейросетей.

Топологические нейросети -- это такое обобщение графовых нейросетей. Обычные графовые нейросети работают лучше в случаях, если домейн имеет графовую структуру, при этом топологические GNN работают лучше, когда домейн -- нечто более сложное, чем граф, когда структура данных обладает отношением высшего порядка. Ну например, это могут быть гиперграфы, симплициальные комплексы.

Как вообще работают графовые сети? Как-нибудь я напишу об этом пост, а пока расскажу вкратце. Графовые сети применяются в ситуации, когда данные представляют собой граф. Обычно в вершинах графа сосредоточена какая-то информация, которая описывает наши данные. Об этом можно думать как о векторных представлениях наших вершин, по аналогии с векторными представлениями слов. Графовые нейросети в процессе оптимизации постепенно изменяют эти представления на основе аггрегации представлений с соседних вершин.

Так вот, гиперграфовые нейросети работают точно также, только вместо графов данные представляют собой гиперграф. Вот и все, да-да, не удивляйтесь. Математика тут немного меняется, но в общем идея графовых сеток в данном случае просто переносится с графовой структуры на гиперграфовую.

В частности, на соревновании мы реализовывали две архитектуры гиперграфовых нейросетей: HyperGAT и HyperSage. В рамках соревнования предполагалось реализовать эти нейросети с использованием фреймворка TopoModelX, таким образом способствуя его развитию и популяризации. Ну, кажется, мы справились!

И вот спустя пару месяцев наконец вышел сhallenge white paper, где описано само соревнование и полученные результаты. В качестве авторов статьи засветились и мы с Германом (правда я почему-то подписан как Paul, хоть и просил назвать меня Pavel 😡). В общем, это было весело и познавательно! Я думаю, что без участия в соревновании, я бы не погрузился настолько хорошо в тему топологических сеток, так что это того стоило.

Год назад мы с друзьями устраивали мини-курс по маломерной топологии, на котором Андрей Рябичев рассказывал всякое.
В этом же году мы стали больше, и делаем конференцию по топологии и анализу данных! Это все дело начнется завтра и будет идти 3 дня, по вечерам. Короче, приходите 😈

Уже прошло больше недели с того, как мы организовали конференцию по топологии, комбинаторике и анализу данных. По ощущениям, в этот раз пришло меньше людей, чем в прошлом, но в итоге все равно вышло круто!
Я рассказывал про устойчивые гомологии и топологический анализ данных, что, в общем, не удивительно. Правда рассказал не лучшим образом: готовился рассказывать одно, а рассказывал другое и по-другому. Что-то, что хотел осветить, просто не успел. Наверное, это приходит с опытом.
Мы записывали доклады, они уже выложены, и там даже есть какие-то просмотры 😼