Я тут решил устроить reading seminar по geometric deep learning: хоть книга и небольшая, читать ее вместе полезнее и веселее.
Если это еще кого-то заинтересовала, то ссылочка вот.

Что за лев этот тигр 😮‍💨😮‍💨

Кстати его статья Topology of deep neural networks на самом деле оч крутая: оказывается, когда fully-connected нейроночка пытается отличить, скажем, кошечек от собачек на картинке, то она упрощает топологию пространства картинок с кошечками и пространства картинок с собачками до такой степени, что эти два пространства легко друг от друга отделить, хоть и сперва эти два пространства могли быть очень сложно устроены. Во дела 😲🤓

https://oimo.io/works/life/

Можно позумить бесконечную игру жизнь в игре жизнь в игре жизнь...

Забавно, конечно, достаточно легкого изменения на одном из уровней, чтобы все последующие обратились в прах, а предыдущие остались сохранны

Я слева 👹

А я тем временем сдавал TOEFL, удалось набрать 99/120 баллов 🤨

Экзамен длился почти 4 часа, и уж точно не был самым простым. Но и сложным, в общем, назвать его было бы неправильным.

Я хотел набрать 100 баллов, но не хватило совсем чуть-чуть. Меньше всего набрал в Speaking, может быть, мой плохой встроенный в ноутбук микрофон подвел меня, может быть заветный 1 балл я бы добрал, будь микрофон получше. А может и нет.

Но и 99 баллов — это тоже неплохой результат, учитывая, что я почти не готовился к тесту. Я писал тест 20 марта, регистрировался на него 18 марта, и времени на подготовку толком и не было. Все, что я в итоге сделал — это прослушал курс TOEFL: Test Preparation на edX, который дал мне представление о структуре экзамена.

В общем, первый опыт сдачи международного экзамена оказался неплохим

Результат генерации по запросу "короткая точная последовательность в реальной жизни"

Давно я сюда ничего не писал ...

За прошедшие 1.5 месяца успело многое измениться:
- Я устроился на работу в Хуавей
- Я поступил в американский университет
- Я защитил диплом

Про работу в Хуавее:
Уже больше месяца я работаю в Ноевом ковчеге (Noah’s Ark) — исследовательском подразделении Хуавея, младшим инженером. На самом деле попасть сюда хотел давно: я видел работы людей отсюда, знал нескольких личностей, что тут работали и работают. Я попал в команду, которая исследует использование нейросеток в различных задачах комбинаторной оптимизации. Устроенный в этом семестре семинар по геометрическому глубокому обучению оказался как нельзя кстати: на работе мы активно используем графовые сеточки.
Единственным минусом, наверное, является очный формат работы: я привык сидеть в Воронеже и делать все онлайн: учиться, работать. Но у очного формата работы куча своих плюсов though.

Про американский университет:
В общем-то, я до этого писал о том, что я сдал TOEFL, это было не просто так: еще в ноябре мой научный руководитель предложил мне поступить к нему в University of Texas Rio Grande Valley. Для меня это было неожиданным предложением: я планировал продолжить обучение в аспирантуре в России, об иностранной аспирантуре я и не думал, хотя мысли об учебе зарубежом у меня были еще со школы. В общем, колеблясь, я решил подавать документы. Помимо TOEFL, мне пришлось сделать оценку диплома в WES, и спустя небольшое время мне пришло письмо о том, что я поступил. Учеба, конечно, очная, о чем я знал, и из-за чего и колебался: покидать близких мне людей не хотелось и не хочется. С другой стороны, это крутая возможность, которую также не хочется упускать. Поэтому, когда мне пришло письмо, я испытывал двоякие эмоции.
В общем, теперь я — студент техасского университета 😎. Городок, в котором я буду находиться ближайший год находится прямо у границы с Мексикой, на 22 параллели, рядом с заливом. Возможно наконец научусь плавать 🌚

Про диплом:
Я писал диплом, совмещая его с работой: это давалось непросто, но все же все получилось. Диплом посвящен топологическим методам в анализе данных, в нем рассмотрены 3 разные темы, из которых мне кажется наиболее стоящей внимания последняя, посвященная тому, как меняется топология данных, проходящих через слои нейросети. Я немного уже упоминал про статью статью Topology of Deep Neural Networks, исследования на эту тему в моем дипломе вдохновлены этой статьей. Несмотря на то, что мне было наиболее интересно заниматься этой темой, я не могу сказать, что у меня получились какие-то крутые результаты, или что работа хоть как-то окончена: еще есть, что делать, и, может быть, однажды это выльется в действительно хорошую работу и полноценную публикацию.
Защита прошла довольно хорошо, правда давалось мало времени на доклад. По итогу я получил свою отл(9).

С Llama-2 🦙 уже можно поговорить

У французского стартапа Hugging Face 🤗, которые изначально прославились хабом для трансформеров (когда еще это называлось NLP), оказывается есть свой веб-интерфейс для чат моделек.

Он называется Hugging Chat и они только что добавили поддержку Llama-2.

Уже можно идти общаться!

🤗 HuggingChat

Офигенно! Документирование чуть ли не построчно :3

This is a collection of simple PyTorch implementations of neural networks and related algorithms. These implementations are documented with explanations, and the website renders these as side-by-side formatted notes. We believe these would help you understand these algorithms better.

https://nn.labml.ai/

Люди работают, понимать надо ...

Нежданно-негаданно решил с друзьями: Сережей и Германом, залететь на Всероссийский хакатон от Цифрового прорыва в Нижнем, на кейс от РЖД. Необходимо было придумать модель для координации вагонопотока между жд станциями.

Мы посидели-посидели, и в итоге заняли 3-е место, выйграли килограмм варенья, килограмм печенья, а также поездку куда-то 🥳🥳

Аспирантура:

Очень жизненно

Если по какой-то причине вам не знакома фамилия Прокудина-Горского, то утро субботы воскресенья -- отличное время для того, чтобы побольше о нем узнать