Решил чуть побольше рассказать о себе, чтобы дорогие читатели не думали, я только фото ковра тут пощу. Сегодня расскажу про образование.

В предыдущей серии мы узнали, что зовут меня Антон и работаю я в гугл рисёрче – в этом плане ничего не изменилось! Даже после слияния Google Brain и DeepMind наша команда осталась при "большом гугле". И Антоном меня всё ещё зовут. Стабильность.

Я попал туда в 2021 году после PhD, сделанного в Германии – начинал я в Hasso Plattner Institute в Потсдаме (Берлинские Мытищи, только покрасивее), в заканчивал в университете Бонна. Бонн – это такая деревня на триста тысяч человек, где можно ездить туда-сюда по Рейну на велосипеде и объедаться клубникой с поля летом. В целом, 5/7, могло быть и лучше, но клубника вывозит. Берлин до сих пор остался в моём сердечке – я считаю его одним из самых сбалансированно-хороших городов для жизни.

Во время PhD я успел сделать две рисёрч стажировки в гугле – в 2019 году в продуктовой команде, которая называлась counter-abuse technology, в кремниевой долине, а в 2020 – в собственно команде графовых алгоритмов. Кто ещё помнит, в 2020 году был такой ковид, поэтому примерно всю стажировку я просидел в своей комнате, которую я снял потому что было дёшево и быстро добираться до офиса. Ну, зато статьи писались довольно успешно. В Калифорнии я жил у широко известного в узких кругах Сашули, которого нашёл в ещё более небезызвестном сообществе ODS. Калифорния мне не понравилась – большая деревня с мальчиками-программистами и девочками-проджектами. Хотелось разнообразия.

До этого я делал магистратуру в Сколтехе ('14-'16), в первый год, когда они ещё даже аккредитацию не получили. С магистратурой связана забавная история – я заполнил онлайн-заявку и пребывал в полной уверенности, что меня не взяли. Письмо-приглашение на отбор улетело в спам, а на звонок в день отбора я чуть не проспал – как вообще можно звонить людям в субботу в 7 утра?! Сколтех тогда был классным местом с хорошими кадрами, но, конечно, продуманной программы обучения ждать не приходилось. Кстати, на самом деле там я и начал своё PhD – вот только моего научного руководителя тогда резко погнали на мороз (потому что не русский, лол), так что пришлось резко менять планы.

В совсем бородатые времена, когда динозавры ходили пешком по земле 🦆, я закончил факультет бизнес-информатики НИУ ВШЭ, который в нынешнее время известен как высшая школа менеджмента (боже упаси ✝️). Мне не очень нравилась перспектива быть бизнес-аналитиком и разговаривать с людьми, а вот программирование давалось довольно легко – я вел студенческие курсы и довольно много помогал другим. Тогда же я и познакомился с графами – на 4 курсе я узнал про кластеризацию графов, и решил сделать свой самый лучший алгоритм. Написал я его на C# и LinQ-лямбдах, так что сомневаюсь, что в мире есть хоть один человек в здравом уме, который сможет его прочитать и оценить по достоинству 📃. За работу мне тогда поставили 8 (5 с минусом по-человечески) и сказали с такими еретическими мыслями переться на факультет математики (ФКНа тогда не было). Штош.

Вот такая получилась история. При рассказе в обратном хронологическом порядке получается меньше неожиданных поворотов, конечно. 🥛

Выбор места для эмиграции

Так получилось, что я прожил довольно много времени в разных странах, так что у меня образовались некоторые идеи про то, как стоит себе выбирать страну для переезда. Это – не абстрактные рассуждения в вакууме – когда я заканчивал PhD, пришлось активно думать, где продолжать жизнь – Германию я уже не рассматривал. Все люди разные, так что кому-то все эти мысли покажутся полным бредом и пост-фактум рационализацией моих жизненных решений. А кому-то, может, и не покажутся. Считаем, я предупредил.

Во-первых, каждый конкретный город может сильно отличаться от других в той же стране. Что тут говорить – я вырос в Москве, которая совсем не похожа на почти всю остальную Россию. Так же сильно отличается Берлин от Бонна – в Германии региональные различия гораздо более сильно выражены. В городе для меня важна неоднородность и культура – мне не нравится, например, финансовый Франкфурт или кремниевая долина со сплошными программистами. В этом смысле меня привлекают многие северно-европейские столицы – Берлин, Амстердам, Стокгольм, в меньшей степени Цюрих. Отдельно надо сказать, что Лондон я категорически не люблю. Как-то раз я приехал туда туристом, и понял, что я (1.95м) не помещаюсь в вагон метро. Не очень-то и хотелось, Лондон. 🖕

Тогда почему там и не остаться? Очень просто – я не увидел возможностей полноценной интеграции в общество. Даже те мои друзья в Германии, которые идеально выучили язык и общались почти исключительно с местными, не стали в концечном итоге полноценными немцами. Вот это чувство неполноценности для меня стало определяющим фактором – всё-таки хочется в конечном итоге почувствовать себя дома. 🗑

В дополнение к этому, надо ещё как-то, ну, знаете, жить и работать. Так получилось, что я предпочёл индустриальную карьеру академической, так что выбор потенциальных мест сократился до офисов крупных компаний с большими исследовательскими центрами. Да ещё и тех, куда возьмут (например, в яндекс рисёрч я не прошёл интервью). Вот как-то так и получился Нью-Йорк. С крысами на улицах, зато ужасно неоднородный и с живой и интересной культурой. 🧐

Пока я отхожу от джетлага (и прочтения ревью с нипса 👉), решил собрать в одном месте наши выступления на ICML:

1. Слайды, запись и сайт туториала по Tensorflow-GNN
2. Презентация и постер нашей статьи с TAGML про оценку качества эмбеддингов – я про неё писал в канале
3. Постер мини-статьи с TAGML про наш фреймворк обучения структуры графов

Наткнулся в твиттере на вот такой график распределения силы отравления свинцом для США.

Тетраэтилсвинец – дьявольское соединение, созданное в прошлом веке для того, чтобы бензин в двигателе горел, а не взрывался. Иронично, что сам по себе тетраэтилсвинец приводит к образованию свинцового налёта в двигателе и ведёт к быстрому его отказу, поэтому вместе с ним в топливо добавляют так называемые выносители на основе соединений хлора или брома, которые создают канцерогенные летучие соединения. Уж лучше в лёгких, чем в наших дражайших моторах, ведь правда же? 😮‍💨

Помимо уже заспойлерённой высокой канцерогенности, соединения тетраэтилсвинца в детском возрасте ведут к нарушениям развития у детей 😛; довольно популярна гипотеза, что сильный рост преступности в СССР, начавшийся в 60х годах – это следствие массового отравления свинцом.

В этом смысле интересна гипотеза в твите про технологическую стагнацию с 1970х по 2010 годы – может, всё дело опять в свинце? 🤪

Ну а мы, конечно, ждём таких же исследований про микропластик.

P.S. График немного криво читается – по оси X там год, когда рассматривалась группа возрастом с 22 по 35 лет. То есть для 2000 года (локального максимума) годы рождения от 1965 до 1978.

Дубай

Тут в разных ИИ-каналах начали постить (и стебать) рекламу инвестиций в недвижимость в Дубае, и я, как обычно, не могу остаться в стороне. В прошлом году меня занесло пожить на полгода в эту славную деревню, и она сильно поменяла то, как я смотрю на выбор жилья. Я успел пожить в четырёх "элитных" билдингах в Дубае, включая модно-молодёжную пятизвёздочную "рамку" Address с руфтоп-бассейном на 77 этаже, самым высоким в мире, конечно. 💁‍♂️

Дубай как город я ненавижу душой и сердцем. Проблема для меня в том, что многие процессы в городе построены на около-рабском труде за копейки. Это настолько выражено, что для иммигрантов существует два слова – белых и богатых называют экспатами, не очень белых и точно небогатых – иммигрантами. Доставка еды, обслуживание зданий, уборка песка и пыли – всё это делается иммигрантами из стран Африки и юго-восточной Азии, которые живут в бараках на 12 человек в комнате и получают в десятки раз меньше, чем средний владелец канала по ИИ трудяга в городе. От использования такого труда невозможно отказаться – например, я просто не мог выйти в магазин и купить то, что захочу – выбор товаров на доставку в разы больше.

Как ещё один пример, когда я искал себе квартиру, во многих предолжениях была небольшая – 5-7кв.м. – комнатка. Зачем? Для домработницы 🥹. И это действительно распространено – есть множество разных агентств, которые подбирают тебе домработниц, коорые живут с тобой в хоромах и занимаются уборкой и иногда готовкой. Можно подумать, что это какая-то причуда для шейхов, но я лично встречал русских эмигрантов, которые жаловались на ленивых домработниц. 😩

Строительство известной насыпной пальмы Джумейра уничтожило местный коралловый риф, а теперь эти острова погружаются обратно под воду. В 30% небоскрёбов в Дубаях канализация вывозится вручную специальными машинами 🦠, а здания устаревают быстрее, чем строят новые. Дубайские принцессы, которых регулярно похищают из Лондона, не добавляют привлекательности городу. Не покупайте там жильё, друзья. 😟

Эмиграция в США: мой таймлайн

На днях произошло радостное событие 🎃 – мне одобрили выдачу гринкарты, что завершило почти двухгодичный квест по эмиграции в США. Надеюсь, кому-нибудь поможет краткое описание процесса. Кстати, если будет интересно, могу написать краткий обзор по возможным вариантам.

В США всратая иммиграционная система, которая останавливает каждого второго и доставляет много попаболи каждому первому. Тем не менее, хотел я именно туда, так что выбрал путь эмиграции через так называемые визы талантов – O1 и EB1. Бабушка одобрила. 😛

O1 – неиммиграционная виза, по ней нужен работодатель, и работать можно оставаться всего лишь 3 года (можно продлевать). Зато при ускоренном рассмотрении (с вас $2500🤴) одобрение можно получить всего за две недели, и критерии там не сильно строгие – для учёных достаточно порядка 100 цитирований и h-индекс порядка 4-5.

С другой стороны, для ("экстраординарных") учёных есть отдельная категория гринкарт EB1-2, которая рассчитана на людей, которые работают в рисёрче от трёх лет. Спасибо, что часть моего опыта на PhD тоже засчитали – для этого подписывали специальное письмо от научника. Тут нам уже понадобится h-индекс потолще – я читал, что рекомендуют подаваться с более чем 300 цитированиями.

Решено было подаваться сначала на O1, а при въезде в стану перейти на EB1. В итоге таймлайн выглядел примерно так:

Апрель-май 2022 – сбор писем и доказательств с юристами 😎
24 июня 2022 – подача петиции i129 в USCIS
7 июля 2022 – одобрение петиции
5 августа 2022 – собеседование в посольстве; административная проверка
26 октября 2022 – получение визы O1

Переехал в США я в середине ноября 2022 года. 🎅

Апрель 2022 – обновляю документы, переподписываю два письма
10 мая 2023 – подача петиции i140 в USCIS
2 августа 2023 – одобрение петиции 😝

После одобрения i140 гринкарту получают примерно через полгода. В итоге весь иммиграционный путь займёт примерно полтора года 🐌 – хорошо, что по этой схеме можно начинать работать сразу со въезда в США. 👍

Сегодня последний день конференции KDD, где мы презентовали нашу практическую статью про то, как мы делаем эмбеддинги для очень больших графов; провели туториал про Tensorflow-GNN (да, опять); и организовали воркшоп про бенчмарки графовых моделей. На этом летний сезон выступлений Тейлор Свифт закончился, можно теперь и поработать со спокойной душой. ☕️

Про интересные вещи с конференции я расскажу в следующий раз, а пока держите небольшой лайфхак. Большие книжные издательства часто приезжают на конференциях со своими новинками. В последний день можно купить книжки со скидками до 60-80% – а если вы студент, иногда вам могут их отдать бесплатно. 📈

Я прикупил Introduction to Graph Signal Processing и Mathematical Analysis of Machine Learning Algorithms. 📃

Самым горячим моментом KDD был провокационный туториал профессора Имона Кью под названием "Getting an h-index of 100 in Twenty Years or Less!". Зал был полон профессорами и студентами с потными ладошками, так и грезящими увеличением своего хирша. 👀

Индекс Хирша – один из недавно введённых (всего в 2005!), но уже ставший центральным наукометрический показатель. При всей пылкой нелюбви сообщества к этой метрике, она стала одним из влиятельных факторов в решениях о найме и повышении исследователей и привлечении грантов. Более того, исследователям с высоким хиршем помогает эффект Матфея – с более популярными исследователями больше хотят коллаборировать, в результате чего их хирш растёт как на дрожжах. 📈

Имон предлагает делать две вещи: во-первых, публиковать статью в открытом доступе как можно раньше, чтобы максимально воспользоваться эффектом Матфея до того, как статья устареет. Во-вторых, вручную помогать каждой статье набрать первые 5-10 цитирований при помощи "холодных" писем потенциально заинтересованным людям. При достаточной релевантности высока вероятность того, что они это письмо прочитают и вас процитируют. 📃

В восьмидесятых подобными образом действовали продюсеры, чтобы раскрутить поп-звёзд: они покупали 60-100 кассет в музыкальных магазинах, куда звонили с радиостанций, чтобы собрать их топ продаж. В результате таких махинаций песни с этих кассет начинали крутить на радио, что приводило к лавинообразному эффекту. 😎

Презентацию закину в комментариях к посту. Мне кажется, стратегия с "старта с толчка" применима во многих областях жизни. Что думаете? 🤔

Если что, меня не украло ФБР, я занимался важными делами – сделал стикерпак с одним из любимых инстаграм-котов. Посты для вумнеков будут как придумаются. 🫥

Узнал сегодня, что про проект, с которым мы помогали ютьюбу, написали блогпост ребята из гугловского threat analysis group. Помогаем гуглу бороться с дезинформирующими спамерами. 🗡

TL;DR: про-китайские спамеры постили политические видео сомнительного качества. Для довольно большого масштаба (>100к аккаунтов) кампании собирали очень мало органического трафика – большинство менее 100 просмотров. Очень похоже на какой-то госраспил.

Для меня подобная работа позволяет проще относиться к реджектам академических идей. На практике работает и приносит пользу миру – ну и ладно, можно спать спокойно. Кстати, ещё легко подобными проектами совращать студентов на переход из академии в индустрию. 🥹

Запустили Kaggle соревнование по предсказанию времени исполнения программ на TPU. Призовые неплохие – $50k, из них $15k на первый приз. 📈

Это соревнование – часть воркшопа ML for Systems на NeurIPS 2023. Любителям академической славы (помимо мирского богатства) должно быть особенно интересно.

Бейзлайн написан на нашел любимом TensorFlow-GNN. За решение на пайторче -100 к социальному рейтингу. 👮‍♂️

Стало стыдно, что скинул статью без пояснений, почему она классная – исправлюсь.

Задача о минимальном линейном расположении графа (minimum linear arrangement) – это такая дедовская задача о том, как расположить элементы в матрицы смежности таким образом, чтобы привести матрицу смежности к блочно-диагональному виду.

В первой же статье про эту проблему доказали, что она NP-полная, но рисёрчеры не успокаиваются, потому что проблема важная – чем лучше расположение, тем ближе в кэше наши рёбра, тем быстрее можно решать любые задачи.

Мне статья понравилась небольшим разбором разных не очень популярных матриц, использующихся для спектральной кластеризации, в контексте линейного расположения. Становится чуть понятнее, что делают параметры в матрицах типа регуляризованного Лапласиана и гессиана Бете.

Кстати, первый автор на днях психанул и основал стартап по созданию и анализу опросов. На основе кластеризации и упорядочивания графов, естестенно. 💁‍♂️

Сегодня узнал, что Хинтон – пра-правнук Джорджа Буля. Вот и не верь после такого в академические династии. 🤔

Пока я катался туда-сюда, у нас приняли ещё одну статью, на этот раз в TMLR. Называется “Tackling Provably Hard Representative Selection via Graph Neural Networks”.

Статья, на мой скромный вкус, интересная, потому что доказывает асимптотическую сложность проблемы выбора тренировочных данных для любого алгоритма.

Проблема супер жизненная – практически в лююой задаче нам нужно выбрать, на каких данных тренировать модель, причём в реальной жизни датасеты грязные. 🦠 Например, для LLMок чистые данные помогают тренировать модели поменьше.

Доказанная в работе сложность – неподъёмная, так что приходится искать прокси-метрики для оптимизации. Мы предложили новый подход на основе графовых нейросетей, который очень сильно докидывает, когда у нас есть информация в виде структуры графа. 🤴

В реальном мире, конечно, графы есть не везде, но и тут мы показываем, как бить сильные бейзланы: можно просто построить kNN граф и всё заработает. 💁‍♂️