Дубай

Тут в разных ИИ-каналах начали постить (и стебать) рекламу инвестиций в недвижимость в Дубае, и я, как обычно, не могу остаться в стороне. В прошлом году меня занесло пожить на полгода в эту славную деревню, и она сильно поменяла то, как я смотрю на выбор жилья. Я успел пожить в четырёх "элитных" билдингах в Дубае, включая модно-молодёжную пятизвёздочную "рамку" Address с руфтоп-бассейном на 77 этаже, самым высоким в мире, конечно. 💁‍♂️

Дубай как город я ненавижу душой и сердцем. Проблема для меня в том, что многие процессы в городе построены на около-рабском труде за копейки. Это настолько выражено, что для иммигрантов существует два слова – белых и богатых называют экспатами, не очень белых и точно небогатых – иммигрантами. Доставка еды, обслуживание зданий, уборка песка и пыли – всё это делается иммигрантами из стран Африки и юго-восточной Азии, которые живут в бараках на 12 человек в комнате и получают в десятки раз меньше, чем средний владелец канала по ИИ трудяга в городе. От использования такого труда невозможно отказаться – например, я просто не мог выйти в магазин и купить то, что захочу – выбор товаров на доставку в разы больше.

Как ещё один пример, когда я искал себе квартиру, во многих предолжениях была небольшая – 5-7кв.м. – комнатка. Зачем? Для домработницы 🥹. И это действительно распространено – есть множество разных агентств, которые подбирают тебе домработниц, коорые живут с тобой в хоромах и занимаются уборкой и иногда готовкой. Можно подумать, что это какая-то причуда для шейхов, но я лично встречал русских эмигрантов, которые жаловались на ленивых домработниц. 😩

Строительство известной насыпной пальмы Джумейра уничтожило местный коралловый риф, а теперь эти острова погружаются обратно под воду. В 30% небоскрёбов в Дубаях канализация вывозится вручную специальными машинами 🦠, а здания устаревают быстрее, чем строят новые. Дубайские принцессы, которых регулярно похищают из Лондона, не добавляют привлекательности городу. Не покупайте там жильё, друзья. 😟

Эмиграция в США: мой таймлайн

На днях произошло радостное событие 🎃 – мне одобрили выдачу гринкарты, что завершило почти двухгодичный квест по эмиграции в США. Надеюсь, кому-нибудь поможет краткое описание процесса. Кстати, если будет интересно, могу написать краткий обзор по возможным вариантам.

В США всратая иммиграционная система, которая останавливает каждого второго и доставляет много попаболи каждому первому. Тем не менее, хотел я именно туда, так что выбрал путь эмиграции через так называемые визы талантов – O1 и EB1. Бабушка одобрила. 😛

O1 – неиммиграционная виза, по ней нужен работодатель, и работать можно оставаться всего лишь 3 года (можно продлевать). Зато при ускоренном рассмотрении (с вас $2500🤴) одобрение можно получить всего за две недели, и критерии там не сильно строгие – для учёных достаточно порядка 100 цитирований и h-индекс порядка 4-5.

С другой стороны, для ("экстраординарных") учёных есть отдельная категория гринкарт EB1-2, которая рассчитана на людей, которые работают в рисёрче от трёх лет. Спасибо, что часть моего опыта на PhD тоже засчитали – для этого подписывали специальное письмо от научника. Тут нам уже понадобится h-индекс потолще – я читал, что рекомендуют подаваться с более чем 300 цитированиями.

Решено было подаваться сначала на O1, а при въезде в стану перейти на EB1. В итоге таймлайн выглядел примерно так:

Апрель-май 2022 – сбор писем и доказательств с юристами 😎
24 июня 2022 – подача петиции i129 в USCIS
7 июля 2022 – одобрение петиции
5 августа 2022 – собеседование в посольстве; административная проверка
26 октября 2022 – получение визы O1

Переехал в США я в середине ноября 2022 года. 🎅

Апрель 2022 – обновляю документы, переподписываю два письма
10 мая 2023 – подача петиции i140 в USCIS
2 августа 2023 – одобрение петиции 😝

После одобрения i140 гринкарту получают примерно через полгода. В итоге весь иммиграционный путь займёт примерно полтора года 🐌 – хорошо, что по этой схеме можно начинать работать сразу со въезда в США. 👍

Сегодня последний день конференции KDD, где мы презентовали нашу практическую статью про то, как мы делаем эмбеддинги для очень больших графов; провели туториал про Tensorflow-GNN (да, опять); и организовали воркшоп про бенчмарки графовых моделей. На этом летний сезон выступлений Тейлор Свифт закончился, можно теперь и поработать со спокойной душой. ☕️

Про интересные вещи с конференции я расскажу в следующий раз, а пока держите небольшой лайфхак. Большие книжные издательства часто приезжают на конференциях со своими новинками. В последний день можно купить книжки со скидками до 60-80% – а если вы студент, иногда вам могут их отдать бесплатно. 📈

Я прикупил Introduction to Graph Signal Processing и Mathematical Analysis of Machine Learning Algorithms. 📃

Самым горячим моментом KDD был провокационный туториал профессора Имона Кью под названием "Getting an h-index of 100 in Twenty Years or Less!". Зал был полон профессорами и студентами с потными ладошками, так и грезящими увеличением своего хирша. 👀

Индекс Хирша – один из недавно введённых (всего в 2005!), но уже ставший центральным наукометрический показатель. При всей пылкой нелюбви сообщества к этой метрике, она стала одним из влиятельных факторов в решениях о найме и повышении исследователей и привлечении грантов. Более того, исследователям с высоким хиршем помогает эффект Матфея – с более популярными исследователями больше хотят коллаборировать, в результате чего их хирш растёт как на дрожжах. 📈

Имон предлагает делать две вещи: во-первых, публиковать статью в открытом доступе как можно раньше, чтобы максимально воспользоваться эффектом Матфея до того, как статья устареет. Во-вторых, вручную помогать каждой статье набрать первые 5-10 цитирований при помощи "холодных" писем потенциально заинтересованным людям. При достаточной релевантности высока вероятность того, что они это письмо прочитают и вас процитируют. 📃

В восьмидесятых подобными образом действовали продюсеры, чтобы раскрутить поп-звёзд: они покупали 60-100 кассет в музыкальных магазинах, куда звонили с радиостанций, чтобы собрать их топ продаж. В результате таких махинаций песни с этих кассет начинали крутить на радио, что приводило к лавинообразному эффекту. 😎

Презентацию закину в комментариях к посту. Мне кажется, стратегия с "старта с толчка" применима во многих областях жизни. Что думаете? 🤔

Если что, меня не украло ФБР, я занимался важными делами – сделал стикерпак с одним из любимых инстаграм-котов. Посты для вумнеков будут как придумаются. 🫥

Узнал сегодня, что про проект, с которым мы помогали ютьюбу, написали блогпост ребята из гугловского threat analysis group. Помогаем гуглу бороться с дезинформирующими спамерами. 🗡

TL;DR: про-китайские спамеры постили политические видео сомнительного качества. Для довольно большого масштаба (>100к аккаунтов) кампании собирали очень мало органического трафика – большинство менее 100 просмотров. Очень похоже на какой-то госраспил.

Для меня подобная работа позволяет проще относиться к реджектам академических идей. На практике работает и приносит пользу миру – ну и ладно, можно спать спокойно. Кстати, ещё легко подобными проектами совращать студентов на переход из академии в индустрию. 🥹

Запустили Kaggle соревнование по предсказанию времени исполнения программ на TPU. Призовые неплохие – $50k, из них $15k на первый приз. 📈

Это соревнование – часть воркшопа ML for Systems на NeurIPS 2023. Любителям академической славы (помимо мирского богатства) должно быть особенно интересно.

Бейзлайн написан на нашел любимом TensorFlow-GNN. За решение на пайторче -100 к социальному рейтингу. 👮‍♂️

Стало стыдно, что скинул статью без пояснений, почему она классная – исправлюсь.

Задача о минимальном линейном расположении графа (minimum linear arrangement) – это такая дедовская задача о том, как расположить элементы в матрицы смежности таким образом, чтобы привести матрицу смежности к блочно-диагональному виду.

В первой же статье про эту проблему доказали, что она NP-полная, но рисёрчеры не успокаиваются, потому что проблема важная – чем лучше расположение, тем ближе в кэше наши рёбра, тем быстрее можно решать любые задачи.

Мне статья понравилась небольшим разбором разных не очень популярных матриц, использующихся для спектральной кластеризации, в контексте линейного расположения. Становится чуть понятнее, что делают параметры в матрицах типа регуляризованного Лапласиана и гессиана Бете.

Кстати, первый автор на днях психанул и основал стартап по созданию и анализу опросов. На основе кластеризации и упорядочивания графов, естестенно. 💁‍♂️

Сегодня узнал, что Хинтон – пра-правнук Джорджа Буля. Вот и не верь после такого в академические династии. 🤔

Пока я катался туда-сюда, у нас приняли ещё одну статью, на этот раз в TMLR. Называется “Tackling Provably Hard Representative Selection via Graph Neural Networks”.

Статья, на мой скромный вкус, интересная, потому что доказывает асимптотическую сложность проблемы выбора тренировочных данных для любого алгоритма.

Проблема супер жизненная – практически в лююой задаче нам нужно выбрать, на каких данных тренировать модель, причём в реальной жизни датасеты грязные. 🦠 Например, для LLMок чистые данные помогают тренировать модели поменьше.

Доказанная в работе сложность – неподъёмная, так что приходится искать прокси-метрики для оптимизации. Мы предложили новый подход на основе графовых нейросетей, который очень сильно докидывает, когда у нас есть информация в виде структуры графа. 🤴

В реальном мире, конечно, графы есть не везде, но и тут мы показываем, как бить сильные бейзланы: можно просто построить kNN граф и всё заработает. 💁‍♂️

Ну вот и коучи по бросанию полотенец промптингу подъехали. Надеюсь, хотя бы в колесо баланса промпт раскладывает.

Хэндл AGI Utopia тоже доставляет.

P.S. Нет, аккаунт не пародийный 😮‍💨

Я тут попробовал новый для себя формат публичных выступлений – мы с Надей записали интервью со мной. Оно не техническое от слова совсем: поговорили про работу 😛, моё отношение к кофе 🙅‍♂️, вспомнили и пост про женихов.

Возможно, кому-то такой формат будет интереснее, чем буковки в телеграм-канале. Мне пока непонятно, что лучше – буковки можно переписывать, зато общение в риалтайме как-то поживее. 😟

UPD: для любителей не смотреть ✨, но слушать – ссылки на подкаст на амазоне, спотифае, apple подкастах, и ютьюбе.

Загуглил temperature, не понял, почему выдача не про софтмакс. Кажется, пора отдыхать 🤤

Не все доверительным интервалы одинаково полезны

Возвращаемся к техническим постам после научных каникул напряжённой летней работы. 🏄‍♂️

Доверительные интервалы для биномиального распределения – очень полезная в быту штука. Например, они всплывают, когда мы хотим "правильно" отранжировать товары по среднему отзыву – если взять среднее значение, сверху будут вещи с одним положительным отзывом. Некоторые сайты до сих пор этим грешат – амазон, например 😑. Вместо этого стоит использовать нижнюю границу доверительного интервала, и ранжирование станет намного лучше.

Один из самых известных тестов для этого – тест Вальда. Он до сих пор рекомендуется для биномиальных респределений во многих учебниках, например, в известном Casella & Berger. Однако, именно для биномиальных пропорций тест Вальда – очень плохая идея. 📉

В других учебниках часто пишут про потерю силы на маленьких выборках, но основная проблема теста в том, что он теряет силу с приближением параметра p к 0 или 1 из-за эффекта Hauck–Donner, что можно увидеть на иллюстрации к посту. Про этот эффект есть несколько статей, ну или можно почитать более простую, которая недавно вышла в Teacher's Corner журнала The American Statistician. Там призывают перестать использовать тест Уилсона. Формула там подлиннее, зато нет проблем с покрытием. 🍳

Кстати, интересно, что у других тестов вроде Agresti–Coull и Clopper–Pearson покрытие слишком консервативное (для Clopper–Peason это неудивительно, потому что покрытие там строго больше 1-α). Вот тут есть сравнение покрытия этих тестов с кодом на R (🤮).

Сейчас понял, что объясняю эмбеддинги графов как word2vec на графах, а в 2023 никто уже и не знает, что такое word2vec. 😮‍💨

Получается, поеду на NeurIPS презентовать статью трёхлетней давности, на которой 100+ цитат. Ноука. 🥛