А есть тут дотеры, которые еще катают пабы? Ищу пару человек, кто готов потестить мои наработки по DotaGPT. Поставьте плз плюсик в комменты, я вам в лс скину ссылку на тг-бота.

Интересный график. Я не ожидал, что влияние уже сейчас настолько сильное.

Потрясающий коллаж: количество открытых вакансий в США на фоне цены акций.

"AI не захватит ваши рабочие места", да-да-да.

Дубай неплох.

Летели прямым рейсом — 16 часов. Первая мысль при выходе из аэропорта: «еб*ть, жара». Лос-Анджелес избаловал погодой — там холодный океан и всегда +25.

Забавно, но спасает джетлаг: мы спим два раза в сутки, просыпаемся в семь вечера и в шесть утра. В это время на улице действительно приятно.

На первый месяц сняли Airbnb в Dubai Hills. Чтобы вы понимали уровень руссификации района — я в первый же день в парке случайно встретил товарища, с которым десять лет назад работал в SAS.

Цены на аренду здесь как в Калифорнии, если платить за шесть-двенадцать месяцев вперёд. Если брать помесячно — ценник зашкаливает. Осуждаю. Зато доставка стоит вменяемых денег — можно, как в Москве, заказывать хоть каждый день.

Когда переезжал в ЛА, первый месяц днём работал айтишником, а вечером — грузчиком и хэндимэном: собирал мебель, покупал телевизор, диван, столы, стулья, посуду — короче, весь дом.

Дубайск в этом плане вообще халява. Квартиры часто сдаются с мебелью. Машину можно арендовать через чатик в телеграме — и её доставят прямо к дому. Мне остаётся только сидеть на диване и ковырять в носу. Кстати, про диван — он провонял потным дядькой, который до нас на нем провел лето. Так что в квартирах без мебели всё же есть свои плюсы.

Дубай хорош.

В местном приложении доставки Careem можно заказать капельницу после пьянки. А как отойдешь, шлефануть массажем и стрижкой. И все это, не выходя из дома.

Конец медового месяца.

Что могу сказать про Дубай месяц спустя. Мне доводилось заниматься оформлением документов в трёх странах: Литве, США и ОАЭ. В Дубае оказалось проще всего получить ВНЖ. Мне не пришлось открывать здесь компанию, доказывать экстраординарность, клясться в любви и верности. Я просто принёс справку о зарплате, прошёл медосмотр и получил virtual work visa на год. На всё про всё ушло три недели.

Из плохих новостей — сам процесс оформления стоит ~$10k на семью из трёх человек. Половина — госпошлины, вторая половина — комиссия помогающей конторы. Не хотелось бы платить столько каждый год.

Дальше больше: когда снимаете квартиру, вы платите чеками за 3–6 месяцев вперёд + 10% депозит от суммы годовой аренды + 5% комиссии риелтору в первый месяц. Итого, чтобы снять 2 bedroom в приличном районе, сходу отдаёте ~$25k.

Но и это ещё не всё. При оформлении долгосрочной аренды оплату просят чеком от местного банка. ВНЖ я получил 10 дней назад, а счёт мне до сих пор не открыли. И это при том, что у меня есть счета в Литве и США, банковские выписки и ЗП от американской компании.

Поэтому пока я не могу заплатить за долгосрочную аренду, приходится перебиваться Airbnb-квартирами, которые легко могут выходить в ~$2к в неделю.

Так что Америка, Дубай — звучит заебись, конечно. Но стоит всё это удовольствие недёшево.

Переезд окончен. Было изи, не почувствовал.

Добрался до нового подкаста с Ильей Суцкевером. Сделал заметки о том, что мне показалось интересным.

Сейчас люди скейлят RL и создают много специализированных сред. Но кто «сильнее»: студент, который провёл 10 000 часов и тащит в competitive programming, или тот, кто потратил всего 100 и тоже показывает бодрый уровень?

Value function в RL позволяет не ждать конца траектории и прикинуть, стоит ли идти дальше. В шахматах потеря фигуры — сильный сигнал ещё до конца партии. Можно учиться и без value function, но тогда процесс гораздо медленнее.

Человек без эмоций мог решать пазлы, но не мог принимать даже базовые решения вроде выбора носков — не говоря уже о финансах.

Эволюция дала людям сильные priors: зрение, слух, locomotion (умение ходить и ориентироваться в пространстве).

Подросток учится водить. У него нет формального reward и контролируемой среды в RL-смысле, но есть позитивное подкрепление и ожидание подкрепления через эмоции. Не нужно час ехать до точки B: достаточно маленькой победы — тронуться с места.

Трансформер обучался на 8–64 GPU. Не было ни одного эксперимента больше 64; «по нынешним меркам как сколько? 2 GPU?» (с)

Pretrain хорош тем, что не надо выбирать данные: модели дают всё, что есть. Текст — проекция мира и человеческой деятельности. С ростом модели, компьюта и данных pretrain улучшает почти всё сразу — своего рода рецепт к AGI. RL, наоборот, уводит в нишевые юзкейсы, получается Narrow AI. См. аргумент в начале про competitive programming.

Из недавнего подкаста с Карпатым: большие датасеты ведут к запоминанию фактов и галлюцинациям. Хотелось бы небольшие модели с высоким интеллектом, не перегруженные фактами.

AGI по OpenAI — система, способная выполнять любую человеческую работу. Superintelligence по Суцкеверу — система, которая может научиться выполнять любую человеческую работу.

Хороших идей меньше, чем компаний. Все зациклились на self-improving AI, но нужен AI, robustly aligned to care about sentient life. Потому что в какой-то момент AI сам станет разумной жизнью, и «особей» AI будет больше, чем людей.

Если сделать тысячи копий Ильи, будет ли прогресс? Возможно, нет: разнообразие людей, мнений и идей важнее. А pretrain «на всём интернете» может убивать diversity.

Self-play был привлекателен тем, что позволял учить без заботы о данных — нужен только compute. Но ранние реализации выходили слишком нишевыми: можно играть в доту, но обобщение слабое.

Соревнования между агентами могут создать необходимость дифференциации, чтобы агенты отличались друг от друга. Аналогия с рынками и маркетингом.

Из подкаста с Карпатым: если использовать LLM как reward-модель для других LLM, RL быстро находит баги в предсказаниях самой LLM, и обучение коллапсирует.

Мы не знаем, как строить superintelligence, но стоит фокусироваться на understanding of reliable generalisation — этим занимается SSI.

Когда люди делегируют всё персональному AI, они потеряют контроль и вовлечённость. Нейроинтерфейс «человек+AI» — потенциально может это исправить.

Как эволюция заложила социальные желания? С едой всё понятно: химия, запах, аппетит. Но почему людям важно общаться с успешными и получать одобрение? Как за сравнительно короткий срок это «закодировалось» в мозге? Хороших ответов пока нет.

Моя мысль (не дает прямого ответа, как это кодируется в мозге): выживание — распознавание намерений других и классификация «свой/чужой». Размножение — поиск более «успешной» особи, повышающий шанс выживания и успешного потомства. Понятие «успешности» не жёстко прошито и трактуется культурой по-разному на разных этапах эволюции.

Подход Ильи к ресёрчу: смотреть, как устроены люди и мозг, и переносить принципы в deep learning. Если что-то надёжно работает у нас, есть смысл верить, что это сработает в ИИ. Эта вера помогает не сдаваться в периоды неудачных экспериментов.

https://youtu.be/aR20FWCCjAs?si=pNDsCuMAXgONsXGY

Творческий порыв.

Сегодня проснулся в 3 утра и не мог уснуть. Плевал в потолок и думал, чем бы заняться. В какой-то момент задумался: а что, если бы я был профессором? Как выглядели бы мои лекции?

И, знаете, бывает у меня порой непреодолимое желание пошалить. Навалить кринжа, дать волю Дмитрию Альфа-Матач Михайловичу — такого, что покажешь жене, и её с первых секунд накрывает испанский стыд.

Дамы и господа, встречайте: моя авторская лекция по матану — без подготовки, (почти) монтажа и перезаписи. Бегите смотреть и искать ошибки, пока не удалил.

https://youtu.be/P03P5UNGiBw

Про историю AI

В Америке я играл в футбол с мужиками по субботам. После игры мы садились на раскладные стулья на парковке, доставали из машин кальян и пивас, и зависали. С теплотой вспоминаю эти вечера и с кайфом залетел бы еще.

В Дубае суть вечеринок осталась прежней: берем пивас и болтаем за жизнь, но слегка поменялись декорации. Здесь я попал в тусовку олдов ODS, которые зависают на виллах с ламбой в гараже, выходят в море на яхтах и жестко флексят. Фотка прилагается.

Драйвером и организатором наших тусовок является некий Роман (второй слева на фотке). Он читает этот канал еще с тех пор, как здесь было 30 подписчиков. Катает в доту под блюз-каверы на Пашу Техника. Является сооснователем компании Optic, про которую вы могли слышать в недавнем выпуске у Дудя.

Человек-легенда, мэтр, почти лысый из бразерс — Роман Доронин. Под фразу “А хули, нет?” он запустил свой канал, где будет рассказывать про себя, про историю AI и людей, которые его создавали.

Будет интересно. В худшем случае — нет. Пока не подпишешься, не узнаешь. Вперед: https://news.1rj.ru/str/doronin_aiforfriends

Длинный видос зашел неплохо. Посмотрим как покажут себя рилсы. За лайки целую в щеки своими крепкими усами.

- https://www.instagram.com/reel/DSIX-moEsQU/?igsh=NTc4MTIwNjQ2YQ==

- https://youtube.com/shorts/VqpAzNfGN5A?si=jpQQ0PS57tVYNknn

- https://vt.tiktok.com/ZSP6cgus1