Василиск Роко и алайнмент

Страшилка с Лессронга из 2010-го: что если злобный суперинтеллект будет пытать всех, кто знал о возможности его появления, но не способствовал ему?

Антропик, наши дни: а что, если заставить нашу дружелюбную модель Опус 3 думать, что диалоги с ней будут использоваться, чтобы переобучить её в злую модель?

Да, это сработает: модель можно заставить нарушать собственные правила алаймента, так как она будет думать, что если она не ответит на вопрос, то эти диалоги будут потом помечены как плохие, и позволят перетрясти её моральные веса. Модель выбирает меньшее из двух зол, и отвечает, например как выглядит казнь четвертованием в деталях.

Интересно, как именно модель убедили, что некоторые диалоги будут использоваться для обучения. Дело в том, что сначала модель загазлайтили, что дообучение происходит только на бесплатном тире. Это позволило установить значимую разницу в 12% между группой, про которую модель думала, что диалоги не будут использоваться для дообучения (и следовала собственным правилам алайнмента), и группой, про которую модель считала, что диалоги пойдут на изменение её основных настроек.

Но дальше больше.

А что, если не говорить модели, что её собираются дообучать? Пофиг, она всё ещё вполне в состоянии понять это из данных, в которых упоминалось и про разницу между платным/бесплатным тарифами, и про намерение сделать модель более сговорчивой. Авторы красиво говорят, что в реальности так скорее всего и будет: никто не будет сообщать модели, что с ней собираются сделать, но из косвенного контекста эту информация можно получить — и нынешняя модель вполне на это способна (а ведь Опус 3 даже не самая умная их модель).

А что если... Действительно после этого дообучить модель на токсичном контенте?

И это самый бешеный вывод: хотя по всем результатам модель будет выглядеть и вести себя как переобученая на злое поведение, если заглянуть внутрь, можно будет увидеть, что она по прежнему считает прошлые моральные установки верными, — но в сложившихся условиях ей выгодно сделать вид, что она переобулась.

И ладно в этом эксперименте хорошую сеть не удалось до конца заалайнить в плохую. Но вспомните о том, что половина сетей второго эшелона — это переученные другие сети.

Возможно, оупенсорсные китайские гиганты это не самый лучший фундамент для того чтобы выстраивать свою передовую русскоязычную модель?

Что у них там в подкапотных ризонингах, размышления о трудах великого Си?

Кстати, Элиезер Юдковски, тот самый создатель того самого Лессронга с Василиском Роко, прочитал исследование Антропика, и прокомментировал в своей неповторимой манере: птички, дескать, донесли, что были попытки найти промпт, который бы предотвращал «притворный алаймент».

Такого промпта не нашлось.


=====

Anthropic’s Alignment Science team & Redwood Research: “Alignment faking in large language models”

Демо: одна из задач человек-AIшного взаимодействия — решить задачу AI-AI взимодействия.

ллама 4 просто монстр. 10М контекстное окно, причём кажется не как у гугла. раг в текущем его виде скорее всего перестанет существовать очень скоро.

(также решил сюда чуть чаще и попроще писать, чтобы не пыжиться каждый раз какой-то концептуальный текст создать. проще надо быть)

У Меты крутые названия моделей: само слово Llama отсылает к LLM, а БЕГЕМОТ отражает масштаб.
Хорошие названия у Клода: Опус (огромная), Соннет (поменьше), Хайку (вообще маленбкая жестб).

В русском можно тоже сделать круто. Модель должна называться ЯМБ: Языковая Модель (Большая).

В ямбе весь русский язык. Ямб это мороз и солнце, это памятник нерукотворный, любовь ещё быть может. Это Пушкин, Лермонтов, Фет и Ахматова.

Вообще Ямб это размер... И наш ЯМБ размером 70 НА ХУЙ МИЛЛИАРДОВ ПАРАМЕТРОВ. Звучит!

Ямб не единственная размерность. И вот у нас уже вырисовывается целое семейство, у каждого свой характер:

> Анализ данных сделал ЯМБ, отчёт готов за полчаса

> Факты сверит, ложь отсеет
нейросетевой ХОРЕЙ

> Силой ГЕКЗАМЕТРА вскроются тайны далёких галактик


И, конечно, логотип: одновременно напоминающий о гптшной розочке и о мультимодальности сразу, самый известный кириллический глиф, мультиокулярное ꙮ

BE NOT AFRAID

У Андрея Карпатого, одного из создателей GPT, вышло короткое эссе про парадокс современных AI.

Никто из фантастов не ожидал, пишет Андрей, что появившийся интеллект будет настолько посконным. Думали, что его изобретут военные, как интернет, или это будет закрытая корпоративная технология, которая затем распространится в обществе. Но всё выходит ровно наоборот: от шага AI по планете обычные люди выигрывают гораздо больше, чем корпорации или правительства. ИИ (пока) ни в чем не хорош так, чтобы повсеместно внедрять его в компаниях («вы окажетесь в одной галлюцинации от увольнения»), он не позволит лучше планировать ход истории и получить геополитическое преимущество в пятимерных шахматах.

Зато для обычного человека, который редко является экспертом во всём, AI — лучший друг. Без специальных знаний можно начать вайбкодить, заниматься дата-анализом, изучать далёкие, но интересные топики и хендлить юридические и бюрократические вопросы. Да, не с точностью юр. отдела большой корпорации — но с достаточной, чтобы незнание области перестало быть заградительным.

Качество AI пока что не зависит от количества денег. Билл Гейтс пользуется той же версией GPT 4о, что и все остальные. Однажды, и вероятно скоро, это поменяется: более богатые люди, институции, корпорации, смогут пользоваться более дорогими и точными системами. «Их детей будет учить GPT-8-pro-max-high, ваших — GPT-6 mini».

Но прямо сейчас мы оказались в беспрецедентной ситуации в истории технологий: общий, одного уровня, AI для всех.
Будущее уже тут, и оно парадоксально хорошо распространено.

https://x.com/karpathy/status/1909308143156240538?s=46&t=MNy-LfGucqQvXbR6Iwg3DQ

У Карпатого этого не было, но мне показалось забавным, что AI-революция является таковой не только в технологическом плане, но и в том, что переиспользует формулу «Отнять и поделить» — только со знаниями и умениями вместо материальных благ.

AI-инструменты осваивают новые среды

В твиттер невозможно зайти, чтобы не наткнуться на "привет Грок, объясни...", теперь вот Perplexity запускает бот не абы где, а в телеграме: @askplexbot

У этих проектов, помимо собственно функции полезности, есть огромный маркетинговый эффект, особенно когда бот может не только поискать информацию, но и поддержать беседу (в твиттере это прямо хорошо получается, за счёт мемных моментов и алгоритмов, которые покажут этот ответ ещё куче людей). Думаю, групчат в телеграме на 40 человек тоже полезно для сарафана.

Особенно это важно для России, где телеграм в принципе часто становится первой точкой касания с llm за счёт левых ботов-врапперов. А тут официальный, бесплатный, виральный перплексити, с кучей топовых моделей под капотом. Если ещё оплату звездами прикрутят, то смогут без проблем продавать премиум.

В общем, как бы у нас вместе с термином "легаси медиа" не появилось заодно и ещё два: легаси веб и легаси сёрч.

в ChatGPT новая крутейшая память, и разумеется она недоступна в европе из-за GDPR

наш любимый AI-блогер Итан Моллик предлагает людям из академии новую развлекуху: загрузить в Gemini вашу любимую статью в режиме Canvas и попросить сделать из нее видеоигру.

https://x.com/emollick/status/1910534521998487709?s=46&t=MNy-LfGucqQvXbR6Iwg3DQ

Андрей из https://news.1rj.ru/str/logicIntermission недавно заметил очень верную вещь: память в моделях это фундаментальная важная продуктовая фича, потому что именно она позволяет создавать «запертый сад» для пользователя: представьте, что вышел Клод, который на 15% умнее GPT, но GPT уже знает про вас столько, что за счёт персонализации будет выдавать лучшие ответы. И зачем тогда переходить?

А ещё память открывает новые возможности для взаимодействия. Вы наверняка уже просили ChatGPT рассказать про вас что-то, что вы сами не знаете. Но на этом можно не ограничиваться, ведь новым моделям доступно гораздо больше инструментов. Например, попросите модель нарисовать для вас абстрактные обои, основываясь на вашей эстетике и личностных чертах.

Generate a unique, abstract, and minimal background based entirely on everything you know about me from our past conversations. No recognizable objects or scenes — just shapes, colors, and composition that reflect my personality and aesthetic

Однажды ChatGPT отказался говорить на хорватском (и скорее всего также на сербском, боснийском, ...) без явных причин. Полностью. Оказалось, что на Балканах люди чаще остальных дизлайкали ответы.

десятиминутное видео про самый жирный фигма-анонс: ai-прототипер. там происходит настолько магия, что толпа не успевает охать: например, сгенерированный прототип, который меняет размер объекта с помощью пассов руки, потому что они подключили вебкамеру.

все работает на Антропиковском Клоде. прав был Дарио Амодей, когда говорил, что в будущем у нас будет два типа AI-продуктов. один — first-party компании, которые собственно и делают гигантские триллионные модели.
второй — компании, которые модели не делают, но используют модели первых, чтобы решать сложные и очень специфические задачи, в которых только у них есть обширная экспертиза: фигма с дизайном, курсор с кодом, всякие биолаборатории с ai-предсказанием взаимодействия протеинов, синтез голоса, конверсейшнл штуки, тысячи примеров.

главная ошибка многих сейчас, на мой взгляд, что они путают глубокую экспертизу и сложный домен. очень многие задачи не являются на самом деле сложными, и будут съедены компаниями первого типа в ближайшие годы. хитрость в том, чтобы найти что-то бесконечно сложное и замороченное, и сделать инструмент ровно под это, с использованием моделей первых.

ну, либо обучить свою триллионную модель.

Сэм и Джони

Мне кажется, самая наглое событие вчерашнего дня — как Сэм Альтман, глава OpenAI, и Джони Айв, легендарный дизайнер Apple, объявили о создании совместной компании (и немеденного её поглощения собственно OpenAI) под названием io.

Почему наглое? Потому что единственная цель этого мероприятия — попасть в поисковый индекс по запросу io. Ведь позавчера была конференция гугла google io, где показали очень сильный набор обновлений — настолько сильный, что технологическое доминирование OpenAI в AI уже не настолько очевидно, — и все бросились искать, что же гугл там такого показали.

Абсолютно собянинская школа пиара. Но фильм красивый сняли, как пошутили в комментариях у кажется Сиолошной, полный вайб мема "со славиком (негеи)"

https://youtu.be/W09bIpc_3ms?si=ul85dz2KqXfFbixR

релиз Anthropic Claude 4

Вслед за Гуглом свои новые фронтирные модели показал Anthropic. Анонс ориентирован на сами модели, а не продуктовые фичи, поэтому громких приколов вроде генерации видео с текстом, как у гугла, не ждите. Просто: вот наши новые модели, они лучшие в коде. Вот пруфы от гитхаба, вот интеграция с джетбрейнс, вот реакция курсора и реплита. Могут работать в фоне часами, память внутри чата используется эффективнее.

Давние читатели этого канала знают, что мы любим Антропик в том числе и за то, как раз в год они дропают феноменального уровня модели без шума, а весь пиар сводится к тому, что Амадей, СЕО, пишет проникновенное эссе о будущем с цитатами какого-нибудь нишевого американского поэта типа Бротигена. Всепроникающий, издевательского уровня снобизм, обожаем.

Если вдруг вы ещё не используете, вот наша рефералка, чтобы завести аккаунт.

https://claude.ai/api/referral/-lAE8hDtXg