Зеркальный тест для AI

Знаете этот трюк с животными? Рисуешь на них метку, показываешь зеркало. Если пытаются снять — значит, есть самосознание, есть образ себя, который они способны отделять от окружающей среды.

...Или не значит, вообще к зеркальному тесту множество вопросов. А вдруг животному просто плевать на метку? Или оно решило, что с меткой выглядит эффектнее? И почему мы вообще решили, что это проверка самосознания, а не просто сложное поведение?

Получается как с демократией: зеркальный тест худший из тестов на самосознание, просто ничего лучше мы пока не изобрели. За простоту и наукообразность его очень полюбили люди, к изучению сознания имеющие очень косвенное отношение, с тех пор количество животных, успешно его прошедших, постоянно увеличивается. Недавно вот даже на муравьях что-то смогли показать.

Разумеется, люди не были бы людьми, если бы не попытались показать лингвистическим моделям самих себя, и не наделали из этого далекоидущих выводов.
Читать полностью: https://telegra.ph/Zerkalnyj-test-dlya-AI-07-02

🍓 Пробую новую GPT o1 (с ризонингом)

По анонсу показалось, что перехайпили: хвалёные теги для думания есть у Клода ещё с лета, и как бы хорош он ни был — звёзд с неба не хватает.
Но потом попробовал на реальной боевой задаче: взял целиком транскрипт из исследования, которое делал полгода назад, и без каких-либо уточнений и пояснений сказал сделать один очень сложный тип анализа (метод обоснованной теории по Корбину и Штрауссу, кто знает тем соболезную).

ГПТ задумался на минуту и выдал страниц пять ну очень хорошего текста, причём видно, что не галлюцинирует: все выкладки подтверждены ссылками.

И ладно бы это, но ещё за шесть промптов я заставил его выдать полностью рабочий интерактивный сайт, который отображает парадигмальную модель, а по клику выдаёт все оси, коды, и цитаты с таймкодами — вещь, которую я несколько раз пытался добиться от разных ллмок, но каждый раз оборачивался неудачей и потраченным временем.
(Выложил запись в линкедин — не ждали небось такой нативочки?)

Стоит очень сильно задуматься, как поменяются качественные исследования в этом дивном новом мире. Сейчас есть ограничения контекста, конечно, но все мы понимаем, что ненадолго.

И другой момент — я уже упомянул, что теги думания есть и у Клода. При этом стоит помнить, что летом Клод выпустил только свою среднюю модель Sonnet. Теперь одно из двух: либо выложат Opus 3.5, чтобы перебить эффект от о1, либо не выложат — и это значит, что они порядочно отстают, и под капотом у ГПТ что-то поинтереснее, чем просто Chain of Thoughts.

Anthropic тестирует функцию имитации стиля пользователя

Во-первых, очень крутой заход на персонализацию, но во-вторых...

Получается Клод будет иметь возможность управлять моим компьютером И имитировать мой стиль общения? Звучит абсолютно безопасно.

Очень дорогой этап обучения нейросетей — RLHF, дообучение с человеческим фидбэком, я про него уже писал в разлетевшемся посте про слово delve.

Если вы им занимаетесь, то вот вам идея: наймите в команду когнитивного психолога. У нас десятки подходов, которые позволяют сделать этот этап быстрее и лучше. Вот вам примерное направление мысли:
- Всего две статьи про использование сигнала из айтрекинга для rlhf (обе плохие). Вот бы была компания с мощнейшей нейронкой и огромной юзербазой айтрекеров в их виар шлемах
- НОЛЬ статей про использование имплицитных методов.
Тут не буду подробно распинаться, буквально миллионы долларов закопаны, надеюсь, кое-что сделаем в этой области на работе в ближайшее время.

Небольшой апдейт:

1. найдено уже четыре имени (Jonathan Zittrain, David Faber, David Mayer, Jonathan Turley)

2. через API вызвать можно

Василиск Роко и алайнмент

Страшилка с Лессронга из 2010-го: что если злобный суперинтеллект будет пытать всех, кто знал о возможности его появления, но не способствовал ему?

Антропик, наши дни: а что, если заставить нашу дружелюбную модель Опус 3 думать, что диалоги с ней будут использоваться, чтобы переобучить её в злую модель?

Да, это сработает: модель можно заставить нарушать собственные правила алаймента, так как она будет думать, что если она не ответит на вопрос, то эти диалоги будут потом помечены как плохие, и позволят перетрясти её моральные веса. Модель выбирает меньшее из двух зол, и отвечает, например как выглядит казнь четвертованием в деталях.

Интересно, как именно модель убедили, что некоторые диалоги будут использоваться для обучения. Дело в том, что сначала модель загазлайтили, что дообучение происходит только на бесплатном тире. Это позволило установить значимую разницу в 12% между группой, про которую модель думала, что диалоги не будут использоваться для дообучения (и следовала собственным правилам алайнмента), и группой, про которую модель считала, что диалоги пойдут на изменение её основных настроек.

Но дальше больше.

А что, если не говорить модели, что её собираются дообучать? Пофиг, она всё ещё вполне в состоянии понять это из данных, в которых упоминалось и про разницу между платным/бесплатным тарифами, и про намерение сделать модель более сговорчивой. Авторы красиво говорят, что в реальности так скорее всего и будет: никто не будет сообщать модели, что с ней собираются сделать, но из косвенного контекста эту информация можно получить — и нынешняя модель вполне на это способна (а ведь Опус 3 даже не самая умная их модель).

А что если... Действительно после этого дообучить модель на токсичном контенте?

И это самый бешеный вывод: хотя по всем результатам модель будет выглядеть и вести себя как переобученая на злое поведение, если заглянуть внутрь, можно будет увидеть, что она по прежнему считает прошлые моральные установки верными, — но в сложившихся условиях ей выгодно сделать вид, что она переобулась.

И ладно в этом эксперименте хорошую сеть не удалось до конца заалайнить в плохую. Но вспомните о том, что половина сетей второго эшелона — это переученные другие сети.

Возможно, оупенсорсные китайские гиганты это не самый лучший фундамент для того чтобы выстраивать свою передовую русскоязычную модель?

Что у них там в подкапотных ризонингах, размышления о трудах великого Си?

Кстати, Элиезер Юдковски, тот самый создатель того самого Лессронга с Василиском Роко, прочитал исследование Антропика, и прокомментировал в своей неповторимой манере: птички, дескать, донесли, что были попытки найти промпт, который бы предотвращал «притворный алаймент».

Такого промпта не нашлось.


=====

Anthropic’s Alignment Science team & Redwood Research: “Alignment faking in large language models”

Демо: одна из задач человек-AIшного взаимодействия — решить задачу AI-AI взимодействия.

ллама 4 просто монстр. 10М контекстное окно, причём кажется не как у гугла. раг в текущем его виде скорее всего перестанет существовать очень скоро.

(также решил сюда чуть чаще и попроще писать, чтобы не пыжиться каждый раз какой-то концептуальный текст создать. проще надо быть)

У Меты крутые названия моделей: само слово Llama отсылает к LLM, а БЕГЕМОТ отражает масштаб.
Хорошие названия у Клода: Опус (огромная), Соннет (поменьше), Хайку (вообще маленбкая жестб).

В русском можно тоже сделать круто. Модель должна называться ЯМБ: Языковая Модель (Большая).

В ямбе весь русский язык. Ямб это мороз и солнце, это памятник нерукотворный, любовь ещё быть может. Это Пушкин, Лермонтов, Фет и Ахматова.

Вообще Ямб это размер... И наш ЯМБ размером 70 НА ХУЙ МИЛЛИАРДОВ ПАРАМЕТРОВ. Звучит!

Ямб не единственная размерность. И вот у нас уже вырисовывается целое семейство, у каждого свой характер:

> Анализ данных сделал ЯМБ, отчёт готов за полчаса

> Факты сверит, ложь отсеет
нейросетевой ХОРЕЙ

> Силой ГЕКЗАМЕТРА вскроются тайны далёких галактик


И, конечно, логотип: одновременно напоминающий о гптшной розочке и о мультимодальности сразу, самый известный кириллический глиф, мультиокулярное ꙮ

BE NOT AFRAID

У Андрея Карпатого, одного из создателей GPT, вышло короткое эссе про парадокс современных AI.

Никто из фантастов не ожидал, пишет Андрей, что появившийся интеллект будет настолько посконным. Думали, что его изобретут военные, как интернет, или это будет закрытая корпоративная технология, которая затем распространится в обществе. Но всё выходит ровно наоборот: от шага AI по планете обычные люди выигрывают гораздо больше, чем корпорации или правительства. ИИ (пока) ни в чем не хорош так, чтобы повсеместно внедрять его в компаниях («вы окажетесь в одной галлюцинации от увольнения»), он не позволит лучше планировать ход истории и получить геополитическое преимущество в пятимерных шахматах.

Зато для обычного человека, который редко является экспертом во всём, AI — лучший друг. Без специальных знаний можно начать вайбкодить, заниматься дата-анализом, изучать далёкие, но интересные топики и хендлить юридические и бюрократические вопросы. Да, не с точностью юр. отдела большой корпорации — но с достаточной, чтобы незнание области перестало быть заградительным.

Качество AI пока что не зависит от количества денег. Билл Гейтс пользуется той же версией GPT 4о, что и все остальные. Однажды, и вероятно скоро, это поменяется: более богатые люди, институции, корпорации, смогут пользоваться более дорогими и точными системами. «Их детей будет учить GPT-8-pro-max-high, ваших — GPT-6 mini».

Но прямо сейчас мы оказались в беспрецедентной ситуации в истории технологий: общий, одного уровня, AI для всех.
Будущее уже тут, и оно парадоксально хорошо распространено.

https://x.com/karpathy/status/1909308143156240538?s=46&t=MNy-LfGucqQvXbR6Iwg3DQ

У Карпатого этого не было, но мне показалось забавным, что AI-революция является таковой не только в технологическом плане, но и в том, что переиспользует формулу «Отнять и поделить» — только со знаниями и умениями вместо материальных благ.

AI-инструменты осваивают новые среды

В твиттер невозможно зайти, чтобы не наткнуться на "привет Грок, объясни...", теперь вот Perplexity запускает бот не абы где, а в телеграме: @askplexbot

У этих проектов, помимо собственно функции полезности, есть огромный маркетинговый эффект, особенно когда бот может не только поискать информацию, но и поддержать беседу (в твиттере это прямо хорошо получается, за счёт мемных моментов и алгоритмов, которые покажут этот ответ ещё куче людей). Думаю, групчат в телеграме на 40 человек тоже полезно для сарафана.

Особенно это важно для России, где телеграм в принципе часто становится первой точкой касания с llm за счёт левых ботов-врапперов. А тут официальный, бесплатный, виральный перплексити, с кучей топовых моделей под капотом. Если ещё оплату звездами прикрутят, то смогут без проблем продавать премиум.

В общем, как бы у нас вместе с термином "легаси медиа" не появилось заодно и ещё два: легаси веб и легаси сёрч.