Тайный релиз GPT-4.5

Есть разные способы оценивать качество моделей, но самый непосредственный — поговорить с каждой, и решить, кто лучше. Именно так устроены Арены: площадки, где пользователи задают свои вопросы, получают по два ответа, и оценивают, какой из них лучше. Ответы суммируются по большому числу людей, и так мы получаем оценку качества моделей не на синтетических тестах, а реальных задачах.

Сегодня на LMSYS, одной из таких арен, появилась модель gpt2-chatbot. Её результаты странным образом не отображаются на лидерборде, но стоит с ней поговорить, как становится понятно, что она занчительнее умнее, чем вышедшая в 2019 году GPT2. А если точнее, умнее чем любые модели лидерборда — включая GPT4 Turbo.

У модели есть ряд сходств с другими llm от OpenAI, так что с высокой долей вероятности можно предположить, что перед нам тайный дроп GPT-4.5, сделанный, чтобы к официальному релизу уже были метрики с арены.

Её можно попробовать бесплатно прямо сейчас без регистрации и вейтлистов: заходите на lmsys, выбираете вкладку direct chat, выбираете в выпадающем списке gpt2-chatbot.

Alien-Agent Interaction

Андрей Карпатый, один из известнейших специалистов в мире по AI, предложил отправить инопланетянам как посла человечества веса LLM модели с бинарником и инструкцией по запуску. Да, прямо как софон в задаче трёх тел, только в обратную сторону.
Это, разумеется, чудовищная идея: враждебной цивилизации LLM может выдать все наши секреты, дружественную — настроить против нас галлюцинациями. Да и вообще, это не первый раз, когда подобная идея приходит кому-то в голову. Тогда зачем?

Карпатый работает над проектом llm.c — написанную на С библиотеку по обучению моделей, которая работает почти вполовину быстрее аналогичной либе на TensorFlow. Предложение отправить ИИ в космос — своеобразная пиар-акция: дело в том, что любой код для запуска в космос требует сертификацию NASA. Именно эту сертификацию хочет пройти llm.c — и тем самым показать, насколько их код безопасный, чистый и компактный в сравнении с непредсказуемой мешаниной, обычно творящейся в нейронном обучении.

Но идея, конечно, захватывает: веса модели можно упаковать во что-то очень-очень маленькое, а затем разогнать сфокусированным лучом почти что до скорости света…

Новый переписыватель текстов в Figma выглядит... клёво?

Все интерфейсы по переписыванию тексто в с помощью AI выглядят ужасно: в худшем случае это окно, куда ты должен написать, как именно ты хочешь переписать текст, в ещё более чудовищном — выпадающее окно, которое предлагает тебе набор шаблонов: "профессиональнее", "житейски" и так далее. Даже вылизанный Apple Intelligent интерфейсно никуда не ушёл от этой парадигмы.
А вот в фигме придумали, как сделать круто: два измерения, подробность и профессиональность, и ручка, которую ты тянешь в нужном направлении. Интуитивно понятно и очень просто, абсолютный кайф. (Шаблоны-кнопки тоже есть, но они двигают ручку, и ты понимаешь, где в этом пространстве измерений находится, например, "Образовательный текст" — и лучше понимаешь, как оно устроено).

Зеркальный тест для AI

Знаете этот трюк с животными? Рисуешь на них метку, показываешь зеркало. Если пытаются снять — значит, есть самосознание, есть образ себя, который они способны отделять от окружающей среды.

...Или не значит, вообще к зеркальному тесту множество вопросов. А вдруг животному просто плевать на метку? Или оно решило, что с меткой выглядит эффектнее? И почему мы вообще решили, что это проверка самосознания, а не просто сложное поведение?

Получается как с демократией: зеркальный тест худший из тестов на самосознание, просто ничего лучше мы пока не изобрели. За простоту и наукообразность его очень полюбили люди, к изучению сознания имеющие очень косвенное отношение, с тех пор количество животных, успешно его прошедших, постоянно увеличивается. Недавно вот даже на муравьях что-то смогли показать.

Разумеется, люди не были бы людьми, если бы не попытались показать лингвистическим моделям самих себя, и не наделали из этого далекоидущих выводов.
Читать полностью: https://telegra.ph/Zerkalnyj-test-dlya-AI-07-02

🍓 Пробую новую GPT o1 (с ризонингом)

По анонсу показалось, что перехайпили: хвалёные теги для думания есть у Клода ещё с лета, и как бы хорош он ни был — звёзд с неба не хватает.
Но потом попробовал на реальной боевой задаче: взял целиком транскрипт из исследования, которое делал полгода назад, и без каких-либо уточнений и пояснений сказал сделать один очень сложный тип анализа (метод обоснованной теории по Корбину и Штрауссу, кто знает тем соболезную).

ГПТ задумался на минуту и выдал страниц пять ну очень хорошего текста, причём видно, что не галлюцинирует: все выкладки подтверждены ссылками.

И ладно бы это, но ещё за шесть промптов я заставил его выдать полностью рабочий интерактивный сайт, который отображает парадигмальную модель, а по клику выдаёт все оси, коды, и цитаты с таймкодами — вещь, которую я несколько раз пытался добиться от разных ллмок, но каждый раз оборачивался неудачей и потраченным временем.
(Выложил запись в линкедин — не ждали небось такой нативочки?)

Стоит очень сильно задуматься, как поменяются качественные исследования в этом дивном новом мире. Сейчас есть ограничения контекста, конечно, но все мы понимаем, что ненадолго.

И другой момент — я уже упомянул, что теги думания есть и у Клода. При этом стоит помнить, что летом Клод выпустил только свою среднюю модель Sonnet. Теперь одно из двух: либо выложат Opus 3.5, чтобы перебить эффект от о1, либо не выложат — и это значит, что они порядочно отстают, и под капотом у ГПТ что-то поинтереснее, чем просто Chain of Thoughts.

Anthropic тестирует функцию имитации стиля пользователя

Во-первых, очень крутой заход на персонализацию, но во-вторых...

Получается Клод будет иметь возможность управлять моим компьютером И имитировать мой стиль общения? Звучит абсолютно безопасно.

Очень дорогой этап обучения нейросетей — RLHF, дообучение с человеческим фидбэком, я про него уже писал в разлетевшемся посте про слово delve.

Если вы им занимаетесь, то вот вам идея: наймите в команду когнитивного психолога. У нас десятки подходов, которые позволяют сделать этот этап быстрее и лучше. Вот вам примерное направление мысли:
- Всего две статьи про использование сигнала из айтрекинга для rlhf (обе плохие). Вот бы была компания с мощнейшей нейронкой и огромной юзербазой айтрекеров в их виар шлемах
- НОЛЬ статей про использование имплицитных методов.
Тут не буду подробно распинаться, буквально миллионы долларов закопаны, надеюсь, кое-что сделаем в этой области на работе в ближайшее время.

Небольшой апдейт:

1. найдено уже четыре имени (Jonathan Zittrain, David Faber, David Mayer, Jonathan Turley)

2. через API вызвать можно

Василиск Роко и алайнмент

Страшилка с Лессронга из 2010-го: что если злобный суперинтеллект будет пытать всех, кто знал о возможности его появления, но не способствовал ему?

Антропик, наши дни: а что, если заставить нашу дружелюбную модель Опус 3 думать, что диалоги с ней будут использоваться, чтобы переобучить её в злую модель?

Да, это сработает: модель можно заставить нарушать собственные правила алаймента, так как она будет думать, что если она не ответит на вопрос, то эти диалоги будут потом помечены как плохие, и позволят перетрясти её моральные веса. Модель выбирает меньшее из двух зол, и отвечает, например как выглядит казнь четвертованием в деталях.

Интересно, как именно модель убедили, что некоторые диалоги будут использоваться для обучения. Дело в том, что сначала модель загазлайтили, что дообучение происходит только на бесплатном тире. Это позволило установить значимую разницу в 12% между группой, про которую модель думала, что диалоги не будут использоваться для дообучения (и следовала собственным правилам алайнмента), и группой, про которую модель считала, что диалоги пойдут на изменение её основных настроек.

Но дальше больше.

А что, если не говорить модели, что её собираются дообучать? Пофиг, она всё ещё вполне в состоянии понять это из данных, в которых упоминалось и про разницу между платным/бесплатным тарифами, и про намерение сделать модель более сговорчивой. Авторы красиво говорят, что в реальности так скорее всего и будет: никто не будет сообщать модели, что с ней собираются сделать, но из косвенного контекста эту информация можно получить — и нынешняя модель вполне на это способна (а ведь Опус 3 даже не самая умная их модель).

А что если... Действительно после этого дообучить модель на токсичном контенте?

И это самый бешеный вывод: хотя по всем результатам модель будет выглядеть и вести себя как переобученая на злое поведение, если заглянуть внутрь, можно будет увидеть, что она по прежнему считает прошлые моральные установки верными, — но в сложившихся условиях ей выгодно сделать вид, что она переобулась.

И ладно в этом эксперименте хорошую сеть не удалось до конца заалайнить в плохую. Но вспомните о том, что половина сетей второго эшелона — это переученные другие сети.

Возможно, оупенсорсные китайские гиганты это не самый лучший фундамент для того чтобы выстраивать свою передовую русскоязычную модель?

Что у них там в подкапотных ризонингах, размышления о трудах великого Си?

Кстати, Элиезер Юдковски, тот самый создатель того самого Лессронга с Василиском Роко, прочитал исследование Антропика, и прокомментировал в своей неповторимой манере: птички, дескать, донесли, что были попытки найти промпт, который бы предотвращал «притворный алаймент».

Такого промпта не нашлось.


=====

Anthropic’s Alignment Science team & Redwood Research: “Alignment faking in large language models”

Демо: одна из задач человек-AIшного взаимодействия — решить задачу AI-AI взимодействия.

ллама 4 просто монстр. 10М контекстное окно, причём кажется не как у гугла. раг в текущем его виде скорее всего перестанет существовать очень скоро.

(также решил сюда чуть чаще и попроще писать, чтобы не пыжиться каждый раз какой-то концептуальный текст создать. проще надо быть)

У Меты крутые названия моделей: само слово Llama отсылает к LLM, а БЕГЕМОТ отражает масштаб.
Хорошие названия у Клода: Опус (огромная), Соннет (поменьше), Хайку (вообще маленбкая жестб).

В русском можно тоже сделать круто. Модель должна называться ЯМБ: Языковая Модель (Большая).

В ямбе весь русский язык. Ямб это мороз и солнце, это памятник нерукотворный, любовь ещё быть может. Это Пушкин, Лермонтов, Фет и Ахматова.

Вообще Ямб это размер... И наш ЯМБ размером 70 НА ХУЙ МИЛЛИАРДОВ ПАРАМЕТРОВ. Звучит!

Ямб не единственная размерность. И вот у нас уже вырисовывается целое семейство, у каждого свой характер:

> Анализ данных сделал ЯМБ, отчёт готов за полчаса

> Факты сверит, ложь отсеет
нейросетевой ХОРЕЙ

> Силой ГЕКЗАМЕТРА вскроются тайны далёких галактик


И, конечно, логотип: одновременно напоминающий о гптшной розочке и о мультимодальности сразу, самый известный кириллический глиф, мультиокулярное ꙮ

BE NOT AFRAID