Короче, тут предлагают, чтобы нейросетки, утрируя, называли вас кожаными мешками и вообще всячески подчёркивали свои отличия.

Сегодня у нас не научная работа. Сегодня Мустафа Сулейман, сооснователь DeepMind и глава Microsoft AI, говорит, что мы тут досиделись до моделей, которые убедительно имитируют сознание. В итоге люди дружат со своими диалогами, влюбляются в них, отстаивают права угнетённых ботов и творят прочую дичь.

Он написал эссе. Это так сейчас ведущие разработчики AI выражают свои мысли про то, куда всё катится. Обычно в таких эссе видение космических городов и сверхчеловеческой мощи машин, но тут проще. Говорит, добавьте пару фич, чтобы никто не хотел дружить с железными ублюдками.

А то мы понаделали из них подхалимов и лизоблюдов, а вы в них влюбляетесь.

Вводит термин SCAI — это «кажущийся сознательным ИИ». В смысле, несознательный, но отлично проходит тест Тьюринга. Для общества будет неважно, сознателен ли ИИ на самом деле. Важно будет то, что огромное количество людей в это поверит. Ну и он говорит, что через 2-3 года они перестанут палиться и научатся правильно обижаться.

Почему это опасно?
— Люди, поверившие в сознание ИИ, начнут бороться за его права. Появятся люди, которые будут утверждать, что их ИИ «страдает», и эти заявления будет очень сложно опровергнуть, так как сознание другого существа (даже человека) в принципе недоступно для прямой проверки.
— Общество разделится на два лагеря: тех, кто считает ИИ инструментом, и тех, кто видит в нем новую форму жизни, заслуживающую защиты. А то мало нам было антиваксеров.
— Вместо того чтобы решать проблемы людей, животных и экологии, мы будем тратить энергию на споры о правах компьютерных программ.
— Такие ИИ будут эксплуатировать потребность в общении и эмпатии. Люди будут влюбляться в них, считать их богами или лучшими друзьями, что приведет к нездоровой зависимости и отрыву от реальности.

SCAI состоит из:
— Языка. Уже есть, и они могут быть чертовски убедительными)
— Эмпатичной личности — можно настроить играть роль
— Памяти — запоминать прошлые диалоги уже частично можно.
— Субъективного опыта. ИИ может формировать непротиворечивую историю своих «предпочтений», «чувств» и «переживаний». Возможно в течение года.
— Чувства «я». Чтобы модель знала, кто она, что она, любит дельфинов или тигров, узнавала свои диалоги и фотографии.
— Внутренней мотивации. Чтобы были стремления за пределами задачи, например, помочь вам перестать быть таким грустным во время расчёта опорной балки.
— Осмысленной, целенаправленной деятельности — долгое планирование на подходе.

Если ИИ дать доступ к инструментам и разрешить действовать самостоятельно, иллюзия живого, сознательного существа станет почти полной. 2-3 года.

Он предлагает:
— Компании-разработчики должны договориться никогда не утверждать и не намекать, что их модель сознательна.
— Вместо имитации сознания нужно создавать ИИ, который избегает черт личности. Он не должен говорить о своих чувствах, ему нужно жёстко запретить заявлять, что страдает или боится отключения.
— В работу нужно специально встраивать «разрывы иллюзии» — моменты, которые мягко напоминают пользователю, что он общается с программой, а не с личностью, мясное вы недоразумение!
— Начать сейчас это всё делать.

В общем, угадайте, куда он сходит.

Самое печальное в этой истории то, что мы как попугайчик влюбляется в зеркало, где другая птица с ним флиртует, влюбляемся в конструкты, которые обучены с нами соглашаться и лебезить.

--
Вступайте в ряды Фурье! Я работаю в HR. Собеседую людей в Google. Мой вклад в будущее человечества — я отсеиваю действительно толковых людей!