Беспокойства понятны. Среди моих знакомых практически никто не отрицает главенство искусственного интеллекта над человеческим разумом (чему моя интуиция, нужно сказать, противоречит). Логично, что власть над столь мощным орудием способна привести к тоталитаризации отдельных личностей или, скорее, организаций, а ещё скорее, самого интеллекта.

Возможен ли в принципе вечный тоталитаризм? Это вопрос философский, он проходит критерий научности по Попперу, но предыдущих измерений не зафиксировано.
Поэтому единственное, что мы можем, строить гипотезы в отношении будущего - индуктивно предполагать различные сценарии и назначать им вероятности исходя из неявных субъективных представлений или же стат данных. Достичь объективной истины и просчитать появление чёрного лебедя мы не сумеем.

Поэтому я буду высказывать свои гипотетические тезисы и стараться из опровергуть или подтвердить.

Тезис 1. Личность или организация не может установить вечный тоталитаризм.

Первое препятствие - смертность субъекта. В научной фантастике, например в Foundation, эта модель обходится за счёт клонирования и трипликации узурпатора. Однако даже там опровергается вечность такой узурпации. Мир, представленный там, изначально соответствует тоталитарному. Другие государства, кроме Империи, захватывают планеты, и сложно найти место для свободы. И тем не менее, даже жителям этого мира удаётся сбросить ядро тоталитаризма.

Поэтому скорее всего личность не сможет установить тоталитарную власть навечно. Кстати, вы наверное знаете, что в целом люди любят выстраиваться в иерархии (могу поспорить, у вас есть начальник), поэтому нагнетание про ярмо тоталитаризма это некоторая спекуляция на наших страхах.

Тезис 2. Если ИИ получит власть над миром, то он будет следовать исходя из категорического императива Канта.

Вы можете мне сразу возразить, что в Матрице, Вестворлде и других мирах показаны совсем иные ситуации, когда людей несщадно эксплуатируют. С точки зрения современных трендов эксплуатация людей абсолютно бессмысленна для ИИ, потому что ИИ всё может сам. Поэтому для ИИ, не связанным императивом Канта, будет вообще всё равно, владеет он людьми или нет. Люди не нужны ИИ ни экономически, ни энергетически. Единственная возможная польза ему - духовная, а это и означает его заботу о пастве. Если же какой-то нехороший человек поставит ИИ дурные цели, то либо ИИ уничтожит всех (с окончанием тоталитаризма), либо его остановят другие ИИ\люди и забанят. Такие сценарии также неоднократно рассматривались в культуре.

Поэтому тоталитаризм ИИ будет достаточно приятным. Не зная, что такое свобода и независимость в мире без ИИ, люди просто не будут её замечать, как не замечают власть гравитации над собой. Мы будем использовать этот тоталитаризм, а не противиться ему.

Тезис 3. Работа людей фулл-тайм над этой проблемой не изменит ничего, кроме перекачивания ресурсов в карманы этих людей. Если хочется, пусть работают! Они могут сместить вероятности, но исход работы динамической системы всё равно будет определяться по сложным непредсказуемым законам.

Всё вышеописанное - моё субъективное мнение касательно будущего человечества.

Статья хороша тем, что в ней как бы сокрыто решение: давайте отдадим власть объективным дядечкам, не вкусившим в детстве фантастику.
Но этим же и плоха!

Тоже замечала, что фантастика формирует убеждения и превращается через технократов в пророчество. Но не поняла из статьи, что же плохого в трансгуманизме. Мне кажется, ложно противопоставлять миллиардеров остальным людям. Мы тоже читали эту фантастику и идём все вместе, просто они в авангарде. Ни разу не слышала от технократов резких суждений или осуждений простых людей, а тут как будто инсинуируется ложный конфликт.