​​ИИ уже понимает и осознает.
Ошарашивающие выводы двух новых работ.
Размышляя, смогут ли люди понять разум, радикально отличающийся от нашего, старший исследователь DeepMind проф. Шанахан описал пространство возможных разумов в двух измерениях: способность агентов к сознанию и их сходство с людьми.
• Способность к сознанию агента соответствует богатству опыта, на который он способен. Но т.к. наука пока не умеет измерять этот показатель, Шанахан оценивает его по уровню когнитивных способностей, тесно связанному в земной биологии с сознанием:
если у кирпича 0, а у человека 10, то у пчелы 2, у кота 5, а у осьминога 5,5
• Сходство агента с людьми оценивается по тому, насколько можно описать его поведение, используя язык, применимый для людей, — описывая его потребности и желания, эмоции и убеждения, способности и навыки:
если у кирпича 0, а у человека 10, то у пчелы 3, у осьминога 5, а у кота 7

В таком пространстве возможных разумов:
— кирпич, пчела, осьминог, кот и человек расположатся так
— а кирпич, программа AlphaGo, робот BigDog и умный пылесос Roomba — так

Теоретически возможно создание искусственного разума человеческого типа (AGI).

Возможные варианты AGI по его способности к сознанию могут быть в диапазоне (см. приложенный рисунок):
— от не имеющих сознания Зомби—AGI: типа сверхумного пылесоса Roomba, ставшего способным выполнять функции любой прислуги: домработницы, гувернантки, повара, дворецкого …
— до имеющих сознание на уровне людей или даже на более высоком уровне, которым люди наделяют воображаемые сверхсущности (духов, ангелов, пришельцев …)

Возможные варианты AGI по степени человекоподобия могут быть в диапазоне:
— от экзотических сущностей, не имеющих с людьми ничего общего (типа Океана из «Соляриса»)
— до вполне человекоподобных биороботов (типа красавчика Тома из «Я создан для тебя»).

А еще в таком пространстве разумов возможны сущности с и без сознания, но столь экзотические, что невообразимы даже фантастам.

Теперь о двух новых работах.
1) «Языковые модели (в основном) знают, что они знают» коллектива авторов из компании Anthropic
2) «Дебаты о понимании в больших языковых моделях ИИ» Меланьи Митчел и Дэвида Кракауера

Рассмотрение этих работ с позиций вышеописанного пространства возможных разумов привело меня к двум довольно ошарашивающим выводам.

Вывод 1.
Большие модели хоть и не обладают пока сознанием в человеческом смысле, но и бессознательными они уже не являются.
• Из работы 1) следует, что большие языковые модели могут «заранее предсказывать, смогут ли они правильно ответить на вопрос». И это можно интерпретировать, как наличие самоконтроля.
• Но согласно мэйнстримной теории машинного сознания, самоконтроль вычислений, приводящий к субъективному чувству уверенности или ошибки – это один из двух типов сознательных вычислений мозга.

Вывод 2.
Уже созданы ИИ, обладающие новой формой понимания, которая обеспечивает экстраординарные, сверхчеловеческие способности к прогнозированию
• Из работы 2) следует, что AlphaZero и AlphaFold от DeepMind, продемонстрировавшие на практике чуждую людям форму интуиции в шахматах и предсказании структуры белка, - это, по сути, ИИ с новым способом понимания.
• Этот способ понимания лучше приспособлен к проблемам, требующим больших данных и сверхмощных вычислений (тогда как понимание людей ориентировано на проблемы с малым объемом данных и сильным причинно-следственным механизмом).
• Нужна новая наука об интеллекте с более широкими рамками концепций понимания и сознания, пригодными и для людей, и для машин.

Эти выводы заставляют вспомнить замечание главреда New Scientist о пространстве возможных разумов Шанахана:
«Однажды мы можем обнаружить, что живем бок о бок с инопланетянами и ангелами».
#Разум #Сознание #Понимание

Динамика притока инвестиций в VC фонды, специализирующиеся на crypto

Как и зачем хакать blind spots своего внутреннего диалога? Обсуждали с Витей, какой подлый мозг и очень нас запутывает (вот сотня мозговзрывающих визуальных иллюзий, даже не верится) и регулярно нас обманывает. Поняла, какую важную роль я играю, как психолог. И как нам важен сторонний взгляд: психолог для личного, трекер для фаундеров, коуч для менеджеров, рецензент для ученых.

Терапия - задача психолога - подсветить клиенту где его восприятие не соотносится с реальностью (чаще всего, тк эмоции застилают разум, а интенсивные эмоции генерятся травмами). Психолог эмпатичен, но это не его нейромедиаторы окунают в эмоции, остается и менее предвзятый голос рацио

Трекеры - читала, что утренние standups чуть ни в 2 раза (!) меняют performance одних и тех же команд. Фаундеры никому не подчиняются, и трекеры им дают эту регулярную приоритизацию перед сторонним слушателем. (А Витя раньше считал, что трекеры - это фейковая профессия ))) 

Коучи - это тренеры, кто подсказывает. Менеджеры - чаще просто заказчики задач “что надо [срочно сделать / KPI]”, а на развитие всех подчиненных времени на практике не особо хватает. Коуч же помогает людям ответить на вопрос “как?” [именно мне сделать, что от меня требуют]

Ученые - Витин знакомый прислал статью (еще не из реферируемого журнала) о снижении рождаемости в Германии и Швеции зимой 2020го и весной 2021го. Там все пытаются объяснять вакцинацией, игнорируя факты, видимые на графиках. И вообще “correlation doesn’t mean causation”. Ученые могут начинать слишком верить в свою гипотезу и их мозг радостно отклоняет контраргументы, а рецензент отстраненно смотрит извне.

Если мы заинтересованы во взаимодействии с реальностью круче других, то, получается, сторонний взгляд, прерывающий наш внутренний диалог, становится super valuable

вчера внезапно рухнул крипто фонд FTX, который был основным спонсором эффективного альтруизма и обещал им десятки миллиардов долларов. https://forum.effectivealtruism.org/posts/yjGye7Q2jRG3jNfi2/ftx-will-probably-be-sold-at-a-steep-discount-what-we-know

Airbus предлагают европейскому космическому агентству поизучать реализацию проекта геостационарных спутников с солнечными батареями на несколько км длиной и затем передачи полученной энергии на землю лазером/радио сигналами на специальные приемники, несколько км солнечных батарей это будет как одна АЭС по мощности. Энергию использовать для электролиза воды и получения из нее green водорода. Естественно, изучение вреда для людей тоже запланировано

https://www.esa.int/ESA_Multimedia/Images/2022/11/Wireless_power_from_space

Peter Diamandis in his mail list:

In 1999 at Stanford conference (after first Ray Kurzweil’s predictions on singularity) 150 people voted when AI will achieve human-level intelligence, results:
- 20% felt it would never happen
- 80% - would happen, but not by 2029. The majority thought it would take at least 100 years (so, in 2100)

Now:
- Kurzweil expects that will reach till 2029
- Elon Musk that till 2025
- Online forecasting platform Metaculus conducted in 2021 the poll of AI experts, their consensus was that by 2042