Interesting thoughts about AI vs. AGI in a recent podcast with David Deutsch:

Naval Ravikant: Related to that, we’ve touched upon AGI [artificial general intelligence] here and there. You have said AGI is absolutely possible, and that Turing settled that issue. Now some people are saying it’s almost inevitable and we have to worry about things like AGI alignment. I’m wondering if you have thoughts on both, is self-improving, runaway AGI here? And is this something that we need to align with our beliefs, whatever those are?

In fact, I don’t think we, as humans, can even agree upon alignment, but suppose we could. How would we align AGI?

David Deutsch: Yeah, and we don’t even any longer try to align humans in the way that people want to align AGIs, namely by physically crippling their thinking. Yes, I don’t think we’re anywhere near it yet, I’d love to be wrong about that, but I don’t think we’re anywhere near it. And I think that AI, although it’s a wonderful technology, and I think it’s going to go a lot further than it is now, AI has nothing to do with AGI. It’s a completely different technology and it is in many ways the opposite of AGI. And the way I always explain this is that with an AGI or a person, an artificial person, their thinking is unpredictable; we’re expecting them to produce ideas that nobody predicted they would produce, and which are good explanations, that’s what people can do. And I don’t mean necessarily write physics papers or whatever, we do this thing in our everyday lives all the time.

You can’t live an ordinary human life without creating new good explanations. An AGI would be needed to build a robot that can live in the world as a human, that’s Turing’s idea, with what is mistakenly called the Turing test. Now, why an AI is the opposite to an AGI is that an AGI, as I said, can do anything, whereas an AI can only do the narrow thing that it’s supposed to do, like a better chatbot is one that replies in good English, replies to the question you ask, can look things up for you, doesn’t say anything politically incorrect. The better the AGI is, the more constrained its output is. You may not be able to actually say what the result of all your constraints must be, it’s not constrained in the sense that you prescribe what it is going to say, but you prescribe the rule that what it is going to say must follow or the rules.

So if it’s a chess-playing machine, chess-playing program, then the idea is that you must win the game. And making a better one of these means amputating more of the possibilities of what it would otherwise do, like namely lose, or in the case of chatbots, say the wrong thing or not answer your question or contradict itself or whatever. So the art of making a good AI is to limit its possibilities tremendously. You limit them a trillion fold compared with what it could be. There are a trillion ways of being wrong for every way of being right, same is true of chess-playing programs. Whereas, for the perfect AGI, as it were, would be where you can show by looking at the program and you can show mathematically that there is no output that it couldn’t produce, including no output at all. So an AGI, like a person might refuse to answer, it should have that right by the first amendment.

So you can’t have a behavioral test for an AGI because the AGI may not cooperate. It may be right not to cooperate because it may be very right to suspect what you are going to do to it. So you see that this is not only a different kind of program, it’s going to require a different kind of programming because there is no such thing as the specification. We know sort of philosophically what we want the AGI to be, a bit like parents know philosophically that they want their children to be happy, but they don’t want — if they’re doing the right thing, they don’t want to say, “Well, my child will never say X, will never utter these words,” like you do for an AI. You will recognize what it means to be happy once they’ve done it.

(there are many other interesting things as well)

Podcast: https://tim.blog/2023/03/23/david-deutsch-naval-ravikant/
Trannoscript: https://tim.blog/2023/03/24/david-deutsch-naval-ravikant-trannoscript/

Пока готовятся обзоры очередных интересных статей, вот ещё один старый, но хороший подкаст Девида Дойча:
https://www.ted.com/talks/the_ted_interview_david_deutsch_on_the_infinite_reach_of_knowledge/trannoscript

Оно же на Apple Podcasts: https://podcasts.apple.com/us/podcast/david-deutsch-on-the-infinite-reach-of-knowledge/id1437306870

И на Google Podcasts: https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkcy5mZWVkYnVybmVyLmNvbS9UZWRJbnRlcnZpZXc/episode/cHJ4XzE3OV83Y2I0ODNlMy1jN2I5LTRmYWQtYWJmYi1lNTUyOGJlNGVkNTg?ep=14

Нельзя сегодня не запостить Юдковского

https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/

И ещё одно, что сложно не запостить (но сложно и прочитать ибо пейволл)

Гугл объединил все свои силы с DeepMind и делает проект Gemini чтобы догнать OpenAI с GPT-4. Jacob Devlin (помните BERT?) при этом ушёл в OpenAI. И также большой шум про то, что Bard обучался на результатах ChatGPT, что типа нельзя по ToS.

https://www.theinformation.com/articles/alphabets-google-and-deepmind-pause-grudges-join-forces-to-chase-openai

И ещё вам Юдковского на ночь :)

https://youtu.be/AaTRHFaaPG8

Ну и давайте до кучи ссылки на петиции тоже сохраним:

- Петиция 1 (против, или за, откуда смотреть): https://futureoflife.org/open-letter/pause-giant-ai-experiments/

- Петиция 2 (за, или против):
https://laion.ai/blog/petition/

Первого апреля был занят, но подумал, что надо уже готовить доклад про NLP в 2024-м. Начал готовить. Включайтесь во флэшмоб про #AInews2024

https://gonzoml.substack.com/p/the-guardian-2024

Stanford 2023 AI Index Report is published!

The section on machine translation is based on Intento data as usual :)

https://aiindex.stanford.edu/report/

Про петиции

История с петицией (https://news.1rj.ru/str/gonzo_ML/1444) как-то заметно поляризовала общество. Выход статьи Юдковского (https://news.1rj.ru/str/gonzo_ML/1441) добавил масла в огонь, особенно его пассажи про бомбардировку датацентров.

По моему ощущению от того, что я вижу вокруг, сторонников петиции (той, которая про сделать паузу на 6 месяцев) сильно меньше, чем противников. Аргументация противников, которую я чаще всего наблюдаю, при этом сосредоточивается вокруг утверждений, которые я бы сгруппировал в такие кучки:

1)
- Прогресс не остановить
- Это придумали конкуренты OpenAI
- Китай ждать не будет

2)
- Бояться надо не AI, а людей.
- У GPT нет сознания, воли, стремлений, агентности, поэтому бояться нечего
- GPT-4 безумно далека от порабощения мира потому что она ничего не понимает, совершает глупые ошибки, и вообще тупая
- GPT-4 не сможет поработать мир потому что у неё нет ручек/ножек

3)
- Третья кучка обычно связана с переходом на личности в духе, что те, кто опасается, ничего в технологиях не понимают.

Кажется, из больших кучек это всё. Добавьте, если я что-то упустил, обновлю пост.

Хочу добавить свои пять копеек к этим разговорам.

Хочется сразу выкинуть третью кучку, потому что, во-первых, она не по сути (было бы по сути, были бы конкретные претензии не к людям), а во-вторых ну тот же Юдковский настолько глубже большинства в этой теме, что даже не знаю как это серьёзно можно обсуждать. Что конечно не отменяет, что есть люди и непонимающие тоже, но они есть с обеих сторон.

Про первую кучку и неостановимость прогресса в силу разных причин. Содержание у перечисленных тезисов несколько разное, но, кажется, что в пределе все эти тезисы как минимум не отрицают способности и перспективы текущих подходов к AI.

Первый тезис про неостановимость прогресса -- это имхо просто лозунг, не обязанный быть правдой. Какие-то биологические эксперименты люди вроде как остановили, а сколько ещё прогресса в прошлом было остановлено инквизицией, сжиганием книг и убийствами учёных в Китае, или просто какими-то иными причинами, связанными с конкретными людьми (умер, влюбился, муза/музык улетел/а, отвлекли, …), мы и близко не знаем, ибо survivorship bias.

Другие тезисы про то, что надо просто бежать дальше, потому что “если не мы, то они”, более понятные, и я сходу не знаю какое правильное решение этой проблемы, но это всё очень похоже на дилемму заключённого и теория игр знает, что делать, и видимо нужна какая-то критическая масса здравомыслящих людей в разных местах, чтобы такие проблемы решались. В современном мире многое вызывает сомнения относительно наделённости всех мест достаточным количеством таких людей.

Вторая кучка самая интересная, и я с ней по фактам даже согласен, но есть несколько но.

Да, нет сознания, воли, агентности и вот этого всего. Ну нет, но можно придумать кучу сценариев, когда такая штука делает своё дело и перечисленные атрибуты ей для этого не нужны. У коронавируса тоже ничего из этого нет, и у более опасных вирусов тоже, но можно представить, что какой-нибудь вирус потенциально выкосит всю популяцию. И не надо апеллировать к тому, что вирус не sustainable, если он выкашивает популяцию и ему негде дальше себя поддерживать, он не обязан быть sustainable, и так же может исчезнуть с лица Земли по завершению этой оказии.

Продолжая биологическую аналогию, есть замечательная статья “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (https://arxiv.org/abs/1803.03453), где приведено много примеров, когда несознательный процесс идёт в неожиданную сторону. Сторона может быть и неудачной для нас. Если ближе к ML, то и без эволюционного процесса всё может пойти в неправильную генерализацию “Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals” (https://news.1rj.ru/str/gonzo_ML/1160). Или как процесс оптимизации, которому дали свободу, может уйти не туда, см. “Risks from Learned Optimization in Advanced Machine Learning Systems” (https://arxiv.org/abs/1906.01820). Про скрепки или про то, что ваши атомы нужны для других вещей, я уже вам не буду говорить, и так все знают эти примеры.

При этом мы вообще не рассматриваем риски malicious use of AI (https://arxiv.org/abs/1802.07228) и всякий misuse (https://openai.com/research/forecasting-misuse), который конечно льёт на мельницу “бояться надо людей”, но не отменяет, что и без людей может быть плохо.

Про то, что модель совершает глупые ошибки я тоже согласен, но блин, а сколько таких ошибок совершает более-менее любой человек. С такими бы критериями к людям подходили, как к моделям сейчас подходят. При этом модель решает и большое количество офигенно классных и сложных задач (которые ещё недавно казались творческими и исключительно человеческими), которые средний человек решить не может. Из пресловутой работы про “Sparks of Artificial General Intelligence: Early experiments with GPT-4” (https://arxiv.org/abs/2303.12712) меня поразило, например, решение задач Ферми, довольно сложные математические задачи (не все из них правильные, но блин всё равно насколько это выше среднего по популяции), и как ни странно theory of mind и “вроде как бы способность понимать” действия других. Это всё похоже на интеллект, только другой, не совсем как у нас. При этом как устранить по крайней мере часть таких ошибок, в общем понятно, ну добавьте там модуль для точных вычислений, добавьте базу фактов, добавьте валидацию другой моделью. Я если что до сих пор не думаю, что у модели есть “модель мира”, и по-прежнему считаю, что embodiment и grounding близки к необходимым ингредиентам, но будет, всё будет (https://news.1rj.ru/str/gonzo_ML/1350).

Самое главное во всей этой истории -- это скорость развития. Она крайне выросла. Вот и ручки-ножки уже на подходе: те же плагины ChatGPT, или способность модели написать код и дёрнуть апишку, или способность юзать внешние тулы (см. Toolformer, https://news.1rj.ru/str/gonzo_ML/1305) даже вообще без обучения (см. ту же статью про Sparks of AGI). GPT-4 мир, конечно, не захватит (но экономически потрясти может сильно, если неправильно выкатывать), а вот GPT-5+ может оказаться не сильно далеко во времени и с гораздо более сильными способностями. И надеяться, что мы осмыслим модели следующих поколений -- это несколько наивно, когда мы и близко не осмыслили модели предыдущих. И в этом смысле 6 месяцев перерыва это хорошо, но мало.

А с учётом того, что гонка ИИ стартовала (см. тёрки между MS/OpenAI и Гуглом, https://www.youtube.com/watch?v=KSixVG8Z5rQ), осмыслять некогда, надо бежать.

В общем, ввиду всего этого, я тоже подписал петицию. Хоть и не верю, что это как-то поможет 🙁

Поделюсь просто ссылкой:

Eight Things to Know about Large Language Models
Samuel R. Bowman
https://arxiv.org/abs/2304.00612

The widespread public deployment of large language models (LLMs) in recent months has prompted a wave of new attention and engagement from advocates, policymakers, and scholars from many fields. This attention is a timely response to the many urgent questions that this technology raises, but it can sometimes miss important considerations. This paper surveys the evidence for eight potentially surprising such points:
1. LLMs predictably get more capable with increasing investment, even without targeted innovation.
2. Many important LLM behaviors emerge unpredictably as a byproduct of increasing investment.
3. LLMs often appear to learn and use representations of the outside world.
4. There are no reliable techniques for steering the behavior of LLMs.
5. Experts are not yet able to interpret the inner workings of LLMs.
6. Human performance on a task isn't an upper bound on LLM performance.
7. LLMs need not express the values of their creators nor the values encoded in web text.
8. Brief interactions with LLMs are often misleading.

Мультик, снятый с использованием OpenAI DALLE-2

https://youtu.be/-qdx6VBJHBU

Теперь уже полноценно опенсорсная LLM Dolly 2.0 от DataBricks.

https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

12B модель, основанная на Pythia от EleutherAI, с собственным (тоже открытым) датасетом в 15k инструкций для файнтюна.

Коммерческое использование ok!

Сегодня жанр малых форм.

Prompting segmentation model!

Segment Everything Everywhere All at Once
https://arxiv.org/abs/2304.06718

Despite the growing demand for interactive AI systems, there have been few comprehensive studies on human-AI interaction in visual understanding e.g. segmentation. Inspired by the development of prompt-based universal interfaces for LLMs, this paper presents SEEM, a promptable, interactive model for Segmenting Everything Everywhere all at once in an image. SEEM has four desiderata: i) Versatility: by introducing a versatile prompting engine for different types of prompts, including points, boxes, scribbles, masks, texts, and referred regions of another image; ii) Compositionality: by learning a joint visual-semantic space for visual and textual prompts to compose queries on the fly for inference as shown in Fig 1; iii)Interactivity: by incorporating learnable memory prompts to retain dialog history information via mask-guided cross-attention; and iv) Semantic-awareness: by using a text encoder to encode text queries and mask labels for open-vocabulary segmentation.