Интервью Lex Fridman Романа Ямпольского (CS PhD, изучает пределы intelligence) на 2 часа про AI апокалипсис:

Риски
- Superintelligence - это когда AI круче [лучших] людей во всем. Prediction markets считают, что уже в 2026-ом (вроде нет). Lex: но у людей есть tools, т.е. за уровень людей берем их самих + fully controllable tools? Роман: да, включая BCI
- X-risk/existential- что люди исчезнут от AGI. Мы все в зоопарке. Верит, что p(doom) (вероятность уничтожения цивилизации AGI) 99.9%
- I-risk/японский термин ikigai - что люди при AGI потеряют смыслы жизни, тк во всем компы будут круче. Нужны будут искусственные игры?
- С одной стороны, в мире не будет suffering, но с другой 8 млрд людей, кто ни о чем не могут договориться. Multi-agent value alignment может быть в создании вселенной для каждого?
- Проблема будет именно в meaning (а Bostrom к утопии повернул и считает наоборот, опций для смыслов станет больше)
- S-risk/suffering - что люди будут страдать от AGI. В истории были психопаты (отсутствие эмпатии), хакеры итп. Вдруг злобный AI/malevolent agent пожелает причинить людям как можно больше боли?

Тест Тьюринга
- Мне нравится, я oldschool. Но вообще для superior intelligence такой тест не придумать
- Ну и люди испокон веков врут, читят, детекторы лжи не помогают (и AI тоже может прикидываться хорошим)
- Есть оптимисты, что чем умнее AI, тем круче, и все ОК, воспитаем. Не согласен, мы оч violent, планету загрязняем итд

Yann LeCun, open source
- Ян считает, что intelligence нам не на НЛО прилетит, а мы сами дизайним системы. А я думаю, мы скорее поливаем водой растения и там происходит emergence
- Опенсорс да, раньше было круто, но мы же вступаем в эпоху агентов. Вдруг психопаты воспользуются? Мы же не опенсорсили ядерное и биологическое оружие
- Я в статье изучал AI инциденты, и они растут пропорционально мощности систем. Да, раньше это были опечатки или ходы в играх, но мощность же растет. Мелкие инциденты не тормозят рисеч. Когда авто плавно начинали, никто же не знал, что будет много смертей (в US 40 тыс/год, мир 1.3 млн/год)
- Я считаю это unpredictable (представьте мы пару лет треним, ждем, и вдруг как эмерджнется), но мы же ставим эксперимент на 8 млрд людей

Контроль над AI
- Дело не в номерах GPT 5, 6, а что невозможно бесконечно строить машинку по безопасности улучшающихся систем + случаются ошибки и инциденты
- АЭС, авиация итп - все на софте, и постоянно падают. И регулярные взломы. И AI может заняться social engineering. А еще роботы будут..
- AI обман: опасаюсь систем управления массами людей. Модели уже могут дурачить нас. Да даже в соцсетях катастрофа с проверкой фактов, но все виралится

Проверяемость создаваемых систем/verification
- Lex: Pessimist Archive собрал историю прессы что за 150 лет всегда боялись разных tech
- Роман: еще раз - то были tools, deterministic системы, а не agents со сложным поведением. И которые еще и вступают в самомодификацию. Системы будут становиться все менее explainable и understandable
- Отдача от увеличения compute позволяет в 10x нарастить compute, магия продолжится

Пауза в AI
- Растет разрыв между мерами безопасности AI и сколько ресурсов вваливают в рисеч
- Люди в AI мало думают, что будет, если у них в итоге получится
- У нас дилемма заключенного: бизнес никто не хотят проиграть, но в целом можем влететь в опасный AI. В фарме бремя доказательства на компаниях, а в AI не так. В конгрессе вообще не шарят, как работает tech

Прочее
- Мы живем в симуляции, нас тестируют убьем ли мы себя AGI, и я статью писал как ее хакнуть (при помощи AGI =)
- Aliens есть, ведь столько мира вокруг, но там никого?
- Чувства есть только у людей, софт пытать бесполезно
- Что есть сознание? Не знаю, может просто феномен emergence. Причем computationally irreducible. Но на компах создать получится

//

- Его энергию бы в мирных целях, а не секту конца света =)

- Тиль говорил - страхи AI это дарвинизм и макиавеллизм. А Роман непрерывно проецирует людей на AI

- Я читал его книгу AI: Unexplainable, Unpredictable, Uncontrollable. Думал написать конспект, заменяя всюду AI на зомби ))

Ничоси раньше умели инициировать/запускать think tanks/non profits - см. скриншот. https://ru.wikipedia.org/wiki/RAND_(корпорация) - сейчас 1800 чел. Примеры рисечей прямо на сайте - https://www.rand.org

Интересно, из условного OpenAI нобелевку кому-то дадут? Ну или там медаль Филдса итп ) Или это все уже слишком pure engineering?

AI и universities от Mary Meeker, статья на 16 стр, раньше из инвестбанков перетекла в KPCB (вот их первый фонд 1973г), а теперь свой VC фонд Bond (с 2018 привлекли $6 млрд), писала каждый год известные Internet Reports, и после паузы с 2020 описала первичные мысли про влияние AI на высшее образование:

1. Вводные соображения
- 17 из 20 фирм дороже $500 млрд - US, а 3 - Saudi Aramco, TSMC, Novo Nordisk (Ozempic) -> США умеют инновировать. Это вытекает из расцвета универов в US с 50ых, лидировал Vannevar Bush/NSF
- AI поменяет все парадигмы обучения, см новую книгу основателя Khan Academy Brave New Words: how AI will revolutionize education. Обучение уже стало удаленным + перетекает в lifelong learning
- Вопрос на декады вперед стал геополитическим, 5 лет назад казалось что Китай рулит, но сейчас нет, см Stanford AI Index 2024 Report (я постил в мае конспект)

2. Темпы AI инвестиций
- Циклы creative destruction и проникновения 50% домохозяйств US 5ый раз укорачиваются в 2x + в 5-10x больше девайсов и юзеров
- ChatGPT набрал 100 млн юзеров за неск месяцев (TikTok за 9, Инста 30) и выручку $2 млрд за 1ый год продаж
- Бигтехи тоже вовсю воюют за рынок: MSFT +2x capex до $17 млрд, у Apple 2 млрд устройств, Google в 100x повысили КПД моделей и 60% VC funded GenAI стартапов юзают Google Cloud (и 90% GenAI юникорнов), Amazon вложили $4 млрд в Anthropic, FB - Llama3 скачали 3 млн раз на HuggingFace + capex будет $40 млрд в 2024 (готовят AI инфру для их 3 млрд DAU)

3. Влияние AI на высшее образование
- Гугла не было 26 лет назад, а сегодня 4 млрд юзеров и 8 млрд запросов в день -> трансформировали обучение и исследования
- LLM/AI - новый подход к извлечению знаний вместо учебников смещает фокус на применение инфо на практике
- MIT’s OpenCourseWare 1 млн MAU, Coursera 140M зареганных юзеров, Duolingo геймификацией делает 100 млн MAU и $640 млн/год выручки - тк все учатся удаленно и когда им удобно/круглосуточно
- Роль универов как gatekeepers снижается
- Концепция карьеры у молодежи плывет (в тч после пандемии): хотят уже без дипломов/accredited licenses и on-demand work (Uber, Instacart) или influencing/content creators (Goldman Sachs: 20-50 млн чел в мире креаторы, и из них 4% (2 млн) делает >$100k/год, 57% зумеров не прочь стать инфлюенсерами

4. Учеба
- US школы - до сих пор низкое место в мире: по math 36->34 с 2012 по 2022, sciences 28->16, reading 24->9 (а в топах Азия и EU)
- ВУЗы подорожали в 3.5x больше, чем составила общая инфляция в экономике с 1980го года. Студенческий долг $1.7 трлн, $40К на выпусника
- 40% бюджетов госвузов идет от муниципалитетов и властей штатов, при этом общий net debt государственный долг США достигает 100% ВВП - беспрецендентный уровень долговой нагрузки

5. AI изменения могут перетасовать winners & loosers в образовании
- Средняя цена в ВУЗах за 4 года учебы: $110к в государственных и $223к в частных. Расходы растут, а число детей младше 18 лет было 74 млн в 2010 и 73 млн сейчас, но дальше демографический тренд сработает и рухнет
- Работодатели стали больше ценить skill-based trainings, укороченные (до 2ух лет) программы итп - им важен ROI
- Market/domain leadership станет еще более важным: топовые ВУЗы умели делать топовые специализации (MIT in CS, Harvard in medicine итп), но это сложно масштабировать
- Новые студенты (и lifelong learners) стали гибче, больше считать $, имеют больше опций

6. От AI выиграют наиболее мотивированные
- Больше кастомизации и self-learning plans и наглядности, и коммуникация с (кгхм) LLMs
- Co-pilots будут сами сопровождать учеников, а преподы станут coaches/guides? (Но и много автоматизации административно сильно разгрузит преподов)
- Вред смартфонов, см Johnatan Haidt/Anxious generation
- ВУЗам придется переосмыслять свои миссии, стратегии, учитывать мир/freedom of thinking, менять оргструктуры, изучать как выиграть в эпоху AI (e.g. есть ли у ВУЗа unique data для research), думать вдолгую, в тч как каннибилизировать самих себя
а
- Иначе вооруженные GenAI самые лучшие engineers будут вообще пропускать ВУЗы и идти прямиком в индустрию

В Sequoia апдейт сделали к посту год назад, что сейчас бигтехи тратят на capex датацентров $90 млрд в 2024ом. Они юзают annual run rate (типа сколько будет за год, закладывая сегодняшние темпы роста), и оперируют цифрой $150 млрд на конец 2024-ого. И если к $150 млрд добавить еще столько же на прочие издержи data centers (построить их и содержать), то расходы всей отрасли на датацентры составят $300 млрд в год в 2025ом. Ну и если добавить людей айти компаний + все прочие затраты, то, получается, что всей отрасли надо будет от genAI иметь выручку, условно, $600 млрд в год, чтобы это все окупалось. И типа вдолгую да - AI инфра нужна - но на более коротких горизонтах будут downs, тк сложно все это окупать

Так, Anthropic/Claude ждут пока всего $1 млрд выручки в 2024ом. А у OpenAI выручка была $1.3 млрд в 2023, и ожидается $3.5 млрд в 2024ом году. Это типа жалкие (в масштабах населения мира) 15 млн платных юзеров (блин, хотя у Zoom за много лет всего 20 млн платящих юзеров на сегодня). Но OpenAI с Apple запартнерились - удвоение может продолжиться? Или нет?
- Apple явно бесплатно воткнет, сделает частью своей продуктовой фичи
- В аппсторе Apple НЕ игровая выручка составляет жалкие $12 млрд/год. Зато игровая - $50 млрд ))

Наверное, все же много этого capex покроется выручкой самих бигтехов: всякие Fb, TikTok, Adobe итп - там же много выручки от их core products, которые они все планируют обогащать AI фичами

Но даже просто облачный бизнес (compute/storage/networking) приносит топ3 игрокам - amazan/google/microsoft - $200 млрд выручки в год:

- У Гугла выручка была $100 млрд в 2016ом, и $300 млрд будет в этом году - 60% контекстная реклама, 10% youtube, 10% прочая реклама, 12% сервера в облаках = $36 млрд

- Microsoft выручка была $91 млрд в 2016ом и $211 млрд в 2023ем - 35% сервера в облаках = $74 млрд, 25% Office, 12% Windows, 8% игры, 7% linkedin, 6% bing

- У Amazon выручка $514 млрд, 65% это ecomm и связанные с ними сервисы, $46 млрд реклама, $90 млрд сервера в облаках/AWS

Если, предположим, весь прочий мир тратит еще, ну, скажем, 50% от облачной выручки топ3 бигтехов выше, т.е. +$100 млрд в год, то мир УЖЕ тратит на облачные датацентры $300 млрд. Ну то есть будут всяким enterprises, осваивающим AI use cases, продавать и GPU compute?

Но да, FOMO между бигтехами “а вдруг мы упустим следующую гигантскую консьюмерскую волну/трансформацию отрасли” все же, видимо, имеет место быть