(верхние графики - можно считать что world of atoms, а нижние - world of bits)

это графики для США (а для мира в целом цифры будут на десятки % ниже), но все равно: мы живем в реально удивительный момент нашей техногенной цивилизации, когда столько всего нас окружает

иногда (чаще в выходные =) остановишься, перестаешь считать все это само собой разумеющимся, и замираешь от восхищения [красотой и complexity вселенной/технологий]

Тут вот этот дядя (чуток правда “утоплю в data, а не скажу 5 главных додуманных мыслей”) собрал 200 слайдов (прилагаю PDF) “все графики про VC, что я видел за 2023-ий год”,

и

Читать НЕ надо, можно точечно полистать графики на интересующие темы (мы же и так все знаем, что за 2023-ий все попадало в 2x: инвестиции, оценки, выходы итп). (кроме оценок seed стадии, на которой я инвестирую, хнык-хнык =)

//

Там есть интересный график на стр 194: когда у тебя население всего 4% от мирового, но ты мировая валюта и твой stock market = 40% мировой капитализации акций ($45-50 трлн от $120 трлн на весь мир), то вот такие вот загогулины:
- траты на науку и инжиниринг сопоставимы даже с UK или Германией если на душу населения пересчитать
- и научных статей и даже неплохих патентов тоже сопоставимо

Но

- в США фаундеров в 2x больше
- и у них есть $ от VC
- и все эти юникорны ждут свои exits на этот самый свой гигантский, безразмерный public market, когда там наступит IPO window?

Билл Гейтс еще до бунта взял интервью у Альтмана (а прошлое у этой тети) себе в подкаст Unconfuse Me:

OpenAI
- Билл: Как команда в ходе переворота? Оч оптимистично, продуктивно, проехали..
- Билл: Я думаю люди бы удивились насколько вы малы. Сэм: Да, всего 500 чел. И мы не молодежь а-ля 24 года, а по 30-40-50 лет людям. Компании становятся старше, я еще в YC заметил что средний возраст best фаундеров подрос
- Билл: А опыт YC помог? Сэм: Да, но мы все сделали против YC - 4.5 г. пилили продукт, не общались с юзерами итп. Я НЕ рекомендую это большинству стартапов, но мы нарушили массу YC правил
- В тч VC не поддержали бы так много лет вести рисеч без какой-либо продуктизации. Билл: А Satya Nadella хорошо вас потом пристыковал к большому Microsoft

Как открыли + планы
- Билл: Я был оч скептичен, и в шоке от ChatGPT. А мы поймем, как Шекспир появляется перемножением? Сэм: Да, sure, это же не живой мозг сканировать, где все движется. Билл: В теч 5 лет разберемся точно. Сэм: ChatGPT1 сделали, не зная че как, отмасштабировали -> это было открытие “снизу”, empirical
- Планы на 2 г: Мультимодальность. Речь, люди хотят видео. Reasoning ability (пока в оч узких доменах). Надежность. Кастомизация, персонализация (все хотят свой набор assumptions)
- Со времен Gpt3 3 г. назад мы снизили косты в 40 раз. Думаю, снизим цену intelligence почти к 0. По факту это цена энергии. Мы уже даем массу value за те ежемесячные $20

Регуляции AI
- Представим модель в 100 тыс - 1 млн раз больше compute, чем GPT4 - нужно что-то типа мирового агентства по атомной энергии, глобальная институция. Билл: В мирном атоме да - весь мир сотрудничает, а вот в оружии наоборот.. Как убедить людей замедлиться? Сэм: Никак. Для топ5 GPU кластеров в мире нужно согласие послать инспекторов на аудит моделей

Value
- Билл: Я думаю AI поможет нам в hard problems. В тч в поляризации общества - она разрушает демократию.
- Сэм: 100%. Мы не просто ускоряем работу разрабов в 3x, мы создаем qualitatively new возможности. Агенты будут усложняться, “напиши мне программу, попутно задавая мне вопросы”. А там может вообще до new physics дойдем
- Кодинг, healthcare, edu = видим в них max potential
- Глюки is a feature, not a bug, тк порождает новое

Работы
- Билл: А не слишком быстро изменение мира? Сэм: Думаю ОК - уже были смены эпох, где все работы менялись за пару поколений. Хотя да, чуть пугает требуемая скорость адаптации социума
- Билл: Вы начали с white collar jobs, а роботы? Сэм: А так мы же начали с них, но забили тк решили что важнее сперва cognition/intelligence. А так я super optimistic. Вернемся обратно к physicality позже. Билл: Это может поменять blue collar рынок труда

Страхи
- Билл: Меня пугает AI, скорее AGI, а не AI в руках bad guys - найдутся good guys с сопоставимыми ресурсами. Меня пугает “Билл, иди играй - я засолвила полиомиелит, а ты slow thinker…” - это philosophically confusing thing
- Сэм: Есть много сложных психо-аспектов работы над tech. Может это последняя hard problem над которой работаю..
- Билл: Мое сознание так сильно построено вокруг идеи scarcity/нехватки, что мне тяжело даже думать о поколении, которое вырастет без нее: а как они философски выстроят общество? Сэм: Считаю, у нас никогда не будет нехватки hard problems, и будут новые пути обрести fulfilment. Да у нас нет альтернатив - value AI слишком велико, надо идти туда

Прочее
- Сэм: Дай совет? Билл: Есть много видов таланта. В начале карьеры я считал важнее всего IQ, а только позже понял, что важнее разнообразие скиллов в команде
- Сэм: А еще большинство людей mis-calibrated on risk и не уходят с удобных работ. Чтобы в конце жизни пожалеть, что не сделали стартап или не осмелились пойти в AI researchers? Вот true risk..
- Билл: Какой апп на телефоне юзаешь чаще всего? Сэм: Slack. Билл: Ого. А я Outlook, олдскул email guy )
- Билл: А музыку взял как я просил? Сэм: New Four Seasons - Vivaldi Recomposed by Max Richter. Я не работаю в тишине - не могу. Тихо слушаю музыку без слов

кстати, в Binance ICO whitepaper июля 2017 года в разделе Market Competition в самом конце интересно написано, что это теперь всюду common risk:

We know this will be an ultra competitive space. There are probably hundreds, if not thousands of teams wanting, planning or doing exchanges. Competition will be fierce. But in this age, this is a common risk in any decent concept/startup or mature company. The question is: given our team, track record, experience, industry resources, and product, do you believe we stand a better chance than the rest of the pack? If yes, then please join our ICO.

А покидайте ссылок на кто и что читает про AI? [ рассылки-блоги-твиттеры (хотя X для меня чет слишком хаотичный =) итд итп ]. Мне нравятся:

1) Отчеты:
- Coatue, Nov 2024
- Stateof.ai от Nathan Benaich
- CBInsights, Jan 2024
- MenloVC про genAI в enterprise, 2023
- Benedict Evans Dec 2023, “много вопросов, мало ответов”
- AI Index by Stanford, за 2023 - 400 стр 🙈
- Бывшие McKinsey про AI в РФ

2) Рассылки:
Междисциплинарно, есть и про бизнес
- Nathan Benaich, UK VC, ежемесячная рассылка

Технические
- Alphasignal.ai - еженедельно, обзоры моделей/repos/статей
- Сайт Andrew Ng рассылки - deeplearning.ai
- Akhaliq - твиттер про AI research papers, каждый день

Регулирование AI по миру/Европе/США
- Future of Life Institute Тегмарка, Маска, Яна Таллинна, ежемесячно

Индустрия микросхем
- SemiAnalysis
- Квантовые компы любит замочить на Youtube эта немецкая физик

Философия
- Foresight Institute: Existential hope и Computation/AGI
- Nick Bostrom, раз в квартал
- Рассылка SantaFe Institute

3) Twitter’ы:
- LeCun - ну этот ОК, всегда взвешенный
- Kai-Fu Lee
- Andrew Ng
- Teknium
- Emad Mostaque
+ Altman, Suleyman, Musk etc. - if you are their fans )

Гайз, хочу сделать камингаут - я LLM-инвалид. Требуется помощь зала: а в итоге кто и как LLM успешно использует в повседневной жизни?? Что именно вы делаете с chatGPT или perplexity или Алисой?? Я чет не научился ((

LLS is a super retrieval?
- Запросы отрабатываются долго - я уже успеваю в Wiki прочитать и закрыть. Поисковики и их real time up to date data feed, оказывается, это вещь огого (!!!)
- В темах, где я хоть как-то шарю - имена компании книги факты выдает наивные, устаревшие (получается актуальность мне важнее), или вообще не в тему, или такая вода, что кровь из глаз
+
- Подрывает КАЖДЫЙ РАЗ мое доверие спрашивать LLM о чем-то, где я не шарю )

Summary
- Саммари текстов масло масляное масло вода еще масло. Печаль (художественные книги только суммирует, но я их не читаю поледние годы ))
- Саммари книг итп надо убеждать gpt (!) заколебал меня уже, что типа это копирайтная (!) инфа, ппц
- Саммари PDF доков very generic, смысла мне нет
- Алиса (в Яндекс Браузере в один клик текст делает на пару тыс символов) youtube видео тоже обессмысливает + ложно посылает сигналы что якобы это видео не интересное. Я еще проверял на некоторых что конспекты в канал писал - после Алисы [ложное] ощущение что слушать не надо

Рисеч
- ChatGPT 4 ощущение, что глупее 3.5, по крайней мере для меня, хоть и окно контекста больше
- Perplexity выдает оч короткие ответы и ссылки хуже чем bing (я на него год как перешел, тестирую по сравнению с гуглом). Кто говорят что ведут рисеч с помощью perplexity - мне кажется это уровень школьный какой-то уже совсем ((

Написание текстов
- Удлинять текст в более формальный мне не надо. а ошибки на лету же подсвечиваются и в gmail, и google docs. перевод делаю в google translate и он мне кажется круче, чем gpt. а с учетом моментального времени реакции так вообще )
- А в linkedin в 2023 году я начал БАНИТЬ входящие запросы при малейших намеках что меня вынуждают читать сгенеренное сообщение. раньше такое за собой не замечал ))

Прогать
- Код я не пишу, copilot мне не нужен )
- Тут похоже кстати по механике как моя первая ангельская инвестиция - www.autofaq.ai - операторам в поддержке подставляется рекомендованный ответ, и они уже решают отправлять клиенту или нет. КПД операторов в 5 раз вырастает, но они чекают и подправляют под контекст КАЖДОЕ конкретное сообщение

Картинки
- Задавать вопросы по картинкам мне, оказывается, особо делать и не надо..
- Я отписываюсь помаленьку от людей, кто [регулярно] постит сгенеренные картинки в разных медиа

Психология
- Если мне человек говорит, что пытается общаться с ChatGPT/спрашивать психологические вещи - я понимаю что впредь надо от таких людей держаться подальше - и это вовсе не аутизм/whatever, а это уже какая-то неадекватность

Учеба
- Диплом пытался тут написать помочь - с огромным разочарованием понял, что в медиа все звездеж, а преподаватели могут спать спокойно )
- Тесты/экзамены я не сдаю, мне эти их успехи по разным амерским универским тестам - до фонаря )

//
Сколько там говорите надо finetuning делать, чтобы врачам помогало? замочат так пациента ) (finetuning - это накормить LLM словами из какого-то узкого контекста, поправить ее вектора “смыслов” и сделать ее менее generic для данной конкретной отрасли) Я бы реально зашортил (!) бы OpenAI, но для непубличной компании это не сделать )

//
Или это просто такой заговор, где все понтуются и делают вид, что это якобы для них работает? =)

VC Chamath Palihapatiya разбирался для себя в AI до уровня first principles и сделал оч. симпатичную презу для самых начинающих/для людей уровня а-ля моя мама, см. PDF в аттаче

- Replicating Human Brain: the goal of AI to pass the Turing Test & how human intelligence is processed through neurons in the brain
- Computer Circuitry 101: transistors, binary digits, multi-core processors in computers, parallels between computer & brain
- Computer Logic 101: history/evolution of AI logic systems, basic statistics & probabilities to complex forms like neural networks
- Neural Networks: intro, their structure, function, relating them to human brain function
- Types of Networks: various models, including CNNs for images & other specialized types
- LLMs: intro, architecture, relevance in AI
- GenAI: its ability to create new content + value in different sectors
- Artificial General Intelligence/AGI: concept, potential, how close we are to achieving it
- View on future of AI / прогнозы

+ куча ссылок по каждой теме

Сорри, но это не схождение ли с ума в прямом эфире? Гении часто с расстройствами - эволюционная плата за нейроатипичность?

Думаю, Илья супер тревожный человек (но к психотерапии относится как Elon Musk) и всю жизнь (в тч за счет отдачи себя материализму наук) вытеснял трансцендентное, но в мозгу биофичи же остались

А тут психика направила все напряжение, на - я согласен - красивый кейс эмерджентности и computational irreducibility. Идет в одном ряду с модной у западных инженеров гипотезой о симуляции

Но LLM - это же просто файл весов на диске, лежит себе... Илья жаждет стать всемогущим богом - включил/выключил "сознание"? (Вы тоже можете скачать llama и запустить на Макбуке)

И желание наделять файл сознанием - это не просто нео-анимизм, это уже панпсихизм. (Молчу про супер антропоцентризм: он уверен, что сознание обязано оперировать языком людей🙈)

Право, лучше уж чисто маркетинг/профессиональные торговцы апокалипсисом 🙈

Страхи, в т.ч. AI, стоит с психологом разбирать. ведь так мир видишь точнее

…