Билл Гейтс еще до бунта взял интервью у Альтмана (а прошлое у этой тети) себе в подкаст Unconfuse Me:

OpenAI
- Билл: Как команда в ходе переворота? Оч оптимистично, продуктивно, проехали..
- Билл: Я думаю люди бы удивились насколько вы малы. Сэм: Да, всего 500 чел. И мы не молодежь а-ля 24 года, а по 30-40-50 лет людям. Компании становятся старше, я еще в YC заметил что средний возраст best фаундеров подрос
- Билл: А опыт YC помог? Сэм: Да, но мы все сделали против YC - 4.5 г. пилили продукт, не общались с юзерами итп. Я НЕ рекомендую это большинству стартапов, но мы нарушили массу YC правил
- В тч VC не поддержали бы так много лет вести рисеч без какой-либо продуктизации. Билл: А Satya Nadella хорошо вас потом пристыковал к большому Microsoft

Как открыли + планы
- Билл: Я был оч скептичен, и в шоке от ChatGPT. А мы поймем, как Шекспир появляется перемножением? Сэм: Да, sure, это же не живой мозг сканировать, где все движется. Билл: В теч 5 лет разберемся точно. Сэм: ChatGPT1 сделали, не зная че как, отмасштабировали -> это было открытие “снизу”, empirical
- Планы на 2 г: Мультимодальность. Речь, люди хотят видео. Reasoning ability (пока в оч узких доменах). Надежность. Кастомизация, персонализация (все хотят свой набор assumptions)
- Со времен Gpt3 3 г. назад мы снизили косты в 40 раз. Думаю, снизим цену intelligence почти к 0. По факту это цена энергии. Мы уже даем массу value за те ежемесячные $20

Регуляции AI
- Представим модель в 100 тыс - 1 млн раз больше compute, чем GPT4 - нужно что-то типа мирового агентства по атомной энергии, глобальная институция. Билл: В мирном атоме да - весь мир сотрудничает, а вот в оружии наоборот.. Как убедить людей замедлиться? Сэм: Никак. Для топ5 GPU кластеров в мире нужно согласие послать инспекторов на аудит моделей

Value
- Билл: Я думаю AI поможет нам в hard problems. В тч в поляризации общества - она разрушает демократию.
- Сэм: 100%. Мы не просто ускоряем работу разрабов в 3x, мы создаем qualitatively new возможности. Агенты будут усложняться, “напиши мне программу, попутно задавая мне вопросы”. А там может вообще до new physics дойдем
- Кодинг, healthcare, edu = видим в них max potential
- Глюки is a feature, not a bug, тк порождает новое

Работы
- Билл: А не слишком быстро изменение мира? Сэм: Думаю ОК - уже были смены эпох, где все работы менялись за пару поколений. Хотя да, чуть пугает требуемая скорость адаптации социума
- Билл: Вы начали с white collar jobs, а роботы? Сэм: А так мы же начали с них, но забили тк решили что важнее сперва cognition/intelligence. А так я super optimistic. Вернемся обратно к physicality позже. Билл: Это может поменять blue collar рынок труда

Страхи
- Билл: Меня пугает AI, скорее AGI, а не AI в руках bad guys - найдутся good guys с сопоставимыми ресурсами. Меня пугает “Билл, иди играй - я засолвила полиомиелит, а ты slow thinker…” - это philosophically confusing thing
- Сэм: Есть много сложных психо-аспектов работы над tech. Может это последняя hard problem над которой работаю..
- Билл: Мое сознание так сильно построено вокруг идеи scarcity/нехватки, что мне тяжело даже думать о поколении, которое вырастет без нее: а как они философски выстроят общество? Сэм: Считаю, у нас никогда не будет нехватки hard problems, и будут новые пути обрести fulfilment. Да у нас нет альтернатив - value AI слишком велико, надо идти туда

Прочее
- Сэм: Дай совет? Билл: Есть много видов таланта. В начале карьеры я считал важнее всего IQ, а только позже понял, что важнее разнообразие скиллов в команде
- Сэм: А еще большинство людей mis-calibrated on risk и не уходят с удобных работ. Чтобы в конце жизни пожалеть, что не сделали стартап или не осмелились пойти в AI researchers? Вот true risk..
- Билл: Какой апп на телефоне юзаешь чаще всего? Сэм: Slack. Билл: Ого. А я Outlook, олдскул email guy )
- Билл: А музыку взял как я просил? Сэм: New Four Seasons - Vivaldi Recomposed by Max Richter. Я не работаю в тишине - не могу. Тихо слушаю музыку без слов

кстати, в Binance ICO whitepaper июля 2017 года в разделе Market Competition в самом конце интересно написано, что это теперь всюду common risk:

We know this will be an ultra competitive space. There are probably hundreds, if not thousands of teams wanting, planning or doing exchanges. Competition will be fierce. But in this age, this is a common risk in any decent concept/startup or mature company. The question is: given our team, track record, experience, industry resources, and product, do you believe we stand a better chance than the rest of the pack? If yes, then please join our ICO.

А покидайте ссылок на кто и что читает про AI? [ рассылки-блоги-твиттеры (хотя X для меня чет слишком хаотичный =) итд итп ]. Мне нравятся:

1) Отчеты:
- Coatue, Nov 2024
- Stateof.ai от Nathan Benaich
- CBInsights, Jan 2024
- MenloVC про genAI в enterprise, 2023
- Benedict Evans Dec 2023, “много вопросов, мало ответов”
- AI Index by Stanford, за 2023 - 400 стр 🙈
- Бывшие McKinsey про AI в РФ

2) Рассылки:
Междисциплинарно, есть и про бизнес
- Nathan Benaich, UK VC, ежемесячная рассылка

Технические
- Alphasignal.ai - еженедельно, обзоры моделей/repos/статей
- Сайт Andrew Ng рассылки - deeplearning.ai
- Akhaliq - твиттер про AI research papers, каждый день

Регулирование AI по миру/Европе/США
- Future of Life Institute Тегмарка, Маска, Яна Таллинна, ежемесячно

Индустрия микросхем
- SemiAnalysis
- Квантовые компы любит замочить на Youtube эта немецкая физик

Философия
- Foresight Institute: Existential hope и Computation/AGI
- Nick Bostrom, раз в квартал
- Рассылка SantaFe Institute

3) Twitter’ы:
- LeCun - ну этот ОК, всегда взвешенный
- Kai-Fu Lee
- Andrew Ng
- Teknium
- Emad Mostaque
+ Altman, Suleyman, Musk etc. - if you are their fans )

Гайз, хочу сделать камингаут - я LLM-инвалид. Требуется помощь зала: а в итоге кто и как LLM успешно использует в повседневной жизни?? Что именно вы делаете с chatGPT или perplexity или Алисой?? Я чет не научился ((

LLS is a super retrieval?
- Запросы отрабатываются долго - я уже успеваю в Wiki прочитать и закрыть. Поисковики и их real time up to date data feed, оказывается, это вещь огого (!!!)
- В темах, где я хоть как-то шарю - имена компании книги факты выдает наивные, устаревшие (получается актуальность мне важнее), или вообще не в тему, или такая вода, что кровь из глаз
+
- Подрывает КАЖДЫЙ РАЗ мое доверие спрашивать LLM о чем-то, где я не шарю )

Summary
- Саммари текстов масло масляное масло вода еще масло. Печаль (художественные книги только суммирует, но я их не читаю поледние годы ))
- Саммари книг итп надо убеждать gpt (!) заколебал меня уже, что типа это копирайтная (!) инфа, ппц
- Саммари PDF доков very generic, смысла мне нет
- Алиса (в Яндекс Браузере в один клик текст делает на пару тыс символов) youtube видео тоже обессмысливает + ложно посылает сигналы что якобы это видео не интересное. Я еще проверял на некоторых что конспекты в канал писал - после Алисы [ложное] ощущение что слушать не надо

Рисеч
- ChatGPT 4 ощущение, что глупее 3.5, по крайней мере для меня, хоть и окно контекста больше
- Perplexity выдает оч короткие ответы и ссылки хуже чем bing (я на него год как перешел, тестирую по сравнению с гуглом). Кто говорят что ведут рисеч с помощью perplexity - мне кажется это уровень школьный какой-то уже совсем ((

Написание текстов
- Удлинять текст в более формальный мне не надо. а ошибки на лету же подсвечиваются и в gmail, и google docs. перевод делаю в google translate и он мне кажется круче, чем gpt. а с учетом моментального времени реакции так вообще )
- А в linkedin в 2023 году я начал БАНИТЬ входящие запросы при малейших намеках что меня вынуждают читать сгенеренное сообщение. раньше такое за собой не замечал ))

Прогать
- Код я не пишу, copilot мне не нужен )
- Тут похоже кстати по механике как моя первая ангельская инвестиция - www.autofaq.ai - операторам в поддержке подставляется рекомендованный ответ, и они уже решают отправлять клиенту или нет. КПД операторов в 5 раз вырастает, но они чекают и подправляют под контекст КАЖДОЕ конкретное сообщение

Картинки
- Задавать вопросы по картинкам мне, оказывается, особо делать и не надо..
- Я отписываюсь помаленьку от людей, кто [регулярно] постит сгенеренные картинки в разных медиа

Психология
- Если мне человек говорит, что пытается общаться с ChatGPT/спрашивать психологические вещи - я понимаю что впредь надо от таких людей держаться подальше - и это вовсе не аутизм/whatever, а это уже какая-то неадекватность

Учеба
- Диплом пытался тут написать помочь - с огромным разочарованием понял, что в медиа все звездеж, а преподаватели могут спать спокойно )
- Тесты/экзамены я не сдаю, мне эти их успехи по разным амерским универским тестам - до фонаря )

//
Сколько там говорите надо finetuning делать, чтобы врачам помогало? замочат так пациента ) (finetuning - это накормить LLM словами из какого-то узкого контекста, поправить ее вектора “смыслов” и сделать ее менее generic для данной конкретной отрасли) Я бы реально зашортил (!) бы OpenAI, но для непубличной компании это не сделать )

//
Или это просто такой заговор, где все понтуются и делают вид, что это якобы для них работает? =)

VC Chamath Palihapatiya разбирался для себя в AI до уровня first principles и сделал оч. симпатичную презу для самых начинающих/для людей уровня а-ля моя мама, см. PDF в аттаче

- Replicating Human Brain: the goal of AI to pass the Turing Test & how human intelligence is processed through neurons in the brain
- Computer Circuitry 101: transistors, binary digits, multi-core processors in computers, parallels between computer & brain
- Computer Logic 101: history/evolution of AI logic systems, basic statistics & probabilities to complex forms like neural networks
- Neural Networks: intro, their structure, function, relating them to human brain function
- Types of Networks: various models, including CNNs for images & other specialized types
- LLMs: intro, architecture, relevance in AI
- GenAI: its ability to create new content + value in different sectors
- Artificial General Intelligence/AGI: concept, potential, how close we are to achieving it
- View on future of AI / прогнозы

+ куча ссылок по каждой теме

Сорри, но это не схождение ли с ума в прямом эфире? Гении часто с расстройствами - эволюционная плата за нейроатипичность?

Думаю, Илья супер тревожный человек (но к психотерапии относится как Elon Musk) и всю жизнь (в тч за счет отдачи себя материализму наук) вытеснял трансцендентное, но в мозгу биофичи же остались

А тут психика направила все напряжение, на - я согласен - красивый кейс эмерджентности и computational irreducibility. Идет в одном ряду с модной у западных инженеров гипотезой о симуляции

Но LLM - это же просто файл весов на диске, лежит себе... Илья жаждет стать всемогущим богом - включил/выключил "сознание"? (Вы тоже можете скачать llama и запустить на Макбуке)

И желание наделять файл сознанием - это не просто нео-анимизм, это уже панпсихизм. (Молчу про супер антропоцентризм: он уверен, что сознание обязано оперировать языком людей🙈)

Право, лучше уж чисто маркетинг/профессиональные торговцы апокалипсисом 🙈

Страхи, в т.ч. AI, стоит с психологом разбирать. ведь так мир видишь точнее

…

Техническая часть презентации Маска после философской.

Сейчас 6000 спутников «старлинк» на орбите, на них 10 тыс космических лазеров прокачивают 42 петабайта интернета в день. Сейчас всего 2.7 млн клиентов «Старлинка», а новые клиенты появляются со скоростью 4 тыс. в день. Полное доминирование F9 и миллионы клиентов обеспечивают кэш компании и финансируют разработку старшипа. Часть технологий F9 и старлинка перетекают в старшип.

Следующий полёт старшипа «IFT-4» - в конце мая 2024. В этом полёте корабль должен пройти через все тепловые режимы и выжить, а ускоритель должен сесть на виртуальную башню.

Если параметры ускорителя будут номинальные, то в следующем полёте IFT-5 будет реальная посадка со спасением ускорителя с захватом клешнями на реальной башне. Вероятность, что это случится в 2024 году - 80%.
Краткосрочные планы - сделать ускоритель многоразовым.

С кораблём сложнее, он должен два раза подряд сесть на воду до реального возврата и раньше 2025 это не случится. Но это пока и необязательно. Для лунного контракта с НАСА нужны только рейсы между Луной и орбитой. Вход в плотные слои атмосферы не планируется, теплозащита Лунному варианту старшипа не нужна.

В 2024 будет произведено 6 комплектов старшипов. Строим гигантскую фабрику старшипов, где производство комплектов (ускоритель+корабль) увеличится. Нужно массово увеличивать производство кораблей - по крайней мере до нескольких штук в день. Для Марса потребуется намного больше кораблей, чем ускорителей – оборот ускорителей достаточно быстрый, а караваны кораблей будут лететь месяцами. Планируется последующая разборка кораблей для использования их в качестве сырья для марсианского строительства. Пока нет шахт и доменных печей на Марсе и чистая нержавейка там в дефиците - нет смысла возвращать грузовики на Землю и делать им теплозащиту.

В Бока Чике будет ещё 1 стартовая площадка и ещё 2 появятся на Мысе в 2026. В Техасе будет дев, во Флориде - прод.

В 2025 будет демо стыковки и перелива топлива между двумя кораблями. Аналогично дозаправке в воздухе, дозаправка в космосе должна стать рутиной. На один полный рейс на Марс в 200 тонн, нужно 5 дозаправок в космосе.

Старый двигатель Raptor 1 был тягой 185 тс земной/200 тс в вакууме, Raptor 2, который летал в IFT-3 будет тягой 230 тс земной / 258 в вакууме. Двигатель Raptor 3 прокачали и упростили одновременно, там теперь не будет отдельной теплозащиты, но будут внутренние каналы охлаждения, уменьшение количество деталей, многие трубопроводы теперь неразборно вмонтированы как часть конструкции и 3D печатаются монолитом, теперь он с тягой 280 тс на земле и 306 тс в вакууме. Двигатель уже испытан и полетит на новом старшипе.

Версия старшипа которая летала, тянула только 50 тонн на орбиту, следующая на новых движках и удлинённая на 2 метра будет выдавать 100т.

В будущем хотят разогнать Раптор до 330 тс зем/355 тс вак, и будущие старшипы подрастут ещё на 17 метров и будет выдавать проектные 200 т. В итоге должна получиться взлётная тяга 10 тыс тс и взлётная масса 7.5 тыс т, высота всей конструкции вырастет до 150 м (50-этажный дом).

Хотят сделать так, чтобы стоимость многоразового старшипа, выводящего 200 т была меньше цены одноразового Falcon 1 который выводил 0.5 т. Т.е разница в себестоимости многоразового и одноразового корабля около 400 раз. Конечная цена вывода 200 т старшипом должна составить 2–3 млн $, т.е. около 10-15 $ за кг

Для колонизации нужно тянуть 200 т на орбиту в многоразовом режиме и летать несколько раз в день, а раз в 2 года, в марсианское окно запускать пачками сотни и тысячи кораблей.
Места первых посадок на марсе - в низинах, посередине между экватором и полюсами.

Для создания самоподдерживающейся цивилизации необходимо доставить несколько млн тонн груза с земли, и переселить в конечном итоге около 1 млн человек. т. е. десять тысяч рейсов старшипа.

За одно марсианское окно раз в 2 года можно вывести 250 тыс. т марсианского груза и 1.25 млн тонн топлива для его доставки и повторять так 20 лет.

Это трудно и фантастично, но технически возможно, законы физики здесь не нарушаются.

Выживаемость по 11 видам детской онкологии в Германии - % выживших спустя 2-5 лет после диагноза, с 1940 по 2015-ый годы:

- С почти 0% выживаемости если по всем видам детского рака в 1940 годах и до 80% в 1980-ом довели

- А с тех пор подняли еще на 10% и до 90% довели

Прогресс техногенной цивилизации вдолгую всегда поражает, не привыкаешь

График из вот этой статьи