Пространство смыслов или как мыслит ИИ

ВЕКТОРНЫМ ПРЕДСТАВЛЕНИЕМ ТЕКСТА В 1000-МЕРНОМ ПРОСТРАНСТВЕ

Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.

Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).

ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:

1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.

Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б

Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборки, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .

Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.

Ссылки:
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd:

Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс, в тч про обширное лобби структур Дастина Московица (в рамках effective altruism сделал Open Philanthropy) в Вашингтоне

Люди работают в растущих стартапах или бигтехах (правда среди общей массы юникорнов доля фаундеров кто выходцы из бигтехов небольшая) и видят, что не боги горшки обжигают и постоянно идут пилить свои проекты

У некоторых VC часть инвесттезиса - готовы вкладываться в выходцев из уже успешных стартапов в их портфелях, кто решает идти в фаундерство

Илон Маск поделился мнением по поводу шантажа его рекламодателями в его Твиттере/X по поводу его якобы антисемитизма 🙈

DeepMind, возможно, снова резко пнули кинули двинули (!) науку вперёд (как с AlphaFold):
представили GNoME (Graph Networks for Material Exploration)

1) Это графовая сетка, способная не только предсказывать кристаллические структуры материалов, но и их стабильность
2) Все найденные материалы (а их уже, по словам ДМ, 380,000 - стабильных, и 2.2 млн всего) будут выложены в открытый доступ
3) За последнеи десять лет вычислительным путём было найдено около 28 тысяч стабильных кристаллических структур ⇒ то есть DM, по их подсчётам, набросал эквивалент ~800 лет ресерча
4) Среди обнаруженного - 52,000 потенциально новых структур графен-подобных материалов (сверхпроводники), 528 аналогов литиевых проводников (аккумуляторы)
5) Состоит из двух путей: структурного (аналоги известных материалов) и композиционного (~рандомная генерация) ➟ проверка на стабильность ➟ дальнейшая проверка (Density Functional Theory)

📚 Папира
🎥 Минутный видос - дашборд, как люди заходили и использовали БД с материалами (чут чут кусат завораживает)
📚 Беркли делает лабу для автономного синтеза материалов. Выглядит модно, и за 17 дней эксперимента насинтезировала 41/58 материалов - для сравнения, человеку могут потребоваться недели-месяцы на один материал (особенно когда нет финансирования...)

https://bbycroft.net/llm - тут можно в анимации посмотреть визуализацию, как работает LLM на 80 тыс параметров ) (нужно с компа, с телефона не получится)

Чет все же реально никто ничего не знает про будущее. Это рынки фьючерсов (куча агентов, все умные, десятки трлн активов под управлением) про ставку ФРС. а черная линия - какая ставка была в итоге
- То есть долг экономики США рос, и рынки с 2010 6 лет ждали повышения ставки, и не фига
- В 2019 ожидали ее сохранения, а ее снизили (ДО короны, обратите внимание - в корону вообще обнулили)
- В 2022 ставку подняли выше ожиданий вообще всех абсолютно
- ОК, теперь ждем спустя год с каким темпом ФРС ставку снижать/поддерживать будут =)))

UPD1 график отсюда

UPD2 Рэй Далио оч крутой если делал свои 10%/год на макро bets + и на своем адском масштабе в $100 млрд активов под управлением

UPD3 Тут хренову ставку ФРС никто предсказать не может, какие уж тут нафиг прогнозы про опасность AI 🙈🙈😂😂

Интервью Ильи Кондрашова на 1.5ч, он вместе со Сторонским (Revolut, вот преза 2015г) делает c 2022г Series B+ stage VC QuantumLight на базе AI

Илья
- Слабо написал тесты в универ, всюду отказали кроме Кембриджа. Оттуда люди чаще идут в науку, а он в Goldman Sachs (это была tech company в 70ые!), но слишком repetitive работа и до партнеров 2% людей дорастают
- Со-основал стартап по факторингу, зазвали его. Kriya стали делать тк после кризиса 2009 было очевидно, что финтех это будущее в отл от банков-гигантов. Подняли $300к по оценке $900к, сейчас выручка $25 млн/год, прибыль 5, в 2021 он вышел по оценке $200 млн, занялся инвестициями

Сторонский
- 6 лет знакомы, но не сумел вложиться в $40 млн раунде, потом общались на форумах
- Как фаундеры, прошедшие hard way, видели, что у VC нет операционного опыта. Решили machine learning отбирать стартапы, а Сторонский дал бы опыт роста (тк Revolut построен не как большинство успешных стартапов)

Фонд
- На ранней стадии data мало, а Series B уже можно все quantify за счет AI. Хотят воронку 10 тыс стартапов на Series B (то есть выручка уже $7-15 млн, оценка $100 млн), и отбирать 50 из них, цель - 10 иксов на портфель
// Витя: 17 тыс Series B стартапов по миру появились за 11 лет, из них 1600 стали юникорнами
- Мы считаем VC рынок не эффективен, а есть устойчивые долгосрочные паттерны, и надо собрать KPI про private markets и с лучшими разрабами найти закономерности: типа фаундеры с определенным универом, или когда топ VC зашли, или пресс-релизы хайповые (мы их оцифровали) итп - нейронками можно найти паттерны
- Фонд $200 млн (много институциональных инвесторов), разложили 20% (в US, EU, смотрим Индию/Израиль/LatAm). Будем дальше рэйзить - в VC оч малая (3%) доля quantitative strategies (в real estate тоже)
- Наш чек $4-6 млн внутри (типичных для Series B) раундов $30-50 млн
- На их сайте отмотать до Capital growth comparison - график на данных до 2013 и модельные инвестиции с 2014 и далее, т.н. backtesting
- Команда 20 чел

Data
- Запарсили в тч 700 млн людей на Linkedin -> предсказывать их успех. Оч муторно работать со всеми источниками, что собрали, это и есть наша profit. E.g. в Linkedin все удаляют НЕуспешные опыты (!)
- Изучали 300 метрик, вроде 50 шт работают
- В топ-фаундерах много топ-универов. Кстати чекали Thiel’s Fellowship - работает если уйти из топ ВУЗа, а обычный лучше окончить
- Модель скипает супер-взлеты оценки как была FTX, например
- С фаундерами все равно созваниваемся, check red flags, но верим модели, а не gut feeling. E.g. Выходцы из Revolut сделали стартапов на $2 млрд инвестиций, а у Сторонского они были вовсе не топ-сотрудники (!)

Доверие алгоритму
- Люди не могут помнить все как машина + в VC много политики на инвесткомитетах
- На Series B в 2017 Revolut отказали 90% VC, тк не сходилась unit economics, а сейчас стоят $20 млрд (на пике $33 млрд)
- Why Series B? 1) От Series A до B 50% компаний не доживает 2) Найти PMF = всегда уникальный путь, а масштабирование - уже нет. Мы даем фаундерам методичку Сторонского, как скэйлить
- Если успешно пройдем ряд инвестциклов, то a16z итп тоже начнут юзать AI

Прочее
- Юникорны редкие, тк поменять мир непросто - в мире куча конкуренции и инерции
- Крипта = технологическое решение есть, а в чем решаемая проблема-то?
- AI = real trend, даже циклы продажи в enterprise упали с 9 мес до 2-3
- Миллиард $ я бы отдал на charity про одиночество в старости (у моей бабушки друзья умерли итп)
- В США все стали друг другу врагами на ровном месте

/Реклама была интересная: у Бангкока власти строят за $37 млрд город для стартапов, 200К раб мест -> жилая недвига будет дорожать/

// Витя:
1) Мильнер тоже стрелял в декакорны, DST вошли в 60 стартапов за 10 лет, не попали в Uber и Pinduoduo

2) Похоже на Correlation Ventures с 2006. 1ый фонд cash on cash вернули всего 1x, но подняли за 17 лет $500 млн в 4 фонда. Из 700 стартапов 160 выходов (ок, это не 30 целей - другая избирательность)

3) SignalRank похожи, экс-кофаундер TechCrunch, взяли всю data Crunchbase, входят через pro-rata rights 200 ангелов кто были вложены ранее