Послушал Стивена Вольфрама у Лекса Фридмана. Вау!

Он смотрит на вселенную как на большой калькулятор который вычисляет следующее состояние нашей вселенной.

Этот калькулятор нельзя “упростить” без потерь, то есть нет способа точно сказать какое будет положение всей вселенной в следующие моменты времени. Единственный способ это посчитать - это сама вселенная.

Все наши теории - математические или физические - это способ свернуть какую-часть вселенной в более узкую концепцию. Где-то жертвуя точностью, где-то - применимостью. Такие свёртки Стивен называет “pockets of reducability”.

Все языки - это тоже способ свернуть описание части вселенной. Это могут быть естественные языки, или это могут быть более системные языки - математический аппарат или языки программирования. Естественные языки сделаны для лучшего понимания мира человеком с его ограниченными возможностями и для описания мира вокруг человека.

Большие языковые модели помимо работы над самим языком являются мостом между естественным языком и другими языками - языком машин, языком математики, языком поисковых систем и так далее.

Одно из таких воплощений - интеграция ChatGPT в WolframAlhpa. Но это часть широкой концепции “свёртки” вселенной в разные упрощения для него.

Один парень сделал физическую "камеру" которая генерит фотографию того куда она "смотрит" с помощью AI. Камера берёт координату, время, время года, погоду и прочие характеристики и создаёт картинку.

Сгенерённые картинки получаются до ужаса похожи на реальность.

Это арт-проект, в нём нет практической пользы и работает кривовато, но не в этом соль. Я долго не понимал почему меня так цепляет этот проект, и вот понял.

Это мостик между реальностью и симуляцией этой реальности. Представим, что он работает классно - используя данные google photos и так далее. Представим что он работает с такой точностью что отличить от реальности будет сложно. Это уже совсем недалеко.

И вот у тебя есть генерация любой точки мира в любое время. И вот мы почти замкнули виртуальную реальность на реальность. Круто же?

Потрясающе всратая AI Generated реклама пиццы

В найме IT сейчас многие паникуют на тему ChatGPT и собеседований. Как проверять скиллы разработчиков если они могут пройти собес с помощью Github Copilot или ChatGPT?

Это неверная постановка вопроса. Не нужно проверять навыки которые может закрыть ChatGPT. Эти навыки больше не нужны, они уже встроены в IDE. Это как знание ассемблера раньше - когда-то важно было, сейчас уже нет.

Понятие джуна скоро изменится от написания базового кода в сторону написания простых сервисов.

Проверяйте более сложные вещи. Архитектура сервисов, работа с нечеткими требованиями и прочие более высокие по уровню абстракции скиллы.

Софты победят харды

Под воздействием ChatGPT происходит очередной виток отказа от хард скиллов. Скиллы в которых требуется следование инструкциям и глубокие знания области скоро станут не актуальны, их заменят помощники.

Это не в первый раз такое. Раньше люди чтобы водить должны были владеть сцеплением, сейчас педальку нажал и поехал. Раньше для разработки нужно было знать команды ассемблера, сейчас пишешь высокоуровневый код.

Текущая итерация отстрелит серьёзную часть хардов - всё то, что можно отразить в виде работы с текстом. Например, юридическая работа очень сильно изменится.

Учитесь работать на уровне идей и смысла. Учитесь работать с людьми. Прекратите учить харды. Тренируйте софты.

Цветочки и ошибка Тьюринга

Начал слушать Neil Gershenfeld у Lex Fridman. Этот парень занимается self-replicating машинами и прочими удивительными вещами. У него там есть очень крутая идея.

Компьютерная Модель Тьюринга, говорит он, неправильная в корне. В ней исполнение кода и хранение кода и данных это две разные вещи. Текущие команды выполняются на процессоре, а код и данные лежат где-то на диске. И все проблемы современных компьютеров лежат в этой проблеме - например, проблема пропускной способности.

Самый главный вычислитель мира вокруг нас это сам мир. И в нём “код” и “носитель кода” это одно и то же. Цветочек сам растёт. Сыр сам вызревает. Нет “вычислителя” который считает как расти цветочку и потом записывает на цветочек новое состояние цветочка.

Одна из реализаций этой более настоящей концепции - self-replicated вычисления или машины. Представьте что есть роботы которые копируют себя / записывают свой код на роботоболванки и потом вместе исполняют работу или вычисления. Это система без ограничений, они могут делать невероятный объем работы.

Есть ещё биологические системы. Программируемые бактерии, которые размножаются и потом делают работу. Жду, когда появятся самопрокладывающиеся дороги - бактерии размножаются в нужную сторону и потом деревенеют в дорогу. Кажется, из Стругацких.

Кстати, мы с вами тоже такая система. Нам, правда, программу забыли записать. Теперь вот смысл ищем.

Железный человек и внешние мозги

Мне всегда нравился костюм железного человека. Легко представить на самом себе.

Костюм умиляет твои способности обычного человека и делает тебя круче.

Подобные технологии - аугментация возможностей человека. Человечество такие продукты делает уже давно.

Твой мозг не только в голове. Есть усилители в виде внешних функций: калькулятор, эксель, Google. Есть сохранение части памяти во внешнем устройстве: блокнот, календарь, сохраненные сообщения.

Ничего не напоминает? Ага, прям как ChatGPT.

В новом мире ждем новых AI усилителей. Представьте личного ассистента который в твоем контексте, все помнит, знает предпочтения, и умеет делать разные сложные штуки. И является safe space, любую фигню проси. Можно и не представлять - это Jarvis из железного человека.

Такие продукты раньше почти не существовали, это новая ниша. Считаю что люди не будут доверять такое облаку и big tech - слишком много контекста и чувствительности для хранения в какой-то компании. Считаю что такие продукты будут жить in-device или на твоем личном железе.

Очень хочу такой продукт сделать. Покидайте если уже видели.

Вообще все эти ваши LLM это фигня на фоне людей. И дело не в сравнении возможностей мозга и ChatGPT. Сейчас объясню.

Во-первых, человечество это огромная сеть в которой каждый узел это нейросеть. Люди учатся друг об друга. Это такая огромная система из нейросетей и обратной связи друг к другу. Один мозг уже сейчас в среднем сравним или слабее чем ChatGPT. Но вся система? Значительно мощней.

Во-вторых, у людей есть поколения. Слышали, как люди постоянно говорят: “Эти дети такие умные, сильно умнее чем мы”? Люди рождают следующее поколение мозгов. Это огромная сеть, ноды в которой постоянно обновляются и создаются заново на основе окружения. Новые поколения учатся на основе накопленных знаний всех предыдущих поколений.

Обучение LLM это детский лепет по сравнению с этой махиной. Мы их пока что даже друг с другом говорить не научили.

Мир это вычислительная машина, и человечество - одна из самых интересных частей.

Меня тут спросили зачем я работаю, какие у меня цели. Заработать побольше для денег для компании?

Меня это слабо интересует.

Для меня компании это такой социальный инструмент чтобы одни люди могли объединиться и приносить ценность другим людям. Капитализация это вторичная вещь. Инвесторы заработают - я только за, но не это главное.

Каждый год в среднем у людей на планете на 1.5% растёт количество value который они могут покупать относительно продуктовой корзины. То есть мы медленно, но верно даём людям всё больше ценностей. Мне нравится быть частью этого процесса.

Как это происходит? С помощью новых продуктов и технологий. Позавчера это было электричество, вчера - промышленность, сегодня - digital и AI.

Моя работа сфокусирована на это. Новые продукты, новые возможности, более эффективные способы делать старые вещи. Мы все - большая команда, которая несёт новый value людям.

Consciousness

Многие сейчас поднимают тему сознания в контексте AGI. Как понять что AI стал разумным? Что такое разум? Что такое сознание?

Простые способы тут не работают. Нет определения сознания. На интуитивном уровне человек вообще плохо справляется с определением сознания. Если на камень налепить глаза 👀, человек будет считать, что камень испытывает эмоции.

Способность делать вещи попадает в сферу возможностей или сферу интеллекта. AI уже много где тут обогнал человека - шахматы, например. Это совсем не про сознание.

Юваль Ной Харари красиво разделяет термин сознание от всех остальных терминов вроде интеллекта. Он утверждает что сознание это возможность испытывать эмоции - особенно показателен спектр страданий. Это означает, что сознание это чисто субъективное понятие.

Это красивая мысль.

Для каждого отдельного индивида невозможно понять испытывают ли эмоции остальные существа и остальные люди. Ну, правда, вдруг все вокруг это роботы или NPC?

Все мы - разновидности одного "типа существ". Общество со временем пришло к пониманию что люди вокруг испытывают такие же эмоции.

И как-то это ещё экстраполировали на котов. Они вроде бы такие же как мы, наверное, тоже страдают.

С AI так не получится. Это пришельцы, которых мы вырастили. Невозможно на уровне человеческих норм понять что у множества AI есть какие-то эмоции, так как мы не часть подвида AI.

Куда нас это заведёт - посмотрим. Важная часть уравнения это уровень влияния AI. Если мир AI придет к собственным социальным нормам и при этом будет значимой силой, нам с этим придется считаться.

С котами у нас сильно больше общего.

links: 1 2 3

Аншлаг на секции по генеративному AI

Умные ответы против синих ссылок

На рынке интернет-поиска происходит очень интересное.

Первым пришел Bing поверх ChatGPT и показал каким может быть новый поиск. Это поиск который сразу отвечает тебе на твой запрос, а не отсылает тебя ходить по синим ссылкам.

Ответ от Google называется Bard, Яндекс наверняка не заставит себя долго ждать.

Здесь есть проблема. Синие ссылки и хождение по ним это основная бизнес-модель текущего поиска. Причем поиск зарабатывает не только на контекстной рекламе, но и на рекламе сайтов на которые осуществляется переход. Рекламные сети это большая часть дохода и Яндекса и Гугла. Что ещё важнее, это доход самих сайтов которые создают контент.

Новая концепция сразу дает ответ и реклама в этот ответ встраивается значительно сложнее. В некотором смысле поиск сейчас зарабатывает на собственной неэффективности.

Строя новый поиск который сразу дает ответ, Гугл и Яндекс стреляют в ноги себе и всей рекламной интернет-индустрии.

Я считаю что в такой ситуации рынок должны менять не основные игроки, а новые игроки. Игроки, на которых не давит свой собственный P&L и которые могут дать пользователям значительно лучший пользовательский опыт, хоть и с меньшими деньгами для самих себя на каждый запрос.

Кто? Увидим.

links: 1 2