4 разрозненных ссылки недели

1) Гайд AI Jason по ии-кодингу в Cursor.

Полезно, даже если вы кодите в другой среде. Один из важных выводов — проектирование и написание спецификации должны быть максимально подробными и легко могут занимать половину или даже больше времени разработки проекта. Языковой модели нужно помочь, предложив конкретные решения, и даже предварительно установив часть пакетов (Джейсон выясняет у ЛЛМ, какие UX-компоненты подойдут для его задачи и вручную устанавливает их из npm).

Спецификация должна быть подробной (включать в себя конкретные решения) и структурированной, потому что имплементация делается пошагово (реализуй первый раздел, второй, третий).

В очередной раз убеждаемся, что разрабатывая что угодно с помощью ии
1) всё ещё нужно думать, чтобы достичь чего-то значимого

2) владение письменным английским становится самым важным навыком ии-разработчика.

3) доменная экспертиза даёт +100500 к качеству продуктов, которые вы с помощью ии можете реализовать. Если бы Джейсон не был разработчиком, он шёл бы к тем же результатам гораздо дольше.

Ещё один его гайд по Cursor AI

Тизер: готовим новую лабу, где будем делать продукт (или высокофункциональный прототип продукта) с помощью ии-инструментов, но используя лучшие ux-практики (за эту часть будет отвечать опытнейший эксперт).

2) Интервью с Джейсоном Кларком (Anthropic)

Джейсон занимается policies в Anthropic и, в отличие от большинства публичных представителей больших ии-компаний, имеет нетехнический бэкграунд, а поэтому в интервью много интересных перспектив и метафор (мне зашло LLM как страны и нерегулируемые LLM как потенциальные rogue states). На градиенте думеры ←→ e/acc Антропик ближе к думерам, от них вы не услышите манифестов в духе Сэма.

Цитата, с которой мы очень согласны и ассоциируем себя:

Some of it looks more like kind of play and theater and psychology all wrapped into one being done by these people who kind of have a vision and are slightly like off consensus.

3) LLM формулируют гипотезы в социальной психологии так же или лучше учёных

4) Любопытный саммари по state of AI (ссылка на facebook) и интеграции ИИ большими компаниями:

«Кастомные AI решения» это в том числе и решения, при разработке которых был активно использован AI. Например, вашей компании нужно инвойсы из пдф-ок заносить в базу данных. Вместо того чтобы покупать готовый сервис, вы просите AI разработать вам соответствующий микросервис. Через 2 часа в вашем AWS задеплоен ColQwen2 с нужными промптами.
[…]
основное применение для AI сейчас: использовать большие и умные модели чтобы быстро разрабатывать небольшие и очень узкоспециализированные сервисы для решения операционных задач с использованием более слабых моделей, либо вообще без AI.»

Бьётся и с тем, как мы, частные лица, может этот же ИИ применять — и применяем уже.

— Глеб

Выпустили второй подкаст: говорим про набирающий популярнойсть редактор кода Cursor AI как инструмент управления знаниями. On the bleeding edge — даже в англоязычном интернете про это всего несколько постов и тредов в x. В следующем посте расскажем про воркшопы в ноябре по ChatGPT + Obsidian + Cursor для управления знаниями, которые проведем в ноябре.

Описание подкаста
В этом разговоре Глеб и Саша обсуждают возможности и функции Cursor AI как инструмента для управления знаниями и программирования.

Cursor — это мощный редактор кода с интегрированным ИИ, который упрощает разработку. Он легко интегрируется с такими инструментами, как Obsidian, поддерживает Markdown и может использоваться для эффективного управления знаниями. Cursor позволяет задавать запросы к заметкам, анализировать их, настраивать предпочтения для проектов и создавать связи между источниками данных. Благодаря своей гибкости и скорости работы, это универсальный инструмент как для программирования, так и для работы с контентом.

Глеб и Саша делятся своим опытом использования Cursor, его интеграции с Obsidian и тем, как AI может помочь в создании и редактировании контента. Также рассматриваются аспекты парного программирования и как Cursor может быть полезен как для разработчиков, так и для неразработчиков.

В этом разговоре обсуждаются возможности и преимущества использования Cursor в управлении знаниями, его гибкость и настройки, а также сравнение с Obsidian. Говорим, как контекст и сохраненные данные могут быть использованы для более эффективного взаимодействия с информацией. Обсуждаем важность сбора и анализа данных для личной эффективности, а также инструменты управления знаниями, интеграцию веб-данных, проблемы и вызовы в управлении знаниями, а также будущее автоматизации и персонализации знаний с использованием AI.

Говорим про будущее умных систем, их переход от Pull к Push, важность контекста и истории пользователя, проблемы конфиденциальности, локальные модели и впечатления от новых технологий, таких как Cursor.

Youtube
Spotify
Apple Podcasts

Главная новость недели — новые модели Anthropic (которые даже не сменили версии, показав солидный рост производетельности) и Claude Computer Use.

Эта функциональность позволяет Claude управлять компьютером как человек: двигать курсором, нажимать кнопки, вводить текст, и использовать любое программное обеспечение. Может выполнять последовательности действий (например, проверить таблицу → открыть браузер → заполнить форму). Пока находится в экспериментальной стадии и доступна через API.

Это не первый такой продукт — подобное уже давно реализовано в OpenInterpreter, своя модель для взаимодействия с интерфейсами есть у Apple, подобную же модель показывали злополучные Rabbit (они называли её large action model).

Однако это первый раз, когда подобный API опубликован компанией-разработчиком большой языковой модели, доступнен сразу же неограниченному кругу пользователей.

У модели полно ограничений. Некоторые базовые действия (скроллинг, перетаскивание, зум) даются пока что с трудом. В моих текстах она не справлялась с такими простыми операциями, как закрытие всплывающих окон с запросом про cookie — и, надо признать, эти интерфейсы действительно сложны, и для человека тоже.

Computer Use набрал 14.9% в тесте OSWorld, оценивающей способности ии-моделей пользоваться компьютером, в категории "только скриншоты" — это почти вдвое лучше следующего конкурента (7.8%), но всё ещё не первое место (там сейчас [Agent-S)).
Видео-демо: Claude | Computer use for automating operations - YouTube

Как протестировать уже сегодня:
(понадобятся навыки работы с терминалом)

Безопасный способ. Установите стартовые пакеты из официального дистрибутива  anthropics/anthropic-quickstarts · GitHub — он установит виртуальную машину, у которой нет доступа к вашей файловой системе. Все тестовые операции будут выполняться внутри этой виртуальной машины.

Небезопасный способ. Через вышеупомянытй OpenInterpreter на MacOS. Установите утилиту (pip install open-interpreter), выберите модель (interpreter --model claude-3) и запустите команду (interpreter --os). Теперь вы можете давать утилите текстовые команды, для выполнения которых OpenInterpreter может запускать программы, искать в интернете, создавать, редактировать и удалять файлы.
Для работы с интерфейсами программа делает скриншоты и отправляет их в API Claude, поэтому будьте готовы, что это будет небыстро, и, к сожалению, недешево.


На один эксперимент: поискать в интернете, сохранить данные в таблицу, я потратил около часа, 2 500 000 токенов и почти 8 долларов. Но главное, что эксперимент удался, я получил на выходе pdf с отформатированными результатами поиска.

На другой эксперимент — сделать для меня подборку событий на выходные в Берлине с учетом моих интересов и вывод их в markdown-таблицу, потратил почти 3 доллара и почти миллион токенов.

Если задачи формулировать максимально точно, минимизировать при их постановке использование графических интерфейсов, снизить разрешение экрана (чтобы уменьшить количество потребляемых токенов), то цены можно минимизировать — тут промт-инжиниринг и подготовка среды будут иметь в ближайшее время огромное значение.

И хотя всё это работает пока не очень надежно, есть что-то очень футуристичное в том, что ии может пользоваться графическими интерфейсами почти так же, как мы.

— Глеб