Можно ли доверять ответам на математические вопросы ChatGPT и другим языковым моделям?

https://habr.com/ru/post/723462/

«Разработчики, подвиньтесь!» — ваш ChatGPT-4 🤠
Сергей Пахандрин, в прошлом основатель приложения «ВКармане», несказанно порадовал несколько дней назад всех пользователей русскоязычного Twitter’а своим тредом о том, как он за 5 часов пинания ChatGPT заставил ИИ разработать для него iOS приложение «Курсор».

Как?!
Не писав ничего, кроме грамотных инструкций к нейросети, Сергею удалось получить, спустя несколько циклов исправлений и совершенствований, абсолютно готовый код для приложения! Потратив еще некоторое время на то, чтобы ChatGPT прописал верстку приложения и создал виджеты для домашнего экрана iOS, а также на проверку результата на iOS симуляторе, Сергей стал свидетелем того, как его творение зашевелило цифровыми усиками и получило завершенное визуальное оформление.

Не хватало малого: иконки и названия приложения, домена и «Политики приватности» для App Store. С первой задачей справился креативный разум Midjourney, а остальные также разрешил ChatGPT.

Что получилось?
Хоть приложение «Курсор» не может похвастаться богатым функционалом или сверхсложным интерфейсом, пройти мимо такого события в мире разработки и не вдохновиться им может только самый черствый сухарик. Интересно, какие рубежи в этом направлении возьмут разработчики в самое ближайшее время?

P.S. Кстати, а может ли ChatGPT уличить Сергея в нарушении авторских прав и обратиться в профсоюз защиты труда представителей ИИ?

Наконец-то

Грандиозные новости в мире искусственного

Ученые из Беркли, Стэнфорда и Сан-Диего представили новую модель Vicuna с 13 миллиардами параметров (для сравнения, у GPT-3 их 175), которая уже превосходит своего предшественника Llama и приближается к уровню GPT-4, показывая результаты на уровне ~90% от него! Самое удивительное: вы сможете запускать эту модель на обычном десктопе!

Тренировка Vicuna обходится всего в 300-500 долларов на AWS, в то время как тренировка подобных моделей от OpenAI стоит около 10 миллиардов долларов.

Web: https://vicuna.lmsys.org/
Github: https://github.com/lm-sys/FastChat
Demo: https://chat.lmsys.org/

Из минусов - коммерческое использование запрещено лицензионным соглашением, но первые шаги в OpenSource сделаны.

#ai #news #gpt #llm

Помните я писал в посте про животноботство, что ждём викунью?
Дождались.
Опен сорс силен в вивисекции языковых моделей.
Обещают веса и код.

"Vicuna-13B достигает более 90% * качества OpenAI ChatGPT и Google Bard, превосходя при этом другие модели, такие как LLaMA и Stanford Alpaca, более чем в 90% * случаев. Стоимость обучения Vicuna-13B составляет около 300 долларов. Код обучения, а также онлайн- демонстрация общедоступны для некоммерческого использования"

Интересно, а когда придут ребята с бюджетом не 300 долларов, а хотя бы в 300 000, мы познаем дзен?

https://vicuna.lmsys.org/

Три страшных слова: тестирование баз данных
Жили-были разработчики StarRocks, проекта с открытым кодом для Linux. И вздумалось им сравнить, кто лучше тестирует базы данных: SQLsmith и SQLancer или ChatGPT.

Долго ли, коротко ли, да затеяли они для ChatGPT испытание. Не подвел добрый молодец ChatGPT и сумел-таки написать сложные SQL запросы и даже сгенерировать свои аналоги Ternary Logic Partitioning (TLP), метода, применяемого в SQLancer для поиска багов в базах данных.

А если серьезно, то ребята из StarRocks действительно постарались, чтобы натренировать модель ChatGPT составлять SQL запросы, необходимые для проверки эффективности и надежности баз данных. Вот яркий пример одного из преимуществ ChatGPT по сравнению с классическими инструментами: при добавлении нового оператора или функции, необходимо также обновлять исходный код в инструменте, используемом для тестирования. В случае же с ChatGPT, разработчики просто указали в чате документы JSON, которого ранее не было в проекте, и нейросеть сгенерировала нужные SQL запросы без каких-либо дополнительных хлопот.

Конечно, в этой сказке не все так гладко: ChatGPT не защищен от ошибок и может составить некорректный запрос, однако однозначно можно сказать, что возможности этой генеративной модели в будущем трансформируют классический подход к работе с базами данных и положат начало инструментам тестирования нового поколения.

Podlodka #314 – AI пишет код

Разговоры про то, что программистов вот-вот заменит какая-то технология, ведутся каждые пару лет. Но в этот раз, кажется, все серьезно – ChatGPT пишет полноценные мобильные приложения, конфиги для AWS и разбирает сложные баги. Чтобы разобраться с тем, а как конкретно LLM генерируют код, как этим можно управлять, и что нас ждет в будущем, мы позвали Егора Богомолова, исследователя в лаборатории ML4SE JetBrains Research.

🎧 Слушать выпуск

Автоматизируют ли датавиз?

Не думаю, что датавиз профи всерьёз переживают о том, что АИ их заменит, но все же, Nick Desbaratas следует тренду и тоже, вслед за Steve Wexler и Andy Cotgrave, рассуждает на эту тему.

Свои рассуждения он выкладывает вот в такой статье.

https://www.practicalreporting.com/blog/2023/3/27/will-ai-automate-data-visualization

Заменят? 😁😁😁

😱😱😱BabyAGI😱😱😱

Ребята реализовали идею, о которой я давно думаю.

Что если поставить GPT-4 высокоуровневую задачу (например сделать мир лучше или сделать исследование в определенном направлении), а затем запустить в бесконечный цикл последовательность
1) С помощью GPT-4 разбить задачу на подзадачи
2) Добавить все подзадачи в список
3) Приоритезировать список
4) Выполнить задачу в таком же цикле (разбить на позадачи, добавить в список и т.д.)

Интересно, но в таком подходе нейронка
а) уходит в очень интересные идеи
б) тратит очень много токенов API 😂

P.S. Изначально проект задумывался как AI стартапер, но на выходе стало понятно, что подход применим к любой задаче.
P.P.S. То, о чем думал я и чего не хватает в проекте, это реального выполнения. Ребята “выполняют” задачу с помощью лингвистической модели в то время как я думал в ключе “сгенерируй код” которой я бы отправлял в python execution.

Ребята заопенсорсили проект

Github: https://github.com/yoheinakajima/babyagi
Paper: https://yoheinakajima.com/task-driven-autonomous-agent-utilizing-gpt-4-pinecone-and-langchain-for-diverse-applications/

UPD: Huston, у нас проблемы!
Другие ребята заопенсорсили похожий проект, который помимо того, что умеет лазить в интернет, так же генерит код и пытается его исполнять 😱😱😱

Github: https://github.com/Torantulino/Auto-GPT

#agi

мне кажется мы еще не понимаем, что Ящик Пандоры приоткрыт и насколько это серьезно 🤔

#agi

🗓 08 апреля 20:00 по мск ChatGPT в помощь архитектору / Николай Голов, Иван Шумов

Недавно мы обсуждали как устроен и как работает ChatGPT, и что он может полезен для разработчиков. В эту субботу мы планируем в примерах разобрать применение ChatGPT 4.0 для решения задач ИТ-архитектора вместе с Иваном Шумовым. Эта встреча будет полезна разработчикам, архитекторам и всем, кто интересуется технологиями разработки ПО. Присоединяйтесь - будущее уже наступило 🤩

Встречаемся в субботу в 20:00 по мск, подключайтесь к YouTube трансляции или в Zoom

А в комментариях к этому посту оставляйте свои вопросы, которые хотели бы задать Коле и Ване ⤵️

Наткнулся на занятную статью "8 вещей, которые надо знать о больших языковых моделях"

Краткое содержание:
1. LLM предсказуемо становятся более "способными" с увеличением затрат в $, даже без крутых инноваций. Главное тут - предсказуемость, что было показано в статье про GPT-4: учили 5-7 маленьких моделек с бюджетом 0.1% от финального, а затем по этому делали предсказание для огромной модели. Для общей оценки перплексии и метрик на подвыборке одной конкретной задаче такое предсказание было очень точным.

2. Однако конкретные важные навыки, как правило, возникают непредсказуемо как побочный продукт увеличения затрат на обучение (дольше тренировать, больше данных, больше модель) - практически невозможно предсказать, когда модели начнут выполнять определенные задачи. Подробнее об этом мы писали в статье про историю развития GPT-моделей, которую, надеюсь, многие из вас читали. На картинке - распределение роста качества моделей в разных задачах. В трети маленькие модели ничего не показывают, средние в целом тоже, а большие БАХ! И учатся решать.

3. LLM часто выучивают и используют представления внешнего мира. Тут приводится много примеров, и вот один из них: модели, обученные играть в настольные игры на основе описаний отдельных ходов, никогда не видя изображения игрового поля, выучивают внутренние представления о состоянии доски на каждом ходу.

4. Не существует надежных методов управления поведением LLM. Хотя и был достигнут некоторый прогресс в понимании и смягчении разных проблем (в том числе ChatGPT и GPT-4 с обучением из обратной связи), нет единого мнения о том, сможем ли мы их решить. Растет обеспокоенность, что проблемы alignment'а станут катастрофическими, когда проявятся в более крупных системах будущего.

5. Эксперты пока не могут интерпретировать внутреннюю работу LLM. Yе существует методики, которая позволила бы каким-либо удовлетворительным образом изложить, какие виды знаний, рассуждений или целей использует модель, когда она генерирует какой-либо результат.

6. Качество выполнения задач человеком не является верхней границей для LLM. Хотя они и обучены в первую очередь имитировать поведение человека при написании текста, но всё равно потенциально могут превзойти нас во многих задачах. Так происходит в более узких задачах вроде шахмат или игры в Го.

7. LLM не должны выражать ценности своих создателей или ценности, закодированные в выборке из интернета. Они не должны повторять стереотипы, теории заговора или стремиться оскорбить кого-либо.

8. Оценки способности модели по первым впечатлениям часто вводят в заблуждение. Очень часто нужно додумать правильный промпт, подсказать модели, может, показать примеры - и она начнёт справляться куда лучше. То есть она "умнее", чем кажется на первый взгляд.

😎Searching for data and learning SQL at the same time is easy!!!
Census GPT is a tool that allows users to search for data about cities, neighborhoods, and other geographic areas.
Using artificial intelligence technology, Census-GPT organized and analyzed huge amounts of data to create a superdatabase. Currently, the Census-GPT database contains information about the United States, where users can request data on population, crime rates, education, income, age, and more. In addition, Census-GPT can display US maps in a clear and concise manner.
On the Census GPT site, users can also improve existing maps. The data results can be retrieved along with the SQL query. Accordingly, you can learn SQL and automatically test yourself on real examples.

Вышел kandinsky 2.1
Почитать можно тут

А это код, который дергает публичную API (пока работает)
Можете погенерировать картинки на любом тапке с установленным питоном

UPD: Но ожидания в очереди жесть)

import PIL
import base64
import io
import requests
import time

text = "комикс игра престолов"

wtf = '----WebKitFormBoundarywlnxcaZpV1ghiA4E'
cdfdn = '\r\nContent-Disposition: form-data; name='
api_url = 'https://fusionbrain.ai/api/v1/text2image'
api_url_run = api_url + '/run'
api_url_pockets = api_url + '/generate/pockets/'

data = (f'--{wtf}{cdfdn}"queueType"\r\n\r\ngenerate\r\n--{wtf}' +
               f'{cdfdn}"query"\r\n\r\n{text}\r\n--{wtf}' +
               f'{cdfdn}"preset"\r\n\r\n1\r\n--{wtf}' +
               f'{cdfdn}"style"\r\n\r\n\r\n--{wtf}--\r\n').encode()

response = requests.post(api_url_run, headers={'Content-Type': f'multipart/form-data; boundary={wtf}'}, data=data)
pocket = response.json()['result']['pocketId']
time.sleep(3)
response = requests.get(api_url_pockets + f"{pocket}/status",
    headers={'Content-Type': f'multipart/form-data; boundary={wtf}'},
)

while response.json()['result'] != 'SUCCESS':
    print(response.json()['result'])
    time.sleep(3)
    response = requests.get(api_url_pockets + f"{pocket}/status")

response = requests.get(api_url_pockets + f"{pocket}/entities")

msg = base64.b64decode(response.json()['result'][0]['response'][0])
buf = io.BytesIO(msg)
img = PIL.Image.open(buf)

img

@powerofdata

Про выбор Движка и точность ответов во всех режимах.

В боте есть возможность выбрать 2 движка: GPT_3.5 и GPT_3.5_Turbo

GPT_3.5_Turbo заточен как раз на ответы на вопросы, он отвечает правильнее и решает лучше задачи. Но более цензурируемый и отвечает более сухо, как ИИ ассистент. Расходует в 10 раз меньше токенов.

GPT_3.5 гораздо менее цензурируемый, отвечать может много отсебятины, но зато потенциально генерирует более забавные и живые диалоги. Задачи решает плохо. В общем такой разгильдяй-балабол. Расходует в 10 раз больше токенов. Возможно, лучше подходит для имитации именно человека. Правда у него бывают проблемы со склонениями русских слов иногда.

Движок можно выбирать как в режиме обычной генерации текста, так и в режиме Работы с интернетом.

GPT4 мы добавим, когда это можно будет сделать по адекватной цене, сейчас мы, во-первых, не сможем давать бесплатные токены на неё, во-вторых, будет стоить в 6 раз дороже, чем GPT_3.5, там пара сообщений будет съедать сразу очень немало денег. Просто никто серьезно ей пользоваться не будет при таких условиях.