🏆 ChatGPT Challenge! 🏆

Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.

Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉

Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊

На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.

Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.

Ваш, @llm_under_hood 🤗

OpenAI добавили еще один пример сбора feedback в интерфейс ChatGPT. Уже 21-ый!

Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.

Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.

Ваш, @llm_under_hood 🤗

Выдайте ChatGPT задачу и тесты для проверки. И пусть он сам возится с правками, запуском и тестированием до победного.

Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.

Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.

Ваш, @llm_under_hood 🤗

Новый добрый и полезный продукт с LLM под капотом!

Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.

Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.

Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.

При этом проекты очень открытые - можно читать и задавать вопросы:

(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала

Ваш, @llm_under_hood 🤗

Быстро прокачать человека до data-scientist-а

Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.

Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.

Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.

Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.

Ваш, @llm_under_hood 🤗

Ответ на первую кату, где нужно было проанализировать БД и построить графики продаж.

Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.

Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.

Ваш, @llm_under_hood 🤗

PS: Интересует вторая ката?

Продолжаем быстро прокачивать человека с нуля до опытного Data Science / ML инженера (с LLM под рукой 😎). Первая ката.

Ката 2: Анализ трендов

Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?

Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.

Ваш, @llm_under_hood 🤗

Вышла новая модель OpenChat 7B. По оценкам авторов она достигает качества мартовской ChatGPT 🚀

Update: по нашим бенчмаркам - на уровне ChatGPT 3.5-0301

OpenChat 7B сделана на базе Mistral 7B, но в отличие от последнего проходит "тест на банан" (via @konstantinmastak): Я на кухне, положил тарелку на банан. Затем я отнес тарелку в спальню. Где сейчас банан?

Ну и по-русски разговаривает только так 🔥

Ссылки: демка, github, HuggingFace, paper.

Ваш, @llm_under_hood 🤗

OpenChat 7B действительно догоняет GPT-3.5 v1-0301 на наших LLM бенчмарках!

И это очень круто, что такая маленькая модель догнала и сравнялась со старой и младшей моделью от ChatGPT. Лиха беда начало. Ведь тут открытая лицензия.

Где-то в уголке кусает локти LLama 70B 🤣

Ваш, @llm_under_hood 🤗

Если ChatGPT надавить на совесть, то он начинает отвечать лучше. Работает с другими LLM-ками тоже. 🥺

Никто точно не знает почему оно работает так, но цифры врать не будут. Чтобы обеспечить дополнительные 5% точности нужно похвалить модель и сказать, что ее ответ очень важен для карьеры.

Оригинальная статья, недавний обзор, обсуждение на HN.

Ваш, @llm_under_hood 🤗

#клиентспросил, и я добавил в ML Product Labs словарик с краткими описаниями самых важных терминов. Он лежит тут

Какие еще термины вы бы хотели там увидеть?

(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)


Ваш, @llm_under_hood 🤗

В лабах появилось описание нашего LLM бенчмарка, с примерами и описанием методологии. Смотреть тут.

Материал аналогичен старой PDF методичке, но поддерживается в актуальном состоянии.

(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)

Ваш, @llm_under_hood 🤗

Хотите cплетню про ChatGPT фичи от OpenAI?

В Reddit кто-то случайно заметил новые цены от OpenAI. Изменение быстро откатили обратно. Но если оно верно, то у нас появятся:

- AssistantsAPI (retrieval, code interpreter)
- GPT4-Turbo (мощнее и свежее текущего) - мультимодальное API
- hosted Text-to-speech

Точнее узнаем чуть позже.

Что из этого вам бы хотелось больше всего?

Ваш, @llm_under_hood 🤗

Почему я не пишу ни слова про новую модель Grok от Twitter?

Пока это относительно слабая и закрытая модель. Про текущие версии скоро забудут.

Ребята из OpenChat уже померялись (картинка с их репы), и пока доступная все 7B модель смотрится очень выигрышно.

В следующем году можно смело начинать переносить проекты с ChatGPT на локальные модели!

Ваш, @llm_under_hood 🤗

Сплетни оказались правдой ;)

https://openai.com/pricing

Выжимка новостей OpenAI про GPT-4 Turbo 🎉

- Новая модель - GPT-4 Turbo. Умнее, свежее и в 2-3 раза дешевле GPT-4. Ищите gpt-4-1106-preview в своем API уже сейчас.
- Контекст аж 128k tokens, что больше 100k Claude. Говорят, что побороли забывчивость.
- GPT 3.5 получила апдейт (gpt-3.5-turbo-1106) и тоже стала заметно умнее быстрее, дешевле и несколько глупее. См бенчмарк ниже.
- Добавили ассистентов - кастомные инструкции, дополнительные знания и любая комбинация скиллов. Позже откроют GPT Store.
- Ассистенты могут использовать Code Interpreter (Python), Retrieval по своим документам, function calling (внешние сервисы)! Можно поиграть в assistant playground.
- Добавилась мультимодальная модель ChatGPT, которая умеет картинки по API (gpt-4-vision-preview). Стоимость - попиксельно. Все детали на странице с ценами.
- И вообще цены снижаются на множество позиций.
- ChatGPT UI превращается прямо в центр управления агентами. Можно конструировать своих агентов, добавлять данные и возможности вызывать сторонние сервисы. А потом - делиться агентами (см GPT Store выше).
- GPT-4 можно теперь файн-тюнить.

Прочитать больше в официальном объявлении.

Время обновлять бенчмарки? ;)

Ваш, @llm_under_hood 🤗

Хотел быстренько побенчмаркать ChatGPT-4 Turbo, но наткнулся на недетские лимиты - Limit: 100 / day

Поэтому вот вам пока только сравнительный бенчмарк новой GPT-3.5 Turbo (gpt-3.5-turbo-1106).

Она стала быстрее, дешевле и немного глупее прошлой версии.

Ваш, @llm_under_hood 🤗

Краткие выводы

- OpenAI превращается в AWS. Они потихоньку начинают строить сервисы вверх и прибирать в свои загребущие лапки интересные бизнес-кейсы. Vendor lock-in крепчает.
- Vision модель сильно дешевле, чем я ожидал. Картинка 768*768 будет стоить всего лишь $0.00765.
- Стартапы должны плакать, что их заменяет OpenAI верно? Про неминуемую гибель ChatWithPDF, FlowChai и прочих стартапов вы завтра прочитаете еще не раз. А на самом деле они радуются, т.к. у них только что выросла маржа из-за удешевления GPT API, и работать в своей нише стало выгоднее.

Конец света откладывается. Продолжаем работать!

Ваш, @llm_under_hood 🤗

Бенчмарки новых GPT-4 Turbo и GPT-3.5!

Новые версии моделей стали дешевле 🤑, свежее 😃 и глупее 🤪 своих предыдущих версий.

Как читать бенчмарк? Колонки оценивают модели в категориях:
- Code - понимание, разбор и написание кода
- CRM - работа с описаниями и свойставами товаров на маркетплейсах
- Docs - работа с документами, их частями и базами знаний
- Integrate - интеграция со сторонними API, форматами данных и БД
- Marketing - чтение, оценка и написание маркетинговых текстов
- Reason - сложные задачки в рамках контекста.

- Cost - примерная стоимость работы (пропорционально бенчмарку). Для локальных моделей - считаем стоимость аренды необходимого GPU в популярном облаке.
- Speed - сколько запросов в секунду, с batch_size=1 при запуске с HF transformers.

Бенчмарк - закрытый, основан на тестах и промптах из рабочих продуктов и сервисов.

Более детальное описание и примеры evals есть в лабах: Trustbit LLM Benchmark (лабы открыты подписчикам бесплатной рассылки ML Under the Hood)

Ваш, @llm_under_hood 🤗

Update: обновил бенчмарк (см картинку выше).

Там часть тестов в области Code посыпалась, т.к. ChatGPT 4 Turbo стал красиво выделять куски SQL при помощи '''sql 👨‍🎨

Тут было два варианта - либо писать научную работу про деградацию ChatGPT, либо править бенчмарк.

GPT 4 Turbo все еще глупее своих предшественников, но уже не так сильно. Плюс это preview версия, все еще может улучшиться. А стоимость уже и так хороша!

Ваш, @llm_under_hood 🤗

Продолжаем эксперимент по прокачке ученика с нуля до приносящего деньги ML/DS инженера за минимальное время (*)

Он вчера прислал свое решение второй каты, поэтому я выложу его и свое решение в комментарии.

Самое классное в том, что:
(1) Питон по-прежнему для него чужой. Когда он встретил TypeError в середине когда из ChatGPT, то сначала не знал, что делать 😂 (Правильный ответ - попросить ChatGPT пофиксить)
(2) он в итоге смог получить правильный ответ, причем сделал это вручную, на ChatGPT 3.5. Даже без Advanced Data Analytics!

Решения - в комментариях. Я читил и использовал ADA, чтобы получить ответ за два вопроса.

Следующая ката уже будет сложнее. SQLite в реальности аналитику никто не даст. Данные надо выковыривать из всяких MS SQL, mySQL, Kafka, ручных Excel-выгрузок или страшно запутанных BigQuery таблиц.

Ваш, @llm_under_hood 🤗

(*) Приносящий деньги инженер - в данном случае это тот, кого можно смело отправить в Data Science/ML проект в современной компании. Чтобы он мог решить типовую задачу вроде "а построй мне отчет по продукту X. Я хочу видеть тренды продаж, складских остатков, динамику типов жалоб и предложения по оптимизации всего этого".

И он сможет самостоятельно разобраться в куче данных, подключиться куда надо и построить отчет, который нужен директорам.