#клиентспросил Зачем нужно распознавание картинок в ChatGPT?

Картинка лучше тысячи слов.

Вот один из примеров. Даем html layout и просим его поправить "чтобы было, как на картинке".

А можно даже не давать скриншот, а просто набросок от руки. ChatGPT разберется и так.

Ваш, @llm_under_hood 🤗

А вы знали, что в Replit есть довольно неплохой AI for Coding? Его даже можно попробовать бесплатно.

А вы знали, что эту LLM модель обучили на 1T tokens и уже выложили в HuggingFace?

А они - есть :)

Ваш, @llm_under_hood 🤗

PS: Про это и про паттерны применения AI в программировании я буду рассказывать на бесплатном online webinar-e во второй половине октября. Можно еще записаться. Отбирать анкеты участников будет ChatGPT по промпту "кому оно будет полезнее всего?" 😊

Хочется знать, как файн-тюнить модели? Причем не только под новые задачи, но и на новые языки?

В группе Языки разные-код один, собрались эксперты, которые обучают и тюнят модели на практике. Они занимаются этим для спасения языков, активно делятся своими результатами и наработками.

Самая хардкорная ML часть наших проектов тоже обсуждается там 😊

На скриншоте пример одного из последних практически полезных постов в чатике.

Ваш, @llm_under_hood 🤗

В чатике просят бенчмарки Mistral 7B Open Orca и Mistral 7B Zephyr, поэтому вот предварительная версия.

Чем эти модели потенциально хороши? Это файн-тюны новой по-настоящему открытой модели Mistral 7B. Базовая модель очень хороша (догоняет более дорогую в запуске Llama2 13B), а уж файн-тюны должны быть еще лучше.

Но результаты "из коробки" на продуктовых задачах так себе.

Это не потому, что они слабы. Просто, модели при ответе постоянно несет. Начинают ответ с расшаркиваний, не могут вовремя остановиться.

Так что придется в бенчмарк добавлять более сильный guidance. Это потенциально улучшит качество ответов всех локальных моделей.

Поэтому пока ноябрьская версия бенчмарка - Preview.

Ваш, @llm_under_hood 🤗

Хотите потестить классную мультимодальную модель? 🎨

Чтобы она могла читать картинки, разбирать графики, а то и таблицы?

Adept.ai выложили Fuyu-8B (HuggingFace ссылка) с лицензией CC BY-NC ⚠️. Открытая, можно играться, но в коммерческих целях нельзя.

Начало неплохое. Будем ждать, пока кто-нибудь не повысит ставки и не зарелизит полностью открытую модель.

Ваш, @llm_under_hood 🤗

ChatGPT, нарисуй мне mermaid diagram! $MERMAID_CODE

Теперь вы знаете, как ChatGPT рисует диаграммы по спецификациям. 🤣

А вот, кстати, если скормить ему набросок state machine от руки и попросить написать код для нее на питоне - это он делает запросто.

Ваш, @llm_under_hood 🤗

🏆 ChatGPT Challenge! 🏆

Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.

Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉

Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊

На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.

Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.

Ваш, @llm_under_hood 🤗

OpenAI добавили еще один пример сбора feedback в интерфейс ChatGPT. Уже 21-ый!

Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.

Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.

Ваш, @llm_under_hood 🤗

Выдайте ChatGPT задачу и тесты для проверки. И пусть он сам возится с правками, запуском и тестированием до победного.

Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.

Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.

Ваш, @llm_under_hood 🤗

Новый добрый и полезный продукт с LLM под капотом!

Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.

Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.

Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.

При этом проекты очень открытые - можно читать и задавать вопросы:

(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала

Ваш, @llm_under_hood 🤗

Быстро прокачать человека до data-scientist-а

Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.

Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.

Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.

Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.

Ваш, @llm_under_hood 🤗

Ответ на первую кату, где нужно было проанализировать БД и построить графики продаж.

Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.

Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.

Ваш, @llm_under_hood 🤗

PS: Интересует вторая ката?

Продолжаем быстро прокачивать человека с нуля до опытного Data Science / ML инженера (с LLM под рукой 😎). Первая ката.

Ката 2: Анализ трендов

Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?

Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.

Ваш, @llm_under_hood 🤗

Вышла новая модель OpenChat 7B. По оценкам авторов она достигает качества мартовской ChatGPT 🚀

Update: по нашим бенчмаркам - на уровне ChatGPT 3.5-0301

OpenChat 7B сделана на базе Mistral 7B, но в отличие от последнего проходит "тест на банан" (via @konstantinmastak): Я на кухне, положил тарелку на банан. Затем я отнес тарелку в спальню. Где сейчас банан?

Ну и по-русски разговаривает только так 🔥

Ссылки: демка, github, HuggingFace, paper.

Ваш, @llm_under_hood 🤗

OpenChat 7B действительно догоняет GPT-3.5 v1-0301 на наших LLM бенчмарках!

И это очень круто, что такая маленькая модель догнала и сравнялась со старой и младшей моделью от ChatGPT. Лиха беда начало. Ведь тут открытая лицензия.

Где-то в уголке кусает локти LLama 70B 🤣

Ваш, @llm_under_hood 🤗

Если ChatGPT надавить на совесть, то он начинает отвечать лучше. Работает с другими LLM-ками тоже. 🥺

Никто точно не знает почему оно работает так, но цифры врать не будут. Чтобы обеспечить дополнительные 5% точности нужно похвалить модель и сказать, что ее ответ очень важен для карьеры.

Оригинальная статья, недавний обзор, обсуждение на HN.

Ваш, @llm_under_hood 🤗

#клиентспросил, и я добавил в ML Product Labs словарик с краткими описаниями самых важных терминов. Он лежит тут

Какие еще термины вы бы хотели там увидеть?

(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)


Ваш, @llm_under_hood 🤗

В лабах появилось описание нашего LLM бенчмарка, с примерами и описанием методологии. Смотреть тут.

Материал аналогичен старой PDF методичке, но поддерживается в актуальном состоянии.

(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)

Ваш, @llm_under_hood 🤗

Хотите cплетню про ChatGPT фичи от OpenAI?

В Reddit кто-то случайно заметил новые цены от OpenAI. Изменение быстро откатили обратно. Но если оно верно, то у нас появятся:

- AssistantsAPI (retrieval, code interpreter)
- GPT4-Turbo (мощнее и свежее текущего) - мультимодальное API
- hosted Text-to-speech

Точнее узнаем чуть позже.

Что из этого вам бы хотелось больше всего?

Ваш, @llm_under_hood 🤗

Почему я не пишу ни слова про новую модель Grok от Twitter?

Пока это относительно слабая и закрытая модель. Про текущие версии скоро забудут.

Ребята из OpenChat уже померялись (картинка с их репы), и пока доступная все 7B модель смотрится очень выигрышно.

В следующем году можно смело начинать переносить проекты с ChatGPT на локальные модели!

Ваш, @llm_under_hood 🤗

Сплетни оказались правдой ;)

https://openai.com/pricing