В чатике просят бенчмарки Mistral 7B Open Orca и Mistral 7B Zephyr, поэтому вот предварительная версия.
Чем эти модели потенциально хороши? Это файн-тюны новой по-настоящему открытой модели Mistral 7B. Базовая модель очень хороша (догоняет более дорогую в запуске Llama2 13B), а уж файн-тюны должны быть еще лучше.
Но результаты "из коробки" на продуктовых задачах так себе.
Это не потому, что они слабы. Просто, модели при ответе постоянно несет. Начинают ответ с расшаркиваний, не могут вовремя остановиться.
Так что придется в бенчмарк добавлять более сильный guidance. Это потенциально улучшит качество ответов всех локальных моделей.
Поэтому пока ноябрьская версия бенчмарка - Preview.
Ваш, @llm_under_hood 🤗
Чем эти модели потенциально хороши? Это файн-тюны новой по-настоящему открытой модели Mistral 7B. Базовая модель очень хороша (догоняет более дорогую в запуске Llama2 13B), а уж файн-тюны должны быть еще лучше.
Но результаты "из коробки" на продуктовых задачах так себе.
Это не потому, что они слабы. Просто, модели при ответе постоянно несет. Начинают ответ с расшаркиваний, не могут вовремя остановиться.
Так что придется в бенчмарк добавлять более сильный guidance. Это потенциально улучшит качество ответов всех локальных моделей.
Поэтому пока ноябрьская версия бенчмарка - Preview.
Ваш, @llm_under_hood 🤗
❤12👍1
Хотите потестить классную мультимодальную модель? 🎨
Чтобы она могла читать картинки, разбирать графики, а то и таблицы?
Adept.ai выложили Fuyu-8B (HuggingFace ссылка) с лицензией CC BY-NC ⚠️. Открытая, можно играться, но в коммерческих целях нельзя.
Начало неплохое. Будем ждать, пока кто-нибудь не повысит ставки и не зарелизит полностью открытую модель.
Ваш, @llm_under_hood 🤗
Чтобы она могла читать картинки, разбирать графики, а то и таблицы?
Adept.ai выложили Fuyu-8B (HuggingFace ссылка) с лицензией CC BY-NC ⚠️. Открытая, можно играться, но в коммерческих целях нельзя.
Начало неплохое. Будем ждать, пока кто-нибудь не повысит ставки и не зарелизит полностью открытую модель.
Ваш, @llm_under_hood 🤗
🔥11❤2
ChatGPT, нарисуй мне mermaid diagram! $MERMAID_CODE
Теперь вы знаете, как ChatGPT рисует диаграммы по спецификациям. 🤣
А вот, кстати, если скормить ему набросок state machine от руки и попросить написать код для нее на питоне - это он делает запросто.
Ваш, @llm_under_hood 🤗
Теперь вы знаете, как ChatGPT рисует диаграммы по спецификациям. 🤣
А вот, кстати, если скормить ему набросок state machine от руки и попросить написать код для нее на питоне - это он делает запросто.
Ваш, @llm_under_hood 🤗
🤣6😁1
🏆 ChatGPT Challenge! 🏆
Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.
Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉
Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊
На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.
Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.
Ваш, @llm_under_hood 🤗
Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.
Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉
Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊
На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.
Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.
Ваш, @llm_under_hood 🤗
🔥6😁3🤔1
OpenAI добавили еще один пример сбора feedback в интерфейс ChatGPT. Уже 21-ый!
Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.
Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.
Ваш, @llm_under_hood 🤗
Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.
Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.
Ваш, @llm_under_hood 🤗
🔥4🤗4
Выдайте ChatGPT задачу и тесты для проверки. И пусть он сам возится с правками, запуском и тестированием до победного.
Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.
Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.
Ваш, @llm_under_hood 🤗
Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.
Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.
Ваш, @llm_under_hood 🤗
🔥9❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Новый добрый и полезный продукт с LLM под капотом!
Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.
Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.
Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.
При этом проекты очень открытые - можно читать и задавать вопросы:
(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала
Ваш, @llm_under_hood 🤗
Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.
Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.
Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.
При этом проекты очень открытые - можно читать и задавать вопросы:
(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала
Ваш, @llm_under_hood 🤗
❤7🔥4👍1👎1🤗1
Быстро прокачать человека до data-scientist-а
Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.
Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.
Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.
Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.
Ваш, @llm_under_hood 🤗
Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.
Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.
Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.
Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.
Ваш, @llm_under_hood 🤗
🔥12❤1🤗1
Ответ на первую кату, где нужно было проанализировать БД и построить графики продаж.
Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.
Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.
Ваш, @llm_under_hood 🤗
PS: Интересует вторая ката?
Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.
Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.
Ваш, @llm_under_hood 🤗
PS: Интересует вторая ката?
🔥20👍5
gold2.sqlite
1.2 MB
Продолжаем быстро прокачивать человека с нуля до опытного Data Science / ML инженера (с LLM под рукой 😎). Первая ката.
Ката 2: Анализ трендов
Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?
Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.
Ваш, @llm_under_hood 🤗
Ката 2: Анализ трендов
Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?
Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.
Ваш, @llm_under_hood 🤗
🔥8👍2
Вышла новая модель OpenChat 7B. По оценкам авторов она достигает качества мартовской ChatGPT 🚀
Update: по нашим бенчмаркам - на уровне ChatGPT 3.5-0301
OpenChat 7B сделана на базе Mistral 7B, но в отличие от последнего проходит "тест на банан" (via @konstantinmastak): Я на кухне, положил тарелку на банан. Затем я отнес тарелку в спальню. Где сейчас банан?
Ну и по-русски разговаривает только так 🔥
Ссылки: демка, github, HuggingFace, paper.
Ваш, @llm_under_hood 🤗
Update: по нашим бенчмаркам - на уровне ChatGPT 3.5-0301
OpenChat 7B сделана на базе Mistral 7B, но в отличие от последнего проходит "тест на банан" (via @konstantinmastak): Я на кухне, положил тарелку на банан. Затем я отнес тарелку в спальню. Где сейчас банан?
Ну и по-русски разговаривает только так 🔥
Ссылки: демка, github, HuggingFace, paper.
Ваш, @llm_under_hood 🤗
🔥26😁3
OpenChat 7B действительно догоняет GPT-3.5 v1-0301 на наших LLM бенчмарках!
И это очень круто, что такая маленькая модель догнала и сравнялась со старой и младшей моделью от ChatGPT. Лиха беда начало. Ведь тут открытая лицензия.
Где-то в уголке кусает локти LLama 70B 🤣
Ваш, @llm_under_hood 🤗
И это очень круто, что такая маленькая модель догнала и сравнялась со старой и младшей моделью от ChatGPT. Лиха беда начало. Ведь тут открытая лицензия.
Где-то в уголке кусает локти LLama 70B 🤣
Ваш, @llm_under_hood 🤗
🔥20❤7👍1
Если ChatGPT надавить на совесть, то он начинает отвечать лучше. Работает с другими LLM-ками тоже. 🥺
Никто точно не знает почему оно работает так, но цифры врать не будут. Чтобы обеспечить дополнительные 5% точности нужно похвалить модель и сказать, что ее ответ очень важен для карьеры.
Оригинальная статья, недавний обзор, обсуждение на HN.
Ваш, @llm_under_hood 🤗
Никто точно не знает почему оно работает так, но цифры врать не будут. Чтобы обеспечить дополнительные 5% точности нужно похвалить модель и сказать, что ее ответ очень важен для карьеры.
Оригинальная статья, недавний обзор, обсуждение на HN.
Ваш, @llm_under_hood 🤗
👍15😁8🤣4
#клиентспросил, и я добавил в ML Product Labs словарик с краткими описаниями самых важных терминов. Он лежит тут
Какие еще термины вы бы хотели там увидеть?
(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)
Ваш, @llm_under_hood 🤗
Какие еще термины вы бы хотели там увидеть?
(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)
Ваш, @llm_under_hood 🤗
🔥19
В лабах появилось описание нашего LLM бенчмарка, с примерами и описанием методологии. Смотреть тут.
Материал аналогичен старой PDF методичке, но поддерживается в актуальном состоянии.
(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)
Ваш, @llm_under_hood 🤗
Материал аналогичен старой PDF методичке, но поддерживается в актуальном состоянии.
(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)
Ваш, @llm_under_hood 🤗
🔥10👍2
Хотите cплетню про ChatGPT фичи от OpenAI?
В Reddit кто-то случайно заметил новые цены от OpenAI. Изменение быстро откатили обратно. Но если оно верно, то у нас появятся:
- AssistantsAPI (retrieval, code interpreter)
- GPT4-Turbo (мощнее и свежее текущего) - мультимодальное API
- hosted Text-to-speech
Точнее узнаем чуть позже.
Что из этого вам бы хотелось больше всего?
Ваш, @llm_under_hood 🤗
В Reddit кто-то случайно заметил новые цены от OpenAI. Изменение быстро откатили обратно. Но если оно верно, то у нас появятся:
- AssistantsAPI (retrieval, code interpreter)
- GPT4-Turbo (мощнее и свежее текущего) - мультимодальное API
- hosted Text-to-speech
Точнее узнаем чуть позже.
Что из этого вам бы хотелось больше всего?
Ваш, @llm_under_hood 🤗
🔥9🥰5
Почему я не пишу ни слова про новую модель Grok от Twitter?
Пока это относительно слабая и закрытая модель. Про текущие версии скоро забудут.
Ребята из OpenChat уже померялись (картинка с их репы), и пока доступная все 7B модель смотрится очень выигрышно.
В следующем году можно смело начинать переносить проекты с ChatGPT на локальные модели!
Ваш, @llm_under_hood 🤗
Пока это относительно слабая и закрытая модель. Про текущие версии скоро забудут.
Ребята из OpenChat уже померялись (картинка с их репы), и пока доступная все 7B модель смотрится очень выигрышно.
В следующем году можно смело начинать переносить проекты с ChatGPT на локальные модели!
Ваш, @llm_under_hood 🤗
🔥8👍4❤1
Выжимка новостей OpenAI про GPT-4 Turbo 🎉
- Новая модель - GPT-4 Turbo. Умнее, свежее и в 2-3 раза дешевле GPT-4. Ищите gpt-4-1106-preview в своем API уже сейчас.
- Контекст аж 128k tokens, что больше 100k Claude. Говорят, что побороли забывчивость.
- GPT 3.5 получила апдейт (gpt-3.5-turbo-1106) и тоже сталазаметно умнее быстрее, дешевле и несколько глупее. См бенчмарк ниже.
- Добавили ассистентов - кастомные инструкции, дополнительные знания и любая комбинация скиллов. Позже откроют GPT Store.
- Ассистенты могут использовать Code Interpreter (Python), Retrieval по своим документам, function calling (внешние сервисы)! Можно поиграть в assistant playground.
- Добавилась мультимодальная модель ChatGPT, которая умеет картинки по API (gpt-4-vision-preview). Стоимость - попиксельно. Все детали на странице с ценами.
- И вообще цены снижаются на множество позиций.
- ChatGPT UI превращается прямо в центр управления агентами. Можно конструировать своих агентов, добавлять данные и возможности вызывать сторонние сервисы. А потом - делиться агентами (см GPT Store выше).
- GPT-4 можно теперь файн-тюнить.
Прочитать больше в официальном объявлении.
Время обновлять бенчмарки? ;)
Ваш, @llm_under_hood 🤗
- Новая модель - GPT-4 Turbo. Умнее, свежее и в 2-3 раза дешевле GPT-4. Ищите gpt-4-1106-preview в своем API уже сейчас.
- Контекст аж 128k tokens, что больше 100k Claude. Говорят, что побороли забывчивость.
- GPT 3.5 получила апдейт (gpt-3.5-turbo-1106) и тоже стала
- Добавили ассистентов - кастомные инструкции, дополнительные знания и любая комбинация скиллов. Позже откроют GPT Store.
- Ассистенты могут использовать Code Interpreter (Python), Retrieval по своим документам, function calling (внешние сервисы)! Можно поиграть в assistant playground.
- Добавилась мультимодальная модель ChatGPT, которая умеет картинки по API (gpt-4-vision-preview). Стоимость - попиксельно. Все детали на странице с ценами.
- И вообще цены снижаются на множество позиций.
- ChatGPT UI превращается прямо в центр управления агентами. Можно конструировать своих агентов, добавлять данные и возможности вызывать сторонние сервисы. А потом - делиться агентами (см GPT Store выше).
- GPT-4 можно теперь файн-тюнить.
Прочитать больше в официальном объявлении.
Время обновлять бенчмарки? ;)
Ваш, @llm_under_hood 🤗
Openai
Introducing GPTs
You can now create custom versions of ChatGPT that combine instructions, extra knowledge, and any combination of skills.
👍7🔥7🤯5
Хотел быстренько побенчмаркать ChatGPT-4 Turbo, но наткнулся на недетские лимиты -
Поэтому вот вам пока только сравнительный бенчмарк новой GPT-3.5 Turbo (gpt-3.5-turbo-1106).
Она стала быстрее, дешевле и немного глупее прошлой версии.
Ваш, @llm_under_hood 🤗
Limit: 100 / dayПоэтому вот вам пока только сравнительный бенчмарк новой GPT-3.5 Turbo (gpt-3.5-turbo-1106).
Она стала быстрее, дешевле и немного глупее прошлой версии.
Ваш, @llm_under_hood 🤗
❤4😁2🤔2🤡2😢1
Краткие выводы
- OpenAI превращается в AWS. Они потихоньку начинают строить сервисы вверх и прибирать в свои загребущие лапки интересные бизнес-кейсы. Vendor lock-in крепчает.
- Vision модель сильно дешевле, чем я ожидал. Картинка 768*768 будет стоить всего лишь $0.00765.
- Стартапы должны плакать, что их заменяет OpenAI верно? Про неминуемую гибель ChatWithPDF, FlowChai и прочих стартапов вы завтра прочитаете еще не раз. А на самом деле они радуются, т.к. у них только что выросла маржа из-за удешевления GPT API, и работать в своей нише стало выгоднее.
Конец света откладывается. Продолжаем работать!
Ваш, @llm_under_hood 🤗
- OpenAI превращается в AWS. Они потихоньку начинают строить сервисы вверх и прибирать в свои загребущие лапки интересные бизнес-кейсы. Vendor lock-in крепчает.
- Vision модель сильно дешевле, чем я ожидал. Картинка 768*768 будет стоить всего лишь $0.00765.
- Стартапы должны плакать, что их заменяет OpenAI верно? Про неминуемую гибель ChatWithPDF, FlowChai и прочих стартапов вы завтра прочитаете еще не раз. А на самом деле они радуются, т.к. у них только что выросла маржа из-за удешевления GPT API, и работать в своей нише стало выгоднее.
Конец света откладывается. Продолжаем работать!
Ваш, @llm_under_hood 🤗
🙏11👍8🔥5❤2🥰2