Вот примерно так выглядит запуск модульного голосового ассистента в тест-стенде.
Хотя все и тестировалось уже, но первый запуск модульной версии все-равно ощущается магически. Навыки можно удалять и добавлять. В этом стенде пока первые и основные модули. KB и расширенные знания пока убраны.
Эта система работает несмотря на то, что носителей этого языка в 160 раз меньше, чем русского! LLM хромает, ни о какой Сайге и речь не идет)
Под капотом: аккуратно отлаженный и отбенчмарканный набор из embeddings, переводчиков, LLM с guidance и структурированных баз знаний.
Conversation history и TTS/STT за бортом, т.к. за это отвечает другой сервис.
Ваш, @llm_under_hood 🤗
Хотя все и тестировалось уже, но первый запуск модульной версии все-равно ощущается магически. Навыки можно удалять и добавлять. В этом стенде пока первые и основные модули. KB и расширенные знания пока убраны.
Эта система работает несмотря на то, что носителей этого языка в 160 раз меньше, чем русского! LLM хромает, ни о какой Сайге и речь не идет)
Под капотом: аккуратно отлаженный и отбенчмарканный набор из embeddings, переводчиков, LLM с guidance и структурированных баз знаний.
Conversation history и TTS/STT за бортом, т.к. за это отвечает другой сервис.
Ваш, @llm_under_hood 🤗
🔥13👏3
На этой неделе получится поработать над LLM бенчмарками на Октябрь! Что там хочется увидеть в первую очередь?
Anonymous Poll
17%
Вернуть Anthropic Claude
47%
Mistral-7B
19%
GPT-3.5-turbo-instruct
15%
Импортировать больше кейсов
2%
Другое - отвечу в комментах
🙏1🤗1
LLM Product Benchmark - October edition.
Mistral 7B instruct "рвет на тряпки" тяжеловесные модели в продуктовых задачах.
В плюс им не только классные результаты, но и лицензия Apache, которая будет посвободнее, чем лицензия Llama 2.
Даешь больше таких классных моделей!
В этом бенчмарке еще добавилось 49 новых evals из проектов. Оценки способностей моделей на продуктовых задачах стали поточнее.
Ваш, @llm_under_hood 🤗
PS: Со временем улучшаются guidance, промпты и few-shots во всех тестах. Это позволяет выжать еще больше качества из существующих моделей.
Mistral 7B instruct "рвет на тряпки" тяжеловесные модели в продуктовых задачах.
В плюс им не только классные результаты, но и лицензия Apache, которая будет посвободнее, чем лицензия Llama 2.
Даешь больше таких классных моделей!
В этом бенчмарке еще добавилось 49 новых evals из проектов. Оценки способностей моделей на продуктовых задачах стали поточнее.
Ваш, @llm_under_hood 🤗
PS: Со временем улучшаются guidance, промпты и few-shots во всех тестах. Это позволяет выжать еще больше качества из существующих моделей.
🔥12❤2
Завезли Сайгу на базе Mistral 7B. Говорят, что очень достойно работает на русском языке!
Если так дело пойдет, придется делать бенчмарки мультиязычными.
Ссылки от Ильи Гусева:
LoRA: https://huggingface.co/IlyaGusev/saiga_mistral_7b_lora
gguf: https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf
демка: https://huggingface.co/spaces/IlyaGusev/saiga_mistral_7b_gguf
Ваш, @llm_under_hood 🤗
Если так дело пойдет, придется делать бенчмарки мультиязычными.
Ссылки от Ильи Гусева:
LoRA: https://huggingface.co/IlyaGusev/saiga_mistral_7b_lora
gguf: https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf
демка: https://huggingface.co/spaces/IlyaGusev/saiga_mistral_7b_gguf
Ваш, @llm_under_hood 🤗
🔥13❤2👍1
Хотите модель размера 7B, которая догоняет Llama2 chat 70B?
Ребята из Hugging Face работают над такой на базе Mistral 7B.
Похоже, что LLama 2 с такими темпами скоро выйдет из моды. Mistral 7B уделывает Llama 2 7B, 13B, а 70B достаточно ресурсоемка.
Post: LinkedIn
Демка: HuggingFace
Ваш, @llm_under_hood 🤗
Спасибо Айгизу за ссылку.
Ребята из Hugging Face работают над такой на базе Mistral 7B.
Похоже, что LLama 2 с такими темпами скоро выйдет из моды. Mistral 7B уделывает Llama 2 7B, 13B, а 70B достаточно ресурсоемка.
Post: LinkedIn
Демка: HuggingFace
Ваш, @llm_under_hood 🤗
Спасибо Айгизу за ссылку.
🔥17
"Take a deep breath", - говорите?
Вот вам пример того, как быстро человеческие привычки становятся частью ChatGPT.
Совсем недавно, 7 сентября, вышла статья от Google DeepMind про улучшение ответов ChatGPT при использование фраз вроде "Take a deep breath and work on this step by step"
Сегодня, 12 октября, ChatGPT уже сам предлагает мне выдохнуть. А я всего-лишь попросил интегрировать приложение на Vue и Flask API.
И откуда только он нахватался такого? 🤣
Update: оказывается, я сам поставил инструкцию „Take a deep breath“ в custom prompt у ChatGPT (полезная штука, кстати). И благополучно забыл.
А когда я начал просить писать код одновременно на нескольких уровнях (html, css, js, vue.js, Blumi, python, Flask), ChatGPT начало клинить.
Наверное, сам себя успокаивал 😁
Ваш, @llm_under_hood 🤗
Вот вам пример того, как быстро человеческие привычки становятся частью ChatGPT.
Совсем недавно, 7 сентября, вышла статья от Google DeepMind про улучшение ответов ChatGPT при использование фраз вроде "Take a deep breath and work on this step by step"
Сегодня, 12 октября, ChatGPT уже сам предлагает мне выдохнуть. А я всего-лишь попросил интегрировать приложение на Vue и Flask API.
И откуда только он нахватался такого? 🤣
Update: оказывается, я сам поставил инструкцию „Take a deep breath“ в custom prompt у ChatGPT (полезная штука, кстати). И благополучно забыл.
А когда я начал просить писать код одновременно на нескольких уровнях (html, css, js, vue.js, Blumi, python, Flask), ChatGPT начало клинить.
Наверное, сам себя успокаивал 😁
Ваш, @llm_under_hood 🤗
🤣19😁4❤2
#клиентспросил Зачем нужно распознавание картинок в ChatGPT?
Картинка лучше тысячи слов.
Вот один из примеров. Даем html layout и просим его поправить "чтобы было, как на картинке".
А можно даже не давать скриншот, а просто набросок от руки. ChatGPT разберется и так.
Ваш, @llm_under_hood 🤗
Картинка лучше тысячи слов.
Вот один из примеров. Даем html layout и просим его поправить "чтобы было, как на картинке".
А можно даже не давать скриншот, а просто набросок от руки. ChatGPT разберется и так.
Ваш, @llm_under_hood 🤗
🔥9❤1🥰1🤗1
А вы знали, что в Replit есть довольно неплохой AI for Coding? Его даже можно попробовать бесплатно.
А вы знали, что эту LLM модель обучили на 1T tokens и уже выложили в HuggingFace?
А они - есть :)
Ваш, @llm_under_hood 🤗
PS: Про это и про паттерны применения AI в программировании я буду рассказывать на бесплатном online webinar-e во второй половине октября. Можно еще записаться. Отбирать анкеты участников будет ChatGPT по промпту "кому оно будет полезнее всего?" 😊
А вы знали, что эту LLM модель обучили на 1T tokens и уже выложили в HuggingFace?
А они - есть :)
Ваш, @llm_under_hood 🤗
PS: Про это и про паттерны применения AI в программировании я буду рассказывать на бесплатном online webinar-e во второй половине октября. Можно еще записаться. Отбирать анкеты участников будет ChatGPT по промпту "кому оно будет полезнее всего?" 😊
👍7🤣2
Хочется знать, как файн-тюнить модели? Причем не только под новые задачи, но и на новые языки?
В группе Языки разные-код один, собрались эксперты, которые обучают и тюнят модели на практике. Они занимаются этим для спасения языков, активно делятся своими результатами и наработками.
Самая хардкорная ML часть наших проектов тоже обсуждается там 😊
На скриншоте пример одного из последних практически полезных постов в чатике.
Ваш, @llm_under_hood 🤗
В группе Языки разные-код один, собрались эксперты, которые обучают и тюнят модели на практике. Они занимаются этим для спасения языков, активно делятся своими результатами и наработками.
Самая хардкорная ML часть наших проектов тоже обсуждается там 😊
На скриншоте пример одного из последних практически полезных постов в чатике.
Ваш, @llm_under_hood 🤗
🔥4👏1🤗1
В чатике просят бенчмарки Mistral 7B Open Orca и Mistral 7B Zephyr, поэтому вот предварительная версия.
Чем эти модели потенциально хороши? Это файн-тюны новой по-настоящему открытой модели Mistral 7B. Базовая модель очень хороша (догоняет более дорогую в запуске Llama2 13B), а уж файн-тюны должны быть еще лучше.
Но результаты "из коробки" на продуктовых задачах так себе.
Это не потому, что они слабы. Просто, модели при ответе постоянно несет. Начинают ответ с расшаркиваний, не могут вовремя остановиться.
Так что придется в бенчмарк добавлять более сильный guidance. Это потенциально улучшит качество ответов всех локальных моделей.
Поэтому пока ноябрьская версия бенчмарка - Preview.
Ваш, @llm_under_hood 🤗
Чем эти модели потенциально хороши? Это файн-тюны новой по-настоящему открытой модели Mistral 7B. Базовая модель очень хороша (догоняет более дорогую в запуске Llama2 13B), а уж файн-тюны должны быть еще лучше.
Но результаты "из коробки" на продуктовых задачах так себе.
Это не потому, что они слабы. Просто, модели при ответе постоянно несет. Начинают ответ с расшаркиваний, не могут вовремя остановиться.
Так что придется в бенчмарк добавлять более сильный guidance. Это потенциально улучшит качество ответов всех локальных моделей.
Поэтому пока ноябрьская версия бенчмарка - Preview.
Ваш, @llm_under_hood 🤗
❤12👍1
Хотите потестить классную мультимодальную модель? 🎨
Чтобы она могла читать картинки, разбирать графики, а то и таблицы?
Adept.ai выложили Fuyu-8B (HuggingFace ссылка) с лицензией CC BY-NC ⚠️. Открытая, можно играться, но в коммерческих целях нельзя.
Начало неплохое. Будем ждать, пока кто-нибудь не повысит ставки и не зарелизит полностью открытую модель.
Ваш, @llm_under_hood 🤗
Чтобы она могла читать картинки, разбирать графики, а то и таблицы?
Adept.ai выложили Fuyu-8B (HuggingFace ссылка) с лицензией CC BY-NC ⚠️. Открытая, можно играться, но в коммерческих целях нельзя.
Начало неплохое. Будем ждать, пока кто-нибудь не повысит ставки и не зарелизит полностью открытую модель.
Ваш, @llm_under_hood 🤗
🔥11❤2
ChatGPT, нарисуй мне mermaid diagram! $MERMAID_CODE
Теперь вы знаете, как ChatGPT рисует диаграммы по спецификациям. 🤣
А вот, кстати, если скормить ему набросок state machine от руки и попросить написать код для нее на питоне - это он делает запросто.
Ваш, @llm_under_hood 🤗
Теперь вы знаете, как ChatGPT рисует диаграммы по спецификациям. 🤣
А вот, кстати, если скормить ему набросок state machine от руки и попросить написать код для нее на питоне - это он делает запросто.
Ваш, @llm_under_hood 🤗
🤣6😁1
🏆 ChatGPT Challenge! 🏆
Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.
Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉
Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊
На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.
Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.
Ваш, @llm_under_hood 🤗
Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.
Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉
Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊
На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.
Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.
Ваш, @llm_under_hood 🤗
🔥6😁3🤔1
OpenAI добавили еще один пример сбора feedback в интерфейс ChatGPT. Уже 21-ый!
Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.
Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.
Ваш, @llm_under_hood 🤗
Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.
Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.
Ваш, @llm_under_hood 🤗
🔥4🤗4
Выдайте ChatGPT задачу и тесты для проверки. И пусть он сам возится с правками, запуском и тестированием до победного.
Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.
Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.
Ваш, @llm_under_hood 🤗
Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.
Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.
Ваш, @llm_under_hood 🤗
🔥9❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Новый добрый и полезный продукт с LLM под капотом!
Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.
Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.
Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.
При этом проекты очень открытые - можно читать и задавать вопросы:
(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала
Ваш, @llm_under_hood 🤗
Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.
Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.
Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.
При этом проекты очень открытые - можно читать и задавать вопросы:
(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала
Ваш, @llm_under_hood 🤗
❤7🔥4👍1👎1🤗1
Быстро прокачать человека до data-scientist-а
Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.
Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.
Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.
Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.
Ваш, @llm_under_hood 🤗
Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.
Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.
Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.
Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.
Ваш, @llm_under_hood 🤗
🔥12❤1🤗1
Ответ на первую кату, где нужно было проанализировать БД и построить графики продаж.
Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.
Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.
Ваш, @llm_under_hood 🤗
PS: Интересует вторая ката?
Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.
Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.
Ваш, @llm_under_hood 🤗
PS: Интересует вторая ката?
🔥20👍5
gold2.sqlite
1.2 MB
Продолжаем быстро прокачивать человека с нуля до опытного Data Science / ML инженера (с LLM под рукой 😎). Первая ката.
Ката 2: Анализ трендов
Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?
Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.
Ваш, @llm_under_hood 🤗
Ката 2: Анализ трендов
Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?
Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.
Ваш, @llm_under_hood 🤗
🔥8👍2
Вышла новая модель OpenChat 7B. По оценкам авторов она достигает качества мартовской ChatGPT 🚀
Update: по нашим бенчмаркам - на уровне ChatGPT 3.5-0301
OpenChat 7B сделана на базе Mistral 7B, но в отличие от последнего проходит "тест на банан" (via @konstantinmastak): Я на кухне, положил тарелку на банан. Затем я отнес тарелку в спальню. Где сейчас банан?
Ну и по-русски разговаривает только так 🔥
Ссылки: демка, github, HuggingFace, paper.
Ваш, @llm_under_hood 🤗
Update: по нашим бенчмаркам - на уровне ChatGPT 3.5-0301
OpenChat 7B сделана на базе Mistral 7B, но в отличие от последнего проходит "тест на банан" (via @konstantinmastak): Я на кухне, положил тарелку на банан. Затем я отнес тарелку в спальню. Где сейчас банан?
Ну и по-русски разговаривает только так 🔥
Ссылки: демка, github, HuggingFace, paper.
Ваш, @llm_under_hood 🤗
🔥26😁3
OpenChat 7B действительно догоняет GPT-3.5 v1-0301 на наших LLM бенчмарках!
И это очень круто, что такая маленькая модель догнала и сравнялась со старой и младшей моделью от ChatGPT. Лиха беда начало. Ведь тут открытая лицензия.
Где-то в уголке кусает локти LLama 70B 🤣
Ваш, @llm_under_hood 🤗
И это очень круто, что такая маленькая модель догнала и сравнялась со старой и младшей моделью от ChatGPT. Лиха беда начало. Ведь тут открытая лицензия.
Где-то в уголке кусает локти LLama 70B 🤣
Ваш, @llm_under_hood 🤗
🔥20❤7👍1