При создании голосовых помощников одним из первых шагов является определение намерения пользователя - intent.

Самый простой способ - использовать небольшой словарик векторов, оптимизируя его на истории запросов. И потом просто выбирать наилучшее вхождение.

Основной нюанс - модель для для вычисления векторов должна подходить под задачу. На скриншоте пример решения подобной задачки для башкирского языка, с использованием модели от @cointegrated.

На самом деле там точность не 89%, а больше. Просто весь тестовый dataset запросов было лень размечать на intents. Нас пока интересуют только сказки.

А вот дальнейший NER и подбор сказки под пожелания пользователя - это уже отдельная песня. Если интересно, могу потом рассказать.

Ваш, @llm_under_hood 🤗

Как так получается, что создатели продуктов и пользователи никак не могут найти друг друга?

Создатели собрались где-то здесь, на острове инструментов и решений. А пользователи - потерялись вдали в темноте собственных проблем, что находится за разломом перспектив. У них уже даже язык какой-то другой стал…

Не мог не поделиться метафорой, которую нашел в процессе подговки к воркшопу по продуктовой разработке :)

Ваш, @llm_under_hood 🤗

Вот примерно так выглядит запуск модульного голосового ассистента в тест-стенде.

Хотя все и тестировалось уже, но первый запуск модульной версии все-равно ощущается магически. Навыки можно удалять и добавлять. В этом стенде пока первые и основные модули. KB и расширенные знания пока убраны.

Эта система работает несмотря на то, что носителей этого языка в 160 раз меньше, чем русского! LLM хромает, ни о какой Сайге и речь не идет)

Под капотом: аккуратно отлаженный и отбенчмарканный набор из embeddings, переводчиков, LLM с guidance и структурированных баз знаний.

Conversation history и TTS/STT за бортом, т.к. за это отвечает другой сервис.

Ваш, @llm_under_hood 🤗

LLM Product Benchmark - October edition.

Mistral 7B instruct "рвет на тряпки" тяжеловесные модели в продуктовых задачах.

В плюс им не только классные результаты, но и лицензия Apache, которая будет посвободнее, чем лицензия Llama 2.

Даешь больше таких классных моделей!

В этом бенчмарке еще добавилось 49 новых evals из проектов. Оценки способностей моделей на продуктовых задачах стали поточнее.

Ваш, @llm_under_hood 🤗

PS: Со временем улучшаются guidance, промпты и few-shots во всех тестах. Это позволяет выжать еще больше качества из существующих моделей.

Завезли Сайгу на базе Mistral 7B. Говорят, что очень достойно работает на русском языке!

Если так дело пойдет, придется делать бенчмарки мультиязычными.

Ссылки от Ильи Гусева:
LoRA: https://huggingface.co/IlyaGusev/saiga_mistral_7b_lora
gguf: https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf
демка: https://huggingface.co/spaces/IlyaGusev/saiga_mistral_7b_gguf

Ваш, @llm_under_hood 🤗

Хотите модель размера 7B, которая догоняет Llama2 chat 70B?

Ребята из Hugging Face работают над такой на базе Mistral 7B.

Похоже, что LLama 2 с такими темпами скоро выйдет из моды. Mistral 7B уделывает Llama 2 7B, 13B, а 70B достаточно ресурсоемка.

Post: LinkedIn
Демка: HuggingFace

Ваш, @llm_under_hood 🤗

Спасибо Айгизу за ссылку.

"Take a deep breath", - говорите?

Вот вам пример того, как быстро человеческие привычки становятся частью ChatGPT.

Совсем недавно, 7 сентября, вышла статья от Google DeepMind про улучшение ответов ChatGPT при использование фраз вроде "Take a deep breath and work on this step by step"

Сегодня, 12 октября, ChatGPT уже сам предлагает мне выдохнуть. А я всего-лишь попросил интегрировать приложение на Vue и Flask API.

И откуда только он нахватался такого? 🤣

Update: оказывается, я сам поставил инструкцию „Take a deep breath“ в custom prompt у ChatGPT (полезная штука, кстати). И благополучно забыл.

А когда я начал просить писать код одновременно на нескольких уровнях (html, css, js, vue.js, Blumi, python, Flask), ChatGPT начало клинить.

Наверное, сам себя успокаивал 😁

Ваш, @llm_under_hood 🤗

#клиентспросил Зачем нужно распознавание картинок в ChatGPT?

Картинка лучше тысячи слов.

Вот один из примеров. Даем html layout и просим его поправить "чтобы было, как на картинке".

А можно даже не давать скриншот, а просто набросок от руки. ChatGPT разберется и так.

Ваш, @llm_under_hood 🤗

А вы знали, что в Replit есть довольно неплохой AI for Coding? Его даже можно попробовать бесплатно.

А вы знали, что эту LLM модель обучили на 1T tokens и уже выложили в HuggingFace?

А они - есть :)

Ваш, @llm_under_hood 🤗

PS: Про это и про паттерны применения AI в программировании я буду рассказывать на бесплатном online webinar-e во второй половине октября. Можно еще записаться. Отбирать анкеты участников будет ChatGPT по промпту "кому оно будет полезнее всего?" 😊

Хочется знать, как файн-тюнить модели? Причем не только под новые задачи, но и на новые языки?

В группе Языки разные-код один, собрались эксперты, которые обучают и тюнят модели на практике. Они занимаются этим для спасения языков, активно делятся своими результатами и наработками.

Самая хардкорная ML часть наших проектов тоже обсуждается там 😊

На скриншоте пример одного из последних практически полезных постов в чатике.

Ваш, @llm_under_hood 🤗

В чатике просят бенчмарки Mistral 7B Open Orca и Mistral 7B Zephyr, поэтому вот предварительная версия.

Чем эти модели потенциально хороши? Это файн-тюны новой по-настоящему открытой модели Mistral 7B. Базовая модель очень хороша (догоняет более дорогую в запуске Llama2 13B), а уж файн-тюны должны быть еще лучше.

Но результаты "из коробки" на продуктовых задачах так себе.

Это не потому, что они слабы. Просто, модели при ответе постоянно несет. Начинают ответ с расшаркиваний, не могут вовремя остановиться.

Так что придется в бенчмарк добавлять более сильный guidance. Это потенциально улучшит качество ответов всех локальных моделей.

Поэтому пока ноябрьская версия бенчмарка - Preview.

Ваш, @llm_under_hood 🤗

Хотите потестить классную мультимодальную модель? 🎨

Чтобы она могла читать картинки, разбирать графики, а то и таблицы?

Adept.ai выложили Fuyu-8B (HuggingFace ссылка) с лицензией CC BY-NC ⚠️. Открытая, можно играться, но в коммерческих целях нельзя.

Начало неплохое. Будем ждать, пока кто-нибудь не повысит ставки и не зарелизит полностью открытую модель.

Ваш, @llm_under_hood 🤗

ChatGPT, нарисуй мне mermaid diagram! $MERMAID_CODE

Теперь вы знаете, как ChatGPT рисует диаграммы по спецификациям. 🤣

А вот, кстати, если скормить ему набросок state machine от руки и попросить написать код для нее на питоне - это он делает запросто.

Ваш, @llm_under_hood 🤗

🏆 ChatGPT Challenge! 🏆

Нарисуйте рисунок шестерни наутилуса, используя только ChatGPT.

Код писать и исполнять самому нельзя. Можно только писать текстом в промпт. Копипастить между своими промптами можно 😉

Рисунки с результатами постим в комменты. Автору лучшего рисунка нужно будет рассказать, как он убедил ленивого ChatGPT сделать это! 😊

На картинке изображена правильная форма шестеренок. Но достаточно нарисовать только одну шестерню.

Самое главное: форма должна быть механически корректной. Если распечатать на 3D-принтере пару шестеренок, они должны крутиться.

Ваш, @llm_under_hood 🤗

OpenAI добавили еще один пример сбора feedback в интерфейс ChatGPT. Уже 21-ый!

Они - молодцы. Все эти мелочи помогают собирать данные для дальнейшего улучшения продукта.

Добавил этот пример в копилку кейсов Capture Feedback на ML Product Labs.

Ваш, @llm_under_hood 🤗

Выдайте ChatGPT задачу и тесты для проверки. И пусть он сам возится с правками, запуском и тестированием до победного.

Это мой любимый productivity hack при работе с Python. Запускается пока только в Advanced Data Analytics режиме, но выглядит прямо магически.

Работает еще лучше, если в контекст протащить необходимую терминологию и помочь ChatGPT выразить ее в коде.

Ваш, @llm_under_hood 🤗

Новый добрый и полезный продукт с LLM под капотом!

Наши марийские друзья объявили о старте проекта iВика - умной колонки на марийском языке! Задача такая же, как и у homai - передавать родную культуру и сохранять речь.

Видео - демонстрация будущего продукта Андреем Чемышевым. Пока прототип на основе LLM-ок homai, но дальше под капотом заработают родные марийские модели.

Самое классное в этих проектах: маленькие, но дружные и очень эффективные команды. Это прямо продуктовые R&D стартапы в hardcore режиме, которые выжимают максимально возможное из доступных ресурсов.

При этом проекты очень открытые - можно читать и задавать вопросы:

(1) разработка homai, рассказы доступным языком про проблемы и достижения проекта - новостная лента.
(2) сбор языковых данных и обучение моделей - один чат на все проекты
(3) практическое использование LLM под капотом умных колонок - наш родной чат канала

Ваш, @llm_under_hood 🤗

Быстро прокачать человека до data-scientist-а

Такой эксперимент я начал в одной из компаний. Новый сотрудник не работал c питоном, данными и data-science экосистемой вообще. DS/ML команде хочется его быстро прокачать, чтобы он мог помогать им на крупном проекте.

Пару лет назад его бы отправили грызть учебники и курсы на Coursera. Но теперь времена поменялись, появился ChatGPT. Можно схитрить и сэкономить кучу времени.

Поэтому попробуем сделать из него опытного пользователя AI в Data Science задачах. DS/ML команда потом оценит его результативность.

Пример самой первой каты (практического задания для самостоятельного изучения) - в комментах.

Ваш, @llm_under_hood 🤗

Ответ на первую кату, где нужно было проанализировать БД и построить графики продаж.

Просто кидаем выгрузку БД в ChatGPT (режим ADA) и копируем сам текст задания. Жмем Enter и через пару минут любуемся графиком продаж.

Будущий "GPT-first data scientist с нуля" смог ее сделать за пару дней.

Ваш, @llm_under_hood 🤗

PS: Интересует вторая ката?

Продолжаем быстро прокачивать человека с нуля до опытного Data Science / ML инженера (с LLM под рукой 😎). Первая ката.

Ката 2: Анализ трендов

Проанализируйте БД и дайте ответ - какие продукты будут наиболее прибыльными в следующем году? Что их объединяет?

Чем больше в решении используется ChatGPT, тем лучше. Идеальный вариант, если ChatGPT сделает всю работу от начала до конца.

Ваш, @llm_under_hood 🤗