Какие русскоязычные модели нынче популярны?

Вот вам график!

Ваш, @llm_under_hood 🤗

PS: Брал все модели, у которых в model card прописан язык ru.

Новая GPT-3.5 instruct модель - хороша! 🌟

Я упоминал эту модель ранее. А вот теперь и пара практических оценок - см бенчмарк на картинке.

Модель не идеальна, но в некоторых категориях ее качество дотягивает до уровня GPT-4. На задачах типа marketing и CRM теперь можно начинать экономить раз в 20 🤑

Это и сделали ребята из Replit на одной из задач: `We just replaced GPT-4 on a backend task with the new gpt-3.5-turbo with no accuracy hit. Faster + cheaper.` Скриншот с их оценками в комментариях.

Как использовать такую модель? Да как и обычные complete модели или LLama. У меня с первого раза заработал такой human_gpt промпт:

{% set stop = ["###"] -%}
### human: {{ eval.system }}

### response: Sure! Sounds good.
{%  for e in eval.shots %}
### human: {{ e.request }}

### response:{% if not e.is_last %}{{ e.response }}
{% endif %}{%- endfor %}

А ведь это еще базовая completion модель, а не "купированая" RLHF. У нее больше творческих способностей. Пример в следующем посте.

Ваш, @llm_under_hood 🤗

Клиент спросил - как можно получить разнообразные тексты из одних исходных данных?

Вот пример генерации маркетинговых текстов свежей gpt-3.5-turbo-instruct. Это один и тот же исходный запрос.

Под капотом
Prompt tokens ~75. temp=0.7-1. Guidance, чтобы направить мышление модели в разные стороны и не дать съехать в общую колею.

Как сделать такой guidance?
- В разные запросы ставить negative guidance на типовые мусорные ответы. Его можно прибить гвоздями один раз.
- Подкручивать позитивный guidance на разные итерации.
- Ставить разные формулировки второстепенных частей промпта, чтобы модель "выбить" в другую часть пространства ответа.

Почему именно gpt-instruct?
Как рассказывал Andrej Karpathy в MS Build, у таких моделей больше энтропии. В отличие от chat моделей, у них нет меньше RLHF дрессировки, которая гасит творческие способности.

А что клиент?
Клиент в первую очередь порадовался скорости и качеству. Во вторую очередь - простоте и экономии на ChatGPT-4.

Ваш, @llm_under_hood 🤗

#клиентспросил

Какая разница - gpt-3.5 chat или instruct? Это же хайп без особой практической пользы? 🤪

Если прогнать генерацию текста из поста выше на gpt-3.5-chat модели, то вот какие результаты получаются. Куча повторов, даже guidance не помогает!

Про падение скорости генерации я и не говорю.

Откуда скорость?
(1) chat-модель более болтлива. Больше tokens не по делу - дольше генерация.
(2) instruct модель отвечает быстрее сама по себе. C идентичным промптом на 10 запросах у чат модели -19 tokens/sec, а у instruct - 60 tokens/sec. Весь бенчмарк она выполняет в 2.8 быстрее.

Ваш, @llm_under_hood 🤗

Каталог применений LLM в продуктах выложен на лабах: https://labs.abdullin.com/jobs-for-llm

Там есть problem/solution карточки кейсов, в реализации которых я уверен лично. Почти над всеми пришлось попотеть 😅

(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)

Ваш, @llm_under_hood 🤗

#клиентспросил

Я собрал посты с вопросами от клиентов в новую рубрику: #клиентспросил

Прошлые посты теперь тоже можно найти по этому тэгу.

Ваш, @llm_under_hood 🤗

Только что клиент прислал отзывы по новой версии продукта ассистент маркетолога в компании.

Если кратко, там интегрировали новую версию базы знаний, которую клиент заполнил сам.

Feedback звучит примерно так: все стало лучше, теперь мы не только можем про все наши продукты генерировать тексты, но и сами тексты хоть сейчас публикуй. Плотность информации выросла. Но нам еще бы хотелось писать не только про продукты, но и про отрасли и материалы. А еще интерактивно подкручивать базу знаний и объем фактов в итоговых текстах по мере генерации.

И это они пока не в курсе про возможность интеграции всего с LinkedIn Sales Navigator ;)

У кого есть успешные кейсы генерации маркетинговых текстов или проблемы с этим? Пишите в комментарии!

Ваш, @llm_under_hood 🤗

Вышел бенчмарк LLM на русскоязычных задачах от @alexkuk!

Если кратко, то Saiga2_70B - это лучшее из протестированного. Vicuna_13b неожиданно хороша, а gigachat хуже сайги 7B.

Ознакомиться с бенчмарком можно на github.

Ваш, @llm_under_hood 🤗

5 неудобных вопросов при найме AI

#клиентспросил : "Ринат, сотрудники нашего партнера хотят работать с Legal AI продуктом конкурента. Что делать?"

Ответом стал список из 5 неудобных вопросов, которые они могут задать компании-поставщику при найме их AI.

1. Какие именно AI модели вы используете в своем продукте? Кто их поставщик, и какие лицензии у моделей?

Такие вещи в секрете поставщик держать не имеет права, т.к. у каждой модели есть свои ограничения и условия использования. Например семейство Llama 2 разрешено использовать только с английским языком. А ChatGPT 4 страдает от высокой нагрузки в пиковые часы.

2. Можете ли вы дать письменную гарантию, что мои данные не попадут к кому-то еще?

Например, если поставщик услуг - это Azure OpenAI, то все данные сохраняются в Azure на 30 дней (за исключением approved customers). Но, конечно, лучше всего, если в продукте можно использовать только локальные модели.

3. Вы используете data anonymisation? Можете ли вы дать гарантии, что процесс 100% надежен? Продемонстрируйте нам анонимизацию на наших данных.

Анонимизацию данных обещать легко. Но она может и пропускать некоторые нюансы, про которые поставщик может не знать. Лучше это проговорить и проверить самостоятельно заранее.

4. У вас есть AI-driven information retrieval? Давайте сделаем интерактивный тест вашей системы! Загрузим пачку документов на 1000 страниц и зададим двадцать вопросов. У 10 из них нет ответов, а у 10 есть ответы на конкретных страницах.

Пачку документов могут приготовить ваши сотрудники на основе своей ежедневной работы. Вопросы лучше них тоже никто не составит. Главное, не показывать документы и вопросы заранее.

5. Все делают ошибки. Даже OpenAI ChatGPT учится на них. Как можно в вашей системе пользователю оставить feedback, и как скоро система система учтет его? Покажите нам!

Вам работать с новым AI инструментом не один год. Это сотрудничество будет более плодотворным, если этот инструмент будет адаптироваться не только под текущую специфику, но и под все новое.

Эти вопросы будут неудобны в тех случаях, если поставщик AI-продукта продает обертку на LlamaIndex как “технологический прорыв”. Если же они продумали все и сделали качественный продукт, то ответить на эти вопросы будет только в радость.

Ваш, @llm_under_hood 🤗

Больше конкуренции для OpenAI ChatGPT!

Amazon вкладывает до 4 миллиардов долларов в Anthropic. Anthropic - это авторы единственного реально работающего (по бенчмаркам) конкурента для chatGPT - Claude.

Amazon им подгонят денег, чипов (Trainium and Inferentia) и помогут с разворачиванием на Amazon Bedrock.

Все как с Azure + OpenAI. Объявление тут. Обсуждение на HackerNews.

Ваш, @llm_under_hood 🤗

Прямо праздник 🎉 ChatGPT выкатывает мультимодальность!

C ChatGPT (который продукт, а не API) скоро можно будет не только поговорить, но и обсудить картинки. Эта фишка появится в мобильных приложениях Android/iOS в ближайшие недели.

Причем, если голосом нынче никого не удивишь, то вот нормальную работу с картинками клиенты ждут очень давно. Это та самая мультимодальность, которую обещали при выходе ChatGPT-4. Кажется, что это было в прошлой жизни, да?

Вот тут можно прочитать подробности: Объявление OpenAI.

Ваш, @llm_under_hood 🤗

Оптимальные конфиги для запуска Llama 2

Ребята из Hugging Face протестировали 60 разных конфигураций для запуска версий Llama2 на AWS.

$2.21 за 1M tokens Llama2 13B на AWS - эту цифру стоит запомнить. Запускали с TGI и GPTQ.

Детали запуска и исходный когд можно найти в самой статье.

Вот три оптимальные конфигурации под разные задачи:

- cost-effective: 13B Llama 2 with GPTQ on g5.2xlarge delivers 71 tokens/sec at an hourly cost of $1.55
- max throughput: 13B Llama 2 reached 296 tokens/sec on ml.g5.12xlarge at $2.21 per 1M tokens.
- min latency: 7B Llama 2 achieved 16ms per token on ml.g5.12xlarge

Жалко, что там Llama2 70B не особо засветилась.

Ваш, @llm_under_hood 🤗

Бесплатный Webinar - AI Coding Assistants: Как программисту эффективно использовать AI

Недавно SPAR попросил меня показать, как эффективно использовать AI в разработке. А потом еще в одной компании попросили повторить для них.

И вот я решил упаковать это в вебинар и провести его в нашем community - сначала попробовать на небольшой когорте, а потом масштабировать на более широкий круг.

Прочитать подробнее и записаться в первую когорту (10 человек) можно в этой форме. Участие для этой когорты бесплатно.

Если вдруг запишется больше 10 желающих, то отбирать в первую когорту будет ChatGPT с заданием “кому этот вебинар принесет больше всего пользы?”

Краткое описание
Появление GPT/LLM для программиста сравнимо с получением в помощники личной команды full-stack разработчиков. Они, конечно, иногда тупят, но зато никогда не устают от написания тестов и не жалуются на просьбы “в последний раз поправить интерфейс”.

Как программисту спихнуть больше работы на AI?

В этом online-вебинаре мы обсудим паттерны программирования, которые удобно использовать с AI code assistants в повседневной работе. Ну и без практики никуда - попробуем уговорить AI сделать небольшой продукт.

Подробнее - в форме.

Ваш, @llm_under_hood 🤗

Вот конспекты того полезного, что участники одного семинара вынесли для себя: один, другой

Больше способов запускать любимые модельки!

- Amazon объявляет, что Bedrock теперь в режиме GA. И там будут модельки от AI21 Labs, Anthropic, Cohere, Stability AI. Плюс планируется LLama2 до 70B.

- Cloudflare запускает Workers AI с Serverless GPU. В наличие мелкие модели уровня llama-2-7b-chat-int8, но зато они будут в 100 центрах к концу года, а потом почти по всему миру к концу 2025.

В перспективе модельки уровня LLama2-13B. Плюс всякие векторные БД, ebeddings и прочая мелочевка. Похоже, что они берут не размером, а возможностью запустить модель поближе к себе.

Ваш, @llm_under_hood 🤗

Кому Claude c тюнингом? 😁

Anthropic Claude доступен на AWS Bedrock без всяких долгих ожиданий.

1. Выбираем Bedrock
2. Переходим в регион N.Virginia (больше моделей и поближе)
3. Запрашиваем доступ, ждем пару минут
4. Модель доступна

Теперь это серьезно, т.к. есть цены за 1000 input/output tokens:

- Claude Instant: $0.00163/$0.00551
- Claude: $0.01102/$0.03268

А еще есть цены за provisioned throughput, как базовых так и тюненых моделей:
- За 1 час Сlaude Instant c подпиской на 1 месяц - ~$40, c подпиской на 6 месяцев - $22
- За час Claude - $63/$35

Причем эта стоимость не зависит - используется базовая модель или файн-тюн!

Можно даже попытаться прикинуть размер модели, зная стоимость EC в AWS

Ваш, @llm_under_hood 🤗

При создании голосовых помощников одним из первых шагов является определение намерения пользователя - intent.

Самый простой способ - использовать небольшой словарик векторов, оптимизируя его на истории запросов. И потом просто выбирать наилучшее вхождение.

Основной нюанс - модель для для вычисления векторов должна подходить под задачу. На скриншоте пример решения подобной задачки для башкирского языка, с использованием модели от @cointegrated.

На самом деле там точность не 89%, а больше. Просто весь тестовый dataset запросов было лень размечать на intents. Нас пока интересуют только сказки.

А вот дальнейший NER и подбор сказки под пожелания пользователя - это уже отдельная песня. Если интересно, могу потом рассказать.

Ваш, @llm_under_hood 🤗

Как так получается, что создатели продуктов и пользователи никак не могут найти друг друга?

Создатели собрались где-то здесь, на острове инструментов и решений. А пользователи - потерялись вдали в темноте собственных проблем, что находится за разломом перспектив. У них уже даже язык какой-то другой стал…

Не мог не поделиться метафорой, которую нашел в процессе подговки к воркшопу по продуктовой разработке :)

Ваш, @llm_under_hood 🤗

Вот примерно так выглядит запуск модульного голосового ассистента в тест-стенде.

Хотя все и тестировалось уже, но первый запуск модульной версии все-равно ощущается магически. Навыки можно удалять и добавлять. В этом стенде пока первые и основные модули. KB и расширенные знания пока убраны.

Эта система работает несмотря на то, что носителей этого языка в 160 раз меньше, чем русского! LLM хромает, ни о какой Сайге и речь не идет)

Под капотом: аккуратно отлаженный и отбенчмарканный набор из embeddings, переводчиков, LLM с guidance и структурированных баз знаний.

Conversation history и TTS/STT за бортом, т.к. за это отвечает другой сервис.

Ваш, @llm_under_hood 🤗

LLM Product Benchmark - October edition.

Mistral 7B instruct "рвет на тряпки" тяжеловесные модели в продуктовых задачах.

В плюс им не только классные результаты, но и лицензия Apache, которая будет посвободнее, чем лицензия Llama 2.

Даешь больше таких классных моделей!

В этом бенчмарке еще добавилось 49 новых evals из проектов. Оценки способностей моделей на продуктовых задачах стали поточнее.

Ваш, @llm_under_hood 🤗

PS: Со временем улучшаются guidance, промпты и few-shots во всех тестах. Это позволяет выжать еще больше качества из существующих моделей.