LLM под капотом – Telegram
LLM под капотом
21.1K subscribers
286 photos
7 videos
10 files
550 links
Канал про разработку продуктов на базе LLM/ChatGPT. Выжимка важных новостей и разборы кейсов.
Download Telegram
Кейс с ChatGPT про 10.000 € в месяц 🤑

Интересно? Рассказываю.

Есть компания, которая уже пару декад делает аналитику для торговых сетей. Они хороши в своем деле, что клиенты говорят: “Ребята, вы выдаете офигенные результаты. Мы не понимаем, как оно у вас работает, но нам нравятся ваши результаты. А можно как-то поменять формулы, но оставить итоговые цифры?” 🤦

Но вот это непонимание клиентами - осложняет работу и оставляет осадочек. Поэтому они публикуют кучу материалов и исследований. Там идет сплошной поток новых публикаций и правок в старые статьи. Статей на сайте около 500-700.

И вот тут возникает проблема - если мы написали материал на английском, то как его переводить на другие языки ? Китайский, французский, немецкий, испанский итп

Исторически они к своей CMS-ке привинтили что-то вроде новостной ленты. Переводчики видели обновления, переводили их на свой язык, отправляли правки и получали денежки.

Все были довольны. Но в месяц на переводы уходило до 10000 €. А сами переводчики часто косели от непредсказуемой загрузки и монотонной работы. Кому интересно переводить по 100 правок маленьких кусочков текста в месяц? А ведь еще есть субтитры для подкастов и интервью.

Пробовали для переводов, естественно, всякие Google Translate, DeepL & Bing Translate. Но все они плавали в предметной области, путали термины и несли откровенную 🤪 чушь.

И тут вышел ChatGPT, который достаточно хорошо справился с этой задачей. Самое главное, что он не жалуется на монотонность и объемы.

Как оно все работает?

Просто берется исходный текст, в формате markdown (с графиками, стилями, формулами и ссылками). Этот текст мы вставляем в промпт ChatGPT. Еще докидываем туда краткую справку по предметной области и примеры правильных переводов хитрых мест. Примеры подтягиваются простым скриптом из базы прошлых человеческих переводов. Какие фразы встречаются в тексте для переводов, такие примеры и подтягиваем.

А дальше ChatGPT делает свою работу и выдает тексты. Они не идеальны, но их можно без опасений сразу же публиковать. Что эта компания и делает.

Если у кого есть свой бложик или сайт, можно сделать аналогичный процесс. Наличие постоянно пополняемой базы актуальных статей на множестве языков сразу добавляет кучу очков в глазах больших клиентов.

Ваш, @llm_under_hood 🤗

PS: Список кейсов продуктов с LLM под капотом есть в шапке: https://news.1rj.ru/str/llm_under_hood/3
🔥19👍42👏1
К нам в канал и чат пришло много новых людей! 🤗

Поэтому вот список самых популярных постов:

- Кейс с ChatGPT про 10.000 € в месяц (бизнес-переводчик)
- Сентябрьский бенчмарк LLMок радует!
- Две методички по продуктам с LLM под капотом - в открытом доступе
- Надоело считать, сколько GPU VRAM нужно для модели?
- Прикольная библиотека для получения желаемого формата ответа от LLM в 100%
- Кейс: платформа для автоматизации процессов в компании.

Продукты с LLM под капотом, которые мы разбирали:

- Персональный ассистент в компании
- Автоматическое исправление ошибок в каталогах продуктов
- Ассистент маркетолога в компании
- Переводчик со знанием специализированной терминологии
- Нишевый lead generator для B2B продаж

У канала есть чат, в который собираются все комментарии и дальшейшие обсуждения. Там классное communuty! 🤗

Для тех, кому нравится атмосфера чатика, но хочется проговорить про все подряд есть выделенный LLM Coffee Talks. Там в последнее время разговаривали про страны, зарплаты и влюбленность в ChatGPT-4.

Ваш, @llm_under_hood 🤗
👍8😁1🎉1
Новая библиотека, которая позволяет запускать большие 70B LLM на небольших GPU быстрее, чем с GPTQ/GGML

https://github.com/turboderp/exllamav2

Можно даже запустить LLama 2 70B на 3090Ti/4090 и получить 30-35 tokens/sec. Правда при этом нужно будет ужаться до 2.5 bits/weight. Но лиха беда начало!
👍11🔥1
Цифры, которые должен знать каждый LLM разработчик.

В том числе:
- 1 MB памяти нужно на генерацию каждого токена 13B модели.
- "Be Concise" в промпте экономит 40-90% токенов
- батчинг запросов улучшает пропускную способность в ~10 раз

Подробности расчетов - Source.

Ваш, @llm_under_hood 🤗
👍10🔥72👎2
В ChatGPT добавили 20ый способ сбора пользовательского фидбэка. Время от времени показывают не один вариант ответа, а сразу два, и просят выбрать между ними. Своего рода A/B тестирование. После выбора на сервер уходит метрика message_comparison_feedback.

Данные пользователей для обучения моделей - самый ценный ресурс! 🤑

OpenAI на этих данных смогут допиливать модели, чтобы они еще больше радовали своих пользователей.

Добавил этот пример cбора данных к остальным 19 в ML Labs про Capture Feedback.

Ваш, @llm_under_hood 🤗
👍4🔥2🎉1
Вот такое качество текста может выдать ChatGPT, который использует структурированную базу знаний. 🔥🤯

Используется:
- только базовая модель, без тюнинга или дополнительных наворотов
- два промпта с "навыками" продающего копирайтера
- база знаний, которую клиент заполнил вручную
- logit bias

Не используется:
- embeddings
- векторные базы данных

Ваш, @llm_under_hood 🤗
🔥12👏21
Какие LLM модели нынче популярны на практике?

Бенчмарки-бенчмарками, а вот количество закачек за последний месяц покажет реальные тренды использования.

Среди всех моделей рулят:
- распознавание речи jonatasgrosman/wav2vec2-large-xIsr-53-english - 63M закачек
- языковая модель bert-base-uncased - 41M
- ветеран LLM gpt2 - 13M закачек

Cреди LLama моделей популярнее всего:
- NousResearch/Llama-2-13b-hf - 9M закачек
- stabilityai/StableBeluga-7B - 1M закачек
- meta-llama/Llama-2-7b-hf + Llama-2-7b-chat-hf - 1M закачек вместе

Источник - HuggingFace API.

Ваш, @llm_under_hood 🤗
7🔥4
OpenAI втихую зарелизила новую модель - GPT-3.5-turbo-instruct.

Уведомление о доступе они начали присылать по почте.

Эта модель заменяет устаревшие модели вроде text-davinci-003, но стоит дешевле, на уровне GPT-3.5-turbo. Ее отличие в том, что она не chat модель, и менее болтлива.

Можно использовать через API вот так:

response = openai.Completion.create(
model="gpt-3.5-turbo-instruct",
prompt="Write a tagline for an ice cream shop."
)


Полное имя модели: gpt-3.5-turbo-instruct-0914

Спасибо @Bdata0 за эту новость. Обсуждение на Hacker News.

Ваш, @llm_under_hood 🤗
🔥11👍71👏1
Какие русскоязычные модели нынче популярны?

Вот вам график!

Ваш, @llm_under_hood 🤗

PS: Брал все модели, у которых в model card прописан язык ru.
👍9🔥31
Новая GPT-3.5 instruct модель - хороша! 🌟

Я упоминал эту модель ранее. А вот теперь и пара практических оценок - см бенчмарк на картинке.

Модель не идеальна, но в некоторых категориях ее качество дотягивает до уровня GPT-4. На задачах типа marketing и CRM теперь можно начинать экономить раз в 20 🤑

Это и сделали ребята из Replit на одной из задач: `We just replaced GPT-4 on a backend task with the new gpt-3.5-turbo with no accuracy hit. Faster + cheaper.` Скриншот с их оценками в комментариях.

Как использовать такую модель? Да как и обычные complete модели или LLama. У меня с первого раза заработал такой human_gpt промпт:

{% set stop = ["###"] -%}
### human: {{ eval.system }}

### response: Sure! Sounds good.
{% for e in eval.shots %}
### human: {{ e.request }}

### response:{% if not e.is_last %}{{ e.response }}
{% endif %}{%- endfor %}


А ведь это еще базовая completion модель, а не "купированая" RLHF. У нее больше творческих способностей. Пример в следующем посте.

Ваш, @llm_under_hood 🤗
👍6🔥2
Клиент спросил - как можно получить разнообразные тексты из одних исходных данных?

Вот пример генерации маркетинговых текстов свежей gpt-3.5-turbo-instruct. Это один и тот же исходный запрос.

Под капотом
Prompt tokens ~75. temp=0.7-1. Guidance, чтобы направить мышление модели в разные стороны и не дать съехать в общую колею.

Как сделать такой guidance?
- В разные запросы ставить negative guidance на типовые мусорные ответы. Его можно прибить гвоздями один раз.
- Подкручивать позитивный guidance на разные итерации.
- Ставить разные формулировки второстепенных частей промпта, чтобы модель "выбить" в другую часть пространства ответа.

Почему именно gpt-instruct?
Как рассказывал Andrej Karpathy в MS Build, у таких моделей больше энтропии. В отличие от chat моделей, у них нет меньше RLHF дрессировки, которая гасит творческие способности.

А что клиент?
Клиент в первую очередь порадовался скорости и качеству. Во вторую очередь - простоте и экономии на ChatGPT-4.

Ваш, @llm_under_hood 🤗

#клиентспросил
👍5🤔2
Какая разница - gpt-3.5 chat или instruct? Это же хайп без особой практической пользы? 🤪

Если прогнать генерацию текста из поста выше на gpt-3.5-chat модели, то вот какие результаты получаются. Куча повторов, даже guidance не помогает!

Про падение скорости генерации я и не говорю.

Откуда скорость?
(1) chat-модель более болтлива. Больше tokens не по делу - дольше генерация.
(2) instruct модель отвечает быстрее сама по себе. C идентичным промптом на 10 запросах у чат модели -19 tokens/sec, а у instruct - 60 tokens/sec. Весь бенчмарк она выполняет в 2.8 быстрее.

Ваш, @llm_under_hood 🤗
🔥8🤔2🤯1
Каталог применений LLM в продуктах выложен на лабах: https://labs.abdullin.com/jobs-for-llm

Там есть problem/solution карточки кейсов, в реализации которых я уверен лично. Почти над всеми пришлось попотеть 😅

(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)

Ваш, @llm_under_hood 🤗

#клиентспросил
👍12🔥82
Я собрал посты с вопросами от клиентов в новую рубрику: #клиентспросил

Прошлые посты теперь тоже можно найти по этому тэгу.

Ваш, @llm_under_hood 🤗
👍6👏1
Только что клиент прислал отзывы по новой версии продукта ассистент маркетолога в компании.

Если кратко, там интегрировали новую версию базы знаний, которую клиент заполнил сам.

Feedback звучит примерно так: все стало лучше, теперь мы не только можем про все наши продукты генерировать тексты, но и сами тексты хоть сейчас публикуй. Плотность информации выросла. Но нам еще бы хотелось писать не только про продукты, но и про отрасли и материалы. А еще интерактивно подкручивать базу знаний и объем фактов в итоговых текстах по мере генерации.

И это они пока не в курсе про возможность интеграции всего с LinkedIn Sales Navigator ;)

У кого есть успешные кейсы генерации маркетинговых текстов или проблемы с этим? Пишите в комментарии!

Ваш, @llm_under_hood 🤗
👍6😁1
Вышел бенчмарк LLM на русскоязычных задачах от @alexkuk!

Если кратко, то Saiga2_70B - это лучшее из протестированного. Vicuna_13b неожиданно хороша, а gigachat хуже сайги 7B.

Ознакомиться с бенчмарком можно на github.

Ваш, @llm_under_hood 🤗
🔥63🤣1
5 неудобных вопросов при найме AI

#клиентспросил : "Ринат, сотрудники нашего партнера хотят работать с Legal AI продуктом конкурента. Что делать?"

Ответом стал список из 5 неудобных вопросов, которые они могут задать компании-поставщику при найме их AI.

1. Какие именно AI модели вы используете в своем продукте? Кто их поставщик, и какие лицензии у моделей?

Такие вещи в секрете поставщик держать не имеет права, т.к. у каждой модели есть свои ограничения и условия использования. Например семейство Llama 2 разрешено использовать только с английским языком. А ChatGPT 4 страдает от высокой нагрузки в пиковые часы.

2. Можете ли вы дать письменную гарантию, что мои данные не попадут к кому-то еще?

Например, если поставщик услуг - это Azure OpenAI, то все данные сохраняются в Azure на 30 дней (за исключением approved customers). Но, конечно, лучше всего, если в продукте можно использовать только локальные модели.

3. Вы используете data anonymisation? Можете ли вы дать гарантии, что процесс 100% надежен? Продемонстрируйте нам анонимизацию на наших данных.

Анонимизацию данных обещать легко. Но она может и пропускать некоторые нюансы, про которые поставщик может не знать. Лучше это проговорить и проверить самостоятельно заранее.

4. У вас есть AI-driven information retrieval? Давайте сделаем интерактивный тест вашей системы! Загрузим пачку документов на 1000 страниц и зададим двадцать вопросов. У 10 из них нет ответов, а у 10 есть ответы на конкретных страницах.

Пачку документов могут приготовить ваши сотрудники на основе своей ежедневной работы. Вопросы лучше них тоже никто не составит. Главное, не показывать документы и вопросы заранее.

5. Все делают ошибки. Даже OpenAI ChatGPT учится на них. Как можно в вашей системе пользователю оставить feedback, и как скоро система система учтет его? Покажите нам!

Вам работать с новым AI инструментом не один год. Это сотрудничество будет более плодотворным, если этот инструмент будет адаптироваться не только под текущую специфику, но и под все новое.

Эти вопросы будут неудобны в тех случаях, если поставщик AI-продукта продает обертку на LlamaIndex как “технологический прорыв”. Если же они продумали все и сделали качественный продукт, то ответить на эти вопросы будет только в радость.

Ваш, @llm_under_hood 🤗
13👍7🔥3
Больше конкуренции для OpenAI ChatGPT!

Amazon вкладывает до 4 миллиардов долларов в Anthropic. Anthropic - это авторы единственного реально работающего (по бенчмаркам) конкурента для chatGPT - Claude.

Amazon им подгонят денег, чипов (Trainium and Inferentia) и помогут с разворачиванием на Amazon Bedrock.

Все как с Azure + OpenAI. Объявление тут. Обсуждение на HackerNews.

Ваш, @llm_under_hood 🤗
🔥10🎉2
Прямо праздник 🎉 ChatGPT выкатывает мультимодальность!

C ChatGPT (который продукт, а не API) скоро можно будет не только поговорить, но и обсудить картинки. Эта фишка появится в мобильных приложениях Android/iOS в ближайшие недели.

Причем, если голосом нынче никого не удивишь, то вот нормальную работу с картинками клиенты ждут очень давно. Это та самая мультимодальность, которую обещали при выходе ChatGPT-4. Кажется, что это было в прошлой жизни, да?

Вот тут можно прочитать подробности: Объявление OpenAI.

Ваш, @llm_under_hood 🤗
🔥9🥰1😱1
Оптимальные конфиги для запуска Llama 2

Ребята из Hugging Face протестировали 60 разных конфигураций для запуска версий Llama2 на AWS.

$2.21 за 1M tokens Llama2 13B на AWS - эту цифру стоит запомнить. Запускали с TGI и GPTQ.

Детали запуска и исходный когд можно найти в самой статье.

Вот три оптимальные конфигурации под разные задачи:

- cost-effective: 13B Llama 2 with GPTQ on g5.2xlarge delivers 71 tokens/sec at an hourly cost of $1.55
- max throughput: 13B Llama 2 reached 296 tokens/sec on ml.g5.12xlarge at $2.21 per 1M tokens.
- min latency: 7B Llama 2 achieved 16ms per token on ml.g5.12xlarge

Жалко, что там Llama2 70B не особо засветилась.

Ваш, @llm_under_hood 🤗
👍9🔥31🙏1
Бесплатный Webinar - AI Coding Assistants: Как программисту эффективно использовать AI

Недавно SPAR попросил меня показать, как эффективно использовать AI в разработке. А потом еще в одной компании попросили повторить для них.

И вот я решил упаковать это в вебинар и провести его в нашем community - сначала попробовать на небольшой когорте, а потом масштабировать на более широкий круг.

Прочитать подробнее и записаться в первую когорту (10 человек) можно в этой форме. Участие для этой когорты бесплатно.

Если вдруг запишется больше 10 желающих, то отбирать в первую когорту будет ChatGPT с заданием “кому этот вебинар принесет больше всего пользы?”

Краткое описание
Появление GPT/LLM для программиста сравнимо с получением в помощники личной команды full-stack разработчиков. Они, конечно, иногда тупят, но зато никогда не устают от написания тестов и не жалуются на просьбы “в последний раз поправить интерфейс”.

Как программисту спихнуть больше работы на AI?

В этом online-вебинаре мы обсудим паттерны программирования, которые удобно использовать с AI code assistants в повседневной работе. Ну и без практики никуда - попробуем уговорить AI сделать небольшой продукт.

Подробнее - в форме.

Ваш, @llm_under_hood 🤗

Вот конспекты того полезного, что участники одного семинара вынесли для себя: один, другой
🔥101🤗1