Кейс с ChatGPT про 10.000 € в месяц 🤑
Интересно? Рассказываю.
Есть компания, которая уже пару декад делает аналитику для торговых сетей. Они хороши в своем деле, что клиенты говорят: “Ребята, вы выдаете офигенные результаты. Мы не понимаем, как оно у вас работает, но нам нравятся ваши результаты. А можно как-то поменять формулы, но оставить итоговые цифры?” 🤦
Но вот это непонимание клиентами - осложняет работу и оставляет осадочек. Поэтому они публикуют кучу материалов и исследований. Там идет сплошной поток новых публикаций и правок в старые статьи. Статей на сайте около 500-700.
И вот тут возникает проблема - если мы написали материал на английском, то как его переводить на другие языки ? Китайский, французский, немецкий, испанский итп
Исторически они к своей CMS-ке привинтили что-то вроде новостной ленты. Переводчики видели обновления, переводили их на свой язык, отправляли правки и получали денежки.
Все были довольны. Но в месяц на переводы уходило до 10000 €. А сами переводчики часто косели от непредсказуемой загрузки и монотонной работы. Кому интересно переводить по 100 правок маленьких кусочков текста в месяц? А ведь еще есть субтитры для подкастов и интервью.
Пробовали для переводов, естественно, всякие Google Translate, DeepL & Bing Translate. Но все они плавали в предметной области, путали термины и несли откровенную 🤪 чушь.
И тут вышел ChatGPT, который достаточно хорошо справился с этой задачей. Самое главное, что он не жалуется на монотонность и объемы.
Как оно все работает?
Просто берется исходный текст, в формате markdown (с графиками, стилями, формулами и ссылками). Этот текст мы вставляем в промпт ChatGPT. Еще докидываем туда краткую справку по предметной области и примеры правильных переводов хитрых мест. Примеры подтягиваются простым скриптом из базы прошлых человеческих переводов. Какие фразы встречаются в тексте для переводов, такие примеры и подтягиваем.
А дальше ChatGPT делает свою работу и выдает тексты. Они не идеальны, но их можно без опасений сразу же публиковать. Что эта компания и делает.
Если у кого есть свой бложик или сайт, можно сделать аналогичный процесс. Наличие постоянно пополняемой базы актуальных статей на множестве языков сразу добавляет кучу очков в глазах больших клиентов.
Ваш, @llm_under_hood 🤗
PS: Список кейсов продуктов с LLM под капотом есть в шапке: https://news.1rj.ru/str/llm_under_hood/3
Интересно? Рассказываю.
Есть компания, которая уже пару декад делает аналитику для торговых сетей. Они хороши в своем деле, что клиенты говорят: “Ребята, вы выдаете офигенные результаты. Мы не понимаем, как оно у вас работает, но нам нравятся ваши результаты. А можно как-то поменять формулы, но оставить итоговые цифры?” 🤦
Но вот это непонимание клиентами - осложняет работу и оставляет осадочек. Поэтому они публикуют кучу материалов и исследований. Там идет сплошной поток новых публикаций и правок в старые статьи. Статей на сайте около 500-700.
И вот тут возникает проблема - если мы написали материал на английском, то как его переводить на другие языки ? Китайский, французский, немецкий, испанский итп
Исторически они к своей CMS-ке привинтили что-то вроде новостной ленты. Переводчики видели обновления, переводили их на свой язык, отправляли правки и получали денежки.
Все были довольны. Но в месяц на переводы уходило до 10000 €. А сами переводчики часто косели от непредсказуемой загрузки и монотонной работы. Кому интересно переводить по 100 правок маленьких кусочков текста в месяц? А ведь еще есть субтитры для подкастов и интервью.
Пробовали для переводов, естественно, всякие Google Translate, DeepL & Bing Translate. Но все они плавали в предметной области, путали термины и несли откровенную 🤪 чушь.
И тут вышел ChatGPT, который достаточно хорошо справился с этой задачей. Самое главное, что он не жалуется на монотонность и объемы.
Как оно все работает?
Просто берется исходный текст, в формате markdown (с графиками, стилями, формулами и ссылками). Этот текст мы вставляем в промпт ChatGPT. Еще докидываем туда краткую справку по предметной области и примеры правильных переводов хитрых мест. Примеры подтягиваются простым скриптом из базы прошлых человеческих переводов. Какие фразы встречаются в тексте для переводов, такие примеры и подтягиваем.
А дальше ChatGPT делает свою работу и выдает тексты. Они не идеальны, но их можно без опасений сразу же публиковать. Что эта компания и делает.
Если у кого есть свой бложик или сайт, можно сделать аналогичный процесс. Наличие постоянно пополняемой базы актуальных статей на множестве языков сразу добавляет кучу очков в глазах больших клиентов.
Ваш, @llm_under_hood 🤗
PS: Список кейсов продуктов с LLM под капотом есть в шапке: https://news.1rj.ru/str/llm_under_hood/3
🔥19👍4❤2👏1
К нам в канал и чат пришло много новых людей! 🤗
Поэтому вот список самых популярных постов:
- Кейс с ChatGPT про 10.000 € в месяц (бизнес-переводчик)
- Сентябрьский бенчмарк LLMок радует!
- Две методички по продуктам с LLM под капотом - в открытом доступе
- Надоело считать, сколько GPU VRAM нужно для модели?
- Прикольная библиотека для получения желаемого формата ответа от LLM в 100%
- Кейс: платформа для автоматизации процессов в компании.
Продукты с LLM под капотом, которые мы разбирали:
- Персональный ассистент в компании
- Автоматическое исправление ошибок в каталогах продуктов
- Ассистент маркетолога в компании
- Переводчик со знанием специализированной терминологии
- Нишевый lead generator для B2B продаж
У канала есть чат, в который собираются все комментарии и дальшейшие обсуждения. Там классное communuty! 🤗
Для тех, кому нравится атмосфера чатика, но хочется проговорить про все подряд есть выделенный LLM Coffee Talks. Там в последнее время разговаривали про страны, зарплаты и влюбленность в ChatGPT-4.
Ваш, @llm_under_hood 🤗
Поэтому вот список самых популярных постов:
- Кейс с ChatGPT про 10.000 € в месяц (бизнес-переводчик)
- Сентябрьский бенчмарк LLMок радует!
- Две методички по продуктам с LLM под капотом - в открытом доступе
- Надоело считать, сколько GPU VRAM нужно для модели?
- Прикольная библиотека для получения желаемого формата ответа от LLM в 100%
- Кейс: платформа для автоматизации процессов в компании.
Продукты с LLM под капотом, которые мы разбирали:
- Персональный ассистент в компании
- Автоматическое исправление ошибок в каталогах продуктов
- Ассистент маркетолога в компании
- Переводчик со знанием специализированной терминологии
- Нишевый lead generator для B2B продаж
У канала есть чат, в который собираются все комментарии и дальшейшие обсуждения. Там классное communuty! 🤗
Для тех, кому нравится атмосфера чатика, но хочется проговорить про все подряд есть выделенный LLM Coffee Talks. Там в последнее время разговаривали про страны, зарплаты и влюбленность в ChatGPT-4.
Ваш, @llm_under_hood 🤗
👍8😁1🎉1
Новая библиотека, которая позволяет запускать большие 70B LLM на небольших GPU быстрее, чем с GPTQ/GGML
https://github.com/turboderp/exllamav2
Можно даже запустить LLama 2 70B на 3090Ti/4090 и получить 30-35 tokens/sec. Правда при этом нужно будет ужаться до 2.5 bits/weight. Но лиха беда начало!
https://github.com/turboderp/exllamav2
Можно даже запустить LLama 2 70B на 3090Ti/4090 и получить 30-35 tokens/sec. Правда при этом нужно будет ужаться до 2.5 bits/weight. Но лиха беда начало!
👍11🔥1
Цифры, которые должен знать каждый LLM разработчик.
В том числе:
- 1 MB памяти нужно на генерацию каждого токена 13B модели.
- "Be Concise" в промпте экономит 40-90% токенов
- батчинг запросов улучшает пропускную способность в ~10 раз
Подробности расчетов - Source.
Ваш, @llm_under_hood 🤗
В том числе:
- 1 MB памяти нужно на генерацию каждого токена 13B модели.
- "Be Concise" в промпте экономит 40-90% токенов
- батчинг запросов улучшает пропускную способность в ~10 раз
Подробности расчетов - Source.
Ваш, @llm_under_hood 🤗
👍10🔥7❤2👎2
В ChatGPT добавили 20ый способ сбора пользовательского фидбэка. Время от времени показывают не один вариант ответа, а сразу два, и просят выбрать между ними. Своего рода A/B тестирование. После выбора на сервер уходит метрика
Данные пользователей для обучения моделей - самый ценный ресурс! 🤑
OpenAI на этих данных смогут допиливать модели, чтобы они еще больше радовали своих пользователей.
Добавил этот пример cбора данных к остальным 19 в ML Labs про Capture Feedback.
Ваш, @llm_under_hood 🤗
message_comparison_feedback.Данные пользователей для обучения моделей - самый ценный ресурс! 🤑
OpenAI на этих данных смогут допиливать модели, чтобы они еще больше радовали своих пользователей.
Добавил этот пример cбора данных к остальным 19 в ML Labs про Capture Feedback.
Ваш, @llm_under_hood 🤗
👍4🔥2🎉1
Вот такое качество текста может выдать ChatGPT, который использует структурированную базу знаний. 🔥🤯
Используется:
- только базовая модель, без тюнинга или дополнительных наворотов
- два промпта с "навыками" продающего копирайтера
- база знаний, которую клиент заполнил вручную
- logit bias
Не используется:
- embeddings
- векторные базы данных
Ваш, @llm_under_hood 🤗
Используется:
- только базовая модель, без тюнинга или дополнительных наворотов
- два промпта с "навыками" продающего копирайтера
- база знаний, которую клиент заполнил вручную
- logit bias
Не используется:
- embeddings
- векторные базы данных
Ваш, @llm_under_hood 🤗
🔥12👏2❤1
Какие LLM модели нынче популярны на практике?
Бенчмарки-бенчмарками, а вот количество закачек за последний месяц покажет реальные тренды использования.
Среди всех моделей рулят:
- распознавание речи jonatasgrosman/wav2vec2-large-xIsr-53-english - 63M закачек
- языковая модель bert-base-uncased - 41M
- ветеран LLM gpt2 - 13M закачек
Cреди LLama моделей популярнее всего:
- NousResearch/Llama-2-13b-hf - 9M закачек
- stabilityai/StableBeluga-7B - 1M закачек
- meta-llama/Llama-2-7b-hf + Llama-2-7b-chat-hf - 1M закачек вместе
Источник - HuggingFace API.
Ваш, @llm_under_hood 🤗
Бенчмарки-бенчмарками, а вот количество закачек за последний месяц покажет реальные тренды использования.
Среди всех моделей рулят:
- распознавание речи jonatasgrosman/wav2vec2-large-xIsr-53-english - 63M закачек
- языковая модель bert-base-uncased - 41M
- ветеран LLM gpt2 - 13M закачек
Cреди LLama моделей популярнее всего:
- NousResearch/Llama-2-13b-hf - 9M закачек
- stabilityai/StableBeluga-7B - 1M закачек
- meta-llama/Llama-2-7b-hf + Llama-2-7b-chat-hf - 1M закачек вместе
Источник - HuggingFace API.
Ваш, @llm_under_hood 🤗
❤7🔥4
OpenAI втихую зарелизила новую модель - GPT-3.5-turbo-instruct.
Уведомление о доступе они начали присылать по почте.
Эта модель заменяет устаревшие модели вроде text-davinci-003, но стоит дешевле, на уровне GPT-3.5-turbo. Ее отличие в том, что она не chat модель, и менее болтлива.
Можно использовать через API вот так:
Полное имя модели: gpt-3.5-turbo-instruct-0914
Спасибо @Bdata0 за эту новость. Обсуждение на Hacker News.
Ваш, @llm_under_hood 🤗
Уведомление о доступе они начали присылать по почте.
Эта модель заменяет устаревшие модели вроде text-davinci-003, но стоит дешевле, на уровне GPT-3.5-turbo. Ее отличие в том, что она не chat модель, и менее болтлива.
Можно использовать через API вот так:
response = openai.Completion.create(
model="gpt-3.5-turbo-instruct",
prompt="Write a tagline for an ice cream shop."
)Полное имя модели: gpt-3.5-turbo-instruct-0914
Спасибо @Bdata0 за эту новость. Обсуждение на Hacker News.
Ваш, @llm_under_hood 🤗
🔥11👍7❤1👏1
Какие русскоязычные модели нынче популярны?
Вот вам график!
Ваш, @llm_under_hood 🤗
PS: Брал все модели, у которых в model card прописан язык
Вот вам график!
Ваш, @llm_under_hood 🤗
PS: Брал все модели, у которых в model card прописан язык
ru.👍9🔥3❤1
Новая GPT-3.5 instruct модель - хороша! 🌟
Я упоминал эту модель ранее. А вот теперь и пара практических оценок - см бенчмарк на картинке.
Модель не идеальна, но в некоторых категориях ее качество дотягивает до уровня GPT-4. На задачах типа marketing и CRM теперь можно начинать экономить раз в 20 🤑
Это и сделали ребята из Replit на одной из задач: `We just replaced GPT-4 on a backend task with the new gpt-3.5-turbo with no accuracy hit. Faster + cheaper.` Скриншот с их оценками в комментариях.
Как использовать такую модель? Да как и обычные complete модели или LLama. У меня с первого раза заработал такой
А ведь это еще базовая completion модель, а не "купированая" RLHF. У нее больше творческих способностей. Пример в следующем посте.
Ваш, @llm_under_hood 🤗
Я упоминал эту модель ранее. А вот теперь и пара практических оценок - см бенчмарк на картинке.
Модель не идеальна, но в некоторых категориях ее качество дотягивает до уровня GPT-4. На задачах типа marketing и CRM теперь можно начинать экономить раз в 20 🤑
Это и сделали ребята из Replit на одной из задач: `We just replaced GPT-4 on a backend task with the new gpt-3.5-turbo with no accuracy hit. Faster + cheaper.` Скриншот с их оценками в комментариях.
Как использовать такую модель? Да как и обычные complete модели или LLama. У меня с первого раза заработал такой
human_gpt промпт:
{% set stop = ["###"] -%}
### human: {{ eval.system }}
### response: Sure! Sounds good.
{% for e in eval.shots %}
### human: {{ e.request }}
### response:{% if not e.is_last %}{{ e.response }}
{% endif %}{%- endfor %}
А ведь это еще базовая completion модель, а не "купированая" RLHF. У нее больше творческих способностей. Пример в следующем посте.
Ваш, @llm_under_hood 🤗
👍6🔥2
Клиент спросил - как можно получить разнообразные тексты из одних исходных данных?
Вот пример генерации маркетинговых текстов свежей
Под капотом
Prompt tokens ~75. temp=0.7-1. Guidance, чтобы направить мышление модели в разные стороны и не дать съехать в общую колею.
Как сделать такой guidance?
- В разные запросы ставить negative guidance на типовые мусорные ответы. Его можно прибить гвоздями один раз.
- Подкручивать позитивный guidance на разные итерации.
- Ставить разные формулировки второстепенных частей промпта, чтобы модель "выбить" в другую часть пространства ответа.
Почему именно gpt-instruct?
Как рассказывал Andrej Karpathy в MS Build, у таких моделей больше энтропии. В отличие от chat моделей, у нихнет меньше RLHF дрессировки, которая гасит творческие способности.
А что клиент?
Клиент в первую очередь порадовался скорости и качеству. Во вторую очередь - простоте и экономии на ChatGPT-4.
Ваш, @llm_under_hood 🤗
#клиентспросил
Вот пример генерации маркетинговых текстов свежей
gpt-3.5-turbo-instruct. Это один и тот же исходный запрос.Под капотом
Prompt tokens ~75. temp=0.7-1. Guidance, чтобы направить мышление модели в разные стороны и не дать съехать в общую колею.
Как сделать такой guidance?
- В разные запросы ставить negative guidance на типовые мусорные ответы. Его можно прибить гвоздями один раз.
- Подкручивать позитивный guidance на разные итерации.
- Ставить разные формулировки второстепенных частей промпта, чтобы модель "выбить" в другую часть пространства ответа.
Почему именно gpt-instruct?
Как рассказывал Andrej Karpathy в MS Build, у таких моделей больше энтропии. В отличие от chat моделей, у них
А что клиент?
Клиент в первую очередь порадовался скорости и качеству. Во вторую очередь - простоте и экономии на ChatGPT-4.
Ваш, @llm_under_hood 🤗
#клиентспросил
👍5🤔2
Какая разница - gpt-3.5 chat или instruct? Это же хайп без особой практической пользы? 🤪
Если прогнать генерацию текста из поста выше на gpt-3.5-chat модели, то вот какие результаты получаются. Куча повторов, даже guidance не помогает!
Про падение скорости генерации я и не говорю.
Откуда скорость?
(1) chat-модель более болтлива. Больше tokens не по делу - дольше генерация.
(2) instruct модель отвечает быстрее сама по себе. C идентичным промптом на 10 запросах у чат модели -19 tokens/sec, а у instruct - 60 tokens/sec. Весь бенчмарк она выполняет в 2.8 быстрее.
Ваш, @llm_under_hood 🤗
Если прогнать генерацию текста из поста выше на gpt-3.5-chat модели, то вот какие результаты получаются. Куча повторов, даже guidance не помогает!
Про падение скорости генерации я и не говорю.
Откуда скорость?
(1) chat-модель более болтлива. Больше tokens не по делу - дольше генерация.
(2) instruct модель отвечает быстрее сама по себе. C идентичным промптом на 10 запросах у чат модели -19 tokens/sec, а у instruct - 60 tokens/sec. Весь бенчмарк она выполняет в 2.8 быстрее.
Ваш, @llm_under_hood 🤗
🔥8🤔2🤯1
Каталог применений LLM в продуктах выложен на лабах: https://labs.abdullin.com/jobs-for-llm
Там есть problem/solution карточки кейсов, в реализации которых я уверен лично. Почти над всеми пришлось попотеть 😅
(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)
Ваш, @llm_under_hood 🤗
#клиентспросил
Там есть problem/solution карточки кейсов, в реализации которых я уверен лично. Почти над всеми пришлось попотеть 😅
(Лабы доступны всем подписчикам бесплатной рассылки ML Under the Hood)
Ваш, @llm_under_hood 🤗
#клиентспросил
👍12🔥8❤2
Я собрал посты с вопросами от клиентов в новую рубрику: #клиентспросил
Прошлые посты теперь тоже можно найти по этому тэгу.
Ваш, @llm_under_hood 🤗
Прошлые посты теперь тоже можно найти по этому тэгу.
Ваш, @llm_under_hood 🤗
👍6👏1
Только что клиент прислал отзывы по новой версии продукта ассистент маркетолога в компании.
Если кратко, там интегрировали новую версию базы знаний, которую клиент заполнил сам.
Feedback звучит примерно так: все стало лучше, теперь мы не только можем про все наши продукты генерировать тексты, но и сами тексты хоть сейчас публикуй. Плотность информации выросла. Но нам еще бы хотелось писать не только про продукты, но и про отрасли и материалы. А еще интерактивно подкручивать базу знаний и объем фактов в итоговых текстах по мере генерации.
И это они пока не в курсе про возможность интеграции всего с LinkedIn Sales Navigator ;)
У кого есть успешные кейсы генерации маркетинговых текстов или проблемы с этим? Пишите в комментарии!
Ваш, @llm_under_hood 🤗
Если кратко, там интегрировали новую версию базы знаний, которую клиент заполнил сам.
Feedback звучит примерно так: все стало лучше, теперь мы не только можем про все наши продукты генерировать тексты, но и сами тексты хоть сейчас публикуй. Плотность информации выросла. Но нам еще бы хотелось писать не только про продукты, но и про отрасли и материалы. А еще интерактивно подкручивать базу знаний и объем фактов в итоговых текстах по мере генерации.
И это они пока не в курсе про возможность интеграции всего с LinkedIn Sales Navigator ;)
У кого есть успешные кейсы генерации маркетинговых текстов или проблемы с этим? Пишите в комментарии!
Ваш, @llm_under_hood 🤗
👍6😁1
Вышел бенчмарк LLM на русскоязычных задачах от @alexkuk!
Если кратко, то Saiga2_70B - это лучшее из протестированного. Vicuna_13b неожиданно хороша, а gigachat хуже сайги 7B.
Ознакомиться с бенчмарком можно на github.
Ваш, @llm_under_hood 🤗
Если кратко, то Saiga2_70B - это лучшее из протестированного. Vicuna_13b неожиданно хороша, а gigachat хуже сайги 7B.
Ознакомиться с бенчмарком можно на github.
Ваш, @llm_under_hood 🤗
🔥6❤3🤣1
5 неудобных вопросов при найме AI
#клиентспросил : "Ринат, сотрудники нашего партнера хотят работать с Legal AI продуктом конкурента. Что делать?"
Ответом стал список из 5 неудобных вопросов, которые они могут задать компании-поставщику при найме их AI.
1. Какие именно AI модели вы используете в своем продукте? Кто их поставщик, и какие лицензии у моделей?
Такие вещи в секрете поставщик держать не имеет права, т.к. у каждой модели есть свои ограничения и условия использования. Например семейство Llama 2 разрешено использовать только с английским языком. А ChatGPT 4 страдает от высокой нагрузки в пиковые часы.
2. Можете ли вы дать письменную гарантию, что мои данные не попадут к кому-то еще?
Например, если поставщик услуг - это Azure OpenAI, то все данные сохраняются в Azure на 30 дней (за исключением approved customers). Но, конечно, лучше всего, если в продукте можно использовать только локальные модели.
3. Вы используете data anonymisation? Можете ли вы дать гарантии, что процесс 100% надежен? Продемонстрируйте нам анонимизацию на наших данных.
Анонимизацию данных обещать легко. Но она может и пропускать некоторые нюансы, про которые поставщик может не знать. Лучше это проговорить и проверить самостоятельно заранее.
4. У вас есть AI-driven information retrieval? Давайте сделаем интерактивный тест вашей системы! Загрузим пачку документов на 1000 страниц и зададим двадцать вопросов. У 10 из них нет ответов, а у 10 есть ответы на конкретных страницах.
Пачку документов могут приготовить ваши сотрудники на основе своей ежедневной работы. Вопросы лучше них тоже никто не составит. Главное, не показывать документы и вопросы заранее.
5. Все делают ошибки. Даже OpenAI ChatGPT учится на них. Как можно в вашей системе пользователю оставить feedback, и как скоро система система учтет его? Покажите нам!
Вам работать с новым AI инструментом не один год. Это сотрудничество будет более плодотворным, если этот инструмент будет адаптироваться не только под текущую специфику, но и под все новое.
Эти вопросы будут неудобны в тех случаях, если поставщик AI-продукта продает обертку на LlamaIndex как “технологический прорыв”. Если же они продумали все и сделали качественный продукт, то ответить на эти вопросы будет только в радость.
Ваш, @llm_under_hood 🤗
#клиентспросил : "Ринат, сотрудники нашего партнера хотят работать с Legal AI продуктом конкурента. Что делать?"
Ответом стал список из 5 неудобных вопросов, которые они могут задать компании-поставщику при найме их AI.
1. Какие именно AI модели вы используете в своем продукте? Кто их поставщик, и какие лицензии у моделей?
Такие вещи в секрете поставщик держать не имеет права, т.к. у каждой модели есть свои ограничения и условия использования. Например семейство Llama 2 разрешено использовать только с английским языком. А ChatGPT 4 страдает от высокой нагрузки в пиковые часы.
2. Можете ли вы дать письменную гарантию, что мои данные не попадут к кому-то еще?
Например, если поставщик услуг - это Azure OpenAI, то все данные сохраняются в Azure на 30 дней (за исключением approved customers). Но, конечно, лучше всего, если в продукте можно использовать только локальные модели.
3. Вы используете data anonymisation? Можете ли вы дать гарантии, что процесс 100% надежен? Продемонстрируйте нам анонимизацию на наших данных.
Анонимизацию данных обещать легко. Но она может и пропускать некоторые нюансы, про которые поставщик может не знать. Лучше это проговорить и проверить самостоятельно заранее.
4. У вас есть AI-driven information retrieval? Давайте сделаем интерактивный тест вашей системы! Загрузим пачку документов на 1000 страниц и зададим двадцать вопросов. У 10 из них нет ответов, а у 10 есть ответы на конкретных страницах.
Пачку документов могут приготовить ваши сотрудники на основе своей ежедневной работы. Вопросы лучше них тоже никто не составит. Главное, не показывать документы и вопросы заранее.
5. Все делают ошибки. Даже OpenAI ChatGPT учится на них. Как можно в вашей системе пользователю оставить feedback, и как скоро система система учтет его? Покажите нам!
Вам работать с новым AI инструментом не один год. Это сотрудничество будет более плодотворным, если этот инструмент будет адаптироваться не только под текущую специфику, но и под все новое.
Эти вопросы будут неудобны в тех случаях, если поставщик AI-продукта продает обертку на LlamaIndex как “технологический прорыв”. Если же они продумали все и сделали качественный продукт, то ответить на эти вопросы будет только в радость.
Ваш, @llm_under_hood 🤗
❤13👍7🔥3
Больше конкуренции для OpenAI ChatGPT!
Amazon вкладывает до 4 миллиардов долларов в Anthropic. Anthropic - это авторы единственного реально работающего (по бенчмаркам) конкурента для chatGPT - Claude.
Amazon им подгонят денег, чипов (Trainium and Inferentia) и помогут с разворачиванием на Amazon Bedrock.
Все как с Azure + OpenAI. Объявление тут. Обсуждение на HackerNews.
Ваш, @llm_under_hood 🤗
Amazon вкладывает до 4 миллиардов долларов в Anthropic. Anthropic - это авторы единственного реально работающего (по бенчмаркам) конкурента для chatGPT - Claude.
Amazon им подгонят денег, чипов (Trainium and Inferentia) и помогут с разворачиванием на Amazon Bedrock.
Все как с Azure + OpenAI. Объявление тут. Обсуждение на HackerNews.
Ваш, @llm_under_hood 🤗
🔥10🎉2
Прямо праздник 🎉 ChatGPT выкатывает мультимодальность!
C ChatGPT (который продукт, а не API) скоро можно будет не только поговорить, но и обсудить картинки. Эта фишка появится в мобильных приложениях Android/iOS в ближайшие недели.
Причем, если голосом нынче никого не удивишь, то вот нормальную работу с картинками клиенты ждут очень давно. Это та самая мультимодальность, которую обещали при выходе ChatGPT-4. Кажется, что это было в прошлой жизни, да?
Вот тут можно прочитать подробности: Объявление OpenAI.
Ваш, @llm_under_hood 🤗
C ChatGPT (который продукт, а не API) скоро можно будет не только поговорить, но и обсудить картинки. Эта фишка появится в мобильных приложениях Android/iOS в ближайшие недели.
Причем, если голосом нынче никого не удивишь, то вот нормальную работу с картинками клиенты ждут очень давно. Это та самая мультимодальность, которую обещали при выходе ChatGPT-4. Кажется, что это было в прошлой жизни, да?
Вот тут можно прочитать подробности: Объявление OpenAI.
Ваш, @llm_under_hood 🤗
🔥9🥰1😱1
Оптимальные конфиги для запуска Llama 2
Ребята из Hugging Face протестировали 60 разных конфигураций для запуска версий Llama2 на AWS.
$2.21 за 1M tokens Llama2 13B на AWS - эту цифру стоит запомнить. Запускали с TGI и GPTQ.
Детали запуска и исходный когд можно найти в самой статье.
Вот три оптимальные конфигурации под разные задачи:
- cost-effective: 13B Llama 2 with GPTQ on g5.2xlarge delivers 71 tokens/sec at an hourly cost of $1.55
- max throughput: 13B Llama 2 reached 296 tokens/sec on ml.g5.12xlarge at $2.21 per 1M tokens.
- min latency: 7B Llama 2 achieved 16ms per token on ml.g5.12xlarge
Жалко, что там Llama2 70B не особо засветилась.
Ваш, @llm_under_hood 🤗
Ребята из Hugging Face протестировали 60 разных конфигураций для запуска версий Llama2 на AWS.
$2.21 за 1M tokens Llama2 13B на AWS - эту цифру стоит запомнить. Запускали с TGI и GPTQ.
Детали запуска и исходный когд можно найти в самой статье.
Вот три оптимальные конфигурации под разные задачи:
- cost-effective: 13B Llama 2 with GPTQ on g5.2xlarge delivers 71 tokens/sec at an hourly cost of $1.55
- max throughput: 13B Llama 2 reached 296 tokens/sec on ml.g5.12xlarge at $2.21 per 1M tokens.
- min latency: 7B Llama 2 achieved 16ms per token on ml.g5.12xlarge
Жалко, что там Llama2 70B не особо засветилась.
Ваш, @llm_under_hood 🤗
👍9🔥3❤1🙏1
Бесплатный Webinar - AI Coding Assistants: Как программисту эффективно использовать AI
Недавно SPAR попросил меня показать, как эффективно использовать AI в разработке. А потом еще в одной компании попросили повторить для них.
И вот я решил упаковать это в вебинар и провести его в нашем community - сначала попробовать на небольшой когорте, а потом масштабировать на более широкий круг.
Прочитать подробнее и записаться в первую когорту (10 человек) можно в этой форме. Участие для этой когорты бесплатно.
Если вдруг запишется больше 10 желающих, то отбирать в первую когорту будет ChatGPT с заданием “кому этот вебинар принесет больше всего пользы?”
Краткое описание
Появление GPT/LLM для программиста сравнимо с получением в помощники личной команды full-stack разработчиков. Они, конечно, иногда тупят, но зато никогда не устают от написания тестов и не жалуются на просьбы “в последний раз поправить интерфейс”.
Как программисту спихнуть больше работы на AI?
В этом online-вебинаре мы обсудим паттерны программирования, которые удобно использовать с AI code assistants в повседневной работе. Ну и без практики никуда - попробуем уговорить AI сделать небольшой продукт.
Подробнее - в форме.
Ваш, @llm_under_hood 🤗
Вот конспекты того полезного, что участники одного семинара вынесли для себя: один, другой
Недавно SPAR попросил меня показать, как эффективно использовать AI в разработке. А потом еще в одной компании попросили повторить для них.
И вот я решил упаковать это в вебинар и провести его в нашем community - сначала попробовать на небольшой когорте, а потом масштабировать на более широкий круг.
Прочитать подробнее и записаться в первую когорту (10 человек) можно в этой форме. Участие для этой когорты бесплатно.
Если вдруг запишется больше 10 желающих, то отбирать в первую когорту будет ChatGPT с заданием “кому этот вебинар принесет больше всего пользы?”
Краткое описание
Появление GPT/LLM для программиста сравнимо с получением в помощники личной команды full-stack разработчиков. Они, конечно, иногда тупят, но зато никогда не устают от написания тестов и не жалуются на просьбы “в последний раз поправить интерфейс”.
Как программисту спихнуть больше работы на AI?
В этом online-вебинаре мы обсудим паттерны программирования, которые удобно использовать с AI code assistants в повседневной работе. Ну и без практики никуда - попробуем уговорить AI сделать небольшой продукт.
Подробнее - в форме.
Ваш, @llm_under_hood 🤗
Вот конспекты того полезного, что участники одного семинара вынесли для себя: один, другой
🔥10❤1🤗1