Курс начался, курс закончился

Хочу рассказать про самый сильный проект, получившийся на выходе с вот-вот минувшего курса про ChatGPT. Его автор — Александр Скворцов. Идея GPT-ассистента проста и одновременно оригинальна: генератор древних новостей (до н.э.), написанных в репортажном стиле и проиллюстрированных реалистичной фотографией. Результаты можно посмотреть в специальном телеграм-канале, а разбор внутренней механики в презентации ассистента.

⚡️🌧 Потоп остановил строительство пирамиды

Сильнейщий ливень, обрушевшийся сегодня на плато Гизы, стал причиной остановки строительных работ Великой пирамиды. Дата возобновления строительства уточняется.

11 февраля 2567 года до н.э.

Если коротко, ассистент построен на мегапромпте с двумя типами загруженных референсов (эталонные примеры новостей и фотографий). Формат строго выверен, чтобы соответствовать telegram-публикации. Содержание может быть слегка некорректным в историческом плане, но точно позволяет прикоснуться к эпохе, на самом деле, к массе эпох до нашей эры.

В-общем, подписывайтесь на канал и следите за новостями, которые не угнетают в отличие от актуальных 😁

#text #chatgpt #gpts #edu

Чат с документом 📄💬

В топе юзкейсов также расположился чат с базой знаний. Берешь большой документ (на сотни страниц), не читаешь его, а только достаешь нужные ответы 🔍📖. Все, кто интересовался этой задачей, успели выучить слово RAG (Retrieved Augmented Generation), по-русски это можно перевести как "генерация на основе извлеченного текста". Из документа достаются небольшие фрагменты (chunks) и помещаются в контекстное окно LLM. Выбор кусков происходит на основе схожести (similarity) с промптом, причем в векторном пространстве (то есть после числовой кодировки текста), по-другому эту технологию называют "векторный поиск". Это настолько популярная задача, что она быстро проникла в Zoom как диалог с транскрипцией созвона, в ноябре появилась в ChatGPT, Google внедрил технологию в Google Диск и Gmail. На днях она появилась даже в Adobe Acrobat, внутри него можно общаться с PDF-файлами и делать их саммари.

Казалось бы задача решена 🎯. Однако пользовательские RAG-чатботы страдают случайностью 🎲, потому что извлекают из документа далеко не все нужные для ответа фрагменты. У меня есть RAG-чатбот внутри ChatGPT по расшифровкам всех уроков курса (около 90 страниц текста). Качество взаимодействия очень среднее, при ответе на вопросы, касающиеся всего курса, он залипает на конкретном уроке. Разработчики кастомных RAG-чатботов выстраивают сложную механику: вытаскивают из документа фрагменты через целый ряд промптов, похожих на пользовательский 🔄, чтобы не залипать в одном месте документа. Увеличивается охват релевантной информации перед генерацией ответа. Наверное, это звучит излишне технично. Ровно поэтому все рады очередному расширению контекстного окна до 1М от Gemini 1.5 🎉.

Большое контекстное окно = Избавление от RAG

Вместо векторного поиска LLM просто прочитывает весь документ с надежностью в 99% 👀.

Казалось бы, решение найдено 🎯. Однако за качественное чтение 100-страничного русскоязычного текста при помощи GPT-4 придется заплатить около 0,7$, что окей для серьезных задач и многовато для рутины. Уже сейчас далеко не все LLM-приложения работают на GPT-4, зачастую GPT-3.5 достаточно и нет веских причин переплачивать.

Напоследок, расскажу про самый крутой кейс использования чатбота с документом 🌟. Берете учебник по языкознанию, помещаете его целиком в контекстное окно LLM, приходите к первобытному племени с собственным языком, декодируете новый язык и наслаждаетесь общением с новыми друзьями 😃🌍🗣

#text #rag #chatgpt #usecase

Лидерборд LMSYS Chatbot Arena обновился второй раз за неделю!

Добавили модели Claude 3, и ещё во вторник появились модели Mistral Large / Mistral Next.

Для тех, кто не в курсе, Chatbot Arena — это место, где модели вслепую сраниваются реальными людьми. Вы заходите на платформу, пишете запрос, видите два ответа и выбираете лучший. Чем чаще выбираются результаты одной модели, тем выше она в рейтинге. Финальная оценка — рейтинг Эло (как в шахматах). Тут собраны десятки тысяч голосов, поэтому рейтинг достаточно честный и хорошо отражает некоторое абстрактное реальное качество модели.

Долгое время GPT-4-Turbo была в самом топе и в недосягаемости, со значимым отрывом.
1) Claude 3 Opus почти догнала: 1233+-8 очков против 1251+-5 у свежих GPT-4-Turbo
2) Claude 3 Sonet, версия поменьше и подешевле, обгоняет майскую GPT-4, а также Mistral Large
3) свежие Mistral Large / Mistral Medium сидят на 8-9 строчках рейтинга
4) самой лучшей опенсурсной моделью является Qwen1.5-72B-Chat, китайская модель, умеющая в разные языки

В целом, Claude 3 Sonet вышла неплохой — стоит сильно дешевле GPT-4/Turbo, но по ответам не так плоха ($3/$15 за миллион токенов Sonnet против $10/$30 у Trubo, а GPT-4 вообще $60/$120, если брать контекст 32k) . Осталось посмотреть более внимательно на даунстрим задачи, чтобы составить полную картинку.

За наводку спасибо автору @epsiloncorrect

Вернёмся на минутку ко вчерашнему посту про лидерборд Chatbot Arena

Вот написано, что рейтинг GPT-4-Turbo 1251, Claude 3 Opus 1233, а Mistral Large 1155. Такая разница — это много или мало? Как её интерпретировать?

Вообще система Эло рейтинга построена так, что сам рейтинг позволяет оценить вероятность победы одного игрока (или модели) над другим. Если рейтинг одинаковый, то шансы 50/50. Если разница 500 очков, то игрок с более низким рейтингом будет проигрывать 99.9%+ игр.

К сожалению, в расчёте есть маленькая техническая особенность — рейтинг оценивается относительно слабой модели LLAMA-2 (нужна ведь точка отсчёта), а не для каждой-с-каждой LLM. Однако мы можем посмотреть на попарные сравнения конкретных моделей, посчитать долю побед одной и второй, и в целом это должно биться с рейтингом. Так что ниже я оперирую именно процентами побед в «очных встречах», а не рейтингом, но они сильно связаны, и при большом количестве голосов должны быть идентичны.

Итак, давайте сравнивать:
1) GPT-4-Turbo VS Claude 3 Opus. Разница в рейтинге минорная. Но если задать моделям 100 вопросов, то в 54 более предпочтительным будем ответ модели OpenAI, а в 46 — Anthropic. 54/46, достаточно близко!
2) GPT-4-Turbo VS Google Bard: 57/43, уже грустнее
3) GPT-4-Turbo VS Mistral Large: 75/25 (!!! огромнейший разрыв). То есть если вы зададите моделям 100 вопросов, то в 75 из них вы прям заметите, что ответ GPT лучше — это существенная разница.

Ну а дальше всё еще грустнее:
4) GPT-4-Turbo VS ChatGPT (GPT 3.5): 77/23 (поэтому не нужно оценивать качество моделей по бесплатной версии)
5) Claude 3 Sonet (бесплатная в веб-версии) VS ChatGPT: 68/32 (-> не нужно использовать бесплатную модель от OpenAI)

То есть разница в 40-50+ рейтинга — это уже существенное и заметное на практике отличие одной модели от другой.

Остальные цифры можете найти тут или в первом комментарии.

Look Alike 👀🔄

Не раз писал про рекомендательные способности LLM. На праздниках извлек пока самую яркую пользу от этих возможностей. Есть не типичная для меня область — это компьютерные игры 🎮. Мы с дочерью случайно наткнулись на квест-игру Tiny Room Stories от инди гейм-студии Kiary Games (делают русские на Кипре) и влюбились в нее. Оазис в пустыне неизведанного 🏜

Одно обращение к ChatGPT помогло найти 5 аналогов и понять жанровую специфику (exit-квесты) 🕵️‍♂️. Параллельно воспользовался еще двумя рекомендательными системами (внутри Google Play и Steam), и ChatGPT победил. Наконец, киллерфича look alike через LLM — это рекомендательный трансфер. В моем случае я удовлетворил свой основной запрос и придумал новый: аналоги Tiny Room Stories в мире настольных игр. Получил прекрасный ответ! 🧡 Проверил через Board Game Geek (аналог IMDb среди настольных игр).

Выводы

1. Систем рекомендательного трансфера (видеоигры-в-настолки / книги-в-кино / блюдо-в-кафе) не существует, но они принципиально возможны.
2. Метод Look Alike (или few-shot промпт) контринтуитивно работает лучше в незнакомой среде 🆕
3. Если совместить первые два вывода, получается интересный прием: импортировать данные о себе, которых много (например, кино-музыкальные предпочтения / заметки о себе), и конвертировать в рекомендации среди неизведанного.

#lookalike #text #chatgpt #games

Без LLM-галлюцинаций

👻 Галлюцинации (правдоподобные ложные суждения) — одна из наиболее устойчивых проблем языковых нейросетей. Они понижают надежность LLM-приложений и ограничивают сферу применения тем, где невелика цена ошибки ⚖️.

На скриншоте первый способ, как смириться с их существованием и не вестись на обман за счет индикатора уверенности, с которой ИИ-чатбот генерирует ответ (чем выше, тем больше доверия ответу).

Второй способ (тоже не-широко известен) — это подключать LLM к Knowlegde Graph, специальной базе знаний, которая содержит только верные суждения в максимально сжатой форме триад. Например: {"Пеле"; "родом из"; "Бразилия"} ⚽️. Это похоже на текст, высушенный до сухих фактов.

Помимо более мощных LLM-моделей, которые ожидаются во второй половине года, будет много вот такого оптимизаторства 🛠.

#text #gallucination #llm #promptgramming

Маствотч

Редкая видео-рекомендация — интервью Яна ЛеКуна в подкасте у Лекса Фридмана. С множеством технических деталей, но четко обозначающее пределы архитектуры трансформера (текущей версии LLM) и предлагающее альтернативу в виде JEPA. Новая архитектура нацелена обучить машину понимать до-/вне-языковые представления, которые не извлекаемы из естественного языка или извлекаемы, но с избыточной тратой энергии.

#mustwatch #llm #jepa

Gemini 1.5 Pro 🔥🚀

Сжатие — самая естественная задача для LLM. Сама большая языковая модель получается, грубо говоря, сжатием интернета в 100 раз. До LLM проводили чемпионат по сжатию информации (типа зипования), и 🏆 рекордсмены достигали результатов сжатия в 8-9 раз. LLM оказалась чрезвычайно эффективной, правда не полностью надежной.

Вчера открыли доступ к Gemini 1.5 Pro с 1 миллионом токенов контекста, про который еще в феврале было понятно, что это бомба 💣💥. В него помещается 2000 русскоязычных страниц, 1 час видео покадрово, 11 часов аудио. Извлечение информации в Gemini 1.5 Pro работает с 99% надежностью, это выше, чем транскрибация аудио в текст (распространенная повсеместно, в том числе в Telegram и VK).

Задачу извлечения фактов из больших документов (Retrieval) тестируют на двух типах бенчмарок: "поиск иголки в стоге сена" (поиск факта, который встречается в тексте один раз) и "поиск N иголок в стоге сена" (поиск смежных фактов, которые встречаются в тексте один раз и в разных местах) 🌾. RAG-чатботы в дефолтной конфигурации не справляются со вторым типом задач, нужна модификация. Первый тип решается отлично, если запрос близок к ответу и если ответ содержится полностью в одном куске документа. Gemini 1.5 Pro с первого же моего теста справился со вторым типом задач. Феноменально хорошо 🌟

Сжатие и извлечение становятся безусловным лидером по надежности среди LLM-применений. Их стоит внедрять всюду, где это имеет смысл. В отличие от генерации ИИ-контента здесь все чувствуют морально-нейтральную пользу от LLM — она позволяет не читать лишнего и быстрее находить нужную информацию 🏅. Люди меньше работают, получают больше пользы, за рабочие места никто не конкурирует 🎉

#text #gemini #retrieval

Новая нейросеть с виральными видео 😃 Научились вмонтировать сторонние сущности в реальное видео. Качество низкое, но идея свежая.

Название — Viggle AI (доступна бесплатно в Discord).

#release #video

Воскресное.

Недавно OpenAI открыл доступ к SORA для избранных видеомейкеров. Одна из опубликованных в итоге короткометражек сделана полностью на AI-сгенерированном материале, но с понятной и яркой человеческой историей, без отвлекающих артефактов. Ребята из shy kids придумали как избежать случайность технологии и подчинить картинку придуманной истории, пост-продакшен естественно никуда не делся. На мой взгляд, это пример хорошего видео, в котором есть всё, кроме съемки реальной реальности.

#video #sora #weekend

2-ое место в AI Hackathon

Минувшую неделю провел в Кыргызстане. По приглашению Международного университета Центральной Азии выступил внешним экспертом в команде университета на AI Hackathon, организованном Парком высоких технологий в Бишкеке.

У нас в первый же день хакатона случилась нестыковка ожиданий и реальности. Мы готовились активно пилить прототип / MVP, а рамка хакатона оказалась не технической, а бизнесовой, и конечным результатом был 2-минутный (!!) питч перед жюри. Второй неожиданностью было то, что некоторые команды разрабатывали проект не с нуля (как это предполагает классический формат хакатона). Именно такой проект победил с крутой идеей "робота для настенной живописи" (типа настенного принтера), у них на руках уже был собранный прототип, который можно потрогать.

Мы же разрабатывали AI-сервис для развития креативности у студентов (наши pitchdeck, демо и собственно питч). Для прототипа взяли за основу 30 Circles Exercise — упражнение, где нужно дорисовать два исходных круга до узнаваемого объекта и так 30 раз. Креативность базово оценивается по количеству рисунков, разнообразию и оригинальности конкретных идей. AI в этом процессе дает подсказки (когда ступор) и оценивает конечные рисунки.

Мне было очевидно, что GPT-Vision здорово справится с задачей оценивания, приятным сюрпризом стало то, что текстовые AI-подсказки и оригинальные идеи от самого GPT тоже на уровне. Например, ChatGPT предложил нарисовать две стороны античной монеты. Ниже прикреплю несколько рисунков, которые нарисовали мы сами, когда устраивали внутренний контест.

P.s. картинка к посту, оказывается, стала реальностью даже в Кыргызстане.

#aihackathon #edu #image #vision