Несколько раз за последнее время встречался с вопросами "а как интегрировать GPT" в свой сайт/бот/курс/...

У меня два ответа и они, как обычно, делятся на "хороший и плохой".

Начну с хорошей новости:
Технически нет никаких проблем с интеграцией, она очень простая. Спецификация для SCORM курсов в 1000500 раз сложнее, да даже интеграция вашей СДО с 1С будет казаться космическим кораблем, по сравнению с подключением к языковой модели.

Более того, моделей много, но они уже умудрились между собой договориться и у них примерно одинаковый процесс подключения. Не совсем, но есть те, где переключение между моделями вообще происходит бесшовно.

Если убрать все лишнее, то в сухом итоге вы передаете в API нейросетки текст вопроса, а получаете текст ответа. Все. Текст туда, текст обратно. Никаких вам 100 параметров как в интеграции с 1С. Ну ладно, есть, но их буквально по пальцам пересчитать можно и большая часть не обязательная.

Разумеется для этого всего вам понадобится:
🖥 какой никакой, но сервер (может быть с IP не в РФ, если планируете работать с зарубежными моделями)
🧑‍💻 чутка навыков программирования и вообще понимания как писать код
⌨️ настроенное "окружение" и прочие пререквизиты, типа созданного бота в телеге или проделанной безопасниками дырки в фаерволе компании, для нужных доступов

Но все эти пункты были бы нужны и если бы вы интегрировались не с ИИ, а с чем угодно, так что их правда можно вынести за скобки.

А про плохую новость напишу завтра ))

Ну и теперь к плохой новости (хотя я знаю еще одну хорошую, но про нее тоже отдельным постом).

Помимо интеграции на уровне техники, придется решать кучу проблем с интеграцией на уровне логики.

Кажется что вот же, отдадим курс ИИ, пусть он его сам "изучит" и будет отвечать пользователям. Не будет. И даже не изучит. Как минимум потому, что на самом деле нет еще никакого ИИ, а есть нейронка, очень умело прикидывающаяся умной.

Итак.

Чтобы нейронка дала вразумительный ответ, ей кроме вопроса от пользователя нужно передать еще какой-то контекст, в котором есть как минимум подсказки к верному ответу. И не отдельно, а прямо вместе с вопросом.

Условно, юзер спрашивает про функционал вашего продукта "Как мне сделать ..." - вы должны этот вопрос превратить во что-то типа "Действуй как опытный консультант. Ты помогаешь отвечать на вопросы о продукте ... (и тут много инфомации о том как он работает). Ответь на вопрос пользвателя: ... (и тут вопрос). Ответ должен быть точным и конекретным, если ты не знаешь точного ответа то... (и тут еще пачка инструкций как дать хороший ответ)"

И тут сразу начинаются проблемы - если ваш контент (курс или что-то еще) собран как преза, то выдрать из него читабельный текст - это целая задача. А если контент в формате видео - все еще веселее. И решать эти проблемы будет не нейронка, а вы.

Более того - как правило весь контент разом не влезает в объем который можно передать в одном запросе. Нужно резать на кусочки. На какие? Если я спросил одно, а в нейронку ушел кусочек про другое - я получу бредовый ответ. То есть контент нужно сначала разрезать и разметить, потом передать в нейронку вопрос с уже другой формулировкой, например "Действуй как консультант по продукту ... (очень общая информация по теме), пользователь задал вопрос ... (текст вопроса), определи к какой категории он относится. Категории: 1 ..., 2 ... ... . Отправь в ответ только цифру категории, а если не уверен, то отправь в ответ уточняющий вопрос"

А дальше вам нужно самим (да, это надо прогаммировать) смотреть на ответ и писать в коде проверку, что если получили цифру, то нужно повторно отправить уже первый вариант промпта и уже второй ответ показывать пользователю, а если текст, то показать его пользователю сразу, дождаться уточнения, еще раз отправить в нейронку полный текст диалога с инструкциями что она или дает цифру или снова что-то уточняет...

Эту логику нужно:
а) придумать
б) запрограммировать
в) (самое сложное) стабилизировать

В моем опыте - самое гадостное, что нейронки часто на просьбу прислать одну цифру в ответ присылают кучу мусора, типа "конечно я с удовольствием помогу, номер категории 59, если будут еще вопросы с радостью на них отвечу". Блин! А я жду одну цифру. И в коде написано, что если получил текст, то показываю его юзеру. А это совсем не то, что он ждал. А уж как она любит ставить то точки, то буллиты когда не просили...

И в итоге 99% проблем связаны именно с тем, что мы должны написать промпты так, чтобы периодически обрабатывать их строгой логикой if () else (), при этом нейронка будет творить что угодно.

Вывод? Сам процесс "интеграции" это лишь вершина айсберга. В первую очередь придется решать проблемы связанные с логикой и самим контентом. А передать текст в API и получить ответ - вообще не сложно.

Показалось любопытным рассказать о примерном распределении времени, когда делаешь такую вот промпт-стратегию.

Данные очень примерные, но дают представление.

Подготовка:
- продумать первую версию логики "на бумажке" - 1 час
- прописать первые версии промптов - 1-2 часa (тестировать прямо в интерфейсе чата)
- поправить логику и промпты (совсем-совсем базово - поняли, что забыли какой-то шаг) - еще час

Разработка:
- начать пилить код, который покажет пользователю сначала поле, где можно задать вопрос, потом уточняющие вопросы или кнопки для выбора варантов, потом ответы - тут в зависимости от того, насколько готово окружение, но если все готово и нет потребности искать сервера и окружение - около 8 часов. Если уже есть наработки - 4 часа.

Отладка:
- начинается самое интересное. Допустим на первом шаге мы хотим, чтобы нейросеть уточнила какой-то момент и хотим вывести варианты в виде кнопок пользователю - нам нужно, чтобы нейросетка отдала строго до 4х вариантов, каждый длинной до 80 символов (а то не влезет) и без нумерации или дефисов... вот в этот момент промпты начинают жирнеть и наполняться фаршем из "не пиши предисловие и заключение, отвечай строго по делу, начни с первого пункта, не используй нумерацию, вообще не используй я сказал!" - от 4 часов для небольшой задачки
- внезапно понимаем, что хоть и мы и придумывали логику, но в реальности есть еще какой-то этап, который мы пропустили, где нужно было бы показать пользователю промежуточный шаг или спросить уточнение - это сразу аффектит на все написанное ранее - еще от 4х часов минимум
- и самое гадкое, когда мы ожидаем, что на определенном шаге нейросеть нам будет выдавать, допустим, три красивых абзаца (которые мы потом разделим и отдельным промптом попросим как-то оформить), но она выдает то так, то 15 буллитов, то еще как-то, и нужно наши промпты "стабилизировать", чтобы они 10 из 10 раз отдавали схожий результат. И вот тут у меня уже улетает от 8 часов.

Написал и понимаю, что без конкретного примера - не понятно примерно ничего ))) На днях закину что-то, ну пусть будет разделение задач по Эйзенхауэру или SWOT анализ. Или предложите свой вариант?

Ну и продолжая цикл про разработку, есть еще одна хорошая новость. К счастью есть уже большое число готовых систем для того, чтобы встроить их в свои решения - от конструкторов ботов, до GPT's где без особо сложного кода можно описать алгоритмы и логику.

Из примечательных сервисов:
- https://aimylogic.com/
- https://writesonic.com/botsonic
- https://chatfuel.com/
- https://www.chatbase.co/

Делать описание к каждому нет смысла (сами на странице прочитаете), но в целом в таких сервисах есть два ключевых бонуса:
1) почти во всех ИИ можно дообучать на ваших данных, ответы становятся более адекватные. К сожалению это не так просто как кажется - вариант "закинем все, пусть сам разбирается" не работакт так хорошо как бы хотелось
2) простую и прямолинейную логику в них делать очень и очень просто. А вот сложную - не факт что вообще получится.

Так что если я напугал вас сложностью кодинга - вот вам рецепт как справить без него.

Появился первый кейс, где GPT модель была встроена в курс и работала в корп.сети без всяких установок и серверов.

К сожалению скрины дать не смогли (маркетологи запретили) но выглядит интересно.

Кейс: тренажер делового письма, где в виде упражнений нужно было писать план письма и содержимое отдельных кусочков. ИИ оценивал и давал комментарии по написанному. Раньше эти упражнения уходили тренерам через документы - было супер не удобно и долго.

Использовали LLM.js - при первом включении нужно было загрузить модель (занимало 4-5 минут - почти 300МБ) в это время пользователь читал лонгриды, так что для него все проходило достаточно незаметно.

Дальше появлялись упражнения, пользователь вводил свой вариант, получал комментарии.

Из отзывов пользователей:
- на слабых компах ответы печатаются долго. Иногда несколько минут. Это пока сильный минус, но можно было бы "расшить" дав что-то почитать пока модель готовит ответ.
- а вот ответы пользователям очень понравились, они были даже подробнее, чем обычно хватало ресурсов дать тренеру.

Курс "программировали" полностью в ручном режиме силами команды разработки, без конструктора. Моя роль была скорее в аудите и показе своих наработок, но если кому-то интересно у себя такое сделать - приходите, мы с Ромой поможем.

Участвовал вчера в круглом столе про экономику данных и искусственный интеллект на HR Megatrends.

Вместе с Анной Овчинниковой @nuraovch из Сбера обсудили что происходит с ИИ и генеративными сетями в HR.

Интересные выводы:
- мы хотим чтобы ИИ забрал у нас рутинную работу
- при этом мы видим что и часть креативной тоже можем отдать нейросеткам
- а нам, кожаным мешкам с костями, остаётся то, где нужна связка человека с человеком, где нужна та самая химия

А ещё прошли по всему HR циклу от бренда работодателей до увольнения и выяснили, что на каждом этапе уже нашли применение для ИИ и при этом есть ещё куда расти.
- качественные описания вакансий
- проверка резюме на соответствие и скоринг кандидатов
- помощь в онбординге в виде ответов на частые вопросы
- персонализированные треки для обучения ну или хотя бы тон оф войс для разных сотрудников
- помощь при составлении и выполнении ИПР
- анализ выгорания, оценка лояльности
- оценка причин ухода
- ... (список не полный)

Да, у ИИ есть лимиты, есть проблемы, есть свои ограничения, но все их можно и нужно обходить.

Хах. К интересным задачкам, но в этот раз без правильного ответа. Понадобилось сегодня перевести несколько фраз на "Алиэкспрессный" (это когда с китайского на русский через английский и нифига не понятно, но очень интересно). Не спрашивайте зачем))

Так вот - с OpenAI я не справился. Совсем.

1. Был уверен, что достаточно будет в промпте сказать "сделай описание в стиле товаров с Алиэкспресс". Но нет.
2. Добавил, что это когда описания не понятные, про автоперевод рассказал. Снова не то.
3. Даже добавил примеры названий. Но снова все мимо.

В общем вот нам всем конкурс - попросить ИИ придумать название для вебинаров (пусть будет по тайменеджменту) в стиле заголовков Алиэкспресс. Делитесь промптами и результатами в комментариях. Победитель забирает мору улыбок и народную любовь!

* а желающие могут попробовать угадать что за товар был с таким описанием, как на скриншоте

В четверг и пятницу прошла конференция DL. Думаю многие из подписчиков на ней были.

Второй день был богат на демонстрацию курсов и процессов изнутри. Показали как используют ЧатГПТ для создания структуры курса. Показали круто, хотя сложно было следить за происходящим на экране - и мелко, и не понятно на что смотреть.

Вот думаю, нужно ли в канале попробовать разобрать пару кейсов на видео, чтобы посмотреть вблизи на процесс. Например создание структуры курса, создание тестовых вопросов, выбор методологии? Или для многих тут это уже пройденный этап? Все-таки времени с появления ИИ прошло много.

Ого. Чуть не пропустил новость. Несколько дней назад Meta выпустили новую модель Llama 3 70B.

Из плюсов:
- опенсорс!
- бесплатная и вообще без регистрации и смс

Норм:
- 4К токенов на вход (не так много)

Минусы:
- постоянно надо напоминать говорит на русском (легко исправляется системным промптом)
- интерфейс и управление грустные - ни регенерации, ни изменения прошлого сообщения

Но в целом это хороший шаг вперёд, особенно рад продвижению именно опенсорса.

С момента появления gpt уже несколько новостей подобных этой: https://habr.com/ru/news/811619/

Коротко: находят новые "формулы" для "нейронов" с которыми качество работы нейронки получается выше.

Но везде есть свой трейдофф - то нужно немерянно памяти, то процессор или даже видеокарты огромной мощности, то вообще надо сначала собрать ещё специальный процессор...

А вот сейчас реально интересно - трейдофф в более длительном обучении...

Кстати, я знаю уже вид нейронок, которые надо сначала специальное оборудование собрать (примерно 9 месяцев) и потом ещё учить 20+ лет. А главное очень экологичное производство! 👫🤰🤱🙇‍♂😂

Странный факт, но за год существования GPT моделей, их применение в обучении на 99% состоит из генерации контента. То есть это как-бы и обучение, но на самом деле ведь контент мы делаем "до".

А вот кейсов как GPT применяется именно "во время" - для проверки заданий, для генерации чего-то на лету под условия пользователей - штучно. Я бы сказал6 что могу буквально по пальцам пересчитать.

И если с "генерацией на лету" я могу понять - частые галлюцинации совсем не радуют полагаться на ИИ сложно, надежность по умолчанию не равна 100% никогда, то вот причин для такого малого числа других кейсов я не вижу. Ну разве что, то что стандартные SCORM курсы такое не умеют, а никто дальше конструкторов не выходит? Так?

А может быть я просто не туда смотрю? Встречали интересные решения, где ИИ был бы зашит именно в процесс?

Мы с Ромой больше акцентируемся на текстовых ИИ, но буквально за последние дни меня догнало сразу два стартапа, которые используют обработку видео для определения вовлеченности на вебинаре.

Как работает: берутся фрагменты видео (или вообще кадры, раз в несколько секунд), прогоняются через нейросеть, которая определяет основные параметры - интерес, активность, усталость, эмоциональность и другие. А дальше можно эти данные использовать для нескольких сценариев:
1) "Иванов, к доске" - заметили, что пользователь на вебинаре "спит" - пользуемся стандартным приемом учителей в школе. Ну или просто следим за показателями у каждого из участников, чтобы лучше понимать ситуацию.
2) Смотрим на общие показатели и когда "класс выдохся" делаем перерыв или меняем тему и формат. По сути то, чего так не хватает в онлайне - та самая оценка реакции аудитории, которую не видно.
3) После вебинара оцениваем качество работы спикера, его навыки, стиль работы с группой.
4) Ищем места, где лучше поправить программу и изменить сценарий, смортим как поменялась реакция после изменений.
5) На записи вебинара подсвечиваем самые "интересные" моменты, чтобы не смотреть все 2 часа
6) Оцениваем качество участия - не просто "присутствовал 70% времени" а еще и был внимателен и слушал.

Но и не без минусов, разумеется.
1) Модель не 100% и даже не 90% точная - очевидно будут ошибки и человек с насморком может оказаться уставшим
2) Фиг его знает, куда на самом деле смотрит человек - может у него на втором мониторе открыт ютуб с котиками и он весь такой заинтересованный, но не вебинаром?
3) Кстати про второй монитор и вообще когда камера смотрит сбоку - тут точность падает еще сильнее (хотя это решаемая проблема)
4) А еще есть камеры направленные на зал, где много людей - тут модель просто выходит покурить, оценить каждого она не сможет, а если и сможет - оценка кого-то, кого случайно выбрала модель (ближе сидел, например) будет выводиться как оценка всей переговорки
5) Ну и финалочка - всем нужно будет давать доступ к камере, а это может сильно отпугивать. Причем даже не обязательно выходить в эфир, но сам доступ должен быть. Не знаю, но есть гипотеза, что если камера работает, но я не вижу как я на ней выгляжу - это может нервировать.

Что думаете? Как бы вы применили такой функционал? И применили ли бы?

Нет, ну серьезно. Я в восторге от того, как работает ИИ, но иногда, на боевых задачах приходится ловить такие галлюцинации, что просто хочется все бросить и пройти на завод.

Простите. Накипело, видимо )

Супер новость. Вышел ChatGPT Edu, созданный для процесса обучения.

Модель основана на GPT-4o. Может работать с текстовой и визуальной информациией.

Обещают даже интеграцию с учебными системами (но пока не понял какую).

Сама новость: openai.com/index/introducing-chatgpt-edu/

ChatGPT Edu, по задумке, сможет заменить репетиторов.

Верим? Хотя даже если и нет - новость все ещё шикарная!

На конференции eLearning elements модерирую секцию по ИИ. И очень рад увидеть кейс как используется ИИ именно внутри курса.

Алексей Миляев на сцене. И это просто песня!

Мой короткий вывод с тех выступлений, что были сегодня...

Перевод: Я хочу, чтобы ИИ занимался стиркой и мытьем посуды, чтобы я могла заниматься рисованием и писательством, а не чтобы ИИ занимался рисованием и писательством, чтобы я могла стирать и мыть посуду.

На связи Роман Мандрик.

Сейчас нахожусь на конференции «Белая конфа», которая проходит под заголовком «онлайн-образование без онлайна и манипуляций», такой вот антиинфобиз.

Присылаю вам слайд с примерами того, как ведущие EdTech компании пытаются примерять ИИ в своей деятельности.

Только что провел вебинар, где показал две (короткую и длинную) промпт стратегии для создания курсов, на примере конструктора курсов МТС Линк (хотя не так важно в какой конструктор потом класть контент)

Файлик с промптами выкладываю в общий доступ, мне кажется он очень полезен как база, хотя я сам, честно, не люблю готовые промпты, с ними нужно быть очень аккуратным и смотреть нет ли там лишнего - в общем, адаптируйте под себя.

Результаты в виде курсов:
Тайны обучения непокорных - https://my.mts-link.ru/course-info/742577
Как шутить в незнакомой компании - https://my.mts-link.ru/course-info/742555

Оба курса сделал в прямом эфире, меньше чем за час, и, хотя, первую короткую стратегию хотел показать как антипример, оба вышли в целом нормально.

Давно не публиковали ничего из новостей, а их же на самом деле много. Сегодня с @Roman_Mandrik ведём тренинг по нейросеткам для одного топового банка.

Если хотите узнать про ИИ вы знаете кому писать и звонить.

Только у нас:
- расскажем понятным языком на простых примерах
- дадим практику, которая будет полезна и применима
- адаптируем программу под задачи, вплоть до специфики отдела (мы не гастролируем с готовой презой!)
- учитываем инфраструктуру и все требования ИБ, сегодня вообще подготовились к работе без интернета и полностью оффлайн
- провести можем и онлайн, и оффлайн и даже гибрид

Заметил еще одну тенденцию. В том числе и по себе, чего уж.

Чем активнее я делегирую задачи ИИ тем... безалаберней, что-ли, я относился к результатам. Вырабатывалось какое-то безусловное доверие. Очень усыпляющее. Сверху ложилась обычная лень и гремучая смесь готова.

Вроде понятно, что я валидирую результаты ИИ и если я использую текст, то под ним, как-бы, моя подпись. На деле я часто пробегал по диагонали. И заметить это по себе было сложно. Но мы справились и теперь знаем как это выявить и как бороться с таким видом безответственности!

В наш тренинг мы добавили еще один авторский кусочек! Кто хочет применять нейронки на 100% и с полной ответственностью - вы знаете к кому идти.

Ну а на днях анонсируем еще одну новость, как мне кажется огненную )