ChatGPT версии 3.5 (с которого началась и массовость и моё личное знакомство с LLM) на этой неделе исполняется уже 2 года!

Если кто-то вдруг до сих пор с ним ни разу не общался - попробуйте в моём ПРОСТОБОТе.

Сергей Булаев AI 🤖 - об AI и не только

Писатель фантаст Илья Рэд поделился у нас в комментариях своими кейсами использования ChatGPT при написании книг. Очень интересно:

Мой творческий псевдоним Илья Рэд, мне 33 года и я писатель-фантаст, работаю в этой сфере почти 2 года.Основные жанры: попаданцы и фэнтези (боевоë, тëмное, городское, бояръ-анимэ (да есть такой жанр 😄). За это время написал 14 книг, сейчас выпускаю 15-ую.

Я полгода как использую чатгпт для написания худ. книг., но не в том формате "напиши мне историю", а как ассистента, с фантазией проблем нет. Сначала картинки генерил, потом долго сидел на бесплатной версии гпт и еë аналогах, тестил, ну а потом уже полный функционал взял и это кайф просто)) Сейчас активно осваиваю видеонейронки т. к. за ними будущее в развлекательной индустрии.

В сферах, где плаваю, он выдаëт мне саммари, либо берëт на себя описательную часть всяких интерьеров, одежды и других вещей. Из предложенных им допустим 6-7 вариантов я беру 1-2 или компаную разные куски в 1 быстренько.

Также удобен в редактуре, создании сюжетных развилок, персонажей и их конфликтов, даëт идеи и свежий иной взгляд на описания(например, мы описываем дом и он туда добавил плесень, а ты о ней вообще не думал - это крутая деталь), собеседник для брейнштормов, придумывает, например, мне заклинания с эффектами максимально приближенными к физическим законам из 20-30 попадаются крутые варианты. То есть, я ему конкретные задачи даю, а сам уже собираю конструктор и корректирую детали. Это экономит кучу времени на разработку системы мира. Он также может еë проанализировать мне и выдать недостатки.

Тем не менее основной пласт работы делаю уже я сам, кодирую эмоции в текст ну и в состоянии потока передаю его.

Очень плох в юморе гпт и вообще в эмоциональной составляющей, но думаю над этим уже активно работают.

Ещë если тонкости процесса брать использую гпт и Dalle для создания монстров. То есть я сначала генерю нужного краказябру и потом описываю его с картинки+чот добавляю - так живее выходит + арты для читателей потом когда выкладываешь там большое сходство.

Также гпт помогает анализировать рынок книжный. Если нет времени читать новинку - можно промтами выудить нужную инфу. Он правда много звиздит, но 50-70% достоверности почти всегда есть. Это экономит сильно время, при условии что ты уже профи и знаешь, что искать и какие моменты спрашивать.

Ну и само собой до написания книг с нуля ему пока очень далеко. Это как сказать дрели - а ну ка сделай дырку и повесь картину мне. Дрель быстрее чем допустим молотком и долотом ковырять, но работать ей тоже надо уметь: прикладывать силу где надо, выбирать правильные свëрла и режим работы. Такая вот аналогия)

У Ильи есть твой телеграм канал.

Сергей Булаев AI 🤖 - об AI и не только

Как думаете, генерация?

Нет. Просто в моём родном Ульяновске, на улице Минаева, сегодня проходит сельскохозяйственная ярмарка.

#КриповаяСуббота@sergiobulaev

Сергей Булаев AI 🤖 - об AI и не только

Как работает мультимодальный RAG?

Мультимодальный RAG - это система, которая умеет работать с реальными документами - теми, где текст перемешан с картинками, таблицами и графиками.

В центре него - мультимодальная языковая модель, способная одновременно понимать текст и изображения. Она работает в связке с двумя типами эмбеддинг-моделей: одна превращает текст в вектора, вторая (обычно CLIP от OpenAI) работает с картинками. Получается что-то вроде двух параллельных потоков обработки данных.

Все эти вектора попадают в специальную базу данных - обычно используют что то вроде Qdrant. Эта база умеет хранить и искать похожие элементы обоих типов, что критически важно для работы всей системы.

При получении вопроса система ищет релевантную информацию сразу во всех форматах. Например, если спросить про график продаж, она найдет и текстовое описание, и сам график, и может даже таблицу с конкретными цифрами. Всё это собирается в единый контекст и передаётся в LLM через специально составленный промпт.

На этапе генерации ответа модель не только цитирует найденный текст - она анализирует графики, старается понимать схемы, сравнивает данные из таблиц. Она может увидеть тренд на графике и связать его с текстовым описанием, заметить важную деталь на технической схеме или сопоставить числа из разных источников.

Такой подход особенно эффективен при работе с технической документацией, где важная информация часто разбросана между текстом и иллюстрациями, или с презентациями, где без понимания графиков теряется половина смысла. По сути, мы получаем систему, которая воспринимает информацию примерно как человек - целостно, связывая визуальные и текстовые данные в единое целое.

Написано на основе поста, который мне прислал Макс, вместе с которым мы много исследуем различные RAG системы.

Сергей Булаев AI 🤖 - об AI и не только

DeepMind выкатили интереснейший пейпер про то, как ИИ может учиться самостоятельно, без постоянного участия человека. Называют это "Сократическим обучением" - в честь древнегреческого философа, который учил через диалоги и дискуссии.

Команда во главе с Томом Шаулем описала три ключевых условия для успешного самообучения ИИ:
- Качественная обратная связь, соответствующая целям обучения
- Широкий охват данных в рамках закрытой среды
- Достаточные вычислительные ресурсы

Главная идея в том, что ИИ может становиться умнее даже в закрытой среде, без притока новых данных извне. Это как если бы вы заперли философа в библиотеке - он продолжит развиваться, перечитывая и переосмысливая уже известные книги.

Исследователи предлагают использовать "языковые игры" - специальные форматы взаимодействия, где ИИ-системы могут спорить, обсуждать и учиться друг у друга. Самое интересное - системы смогут не только играть в существующие игры, но и придумывать новые, постоянно расширяя свои возможности.

В работе особое внимание уделяется самомодификации - способности ИИ перестраивать свою внутреннюю архитектуру. Это может помочь преодолеть ограничения, заложенные при начальном обучении. Уже сейчас современные языковые модели вроде GPT-4 показывают зачатки такого поведения через самопроверку и метапромптинг.

Яркий пример - недавнее достижение DeepMind в решении задач Математической Олимпиады на уровне серебряной медали. Модель не просто решала задачи - она демонстрировала способность к сложным рассуждениям, которые улучшались со временем.

Если всё получится, мы можем увидеть системы ИИ, которые учатся как научные сообщества - через постоянные дискуссии и обмен идеями. Только в тысячи раз быстрее человека. Звучит немного пугающе, но и очень захватывающе одновременно.

Сергей Булаев AI 🤖 - об AI и не только