Когда ваших нейронов становится слишком много, то каждую отдельную линию учить сложно. Поэтому нам проще учить такие сложные линии целыми таблицами.

Если считать всё вручную, то это кажется сложным, но на самом деле суть та же, как и в обучении одной линии. Только обучаем пачками
 
Это делается при помощи матричных уравнений, которые в простом виде записываются так:

Kx + C = y
 
И с ними работают все те же действия, что и с обычными уравнениями. Чуть сложнее, но разница не сильно принципиальна.

Эти таблицы бываю маленькими, большими, очень большими и… Просто гигантскими! Как раз у ChatGPT эта таблица настолько большая, что занимает, аж 120 Гб!
 
🙅 Это супер-важно для понимания. Многие думают, что обученная ChatGPT хранит в себе какие-то тексты типа вот так:

жук        бабочка    кирпичик                 if
Фонарь аптека      сейчас 2021 год      канал

🅰️ Но хранит он числа, вот примерно такие:

0.2324234   0.3452345  0.2873456 …
0.2324234   0.3452345  0.2873456 …
…                   …                  …
Этих чисел там миллиарды, и именно они приводят к тому, что ChatGPT может генерировать те кучи осмысленного текста, которые мы видим!

P.S.: Слова ChatGPT в себе всё же хранит, но об этом чуть позже.

🤔 Почему ChatGPT может то что может. Часть 4. Embeddings и Word2Vec
 
Итак, мы поняли, что ChatGPT оперирует только цифрами. Тогда как он справляется с тем, что мы даем ему буквы? Он превращает их в цифры!
 
Как же оцифровать слова? На самом деле мы с вами это делали в школе, но не придавали особого значения такой скучной штуке, как морфологический разбор. Это была настоящая цифровизация на минималках
 
К примеру, оцифруем слова "король" и "королева":
                     Существительное:   Одушевленное:  Род мужской:
Король:      1                                   1                              1
Королева:  1                                   1                              0
 
Король у нас теперь представлен тремя числами: 1, 1, 1
Как и королева: 1, 1, 0
 
Если мы разместим их на трехмерном графике существительных, то увидим, что они довольно близки:

🤔 Почему ChatGPT может то что может. Часть 5. Работа в общих чертах. Внутренний словарь.
Прежде чем двигаться дальше, суммируем полученные знания.
1️⃣ Мы поняли, что задача ChatGPT – это предсказать следующее слово.
2️⃣ Мы поняли, что нейронная сеть – это большая-большая таблица чисел.
3️⃣ Мы можем превращать слова в таблицы чисел.
4️⃣ Мы можем перемножать таблицы чисел между собой.
5️⃣ После перемножения двух таблиц чисел получается ещё одна таблица чисел.
 
Этих знаний нам уже хватит, чтобы переварить обобщенную схему того, как работает ChatGPT: 
1️⃣ Переводит каждое слово из предложения в таблицу чисел
2️⃣ Перемножает эти числа на свои внутренние таблицы
3️⃣ На выходе получает результирующую таблицу чисел.
4️⃣ Находит в словаре слово у которого таблица больше всего похожа на результирующую таблицу числел.
 
Вот как это выглядит на очень упрощенной схеме (квадратики это ячейки таблицы):

🤔 Почему ChatGPT может то что может. Часть 6. Работа в общих чертах. Токены. Автогрегрессия.
Итак, мы дали чату фразу "Список страховых" А он сгенерировал нам фразу "Список страховых компания". Окончание у последнего слова хромает.

На самом деле большой проблемы в этом нет. Дело в том, что слово "компания" мы выбирали из словаря, где хранятся целые слова. Если хранить слова не целиком, а по кусочкам, то всё быстро выправляется.

🤔 Почему ChatGPT может то что может. Часть 7. Как учат ChatGPT.
Мы почти подобрались к концу, осталось понять, как учат ChatGPT.

При обучении ChatGPT происходит все то же самое что описано в предыдущем посте. Только в конце мы сравниваем получившиеся цифры с эталонными, и, если эти цифры нас не устраивают, то мы просим ChatGPT пересчитать свои внутренние коэффициенты. Чем чаще вы производите этот процесс, тем точнее результаты.

К примеру возьмем необученную сеть и дадим ей продолжить фразу “Список страховых”:

👉 Представим, что данные для обучения по страховым компаниям Батуми выглядели вот так:

Aldagi – страховая компания Батуми телефон +995 422 27 27 27 – повторяется в выборке 100 000 раз
GPI Holding – страховая компания телефон +995 634 13 29 45 – повторяется в выборке 500 раз
Imedi L – страховая компания +995 345 13 12 22 – повторяется в выборке 100 раз.
Pasha Insuranse – страховая компания Батуми +995 125 83 39 54 – повторяется в выборке 5 раз.
 
Первая компания в обучающей выборке попадается 100 000 раз. Это значит, что при обучении чату ГПТ буквально говорят: вероятность выпадения комбинации цифр +995 422 27 27 27 при упоминании слов "Батуми" и "Страховая компания" в 200 раз выше, чем комбинации "+995 634 13 29 45"
 
Это не значит, что чатГПТ так и решит, что надо выдавать эти цифры, просто вероятность этих цифр будет сильно выше. Что мы и видим на скриншоте, там секвенция +995 422 27 27 27 повторяется довольно часто и для разных компаний.

🤔 Почему ChatGPT может то что может. Часть 8. Как сделать ответы правильными. Плагины.
Когда я только начал писать эту серию постов, у ChatGPT вышли плагины. Это именно то, что нужно.

Раньше мы могли взять сгенерированную ChatGPT строчку и пойти в интернет, чтобы факт-чекнуть то, что выдал нам злой ИИ. Но теперь, с помощью плагинов, он это может делать сам.
 
То есть в случае с плагинами, мы попросим чат выдать нам список из 10-ти страховых компаний. Он сгенерирует какую-то чушь, а затем пойдет в поисковую истему с вопросом: "Существует ли страховая компания Aldagi в Батуми?" И если ответ будет да, то он вытащит сам из поисковой выдачи нужные данные и подправит свою строку.

В этом случае, мы действительно будем работать с данными, которым можно доверять. И вот это уже неверотно круто!

🅰️Итого: мы теперь знаем как устроены простые нейроны, как работает ChatGPT, как его учат, и как плагины вылечивают случайный характер ответов от нейронки. Думаю что через некоторое время появится куча надстроек, которые сделают ChatGPT еще более магическим, и надеюсь, что эти посты как-то помогут развеять эту магию.

P.S.: Ффух. На этом всё. Я уже давал себе зарок не писать длинные серии статей. Но очень интересно было разбираться с тем, как всё это работает.

Вообще, я думал, что просто пойду и переведу статью Стивена Вольфрама, о которой говорил вначале, но оказалось, что там не совсем то, что мне нужно, и тогда я нашел топовый цикл статей, по которым всё это и написал. Много чего узнал, и доволен этим. Надеюсь, что даже если сами мои посты для вас оказались не нужны, то ключевые слова и ссылки на другие статьи помогут вам узнать чуть больше о том, как работает вся эта нейромагия.

❓ Ну и пишите в комментах и в личку, если знаете лучше меня, как это всё работает. Я часто делаю ошибки, но всегда стараюсь их признавать и исправлять.