2. Проверяем. Мы видим, что эта линия нам не подходит, так как и жуки и гусеницы лежат поверх линии – нейрон всех считает гусеницами. Считаем ошибку:
 
Ошибка = желаемое - текущее.
 
Желаемое = 1,1
Текущее = 0,25*3  = 0,75
 
Ошибка = 0,35

Пунктирную линию мы провели сами – таким образом мы показываем нейрону, какое значение мы от него бы хотели.

Это снова кажется читерством, но именно так и происходит обучение! Нейронка говорит вам, что думает по какому-то вопросу, вы говорите ей, что хотели бы, чтобы она думала, и в следующий раз она думает правильнее.

3. Пересчитываем коэффициент k:
 
Считаем насколько надо изменить k:
∆k = Ошибка / x = 0,35 / 3 = 0,1167
 
k = k_предыдущее + ∆k = 0,25 + 0,1167 = 0,3667
 
Итак, новый нейрон будет выглядеть вот так:
Если 0,3667x > y, то это жук
Если 0,3667x < y, то это гусеница
 
Теперь линия лежит там где нужно и отличает жуков от гусениц.

P.S.: Я тут пропустил вывод формул, поэтому может возникнуть недопонимание. Для более подробного ознакомления с математикой этого процесса, вы можете почитать про такую штуку как Градиентный спуск. Лучше всего её изучать с компом, и с книгой Тарика Рашида, о которой я упоминал выше.

А что если нам нужно больше различий? Например отличать не только жуков, но и бабочек? Мы просто добавим новую линию, и будем обучать уже два нейрона!

Мы оцифровали слова по трем параметрам для удобства. Но параметров может быть сильно больше. У модели GPT 2 для каждого набора слов может быть более 1600 разных параметров.
 
То есть, перед тем, как прочитать ваше предложение и сделать выводы, ChatGPT сначала превращает каждое слово в набор цифр. Если вам интересно, как это работает математически, то сильно рекомендую почитать статью про алгоритм word2vec (или вот тут, чуть более лаконично, но на английском)
 
🅰️ Набор цифр, который описывает слово называется Embedding. От английского слова embedded - включать в себя. То есть по сути эмбеддинг это однострочная таблица цифр, которая показывает какие свойства ВКЛЮЧАЕТ в себя слово.

В текстовом варианте:
 
1️⃣ Превращаем каждое слово в набор цифр – покрашены желтым цветом. 🟨
2️⃣ Перемножаем эти цифры на огромные таблицы. Числа в этих таблицах долго подбирались в процессе обучения модели. Зеленые квадратики. 🟩
3️⃣ Результатом этого перемножения служит другой набор цифр, который мы должны превратить в слово. Розовые квадратики 🟪
4️⃣ У ChatGPT есть внутрениий словарь, в котором лежат слова, а напротив этих слов лежат наборы цифр. По набору цифр ChatGPT находит нужное слово в своем словаре. В нашем случае это будет слово "компания"
 
Давайте чуть подробнее остановимся на последнем этапе. В слове явно есть ошибка в склонении. Итоговая фраза будет звучать правильно, но кривовато: "Список страховых компания" Это нужно поправить, и тут мы подбираемся в такому понятию, как токены.

P.S: Опять же я тут много много подробностей опустил. К примеру про такую интересную штуку, как внутреннее внимание. Вы можете почитать про него подробнее вот в этой статье. Вообще у автора целая серия статей, где рассказывается всё немного подробнее, но без душной математики.

Не поймите меня неправильно – математика заебись, просто иногда хочется обойдись без неё, чтобы понять, а надо ли в неё лезть.

P.P.S: Правда прочитайте статью, она охуенная!

🅰️ Такие кусочки слов называются токенами. Так что теперь вы знаете, что такое токены – это просто кусочки слов в словаре ChatGPT.
 
Поэтому после прохождения четырёх итераций мы получим вот такой результат:
"Список страховых компаний”
 
Чтобы эту фразу закончить ChatGPT просто засунет фразу "Список страховых комп" в самого себя и попробует дополнить её еще раз: