Rukallama срёт токенами в лесу

КОРРЕКТИРОВКА: Крен корабля!

После длительного анализа моего токенизатора я пришел к выводу.
Сделал не очень. Надо ещё раз постараться и подумать, посижу подумаю.

Будет ещё обновление токенизатора перед продолжением плана.
Пока что попытаюсь добиться LOSS: 6 и остановлю тренировку.
После этого внедрю новый токенизатор и буду смотреть на свойства модели.

ЕСЛИ ЧЕ - СТАРТАНЁМ ЗАНОВО! 

Но уже совместным кластером - с помощью распределённого обучения.

Почему это нормально?

Лично для меня проблема - это то, что поможет сделать модель лучше.
Проблема - это понимание ситуации. Обычно пока я не понимаю, то это не проблема - а непонятка и муть.
Непонятки и муть позади: я точно уверен, что надо обновлять токенизатор.

Лол, снова придется переписывать домовую книгу токенов.
Сделаю гибкий словарь, чтобы он пополнялся автоматически.

Загадочно-ебанутая  223 эпоха.

Пусть побудет тут с вами после небольшого пересмотра токенизатора и проверки архитектуры модели.

Механизм такой:

1) Синтезированный датасет с искуственными документами, где печать стоит как "говно"
2) Синтезированные печати алгоритмически сделанные под отсканированные печати и документы
3) Пост процессинг, аугментация данные и дополнительный синтез
4) Итог: почти 20к материалов для обучения

Вот процесс тестовых генераций на каждой из эпох.
Для такого результата понадобилось около 40 эпох (насколько я помню)

А вот так выглядит фраза:

ТОРМОЗИ , МИША! ЩАС ВЬЕБЕМСЯ!

Настоящий пример переобучения, но уже при условии правильной подачи датасета, всех размерностей и слоёв и самой архитектуры.

Это стоило большого количества крови и анализа ( а ещё я тупой, что норма)

Я сохранял эпохи как надо и поэтому один из результатов промежуточных подходит под продакшен.
Данная модель умеет разделять текст дорисовывать его и разделять печать дорисовывать его.
В данном случае часть модели, которая "рисует" закрытые части печати.