ЧАТ RUKALLAMA - 187 ЭПОХА (LOSS 7.4593)

Тем временем запущен параллельный сеанс для вас.

P.S. Скоро тоже будет всё переезжать на постоянный адрес.

Звук обучения модели с 173 по 187 эпоху.

Зарисовка:

Rukallama срёт токенами в лесу

Оппа. Есть что отокээрить.
Буду искать уникальные книги

Сейчас закину ваших дров в печь

Закинул! Продолжаем!

ЧАТ с 195 эпохой

оппа

КОРРЕКТИРОВКА: Крен корабля!

После длительного анализа моего токенизатора я пришел к выводу.
Сделал не очень. Надо ещё раз постараться и подумать, посижу подумаю.

Будет ещё обновление токенизатора перед продолжением плана.
Пока что попытаюсь добиться LOSS: 6 и остановлю тренировку.
После этого внедрю новый токенизатор и буду смотреть на свойства модели.

ЕСЛИ ЧЕ - СТАРТАНЁМ ЗАНОВО! 

Но уже совместным кластером - с помощью распределённого обучения.

Почему это нормально?

Лично для меня проблема - это то, что поможет сделать модель лучше.
Проблема - это понимание ситуации. Обычно пока я не понимаю, то это не проблема - а непонятка и муть.
Непонятки и муть позади: я точно уверен, что надо обновлять токенизатор.

Лол, снова придется переписывать домовую книгу токенов.
Сделаю гибкий словарь, чтобы он пополнялся автоматически.

P.S. Параллельно создал около 800 вопросов к готовящимся инструкциям. Собираю потихоньку книги. Всё продолжает двигаться.

Мы прошли один кружок ада вместе.

Хочу вам за это выразить благодарность, потому что это начало пути в движухе it и у меня не было комьюнити наподобие вашего.

Все ,что строится тут будет иметь долгосрочные последствия.

Буду рад и дальше с вами разделять. Щас я за день на хуярю новый токенизатор, потрачу на это норм времени, удостоверюсь, что ебашит на уровне индустрии и буду делать норм. Нужен таргет токенизатора по датасетам 97-98% декодировки из токена в текст : только такой процент даст максимум усваиваемости для модели.

На данный момент применяется слишком агрессивная лемматизация

Следует отметить, что есть люди, которым не стрёмно заделиться.

https://www.youtube.com/watch?v=l8pRSuU81PU&t=1218s&ab_channel=AndrejKarpathy

Андрюхе - юважениум.
Видос достаточно старый, но хороший!

Загадочно-ебанутая  223 эпоха.

ЧАТ С RUKALLAMA 0.86

Пусть побудет тут с вами после небольшого пересмотра токенизатора и проверки архитектуры модели.

Провел 4 дня в информационной коме. Не люблю нг праздники - вся Россия вялая и тебя немного затягивает водоворотом батонинга.

Зато я провел массивное исследование на тему улучшения работы модели и много других нюансов.

Мы очень скоро продолжим.

Ах да, хорошие новости есть:

МЫ СЕГОДНЯ ПОКУПАЕМ A100!!!

Всем прекрасного настроения, скоро увидимся.

Своя А100 - это возможность не тратить бабки на гугл колаб и не ждать его инференсов и разогревов.

Плюс - как будут перерывы в тренировке : легче будет поднимать сервисы для вас.

Начало положено!

Для новых подписчиков напомню свой проект по разделению печатей от текста.

Механизм такой:

1) Синтезированный датасет с искуственными документами, где печать стоит как "говно"
2) Синтезированные печати алгоритмически сделанные под отсканированные печати и документы
3) Пост процессинг, аугментация данные и дополнительный синтез
4) Итог: почти 20к материалов для обучения

На GIF изображены сгенерированные документы.