КОРРЕКТИРОВКА: Крен корабля!

После длительного анализа моего токенизатора я пришел к выводу.
Сделал не очень. Надо ещё раз постараться и подумать, посижу подумаю.

Будет ещё обновление токенизатора перед продолжением плана.
Пока что попытаюсь добиться LOSS: 6 и остановлю тренировку.
После этого внедрю новый токенизатор и буду смотреть на свойства модели.

ЕСЛИ ЧЕ - СТАРТАНЁМ ЗАНОВО! 

Но уже совместным кластером - с помощью распределённого обучения.

Почему это нормально?

Лично для меня проблема - это то, что поможет сделать модель лучше.
Проблема - это понимание ситуации. Обычно пока я не понимаю, то это не проблема - а непонятка и муть.
Непонятки и муть позади: я точно уверен, что надо обновлять токенизатор.

Лол, снова придется переписывать домовую книгу токенов.
Сделаю гибкий словарь, чтобы он пополнялся автоматически.

Загадочно-ебанутая  223 эпоха.

Пусть побудет тут с вами после небольшого пересмотра токенизатора и проверки архитектуры модели.

Механизм такой:

1) Синтезированный датасет с искуственными документами, где печать стоит как "говно"
2) Синтезированные печати алгоритмически сделанные под отсканированные печати и документы
3) Пост процессинг, аугментация данные и дополнительный синтез
4) Итог: почти 20к материалов для обучения

Вот процесс тестовых генераций на каждой из эпох.
Для такого результата понадобилось около 40 эпох (насколько я помню)

А вот так выглядит фраза:

ТОРМОЗИ , МИША! ЩАС ВЬЕБЕМСЯ!

Настоящий пример переобучения, но уже при условии правильной подачи датасета, всех размерностей и слоёв и самой архитектуры.

Это стоило большого количества крови и анализа ( а ещё я тупой, что норма)

Я сохранял эпохи как надо и поэтому один из результатов промежуточных подходит под продакшен.
Данная модель умеет разделять текст дорисовывать его и разделять печать дорисовывать его.
В данном случае часть модели, которая "рисует" закрытые части печати.

🧠 ПРИМЕР ИЗ ЖИЗНИ:

VISUAL STUDIO (БЫЛО vs СТАЛО):

2004: Загрузка = МГНОВЕННО
2024: "Менее 10 секунд это норм!" (Microsoft, вы серьёзно?!)
Джонатан Блоу ДОКАЗАЛ это на видео: https://www.youtube.com/watch?v=MR4i3Ho9zZY

🔬 ЧТО ЕЩЁ СЛОМАЛИ:

TEAMS (ГОРДОСТЬ MICROSOFT):

Было: Чат клиент (ничего сложного!)
Стало: 20 секунд загрузки
"Улучшили" до 10 секунд (ВАУ, ДОСТИЖЕНИЕ!)
"Это из-за проверки credentials!" (А РАНЬШЕ НЕ НАДО БЫЛО?)

⚡️ ПОЧЕМУ ТАК:

КУЛЬТУРА РАЗРАБОТКИ:

Программисты не знают как работает CPU
Зато эксперты в Docker и React!
"Больше фич = медленнее всё" (ЛОГИКА ГДЕ?)
CSS выучили, а ассемблер "слишком сложный"

🎯 ХАРДКОРНЫЙ ВБРОС:

А МОЖЕТ ВСЁ СПЕЦИАЛЬНО?

Раньше: программист = инженер
Сейчас: программист = сборщик npm пакетов
Код пишут фреймворки, а не люди
"Думать о производительности? А зачем, железо же дешёвое!"

СУРОВАЯ ПРАВДА:

Никто не хочет понимать как работает железо
"Зачем оптимизировать, если можно купить сервер помощнее?"
Bootcamp за 3 месяца = "я программист"
А потом плачут, что их React-приложение жрёт 8GB RAM

РЕЗУЛЬТАТ НАЛИЦО:

Electron-приложения по 300MB
Visual Studio думает 20 секунд
Teams грузится как Windows 95
А "программисты" гордятся, что выучили очередной JS-фреймворк

💊 ОТГОВОРКИ РАЗРАБОВ:

ТОП ОТМАЗОК:

"Это из-за новых фич!" (которые никто не просил)
"Мы проверяем credentials!" (10 секунд, серьёзно?)
"Современные приложения сложнее!" (чат клиент, КАРЛ!)
"У всех так!" (нет, это У ВАС так!)

def translic_fon_ham():
    # anvil packages visual studio
    import torch

    # gring RAM
    torch.cuda.empty_cache()

    # cat: fit Distarye to we with deciagers to lhes CPU
    def set_gpu():
        aggels = torch.cuda.device_count()  # fille in 20PU
        chem = torch.cuda.memory_allocated()  # lilhews_20M
        return aggels, chem  # eletrianing memory

    # Electrroman: in Nestlicam
    class GpuManager():
        def clean_fornie_CGPU():
            loyra = torch.cuda.max_memory_allocated()  # iweat hill
            torch.cuda.empty_cache()  # llraten lanilp
            return loyra

🧠 БИТВА ПАРАМЕТРОВ (СПОЙЛЕР - РАЗМЕР РЕШАЕТ):

МИКРО-КЛАСС (1-2B):
- 1B модели = БЕСПОЛЕЗНЫЙ ШЛАК
- 2B уже что-то могут:
* Простые вопросы: 95% точности
* Базовая логика: 70% точности
* Сложные задачи: ПОЛНЫЙ ПРОВАЛ
- Скорость: 44 токена/сек (единственный плюс)
- RAM: 2-4GB в 4-bit квантизации

СРЕДНИЙ СЕГМЕНТ (7-14B):
- Phi-4 (14B) РВЁТ ВСЕХ:
* 3 токена/сек на RTX 3060
* Точность как у 30B на простых задачах
* RAM: 16GB в 8-bit (ТЕРПИМО!)
- Llama-2 13B:
* Проигрывает Phi-4 в тестах
* Но жрёт столько же памяти
* ЗАЧЕМ ОНА ВООБЩЕ НУЖНА?

🔬 КВАНТИЗАЦИЯ - МАГИЯ ЦИФР:

РЕАЛЬНЫЕ ТЕСТЫ:

32-bit (БАЗОВЫЙ):
- 2B модель = 8GB RAM
- Скорость = 4 токена/сек
- Точность = базовая линия

4-bit (MAGIC!):
- Та же 2B модель = 2GB RAM
- Скорость = 44 токена/сек
- Точность: 98% от базовой
- ЭТО КАК ВООБЩЕ РАБОТАЕТ?!

⚡️ ХАРДКОРНЫЕ ТЕСТЫ:

ТЕСТ 1: МАТЕМАТИКА И ЛОГИКА
- "В слове 'elimination' 6 гласных"
- 1B модели: "Три... нет, четыре... может пять?"
- 7B модели: "Точно шесть: e-i-i-i-a-o!"
- Вывод: ДО 7B ДАЖЕ НЕ ПОДХОДИ!

ТЕСТ 2: ИСТОРИЧЕСКИЕ ФАКТЫ (Жёны Генриха VIII):
- 2B: Списки без деталей (ок)
- 9B: Начинает выдумывать детей
- 70B: Идеальная история + контекст
- ВЫВОД: ЧЕМ БОЛЬШЕ КОНТЕКСТА - ТЕМ БОЛЬШЕ ПАРАМЕТРОВ!

💊 ИТОГОВЫЙ РАСКЛАД:

ДЛЯ ДОМА:

- МИНИМУМ: Phi-2 (2.7B) в 4-bit
- ОПТИМУМ: Phi-4 (14B) в 4-bit
- МАКСИМУМ: Llama-3 70B (если есть лишняя почка)

ДЛЯ ТЕСТОВ:

- 4-bit квантизация = ВСЕГДА
- RAM важнее частоты GPU
- Контекст = количество параметров