В предыдущем посте был эксперимент с нейронкой (VAE), которая сжимает изображения в скрытое представление и разжимает обратно. Сама нейронка состоит из кодировщика и декодеровщика, она не быстрая и много весит.
Я решил обучить свою версию декодера, которая смогла бы разжать изображение намного быстрее в ущерб качеству. В итоге за полтора дня получилась нейронка размером 1 мегабайт (против 265 мегабайт оригинала). Скорость на CPU примерно в 50 раз быстрее. Это позволяет его запускать на любом калькуляторе, а сжатые изображения стримить прямо с генератора изображений.
Такой результат наталкивает на мысль, что увеличив немного модель, можно сделать дистиллированную версию оригинальной модели, но я этим не буду заниматься.
На примере видно, что изображения тускнее. Я обучал на датасете VOC2007, а там только фотографии и возможно это повлияло. Не знаю кому это может понадобиться, но код обучения, модель и пример в репозитории.
https://github.com/Graphnull/VAElight

Обучил с нуля нейронку, которая сжимает изображения в 50 раз. Нейронка весит 0.75 мегабайт против 137 мегабайт в оригинале. По примеру видно, что детали теряются, но мне важна скорость. Буду использовать на телефоне, что бы сжимать видео и делать дальнейшие манипуляции со сжатыми кадрами.
Всё лежит в том же репозитории. Кажется, что нужно как-то всё понятнее оформлять для потенциально будущих пользователей, но не хочется тратить время на это пока никто не пользуется.
https://github.com/Graphnull/VAElight

Из языковых моделей я пользуюсь Mixtral-8x7b-instruct, потому что меня удовлетворяет его качество. Запускаю я его на своем nvidia p40. 8 битная 49 гигабайтная модель не влезает в видеокарту полностью и поэтому она генерирует 5 токенов в секунду, а 3 битная 20 гигабайтная влезает полностью и генерирует 15 токенов в секунду, но у него качество ниже.
Недавно вышла новая технология для сжатия нейронок AQLM
Они обещают качество выше 3 битной модели и Mixtral-8x7b-instruct и весит 13 гигабайт. Я запустил и у меня вышла скорость в 5 токенов в секунду (как у 49 гигабайтной модели). Ещё есть код как запустить в 3 раза быстрее, но у меня не завелось. Надеюсь когда-нибудь у меня запуститься.
Но меня больше заинтересовал пост, где показан код тренировки модели под свой датасет. Я завёл обучение и обучение работает. Пока не знаю под что тренировать, но например: объяснение UI сайта, скормить карту города в текстовом виде, более детальное описания изображения и области в изображении, более лучшее понимание русского или другие языки. Но перед тренировкой ещё и текста для обучения нужно подготовить.

Эксперимент по генерации игрового 2д мира. Сначала генерировался центр, а затем от центра генерировался вверх и вниз. Выгляди интересно, но от старта плывёт и контраст и стилистика. В идеале бы вообще генерировать только там, где бегает игровой персонаж.
Как идея можно ещё сделать нейронку, которая генерирует черно-белую маску того, куда можно передвигаться, а куда нет, что бы в стены не входить.