Из языковых моделей я пользуюсь Mixtral-8x7b-instruct, потому что меня удовлетворяет его качество. Запускаю я его на своем nvidia p40. 8 битная 49 гигабайтная модель не влезает в видеокарту полностью и поэтому она генерирует 5 токенов в секунду, а 3 битная 20 гигабайтная влезает полностью и генерирует 15 токенов в секунду, но у него качество ниже.
Недавно вышла новая технология для сжатия нейронок AQLM
Они обещают качество выше 3 битной модели и Mixtral-8x7b-instruct и весит 13 гигабайт. Я запустил и у меня вышла скорость в 5 токенов в секунду (как у 49 гигабайтной модели). Ещё есть код как запустить в 3 раза быстрее, но у меня не завелось. Надеюсь когда-нибудь у меня запуститься.
Но меня больше заинтересовал пост, где показан код тренировки модели под свой датасет. Я завёл обучение и обучение работает. Пока не знаю под что тренировать, но например: объяснение UI сайта, скормить карту города в текстовом виде, более детальное описания изображения и области в изображении, более лучшее понимание русского или другие языки. Но перед тренировкой ещё и текста для обучения нужно подготовить.

Эксперимент по генерации игрового 2д мира. Сначала генерировался центр, а затем от центра генерировался вверх и вниз. Выгляди интересно, но от старта плывёт и контраст и стилистика. В идеале бы вообще генерировать только там, где бегает игровой персонаж.
Как идея можно ещё сделать нейронку, которая генерирует черно-белую маску того, куда можно передвигаться, а куда нет, что бы в стены не входить.