А я сейчас вам покажу, откуда в DALL-E началась генерация. И если бы за шесть токенов до конца текстовой модальности не был нанесён превентивный конкат специальными токенами (четыре позишн энкодинга, я сейчас покажу, карту внимания я заплотил), они бы увеличили нашу перплексию выше того, что было после обучения. Поэтому не мы изменили top-p и top-k..