NEW BOT Телеграм, страница

С каких пор бамбл на фреше в серфе стоит 600 рублей??????????

🤡25🤩18🤯11❤3

2.27K viewsНиколай Кутузов, 11:50

Я не знаю, зачем вам эта информация, но параметр температуры у CLIP-vit-base-patch32 на хаггингфейсе равен 4.605. Вы спросите - зачем там температура, если она обычно при генерации?
В клипе она используется для того, чтобы растянуть множество возможных значений скалярного произведения векторов фичей текстов и изображений, потому что, как мы все очевидно знаем, скалярное произведение двух векторов единичной длины по модулю не превосходит 1, однако в таком случае максимальное значение софтмакса - 0.88, причем даже такое значение скорее недостижимо.
Знаете что самое смешное? Я подобрал это значение почти руками. В статье про Clip есть несколько вариантов обучения этого параметра, однако какой конкретно стоит в опенсорс имплементации я не нашел. Конечно, можно было бы почитать код модельки, но это для слабых. Выбор сильных - перебрать параметры модели через model.parameters(), увидеть что нулевой параметр - скаляр, и догадаться что это оно. Смешно не это - данный параметр не подошел, то есть результаты были ооочень близки, но не идеально воспроизводились, видимо дело в приколах с точностью. Значение параметра было 4.602
Для чего это мне было нужно? Я делаю классификацию видео по кадрам, данных нет, соответственно нужен zero-shot, решил взять Clip как базовое решение. Время не очень критично, но если тупо обрабатывать раз в пару кадров + батчинг, то это будет достаточно долго. Больше времени занимает обработка текста, соответственно я решил закэшировать его эмбеддинги и переиспользовать. Но для этого мне нужно их самому умножать между собой и домножать на температуру

👍16🥴10❤1🤯1🤡1

2.67K viewsНиколай Кутузов, edited 23:12