Я не знаю, зачем вам эта информация, но параметр температуры у CLIP-vit-base-patch32 на хаггингфейсе равен 4.605. Вы спросите - зачем там температура, если она обычно при генерации?
В клипе она используется для того, чтобы растянуть множество возможных значений скалярного произведения векторов фичей текстов и изображений, потому что, как мы все очевидно знаем, скалярное произведение двух векторов единичной длины по модулю не превосходит 1, однако в таком случае максимальное значение софтмакса - 0.88, причем даже такое значение скорее недостижимо.
Знаете что самое смешное? Я подобрал это значение почти руками. В статье про Clip есть несколько вариантов обучения этого параметра, однако какой конкретно стоит в опенсорс имплементации я не нашел. Конечно, можно было бы почитать код модельки, но это для слабых. Выбор сильных - перебрать параметры модели через model.parameters(), увидеть что нулевой параметр - скаляр, и догадаться что это оно. Смешно не это - данный параметр не подошел, то есть результаты были ооочень близки, но не идеально воспроизводились, видимо дело в приколах с точностью. Значение параметра было 4.602
Для чего это мне было нужно? Я делаю классификацию видео по кадрам, данных нет, соответственно нужен zero-shot, решил взять Clip как базовое решение. Время не очень критично, но если тупо обрабатывать раз в пару кадров + батчинг, то это будет достаточно долго. Больше времени занимает обработка текста, соответственно я решил закэшировать его эмбеддинги и переиспользовать. Но для этого мне нужно их самому умножать между собой и домножать на температуру

Исследователи Model Interpretability be like

Меня позвали на организацию нейрошколы!!
Я очень рад, ибо думал что не позовут, потому что мне один раз дали задачи, там с ML, а у меня в ней чёт ничего не вышло и потом связь подпропала.

GenAI это просто развод гоев на доллары

Цензура LLM это один из важных технологических и регуляторных барьеров на человеческом пути к свободе

"Одной из главных задач нашего проекта является разработка системы антискуфинга"

Как программисту правильно входить в офис?
Лид: кем будешь?
Стажер: айтишник простой, программист
Лид: программист? татухи покажи
Стажер: татухи? да, конечно
*показывает*
Лид: человек ты я вижу не простой. Татухи сеньорские. Где били?
Стажер: в бухгалтерии!
Лид: татуировку где били?
Стажер: а... в бухгалтерии. Там остались чернила для принтера
@
Лид: ауе
Стажер: что это?
Лид: ассемблер унылая едкость
Стажер: а.. ауе!
@
Лид: есть два стула: на одном баги нефикшенные, на другом вирусы промышленные. Куда сам сядешь, а куда комп посадишь?
Стажер: сам в кофейню сяду, а комп на коленки посажу
@
Лид: пофикси баг
*ничего не происходит*
Лид: почему не фиксишь?
Стажер: я жду когда ты мне дашь дедлайн
Лид: хорошо, программист ты я вижу опытный. С тестировщиками не водись и будет тебе счастье
Стажер: да я знаю этих ребят, сам когда-то давно работал
Лид: тестировщиком?
Стажер: ну да
Ну и уволили его. А этим стажером был Стив Джобс

Кто в себе не носит хаоса, тот никогда не породит звезду

Мне за последние 36 часов написало уже 4 HR... Или 5... Почему..
А за все время в сириусе около 8..

У меня сейчас в голове голос мамы. Лето, я торчу дома...