Из-за трудностей с HR и отпусков у всех и вся там до конца недели минимум не выхожу на работу в Syntelly🚬🚬

#мыслирисерчера
Возвращаясь к идее связи всего и вся с зеркальным спуском.
Давайте рассмотрим функцию кросс-энтропии, часто используемую для минимизации. Зачастую, на разных курсах по ML объясняется интуиция, стоящая за ней, но она не совсем математичная, как мне кажется. Следующие рассуждения являются очевидными, но приятно их проделать.
Сначала заметим, что lim x * ln(cx) = lim x * ln(c/x) = 0 при x -> 0
Посмотрим на одно слагаемое в сумме кросс.энтропии, оно имеет вид p_i * log(p'_i). Как мы знаем, вектор p имеет конкретную структуру - на всех позициях кроме одной стоят нули и на одной единичка. Пусть p_i = 0, тогда, из замечания, следует что p_i * log(p'_i) = 0 = -p_i * log(p_i / p'_i). Пусть p_i = 1, но тогда же p_i * log(p'_i) = - p_i * log(p_i / p'_i), так как -1 уйдет под логарифм, и домножение на 1 ничего не меняет. Тогда кросс-энтропия переписывается в точности как KL-дивергенция между p и p'. Ну и что, спросите вы?
А то, что KL-дивергенция это буквально дивергенция Брэгмана для n-мерного симплекса при использовании в качестве прокс.функции энтропии. И, как вы возможно знаете, дивергенция Брэгмана используется в зеркальном спуске на симплексе, шагом которого может быть представлен Softmax!
Просто есть одна идея, как зашить функцию ошибки внутрь софтмакса для более стабильной оптимизации и, возможно, улучшения математического понимания нейронных сетей. Но я еще над этим работаю

Почему когда мы говорим об обучении нейронных сетей то сразу же говорим о задаче стох.оптимизации, то есть min E(L(x, w)), а не об аппроксимации функции Y(x), которая выдает лейблы?

Настолько преисполнился, что понял, что мне не хватает математической базы и начал читать книги по ML

Довольни

Монахи 300 лет назад что-то знали...

Никогда не спрашивайте у девушки эти три вещи:
- возраст
- вес
- фрактальная размерность

А у меня в канале есть кто-то, кто работал в яндексе. Но не разработчиком, а в сфере рекламы/менеджмента/маркетинга? Отпишитесь в комментарии, что по условиям и зп
Распространите пж, надо пристроить одного крутого рекламщика с опытом пма

Если бы вы слышали какое количество жестокой продуктовой аналитики мы с соседом выдали на протяжении 4 часов игры в факторио вы бы заплакали и взяли к себе на работу

Вообще я изначально был очень заряжен идти в Syntelly, мол инфохимия, интересно круто классно, даже согласился на относительно малые деньги относительно своего опыта. Но я планировал выйти 22ого, а из-за каких-то приколов с документами я все еще жду трудовой договор. И жду, и жду... И грущу, и запал немного уходит(
А тут еще параллельно меня зовут в Яндекс геопоиск млщиком миддлом и в сбер GigaCHAT ведущим аналитиком-разработчиком..

Шцпм кстати все ещё денег не заплатил))) Прошло 2 месяца

В Syntelly наконец-то смогут меня оформить, однако им нужны оригиналы документов. И wtf им нужен оригинал моего приписного/военника? Впервые вроде о чем-то таком меня спрашивают

"сложно усидеть на трёх стульях, если жёппа лягушачья"
Literally me

Базовый холодильник в яндексе