Помните, была тема с дипфейком Ким Кардашьян, объясняющей коротенькие темы из математики? Так вот, эти видео никуда не делись, а продолжают регулярно выходить. 💜

Замена переменной в интеграле:
https://youtu.be/4fF6NydCNuw?si=ydOJV2NpgbYq594y

Вывод производной x² из определения:
https://youtu.be/qPhLWfn-t_4?si=-uIogJ_sufxK-FNB

Цепное правило:
https://youtu.be/ulbmQJG5GrA?si=O5IHessFBNUF2pk4

Забавно и мило 😀

#математика

Возвращаясь к обсуждению репоста https://news.1rj.ru/str/tech_priestess/1507 , который вызвал такое сильное непонимание. Я попробую объяснить своими словами, в чем я лично вижу идею behavioural interview и почему не вижу ничего зазорного в том, чтобы серьезно к нему относиться и тщательно готовиться.

Behavioural interview по своему смыслу направлен на выявление софт скиллов, в частности, вашей способности эффективно доносить свои мысли, взаимодействовать с другими членами вашей команды и при необходимости организовывать работу коллег так, чтобы достигалась поставленная цель ("leadership").

Отвечая на вопрос, зачем это нужно программисту, ML инженеру или исследователю. Это нужно затем, что в корпорации люди чаще всего работают не поодиночке, а делают вместе крупные совместные проекты (которые порой бывают частью еще более крупных проектов и так далее). И в таком типе работы крайне важно, чтобы взаимодействие между отдельными участниками шло эффективно. В противном случае, один будет делать одно, другой - другое, а результата не будет, даже если каждый из участников, взятый в отдельности, является отличным специалистом с сильными хард скиллами.

Чтобы это пояснить, можно привести пример с распределенными вычислениями. Допустим, у вас есть несколько вычислителей, и вы распределяете по ним решение какой-то большой задачи, разбивая её на подзадачи и отправляя эти подзадачи на каждый из вычислителей. Если алгоритм разбиения задачи на подзадачи и распределения этих подзадач написан плохо (например, из-за плохого дизайна алгоритма одному вычислителю часто приходится должно ждать ответа другого, и пока он ждет, он в это время ничего не делает; или два вычислителя дублируют работу друг друга; или между вычислителями по той или иной причине слишком медленно и невовремя передаются данные), то толку от мощности этих вычислителей будет мало.
Так вот, когда вы и другие разработчики/исследователи из вашей команды, выстраиваете между собой рабочие взаимодействия для решения задач, вы как бы на ходу придумываете, реализуете и при необходимости корректируете алгоритм распределенных вычислений, который должен будет максимально эффективно утилизировать ваши мозги. И на behavioral interview надо на примерах из вашей рабочей практики показать, что вы в этом хороши, даже несмотря на то, что вычислители-люди (в отличие от процессоров и видеокарт) могут быть сколь угодно своенравными и непредсказуемыми.
Например, на интервью может понадобиться вспомнить пример, который показывает, что в случае конфликта вы сделали все от вас зависящее, чтобы работа не стопорилась на долгий и выматывающий всех скандал, а вместо этого быстро пришли к решению и продолжили выполнение задач. Или, если вы руководитель, может понадобиться вспомнить примеры, которые как-нибудь демонстрируют, что подчиненные вам доверяли и не стеснялись честно говорить о задержках и проблемах в работе (возвращаясь к примеру с вычислителями, это нужно для того, чтобы вовремя скорретировать алгоритм или просто быстро кинуть на простаивающий (выполняющий не приоритетную задачу) вычислитель ту подзадачу, которую не смог решить тот, у которого проблемы). И так далее, и тому подобное, мне дальше лень фантазировать, думаю, и так мысль ясна.

Впрочем, тут читатель может воскликнуть:
- Но погодите! Я такой классный специалист, что мне не нужно учиться работать в команде, я сам заменяю собой целую команду!
Отвечаю на это возражение: в корпе проект часто бывает настолько большим, что 1 человек чисто физически будет не способен сделать его сделать в одиночку, даже если он буквально Альберт Эйнштейн.
Кроме того, следует помнить, что умных людей в мире, может, и меньше, чем глупых, но все равно как минимум несколько миллионов наберется. Так что каким бы "🤓" вы ни были, в собеседованиях в FAANG вы будете конкурировать с сотнями таких же "🤓". И в этой конкуренции даже малейшее преимущество, и по хард, и по софт скиллам будет играть свою роль.

#карьера #рассуждения

И еще немного про сквернословие 🙏

А вы заметили, как модно после популяризации удаленки стало чморить обычных офисных сотрудников, ездящих в офис 4-5 дней в неделю на метро и сидящих там по восемь часов? А уж если твой офис представляет из себя классический серый оупенспейс, не раскрашен в яркие цвета и содержит недостаточное количество свистоперделок, ооо... соевик-стартапер обязательно скажет, что ты работаешь в стойле, как скот, а компания твоя - говно.
...
Но какого, я вас спрашиваю, хрена?
Почему пять-семь лет назад я точно так же работала в совершенно аналогичных корпоративных офисах, и тогда к такой работе окружающие относились нормально? Какого хрена теперь, когда я рассказываю о своем корпоративном образе жизни людям с гибким графиком или стартаперам, мне надо терпеть в лучшем случае жалостливые взгляды, а в худшем - выслушивать детские дразнилки про скот, "серую массу" и тому подобный бред?
Я прям блин чувствую это социальное давление, которое как бы говорит, что для того, чтобы быть крутым айтишником, ты должен работать, в идеале, с пляжа на Бали (почему?! никогда этого не понимала), или, на крайняк, хотя бы иметь гибридный формат работы. А если ты работаешь в обычном оупенспейсе, то ты лох.
...
Время от времени я прохожу собеседования в другие компании, чтобы держать себя в форме, но пока все еще решаю остаться на текущем месте, потому что мне нравятся коллеги и кажется, что это место чуть больше других подходит для выполнения моих долгосрочных целей в ресерче.
Ну или потому что я лохушка, серая масса и скот. Иметь какие-либо чувства, цели и мечты и ценить их выше, чем красивый офис и гибридную работу - это же теперь признак серой массы и скота. 🤷‍♀️

#о_себе

Ставь "🏥" если отправил статью и сразу отъехал в психическую больницу

🌸5 заповедей бенчмарков, которые больше не работают в 2024 🌸
#nlp #про_nlp #nlp_papers #ai_alignment

Пара мыслей вслух про то, как меняется процедура оценки языковых моделей — и наши ожидания от них.

🌸1. Датасеты и бенчмарки всегда живут дольше, чем модели. По крайней мере, так было раньше. Теперь это не так, бенчмарки устаревают за месяц — тесты оказываются в обучающей выборке, хакнуты кэгл-методами, и т.д.

🌸2. Тестсет может быть открытым, можно выкладывать ответы, разработчики же честные. Честные! Но потом это все попадает в обучающую выборку непроизвольно, с краулингом сети. Контаминация открытого тестсета рано или поздно неизбежна, а учитывая п.1, это время очень сократилось.

🌸3. Новый датасет = более надежный результат. Многие датасеты составляются с помощью фильтрации открытых данных, разметки, часто получавтоматической, данных, которые уже были в сети, соответственно, модели их уже видели. Более надежный результат тестрования гарантирован, только если новый датасет составляется людьми с нуля! Иначе риск контаминации очень велик — см статьи из поста и статью Scale AI. Любые оценки моделей без теста на контаминацию можно смело выкинуть.

🌸4. Разработчики моделей сами прогоняют свою модель и подбирают лучшие параметры. Тоже нельзя сказать, что это верно. Во всех крупных лидербордах и раньше надо было прислать ссылку на код и модель, а теперь и вовсе, честная оценка возможна в условиях контейнернго соревнования — разработчики отдают контейнер организаторам лидерборда, те его запускают и сравнивают с остальными на закрытом тестсете, который разработчики не видели. Перебор гиперпараметров в таком случае сделать нельзя. См Chatbot Arena

🌸5. Однократной оценки достаточно. Во-первых, модели постоянно обновляются, а если они еще и ходят в интернет или используют RAG/обновляемый индекс знаний, то и проверять их надо постоянно во избежание регресса. В-вторных, side-by-side соравнениями из п.4 и AB-тестами оценки можно запускать постоянно — была бы инфраструктура и оценивающие люди. Инфраструктуру и сообщество сейчас во многом обеспечивает HuggingFace— на ChatBot Arena уже больше миллиона оценок, хотя несколько месяцев назад все чуть не закрылось!

С какими проблемами при оценке моделей вы сталкивались?

🟣Мой чеклист отсюда все еще актуален — для продакшена бенчмарков мало, еще нужна комбинация из оффлайн и онлайн метрик.