Ошибка выжившего – это что?

Когда-то во время Второй Мировой математик Абрахам Вальд столкнулся с задачей: нужно было решить, в каких местах укреплять бронь бомбардировщиков. У возвратившихся на базу самолётов пробоины были в основном на крыльях и хвосте, и коллеги Вальда утверждали, что укреплять нужно именно там. Но Вальд рассудил, что укреплять нужно кабину и топливный бак, ведь, как оказалось, бомбардировщики с попавшими туда снарядами не возвращаются.

Это и есть ошибка выжившего – искать общие черты среди «выживших», не уделяя должного внимания информации о «погибших». Именно поэтому человеку который хочет «добиться успеха» статистически выгоднее обращать внимание не на истории успеха, а на историю ошибок 🐺

В машинном обучении классический пример ошибки выжившего – это неправильная работа с несбалансированными классами. Например, мы прогнозируем наличие редкой болезни, и в наших данных 98% здоровых людей, а 2% больных. При неправильной работе с такой выборкой модель просто всегда начнет предсказывать «не болен», и исследование абсолютно потеряет смысл. А чтобы избежать такой ошибки выжившего, выбирайте правильные метрики и балансируйте данные.

А вы встречались с ошибкой выжившего на практике?

😻 #train

Не понимаю, почему всегда выбирают его, а не меня…

😻 #memes

Stable AI выкатили бетку нейросети StableCode для работы с кодом

Есть три варианта модели: базовая (для простых задач), модель для инструкций (для чего-то посложнее) и расширенная с контекстным окном до 16к токенов (для сравнения, в GPT-4 оно составляет 32к). Это означает, что это первая нейросеть для работы с кодом, которая сможет обработать кодовую базу среднего размера, понять ее и предложить новый код.

В основе, конечно, трансформер, но не с обычным Linear Biases вниманием (ALiBi), а с Rotary Position Embedding, идеи которого больше ориентированы именно на работу с кодом, а не с естественным языком. Обучали на наборе данных BigCode.

Бету уже можно попробовать на HuggingFace. С нетерпением ждем официальный релиз!

😻 #news