Из интересного, что удалось вынести для ICR, это разобраться какие бывают оверсемплинги для табличек. По ссылке оригинальный пост Ивана Исаева, с которым решали ICR, который я переписываю немножко сюда + дополняю своими мыслями.

Оверсемплинг стоит попрбовать при соблюдении двух условий:
1. У вас не слишком большой датасет
2. Сэмплов одного класса явно больше, чем другого, но не экстримально. Например соотношение от 19:1 к 5:1.

Оба условия важны:
Если нарушается первое- вы скорее всего решаете RTB и тут надо просо из бесконечного стрима положить в модель больше информации, а проблемой вероятностей займется калибровка уверенности. Обязательно почитайте пост в блоге Дьяконова, там очень интересно.
Если нарушается второе, то вам либо можно особо не париться, либо париться особо. Например подменять задачу с классификации на детекцию аномалий/сужать задачу/играть в искуственное расширение данных другими способами. Например играть в задачу 'разладки'. К пограничному случаю тут относится например проблема поиска фрода, где может и одновременно не работать классификация.

Например в ICR положительным классом было наличие одной из трех болезней. Все кто здоров- те нолики, прочие- единички.
A 509 объектов (здоровые)
B 61 samples (болезнь B )
G 29 samples (болезнь G)
D 18 samples (болезнь D)

На вскидку можно оверсемплить уже несколькими способами:
Эквивалентный баланс
Баланс положительных по наибольшему положительному классу
Баланс между негативным и позитивным классами
A 509 или 509 или 509
B 509 169 169
G 509 169 120
D 509 169 80

С постановкой задачи вроде разобрались, чуть попозже обсудим, как можно решать умнее. #ICR

Рубрика "изи контрибьюшн"

Пока ездил, посмотрел синтаксис Rust, собрался с силами и законтрибьютил в величайшую Rust-библиотеку для анализа табличных данных за последнюю тысячу лет (переименовал функцию в rust бекенде и в питонической обвязке) и страшно собой доволен. Теперь буду вам продавать использование МОЕЙ БИБЛИОТЕКИ.

Вообще во многих популярных инструментах есть задачи, которые можно за пару вечеров собрать и потом всю жизнь гордиться, как ты делал мир лучше. Я бы предложил для легкого старта портировать пару лоссов в CatBoost с CPU на GPU. Там всего лишь ванильно с плюсов переписать на CUDA код и распараллелить под векторные вычисления. Ну и догадаться, на что нужно абсолютные пути яндексовых серваков поменять, чтобы скомпиллить этого франкенштейна. Тут любой профан справится

Кстати, а есть уже какой-то бустинг, который на Rust написали? :0

Мой славный гитхаб-лик на главной Polars, попирающий сиянием Русов баги

#ICR #таблицы #аугментация
Попробуем короткий формат?

Первый из небанальных кандидатов для апсемплинга- Gaussian Noise Up-sampling. Идея простая:
0. Выбираем параметры нормального распределения для каждой фичи
1. Из класса, которого меньше, выбираем объект
2. Добавляем к его признакам случайный нормальный шум
3. Добавляем получившийся синтетический объект в датасет для обучения (оригинальные объекты класса мы туда изначально не добавляем)

Теоретически работать должно лучше обычного апсемплинга, потому что объекты разные, их больше и они 'аугментированные'. В statistical learning где-то даже есть теоретический результат: если параметры шума аугментации меньше или сравнимы с реальным шумом измерения признака, то модель будет асимптотически лучше оценивать истинные параметры. Тут важно помнить, что семлируем мы с повторениями- это уменьшает итоговую дисперсию оценки параметров. Для линейных моделей даже доказательство есть.

Казалось бы, а зачем ты, Дима, про линейные модели рассказываешь? Мы же бодрые-молодые датасентисты из 2018, мы Catboost учим и стакаем с LightGBM. Дело в том, что теоретические трюки, улучшающие линейные модели обычно помогают и более сложным моделям работать лучше. Обычно.

Из плюсов:
1. Может быть лучше, чем обычные веса для классов, если правильно готовить параметры распределения шума для признаков
2. Работает для регрессии
3. Апсемплинг с повторениями позволяет уменьшить влияние выбросов

Проблемы у такого подхода тоже очевидные:
1. Параметры истинного распределения ошибки измерения признаков нам никто не даст ->
2. Параметры надо подбирать
3. То, что текущие параметры дают модель, которая работает на валидации лучше, совсем не значит, что мы их лучше подобрали, эти параметры тоже легко оверфитнуть
4. Не все ошибки измерения признаков распределены нормально (вспомним категориалки)
5. С пропущенными значениями тоже совершенно не ясно, что делать
6. Мы искусственно раздуваем данные, что замедляет пайплайн

#ICR #SMOTE
Другой возможный подход к оверсемплингу данных для минорного класса это SMOTE: synthetic minority over-sampling technique

Тут экспериментируем уже с тем, как аугментировать данные.

Вместо добавления случайного шума, мы делаем чуть более хитрую процедуру:
1. Выбираем объект из минорного класса с повторениями
2. Находим N его ближайших соседей
3. Между признаками выбранного объекта и его соседями берем линейную комбинацию и получившийся пример кладем в наш синтетический датасет
4. (Опционально) Андерсемплим мажорный класс

Из плюсов (кроме уже упомянутых):
0. Всего один параметр
1. Может быть лучше, чем обычные веса для классов, если правильно подобрать количество соседей
2. Не так зависим от нормального распределения

Из ключевых минусов:
1. Не ясно, что делать с категориалками
2. Все еще надо подбирать параметры (хотя и проще)
3. Аутлаер может сгенерировать кучу очень 'интересных семплов'

#ICR
Идея оверсемплинга используя простые модели получила развитие и в другую сторону:
GMOTE: Gaussian based minority oversampling technique for imbalanced classification adapting tail probability of outliers

Идея:
1. Кластеризуем наш датасет с помощью гаусовских смесей (EM)
2. С помощью измерения расстояния Махаланобиса (сейчас объясню), считаем, является ли пример выбросом
3. Снова кластеризуем с помощью EM
4. Семплируем из оставшихся кластеров с повторениями

Расстояние Махаланобиса- мера для того, чтобы учитывая корреляцию и дисперсию признаков, померять похожесть
D(x,y) - расстояние Махаланобиса между точками xx и yy.
x и y - векторы признаков (наблюдения).
S ^−1 - обратная ковариационная матрица, которая учитывает корреляции между признаками и дисперсии каждого признака. Вычисляется на основе данных.

Каждый кластер семплируем пропорциональное его размеру. Каждый семпл внутри кластера семплируем обратно пропорционально расстоянию от центра.
Количество кластеров кстати выбирается автоматически, по BIC (а зачем еще нужны EM, да?)

Из плюсов:
1. Дополнительных параметров для оптимизации не прибалвяется
2. Избавляемся как минимум от части выбросов
3. Можем оценивать правдоподобие для разных моделей

Из минусов:
1. Проблмеа категориалок
2. EM тоже могут оверфитнуться
3. Никак не аугментируем данные

Тут новая фича вышла:
1. Обновляем телеграмм
2. Бустим канал по ссылке: https://news.1rj.ru/str/pseudolabeling?boost
3. Получаем благословление до самого конца большой игры

Читаю статью про 'новый' алгоритм для ускорения Jacobi SVD, и такой 'что-то не так. Что-то неправильно. Что-то странно...'
А потом скипнул первый параграф и как понял, в чем дело было

Постепенно возвращаюсь к Kaggle-кранчам и набросал ядро для Open-Problems Single-Cell Pertrubation
Говорят, если его немножко докрутить (в коде есть подсказка) и сблендить с текущими популярными блендами, то можно влететь в медали

График первый

График второй

Через несколько часов закончится Open Problems, так что в следующую пятницу будет разбор соревы

Если всех гусей вырежут- может и золото поднимем

UPD: первого уже вырезали, осталось 7

Ну что ты будешь делать!

Коротенько расскажу про соревнование и решения на стриме у Алерона сегодня

Hello there!

Написал простенький кернел для UBC:
Все картинки нарисовал
Для всех картинок посчитал соотношения сторон к тамбнейлам
Отпечатал классы для каждой картинки

Например тут можно увидеть, что некоторые картиники- это снимок в двух срезах, а некоторые в трех. Планирую посмотреть вообще все картинки из трейна, мб там что-то совершенно великолепное найдется.

Наслаждайтесь