Вечером положу материалы и цену повышу, не сидим! https://boosty.to/gewissta/posts/4f81db25-1376-4117-92e9-fbb270c2af6f?share=post_link

Этот материал никогда не устареет)

2 часа осталось!

На этой неделе вы были отличными учениками, подписчиками, донатерами. На следующей неделе буду дарить подарки. Все любят подарки на НГ. Ну и любите друг друга! Сейчас в наше сумасшедшее время важно кого-то любить. Девушку, парня, коллегу по работе, соседку, собаку, кошку, взаимно, невзаимно, неважно. Это кусочек любимой песни у любимой. Я такое не слушаю, но в 26, наверное, слушал бы.

Из этого поста узнаете, как делать инкрементальный препроцессинг для прогнозирования риалтайм (построчный инференс), как прогревать данные, настраивать окно - n последних данных для обучения. Обратите внимание, обычно препроцессинг для обучения модели и для прогрева делают немного разным. На курсе рассмотрим еще более продвинутые решения

После 23 по мск положу материал в пост-долгострой https://boosty.to/gewissta/posts/29e7e31f-672c-4224-bbfb-5c51ef637a56?share=post_link и цену повышу x2. Очень полезный, но сложный контент.

Мне тут любимая недавно сказала: «Мне кажется, у тебя есть такая способность – рядом с тобой люди начинают верить в себя, ты как-то заражаешь». Ну так и есть. Задача – заразить, растормошить вас, вера в себя уже сама появится. А меня когда-то в начале 2000 –х так растормошила одна выдающаяся женщина – Екатерина Сединина. Я преступно ленив, никак руки не доходят написать, как встреча с Катей из «Мегафона» поменяла меня, но обещаю, что до НГ обязательно напишу.

На следующей неделе в планах показать
• гибридный отбор для временных рядов
• патчинг для временных рядов (переносим идеи из N-HiTS в предподготовку для бустинга)
• быстрый гайд по tsururu

Через пару часов цену повышу. Материал - вкуснятина, как местные турецкие чебуреки.

Тут знакомая девушка из Питера продает некоторые свои вещи, возможно, женской половине группы будет интересно.

Обновил https://boosty.to/gewissta/posts/e4d72ca3-bccd-463a-9cb3-daace16d47de?share=post_link Поделился решением ученика с очень простой схемой оверсемплинга, перепроверил на построчном инференсе, действительно повышает скор

По оверсемплингу. В овернайте он работал. Но калибровщики нужно было обучать по исходной части, до аугментации. Многие обучали калибровщики по всему аугментированному набору, именно это и вредило.

Я всегда любил этих двоих. У них была настоящая любовь. Вдохновленный полет двоих, взаимное восхищение и постоянное служение друг другу. Да, друзья, мы помогаем в отношениях друг другу раскрыться, творчески проявиться! А многие ведь думают, отношения – это чтобы борща вместе похлебать, повозиться ночью и просидеть жизнь в удобном комфорте, не развиваясь личностно и профессионально. Для первого есть фудкорты, для второго – специальные сайты, для третьего – модель спонсора и содержанки.

Посмотрите, сколько в этой паре жизни, живости, планов, даже успевают немного ругнуться между собой (на 3-й минуте, и делают это прекрасно, черт возьми). Эти двое достигли всех мыслимых и немыслимых благ, но не застряли в них, а преподавали, просвещали, строили школы, давали бесплатные концерты, занимались благотворительностью. Ну и, конечно, не орали про патриотизм, будучи настоящими патриотами по своему духу.

Этот анекдот повторится

Обновил https://boosty.to/gewissta/posts/4f81db25-1376-4117-92e9-fbb270c2af6f?share=post_link Даже в предновогодье работаю 24/7, эксперименты, созвоны, созвоны, преподавание, рабочие проекты. Еще уроки тут стал брать у кванта по крипторядам, нашел отличного спеца, старею, агрегацию-дизагрегацию можно и на построчном инференсе делать и делать робастные усилители соло или в ансамбле с обычной моделькой.

Посмотрел Наки у Дудя (оба иноагента). Острый, быстрый ум. Соль – два фрагмента про Кашина (тож иноагент) как собирательный образ.

Лидерборд по Овернайту глянул. Поздравляю ученика - Илью (ilgrad) с 4-м местом. anton, занявший призовое, пусть сам думает, кого ему благодарить. Схема простая, наша – CatBoost, выполняющий классификацию 5 классов + CatBoost для различения нередких классов (0,1,2) от редких (3, 4), затем балансировщик RareClassBooster, корректируем вероятности редких классов первой модели по вероятностям второй (знаю, что Женя, JohnaWoo пренебрег балансировщиком и свалился по метрикам), потом калибровщик (температурная калибровка с подбором температуры для каждого класса) и оптимизатор порогов для максимизации F1-меры.

Знаю, что Илья усилил схему стекингом, кодировкой TargetExpandingMean и биннингом. Но вы знаете, я не люблю ансамбли. После температурной калибровки еще полезно делать калибровку сплайнами для обеспечения лучшей монотонности и только потом оптимизировать по порогам.

Качество решений, включая призовые решения, неважное, даже учитывая, что эти задачи сами по себе плохо решаются. Для построчного инференса (если берем за основу тест x 2 от оргов) должно быть так:
0.4-0.45 – Удовлетворительно
0.45-0.5 – Хорошо
0.5-0.55 – Отлично (у меня в проектах с крипторядами на построчном инференсе не удавалось сделать выше 0.51)
Если выше 0.55, то скорее всего протечка или какой-то косяк с подготовкой данных или горизонт небольшой взяли.

Как решаются эти задачи в индустрии? Сейчас SOTA – подход с динамической передискретизацией (по мотивам N-HiTS), я его ученикам не давал, хлопотно и не в бюджет соревнования такое делать. Его применяют коллеги в DBS Bank и это рабочая схема (и да, это опять же ансамбль). Уже выложил в группе по рядам.

А это обещанный трансфер, класс, написанный для Овернайта, уже решает классическую задачу прогнозирования ритейловых рядов. Обратите внимание, вы можете кодировать комбинации переменных, лучше всего брать комбинации сегментов (сами сегменты комбинации номеров магазинов и товарных групп) и календарных признаков, из календарных лучше всего брать день недели, день месяца, номер недели в году.