Картинка, как маленький спойлер. Какая модель лучше и почему?

😈 Ссылка на интервью на ютуб. Уже идет!

😈Простой вопрос, который для меня казался очевидным, сходу почти никто не осилил.

😘 Да, верно угадывают, что вторая модель может нестабильно работать в случае пропусков или выбросов. Однако, никто не сказал, как пофиксить эту проблему. Хотя вчерашний собеседуемый в целом догадался🤫

🥳 В общем, такую проблему можно исправить регуляризацией.
В случае нейронок это дропаут, в случае бустингов это уменьшение процента признаков на дерево.

😜 Тюним: colsample_bytree / feature_fraction и другие похожие по смыслу параметры. Смысл заставить модель опираться сильнее на менее важные признаки. Способов масса.


🧐 Какой ваш любимый гипер-параметр в бустингах?

После пары моих постов (этого и этого), все чаще люди начинают спрашивать у меня про Таиланд.

Кажется, мне не избежать поста про Тай. Придется все-таки побыть немного в роли тайского амбассадора и рассказать больше про свой опыт пребывания тут. В противном случае, моя личка лопнет скоро без универсального ответа.

Окей, сейчас расскажи немного как тут живется и почему я выбрали именно Таиланд на ближайший год, а не другую страну.

Вообще, я бы не подумал про это писать, но на этих выходных - был прикольный момент. Поехал небольшой компанией на Краби (погуглите, если никогда не видели, что это). Пока фотографировали коптером местные красоты с катера, я спросил своего приятеля Игоря: "А почему ты решил рвануть в Тай?" Ответ был по типу - твой пост про сравнение Турции, Казахстана и Таиланда навел меня на этим мысли.

Мне было чертовски приятно это слышать, что я пишу то что откликается в некоторых. Хотя никого агитировать не планировал, но по счастливому лицу Игоря было понятно, что он не промахнулся. К тому же, мне очень не хватало тут Физтехов первые пару недель.

Мне вообще приятно, когда удается навести людей на верные мысли или сделать удачный выбор. Например удачный сабмит🔥

✈️ Как сейчас приехать в Тай?
Покупаешь любой билет и летишь сюда. Сам летел через Индию. Пришлось делать визу и ПЦР, зато билет дешевле, чем через Дубай. Собирал маршрут руками, ибо, как помните, авиасейлс хотел меня по-тихому разорить.

🤑 Как расплачиваюсь?
В запасе 4 способа, использую только два.
1) Привез наличку. Разрешено 10к USD, этого хватит вам на год-два точно, если не шиковать. 2) Рубли на карте. Тут куча "менял", которым можно отправить на Сбер/Тиньк и забрать наличку в батах. 3) UnionPay карта. Тут без рекламы. 4) Крипта.

🏠 Где живу? Легко ли снять жилье?
Снял себе качественные апарты с басиком. Выходит 18к рублей в месяц. Уже второй раз тут, поэтому сходу знал куда заеду. Но вижу, что варианты кондиков еще есть, если приехать и ногами поискать. (В сам сезон это правило менее актуально) В целом, всегда можно найти жилье у моря за 30-40к бат в месяца даже в разгар сезона.

👨‍💻 Как там с интернетом?
Таиланд топ-1 в мире по скорости интернета, этим все сказано. Дальше все зависит от того, куда вы заселились. На Пхукете в среднем все на уровне.

⏱ Как остаться тут на больше, чем на дефолтные 45 дней?
Прилетаешь и сразу идешь в языковую школу. Тебе делают языковую визу (ED) на год. Школ тут на любой вкус. Сам выбрал самую академическую, где готовят именно к IELTS, вместо формальной ради визы. Такой способ стоит ~70к рублей на год. Через год делаешь снова и так до бесконечности. Встречаю тут русских, которые по 10-15 лет так живут. Учить можно любой язык.

🤤 Как там с едой, инфраструктурой и сервисом?!
Магазинов еды, услуг и товаров адаптированных под русскоговорящих тут полно. Русские не жалуются. А если жалуются - то открываются свой бизнес и другие русские жалуются уже на что-нибудь другое.

🏝 Почему Пхукет?
В любой момент можно сменить провинцию, но Пхукет по количеству развлечений, соотношения цена/качества меня полностью устраивает.

Что там по комьюнити? С кем можно объединиться?
Тут очень много разных комьюнити, в том числе русско-говорящих. Можно начать с этого чата программистов в Таиланде

🤬 Какой смысл в том, что ты знаешь как работает градиентный бустинг, если ты все равно не знаешь, как его тюнить на практике!?

😏 Тюнить бустинги не изи, если мы говорим про максимальный перфоманс, в одном только LightGBM больше 30 гипер-параметров, про которые многие едва ли слышали.

🤓 Пока решал задачу по текущему Цифровому Прорыву, понял, сколько всего полезного там есть, чего даже я не знал сам. Кстати, влетел в топ.

🤔 Пока убеждаюсь, что лучшая документация среди бустингов у LightGBM. Хотя Catboost мне тоже нравится, но дока не такая удобная.

🤐 Какие у вас есть лайфхаки на эту тему?

Фиксация random_seed'а не помогла воспроизвести скор

😱 Заметил тут вечером любопытный факт. С одной стороны простой технических нюанс, но с другой стороны не очень уж очевидная проблема.

🤔 Оказывается, если в модель (например LightGBM) подавать признаки в разной последовательности, то результаты будут разные, к тому же очень сильно! Получается, порядок обхода фичей важен?!

⛔️ Вы спросите меня, а зачем подавать признаки в разных последовательностях?! Например, если вы хотели удалить дубли в списке и реализовали это так: (привет LeetСode)

features = list(set(features))

😎 Вроде бы красивый трюк, как удалить дубли в одну строчку. Однако, если запустить этот код потом снова, последовательность будет уже иная. Как следствие - иной результат модели.

😵‍💫 Последствия оказываются болезненными, если вы проверяете разные гипотезы и результат модели должен четко отражать наличие/удаление признака, а не более удачную последовательность.

😬 В общем, будьте осторожнее. Вместо Set'а используйте лучше Numpy =)

features = np.unique(features)

👻 Теперь блендить можно не только по разным сидам, но и по разным последовательностям фичей!

Мы тут с ребятками успели пофармить не медалей ради, а потому что было много призовых!

😬 Было 15 призовых мест! Такое я вижу впервые) Боролось за призовые больше 220 человек.

☕️ Унесли с тимой суммарно на троих ~160к за несколько вечеров фултайма. В целом, тоже хорошо. Жалко, что скинули меня с топ-8, удивительно, что подходы были абсолютно разные. Даже сетки заходили, но не в чистом виде.

🤫 У меня был Dart! Это собственно второе соревнование на моей памяти, где хорошо заходит dart из LightGBM. Пришлось помучаться с настройкой т.к по дефолту там нет early-stopping’а, но зато оно того стоило. Сразу бустануло наверх.

🤗 Ссылка на мой ноутбук простынь. Причесал на столько, на сколько мне хватило выдержки.

🤠 Дальше до нового года буду фармить только Kaggle.

Подумал, прикольно было бы начать разгонять в Таиланде свое IT комьюнити.

🧐🎓 Возможно когда-нибудь даже буткемпы по программированию тут организую пару раз. В Сочи не успел, но мб в Тае получится.

🤔 Уехать в Тай с опытом в IT любой сможет, а вот никто не закрывает спрос - уехать в Тае и уже тут получить опыт в IT.

😳 Это меня вдохновила замужняя пара врачей, которые уволились и уехали в Тай разгоняться в проге.

Влетел тут в одну сореву на Kaggle ...

🤩 Пока держусь в топ-1, но, надеюсь, вы когда-нибудь сбросите меня вниз!

Уже скоро...

🔤 Недавно меня спросили, почему в своем коде, я переобучают модели и "early стопаю" их не во время минимальной функции ошибки.

🔤 Сперва хотел ответить, что усреднение по немного переобученным моделям на практике показывает более качественный перфоманс (уже не помню, откуда у меня взялось такое интуитивное ощущение).

🔤 Однако, вспомнил, что все ж зависит еще от задачи и финальной метрики.

🔤 В общем, вот вам красивый пример, почему это работает. Фишка в том, что после минимального значения функции ошибки, ваша главная ML метрика (или бизнес метрика), может продолжать улучшаться.

🔤 Именно поэтому, полезно разбираться в метриках и уметь "впихивать" в модели кастомные метрики/лоссы.

🔤 Таким навыком можно выжимать еще пару процентов точности.

🥳 Этой ночью снова летал, но не по небу, а по лидерборду свежего FeedBack Prize. В этот раз снова бронза 🎰🥉

😵‍💫 Счастлив ли я?! С одной стороны приятно, да. Скакануть больше 700 мест вверх за ночь, это красиво, а обогнать 2500 участников это круто. В целом, процент людей из DS, кто может похвастать медалью с Kaggle, мал. Однако, ближе к титулу мастера меня это не продвинуло. Мне сейчас нужно только золото!

💪 Есть еще месяц до нового года, чтобы закрыть эту строчку в планах на год. Соревнований подходящих сейчас много. Будем добивать.

😈 Кстати, Ваня говорит, что не тот сабмит выбрали, могли оказаться в серебре. Если обратите внимание, то у первой тысячи участников скор не отличается 🥁

🧑‍💻 Кстати, мои коллеги по цеху (Привет Марк, Отабек и другие) ухватили серебро. Насколько знаю, у них порядка 70 языковых бертов, пока у нас меньше пяти. Да и кодили ребята месяц, в то время как мы потратили меньше недели. Поздравляю!)

🍽 Это все к вопросу, про трудозатраты, необходимые для медалей на Kaggle.

🥰 Сложно описать ощущение, когда засыпаешь "проигравшим", а просыпаешься "победителем". Всем советую попробовать.