HighLoad++ – Telegram
HighLoad++
6.32K subscribers
2.41K photos
159 videos
16 files
2.27K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Saint HighLoad++ 2026 пройдёт в июне в Санкт-Петербурге: https://highload.ru/spb/2026

Общаемся в чатике https://news.1rj.ru/str/HighLoadTalks
Download Telegram
Нашли сезонные товары по которым есть большая история (2 года) и с помощью их обучили алгоритм на другие товары
Примеры найденных кластеров. Вот этот волосатый график - про новогодние.
Чем дальше в лес, чем позже вылез или как random forest метод показал вполне приличный результат, другие просто не понадобились.
В общем МАРЕ (...Р - percentage) стало на 10% лучше, а ручного труда меньше. Ёлки в январе больше не заказываем.
Я не знаю почему такая высокая интерференция на фотках, конфа не про физику.
Будут слайды в PDF. Идея предыдущей картинки - разница в МАЕ микроскопическая, но правая модель значитеьно лучше покрывает дорогие товары (которых мало) поэтому она значительно лучше!
Ошибки всё еще будут, их не избежать. Но мы будем знать их масштаб и готовиться к этому.
Формула успеха.
Как оптимизировать цены? Самый важный вопрос для e-commerce.
Используя оптимизацию повысили оборот для проанализированных товаров на 3.5%! Но ...
...неизвестно, не повлиял ли этот рост выбранных товаров на падение оборотов в невыбранных? Мы не знаем пока, но считаем. Когда посчитаем - сообщим :)
Пару слов про Spark. Эти настройки помогли ускорить расчёты нам...
... но не факт, что поможет другому проекту. Проверяйте. Одна из настроек не документирована с 2016.
Важно. Запускайте репартиционирование ваших таблиц после их наполнения. Это сильно увеличит скорость обработки.
Больше настроек богу настроек!
Меньше ресурсов используем! Памяти в 10 раз меньше даже.
Доклад закончен. Всем спасибо!
Интересный вопрос из зала: Делали ли А/В тест? Часть товаров по прогнозу подсчитанному моделью, часть - по "простому прогнозу".
Ответ: нет, не делали, было бы интересно, хотя и элемент случайности очень велик.