HighLoad++ – Telegram
HighLoad++
6.32K subscribers
2.41K photos
159 videos
16 files
2.27K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Saint HighLoad++ 2026 пройдёт в июне в Санкт-Петербурге: https://highload.ru/spb/2026

Общаемся в чатике https://news.1rj.ru/str/HighLoadTalks
Download Telegram
МАЕ Mean Absolute Error - чем меньше, тем лучше.
В 2018 и трава была зеленее, и небо голубее, и МАЕ меньше. На самом деле - не стоим на месте, данных больше, абсолютный значение ошибки растут.
Нашли сезонные товары по которым есть большая история (2 года) и с помощью их обучили алгоритм на другие товары
Примеры найденных кластеров. Вот этот волосатый график - про новогодние.
Чем дальше в лес, чем позже вылез или как random forest метод показал вполне приличный результат, другие просто не понадобились.
В общем МАРЕ (...Р - percentage) стало на 10% лучше, а ручного труда меньше. Ёлки в январе больше не заказываем.
Я не знаю почему такая высокая интерференция на фотках, конфа не про физику.
Будут слайды в PDF. Идея предыдущей картинки - разница в МАЕ микроскопическая, но правая модель значитеьно лучше покрывает дорогие товары (которых мало) поэтому она значительно лучше!
Ошибки всё еще будут, их не избежать. Но мы будем знать их масштаб и готовиться к этому.
Формула успеха.
Как оптимизировать цены? Самый важный вопрос для e-commerce.
Используя оптимизацию повысили оборот для проанализированных товаров на 3.5%! Но ...
...неизвестно, не повлиял ли этот рост выбранных товаров на падение оборотов в невыбранных? Мы не знаем пока, но считаем. Когда посчитаем - сообщим :)
Пару слов про Spark. Эти настройки помогли ускорить расчёты нам...
... но не факт, что поможет другому проекту. Проверяйте. Одна из настроек не документирована с 2016.
Важно. Запускайте репартиционирование ваших таблиц после их наполнения. Это сильно увеличит скорость обработки.
Больше настроек богу настроек!