#xgboost #hyperparameters
Приятное описание гиперпараметров xgbost-а, с картинками.
https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813
Приятное описание гиперпараметров xgbost-а, с картинками.
https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813
Medium
Visualizing XGBoost Parameters: A Data Scientist’s Guide To Better Models
Why understanding parameters is critical to building robust models
#crypto #trading
"Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71. Это обеспечило новому токену рыночную капитализацию около $10,7 млрд долларов, поставив его на 18-е место среди крупнейших криптовалют. 24-часовой объем торговли $TRUMP достиг $52,5 млрд. На этом фоне биткоин достиг рекордного максимума в $109 072 всего за несколько часов до возвращения избранного президента США в Белый дом.
За два дня до вступления в должность избранный президент США Дональд Трамп (Donald Trump) опубликовал в соцсети X «официальный мем» — криптовалюту, посвящённую своей победе на выборах. Из общего числа в почти 1 млрд токенов 80 % принадлежат CIC Digital LLC, которая является филиалом The Trump Organization, и ещё одному бизнесу Трампа под названием Fight LLC. Таким образом на момент подготовки данного материала состояние Трампа в его собственных мемкоинах оценивается примерно в $40 млрд.
Токен $TRUMP, выпущенный на блокчейне Solana, значительно обогатил Трампа лично, позволил криптоиндустрии перекачивать ему деньги и создала нестабильный финансовый актив, который даёт возможность любому человеку в мире финансово спекулировать на политических состояниях Трампа. Официальный сайт монеты GetTrumpMemes.com призывает посетителей покупать монеты за доллары или криптовалюту, чтобы «отпраздновать нашу победу и повеселиться!».
В воскресенье по примеру супруга Мелания Трамп (Melania Trump) запустила собственную криптовалюту на блокчейне Solana, которая также быстро взлетела в цена и достигла $9,6 за монету, а её рыночная капитализация перевалила за $1,85 млрд.
Трамп пообещал стать «криптопрезидентом» и, как ожидается, издаст указы, направленные на сокращение препятствий для регулирования криптовалют и содействие широкому внедрению цифровых активов. Перспектива смягчения регулирования политики в отношении криптовалют была встречена отраслью с энтузиазмом и спровоцировала рост биткоина после победы Трампа на выборах в ноябре.
Статья Конституции США о вознаграждениях, написанная в 1787 году, вряд ли предполагала мир, в котором президент мог бы из ничего создавать миллиарды долларов личного состояния. В настоящее время невозможно отследить, кто будет покупать эту монету в течение следующих трёх лет и тем самым направлять свои деньги непосредственно Трампу. Учитывая обширный взгляд Верховного суда на президентский иммунитет, есть большая вероятность, что любые подобные действия будут признаны законными.
Трамп только что провёл мастер-класс по способности президента превращать власть в богатство."
https://3dnews.ru/1117007/prezidentskiy-masterklass-za-dva-vihodnih-dnya-tramp-sdelal-sebya-kriptomilliarderom
"Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71. Это обеспечило новому токену рыночную капитализацию около $10,7 млрд долларов, поставив его на 18-е место среди крупнейших криптовалют. 24-часовой объем торговли $TRUMP достиг $52,5 млрд. На этом фоне биткоин достиг рекордного максимума в $109 072 всего за несколько часов до возвращения избранного президента США в Белый дом.
За два дня до вступления в должность избранный президент США Дональд Трамп (Donald Trump) опубликовал в соцсети X «официальный мем» — криптовалюту, посвящённую своей победе на выборах. Из общего числа в почти 1 млрд токенов 80 % принадлежат CIC Digital LLC, которая является филиалом The Trump Organization, и ещё одному бизнесу Трампа под названием Fight LLC. Таким образом на момент подготовки данного материала состояние Трампа в его собственных мемкоинах оценивается примерно в $40 млрд.
Токен $TRUMP, выпущенный на блокчейне Solana, значительно обогатил Трампа лично, позволил криптоиндустрии перекачивать ему деньги и создала нестабильный финансовый актив, который даёт возможность любому человеку в мире финансово спекулировать на политических состояниях Трампа. Официальный сайт монеты GetTrumpMemes.com призывает посетителей покупать монеты за доллары или криптовалюту, чтобы «отпраздновать нашу победу и повеселиться!».
В воскресенье по примеру супруга Мелания Трамп (Melania Trump) запустила собственную криптовалюту на блокчейне Solana, которая также быстро взлетела в цена и достигла $9,6 за монету, а её рыночная капитализация перевалила за $1,85 млрд.
Трамп пообещал стать «криптопрезидентом» и, как ожидается, издаст указы, направленные на сокращение препятствий для регулирования криптовалют и содействие широкому внедрению цифровых активов. Перспектива смягчения регулирования политики в отношении криптовалют была встречена отраслью с энтузиазмом и спровоцировала рост биткоина после победы Трампа на выборах в ноябре.
Статья Конституции США о вознаграждениях, написанная в 1787 году, вряд ли предполагала мир, в котором президент мог бы из ничего создавать миллиарды долларов личного состояния. В настоящее время невозможно отследить, кто будет покупать эту монету в течение следующих трёх лет и тем самым направлять свои деньги непосредственно Трампу. Учитывая обширный взгляд Верховного суда на президентский иммунитет, есть большая вероятность, что любые подобные действия будут признаны законными.
Трамп только что провёл мастер-класс по способности президента превращать власть в богатство."
https://3dnews.ru/1117007/prezidentskiy-masterklass-za-dva-vihodnih-dnya-tramp-sdelal-sebya-kriptomilliarderom
3DNews - Daily Digital Digest
За выходные Трамп сделал себя криптомиллиардером
Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71.
#python #debugging #ic #icecream
https://medium.com/pythoneers/debugging-in-python-replace-print-with-ic-and-do-it-like-a-pro-18f330c863cb
from icecream import ic
# Using ic() to debug
ic(add(10, 20))
ic(add(30, 40))
ic| add(10, 20): 30
ic| add(30, 40): 70
ic.disable() # Disables ic()
ic(multiply(3, 3)) # Prints nothing
ic.enable() # Re-enables ic()
ic(multiply(3, 3)) # Output: ic| multiply(3, 3): 9
def log_to_file(text):
with open("debug.log", "a") as f:
f.write(text + "\n")
ic.configureOutput(prefix="DEBUG| ", outputFunction=log_to_file)
ic(multiply(7, 7))
https://medium.com/pythoneers/debugging-in-python-replace-print-with-ic-and-do-it-like-a-pro-18f330c863cb
Medium
Debugging in Python: Replace print() with ic() and Do It Like a Pro
Introduction:
✍1
#hpo #hpt #sigopt
Имхо SigOpt - это лучший оптимизатор (не только для ML). Почему я так считаю, поймёте сразу, увидев пример использования их платформы и сравнив с примером Оптуны. Кстати, в сети мне не удалось найти нормального сравнения оптимизаторов гиперпарамертов, ни одного нормального на конкретных примерах, ну хотя бы Optuna Vs HyperOpt. В документации CatBoost есть такие примеры, но они показывают различия в 3м знаке после запятой, а на практике различия бывают очень весомые.
https://github.com/sigopt/sigopt-examples/blob/main/xgboost-integration-examples/xgb-integration-py-class.ipynb
Имхо SigOpt - это лучший оптимизатор (не только для ML). Почему я так считаю, поймёте сразу, увидев пример использования их платформы и сравнив с примером Оптуны. Кстати, в сети мне не удалось найти нормального сравнения оптимизаторов гиперпарамертов, ни одного нормального на конкретных примерах, ну хотя бы Optuna Vs HyperOpt. В документации CatBoost есть такие примеры, но они показывают различия в 3м знаке после запятой, а на практике различия бывают очень весомые.
https://github.com/sigopt/sigopt-examples/blob/main/xgboost-integration-examples/xgb-integration-py-class.ipynb
#hpt #hpo #smac
Классное выступление. Уже было, наверное, но стоит повторить. Надо потестить этот SMAC, он близок к тому, что я хочу сделать.
https://youtu.be/IqQT8se9ofQ?si=teJh0qucWuWkRzwC
Классное выступление. Уже было, наверное, но стоит повторить. Надо потестить этот SMAC, он близок к тому, что я хочу сделать.
https://youtu.be/IqQT8se9ofQ?si=teJh0qucWuWkRzwC
YouTube
Dan Ryan: Efficient and Flexible Hyperparameter Optimization | PyData Miami 2019
Hyperparameter optimization (HPO) is crucial for getting the best performance possible out of your machine learning models. BOHB (Bayesian Optimization and Hyperband) is a recently developed algorithm that combines the best parts of two popular approaches…
#hpt #hpo #critics
Суммаризировал свои претензии к современным подборщикам гиперпараметров.
1) Не надо говорить, что тюнинг моделей - это black box optimization. Никакая это не новая уникальная задача, где неизвестно, что происходит под капотом, мы одну и ту же задачу решаем день за днём, день за днём, даже данные зачастую похожи. Можно, конечно, притворяться, что для нас каждый раз как первый раз, но имхо это тупо.
2) Вот хочу я затюнить градиентный бустинг над деревьями с помощью Optuna или Hyperopt. Почему я должен каждый раз указывать, какие гиперпараметры я хочу оптимизировать? Они что, часто меняются у xgboost-а? В современных моделях их несколько десятков. Я не хочу их все помнить. Я не знаю, какие из них важны. Я не хочу каждый раз разбираться, какие комбинации совместимы, а какие нет. Ваша библиотека мне жизнь упрощать собирается или нет?
3) Хоть как-то учитываются значения целевой функции в ближайших окрестностях найденных оптимальных параметров? Да конечно, нет, всем начхать на это, тебе находят точечное "лучшее" решение, которое потом на поверку оказывается крайне нестабильным.
4) Байесовская оптимизация с помощью гауссовых процессов - ну это не круто, слишком слабая модель. Вы хоть раз слышали, чтобы сореву на каггле выиграли гауссовым процессом?
5) мне не нравится, что всё CPU/GPU время, которое я палю при HPT некоторой задачи, служит лишь какой-то временной цели, никак не обобщается, и никак не поможет мне (или другим людям) при решении подобных задач в будущем.
6) Ни в одной доке библиотек HPO/HPT я не видел оценок, каких же преимуществ, в терминах ML метрик, можно ждать от тюнинга. Казалось бы, авторы проводят много тестов, в т.ч. автоматизированных, им и карты в руки, ну поделитесь вы статистикой? но нет.
7) а хоть одна из библиотек байесовской оптимизации, предлагая очередных кандидатов, вообще оценивает время обучения модели при таких параметрах?
8) вопрос к алгоритмам HalvingSearch/Hyperband, а насколько надёжно по ранним итерациям можно судить о том, какая метрика будет достигнута к концу обучения? А как же нелинейности кривой обучения? А мы точно так не откинем хорошие решения, которые наибольший "импульс" получают к концу обучения?
9) а хоть одна библа вообще смотрит на декоррелированность прогнозов модели с прогнозами других моделей? это же такая естественная мысль. моделька же не в вакууме будет жить, а, скорей всего, в ансамбле.
THERE SHOULD BE A BETTER WAY!!
Суммаризировал свои претензии к современным подборщикам гиперпараметров.
1) Не надо говорить, что тюнинг моделей - это black box optimization. Никакая это не новая уникальная задача, где неизвестно, что происходит под капотом, мы одну и ту же задачу решаем день за днём, день за днём, даже данные зачастую похожи. Можно, конечно, притворяться, что для нас каждый раз как первый раз, но имхо это тупо.
2) Вот хочу я затюнить градиентный бустинг над деревьями с помощью Optuna или Hyperopt. Почему я должен каждый раз указывать, какие гиперпараметры я хочу оптимизировать? Они что, часто меняются у xgboost-а? В современных моделях их несколько десятков. Я не хочу их все помнить. Я не знаю, какие из них важны. Я не хочу каждый раз разбираться, какие комбинации совместимы, а какие нет. Ваша библиотека мне жизнь упрощать собирается или нет?
3) Хоть как-то учитываются значения целевой функции в ближайших окрестностях найденных оптимальных параметров? Да конечно, нет, всем начхать на это, тебе находят точечное "лучшее" решение, которое потом на поверку оказывается крайне нестабильным.
4) Байесовская оптимизация с помощью гауссовых процессов - ну это не круто, слишком слабая модель. Вы хоть раз слышали, чтобы сореву на каггле выиграли гауссовым процессом?
5) мне не нравится, что всё CPU/GPU время, которое я палю при HPT некоторой задачи, служит лишь какой-то временной цели, никак не обобщается, и никак не поможет мне (или другим людям) при решении подобных задач в будущем.
6) Ни в одной доке библиотек HPO/HPT я не видел оценок, каких же преимуществ, в терминах ML метрик, можно ждать от тюнинга. Казалось бы, авторы проводят много тестов, в т.ч. автоматизированных, им и карты в руки, ну поделитесь вы статистикой? но нет.
7) а хоть одна из библиотек байесовской оптимизации, предлагая очередных кандидатов, вообще оценивает время обучения модели при таких параметрах?
8) вопрос к алгоритмам HalvingSearch/Hyperband, а насколько надёжно по ранним итерациям можно судить о том, какая метрика будет достигнута к концу обучения? А как же нелинейности кривой обучения? А мы точно так не откинем хорошие решения, которые наибольший "импульс" получают к концу обучения?
9) а хоть одна библа вообще смотрит на декоррелированность прогнозов модели с прогнозами других моделей? это же такая естественная мысль. моделька же не в вакууме будет жить, а, скорей всего, в ансамбле.
THERE SHOULD BE A BETTER WAY!!
❤3💯3
#biology
Оказывается, ракообразные - это предки насекомых.
https://youtu.be/5JMisUfHduE?si=8YQSx8zc-R3Rp7Km
Оказывается, ракообразные - это предки насекомых.
https://youtu.be/5JMisUfHduE?si=8YQSx8zc-R3Rp7Km
YouTube
Александр Марков: "Открытия в эволюции. Итоги 2020 года"
Лекция состоялась 20 февраля 2021 года в Культурно-просветительском центре "Архэ" (https://arhe.msk.ru/)
В 2020 году ученые наконец приблизились к разгадке тайны происхождения крыльев насекомых. Получены новые аргументы в пользу гипотезы, согласно которой…
В 2020 году ученые наконец приблизились к разгадке тайны происхождения крыльев насекомых. Получены новые аргументы в пользу гипотезы, согласно которой…
#llms #ai #deepseek #nvidia
"Всё дело в китайском стартапе DeepSeek, который нашёл способ обучать продвинутые ИИ-модели на малом количестве ускорителей вычислений. Например, при обучении одной из своих моделей на внушительных 685 млрд параметров DeepSeek использовала всего 2048 ИИ-ускорителей Nvidia H800 и потратила $5,6 млн. Это мизерная часть расходов OpenAI и Google на обучение моделей сопоставимого размера.
Кроме того, на прошлой неделе DeepSeek выпустила «рассуждающую» модель ИИ R1, которая превзошла мыслящую OpenAI o1 в важных тестах. Более того, компания опубликовала инструкции, как с минимальными затратами построить большую языковую модель, способную самостоятельно обучаться и совершенствоваться без контроля со стороны человека. Добавим, что многие свои разработки DeepSeek распространяет совершенно бесплатно. Да и платный доступ к наиболее продвинутым её системам оказывается намного дешевле, чем у конкурентов — например, R1 доступна через API компании по цене, которая на 90–95 % ниже, чем у OpenAI o1.
В итоге инвесторы поняли, что нейросети можно обучать не только по схеме «купи и установи как можно больше ускорителей вычислений», но и куда более эффективно на меньшем числе GPU. Это грозит резким падением спроса на продукцию Nvidia, выручка которой более чем на 80 % зависит как раз от ускорителей вычислений.
Ряд аналитиков предрекает Nvidia мрачное будущее и не рекомендуют пока покупать акции компании, хотя цены на них стали заманчивыми. Другие же наоборот уверены, что компания сможет быстро восстановиться, а нынешний спад как раз следует использовать для покупки акций."
https://3dnews.ru/1117353/iipuzir-lopnul-stoimost-nvidia-obvalilas-na-600-mlrd
"Всё дело в китайском стартапе DeepSeek, который нашёл способ обучать продвинутые ИИ-модели на малом количестве ускорителей вычислений. Например, при обучении одной из своих моделей на внушительных 685 млрд параметров DeepSeek использовала всего 2048 ИИ-ускорителей Nvidia H800 и потратила $5,6 млн. Это мизерная часть расходов OpenAI и Google на обучение моделей сопоставимого размера.
Кроме того, на прошлой неделе DeepSeek выпустила «рассуждающую» модель ИИ R1, которая превзошла мыслящую OpenAI o1 в важных тестах. Более того, компания опубликовала инструкции, как с минимальными затратами построить большую языковую модель, способную самостоятельно обучаться и совершенствоваться без контроля со стороны человека. Добавим, что многие свои разработки DeepSeek распространяет совершенно бесплатно. Да и платный доступ к наиболее продвинутым её системам оказывается намного дешевле, чем у конкурентов — например, R1 доступна через API компании по цене, которая на 90–95 % ниже, чем у OpenAI o1.
В итоге инвесторы поняли, что нейросети можно обучать не только по схеме «купи и установи как можно больше ускорителей вычислений», но и куда более эффективно на меньшем числе GPU. Это грозит резким падением спроса на продукцию Nvidia, выручка которой более чем на 80 % зависит как раз от ускорителей вычислений.
Ряд аналитиков предрекает Nvidia мрачное будущее и не рекомендуют пока покупать акции компании, хотя цены на них стали заманчивыми. Другие же наоборот уверены, что компания сможет быстро восстановиться, а нынешний спад как раз следует использовать для покупки акций."
https://3dnews.ru/1117353/iipuzir-lopnul-stoimost-nvidia-obvalilas-na-600-mlrd
3DNews - Daily Digital Digest
ИИ-пузырь лопнул: стоимость Nvidia рухнула на $600 млрд за сутки из-за китайского стартапа DeepSeek
Понедельник, 27 января 2025 года, войдёт в историю как один из худших дней для технологических компаний со всего мира — акции большинства из них упали на фоне успеха китайского ИИ-стартапа DeepSeek. Хуже всех пришлось компании Nvidia — её капитализация рухнула…
#llms #ai #deepseek
https://3dnews.ru/1117365/tramp-i-altman-visoko-otsenili-uspehi-deepseek-no-prizvali-ne-umalyat-potentsial-ssha
https://3dnews.ru/1117365/tramp-i-altman-visoko-otsenili-uspehi-deepseek-no-prizvali-ne-umalyat-potentsial-ssha
3DNews - Daily Digital Digest
Трамп и Альтман высоко оценили успехи китайского ИИ-стартапа DeepSeek и заявили, что США смогут лучше
Распространение новейшей языковой модели китайской компании DeepSeek зародило в умах инвесторов сомнения по поводу способности американских компаний и далее удерживать лидерство в сфере ИИ, а главное — доказало, что высокого быстродействия можно добиться…
#news #calibration #teaser
В процессе написания небольшой статейки, мини-исследования о пользе посткалибрации бинарных классификаторов. По мере работы возникают всё новые вопросы, на которые хочется дать ответ 😅 Вначале был 1 датасет, 2 модели, 3 библиотеки, через день уже 5 моделей, еще через день добавился доп. датасет с "другим видом" мискалибрации (что, кстати, заметно изменило рейтинги), через день библиотек заюзанных в сравнении стало 7. Теперь вот хочется добавить к зоопарку и какую-то свою реализацию калибратора, а просто "шоб було".
В процессе написания небольшой статейки, мини-исследования о пользе посткалибрации бинарных классификаторов. По мере работы возникают всё новые вопросы, на которые хочется дать ответ 😅 Вначале был 1 датасет, 2 модели, 3 библиотеки, через день уже 5 моделей, еще через день добавился доп. датасет с "другим видом" мискалибрации (что, кстати, заметно изменило рейтинги), через день библиотек заюзанных в сравнении стало 7. Теперь вот хочется добавить к зоопарку и какую-то свою реализацию калибратора, а просто "шоб було".