#python #optuna #nogil
Что интересно, в Оптуне потестили питон 3.13 без GIL-а, получили по сути ухудшение скорости.
https://medium.com/optuna/overview-of-python-free-threading-v3-13t-support-in-optuna-ad9ab62a11ba
Что интересно, в Оптуне потестили питон 3.13 без GIL-а, получили по сути ухудшение скорости.
https://medium.com/optuna/overview-of-python-free-threading-v3-13t-support-in-optuna-ad9ab62a11ba
Medium
Overview of Python Free Threading (v3.13t) Support in Optuna
In Python 3.13, experimental support for free threading has been introduced, as proposed in PEP 703. Until now, the Python interpreter…
#xgboost #hyperparameters
Приятное описание гиперпараметров xgbost-а, с картинками.
https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813
Приятное описание гиперпараметров xgbost-а, с картинками.
https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813
Medium
Visualizing XGBoost Parameters: A Data Scientist’s Guide To Better Models
Why understanding parameters is critical to building robust models
#crypto #trading
"Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71. Это обеспечило новому токену рыночную капитализацию около $10,7 млрд долларов, поставив его на 18-е место среди крупнейших криптовалют. 24-часовой объем торговли $TRUMP достиг $52,5 млрд. На этом фоне биткоин достиг рекордного максимума в $109 072 всего за несколько часов до возвращения избранного президента США в Белый дом.
За два дня до вступления в должность избранный президент США Дональд Трамп (Donald Trump) опубликовал в соцсети X «официальный мем» — криптовалюту, посвящённую своей победе на выборах. Из общего числа в почти 1 млрд токенов 80 % принадлежат CIC Digital LLC, которая является филиалом The Trump Organization, и ещё одному бизнесу Трампа под названием Fight LLC. Таким образом на момент подготовки данного материала состояние Трампа в его собственных мемкоинах оценивается примерно в $40 млрд.
Токен $TRUMP, выпущенный на блокчейне Solana, значительно обогатил Трампа лично, позволил криптоиндустрии перекачивать ему деньги и создала нестабильный финансовый актив, который даёт возможность любому человеку в мире финансово спекулировать на политических состояниях Трампа. Официальный сайт монеты GetTrumpMemes.com призывает посетителей покупать монеты за доллары или криптовалюту, чтобы «отпраздновать нашу победу и повеселиться!».
В воскресенье по примеру супруга Мелания Трамп (Melania Trump) запустила собственную криптовалюту на блокчейне Solana, которая также быстро взлетела в цена и достигла $9,6 за монету, а её рыночная капитализация перевалила за $1,85 млрд.
Трамп пообещал стать «криптопрезидентом» и, как ожидается, издаст указы, направленные на сокращение препятствий для регулирования криптовалют и содействие широкому внедрению цифровых активов. Перспектива смягчения регулирования политики в отношении криптовалют была встречена отраслью с энтузиазмом и спровоцировала рост биткоина после победы Трампа на выборах в ноябре.
Статья Конституции США о вознаграждениях, написанная в 1787 году, вряд ли предполагала мир, в котором президент мог бы из ничего создавать миллиарды долларов личного состояния. В настоящее время невозможно отследить, кто будет покупать эту монету в течение следующих трёх лет и тем самым направлять свои деньги непосредственно Трампу. Учитывая обширный взгляд Верховного суда на президентский иммунитет, есть большая вероятность, что любые подобные действия будут признаны законными.
Трамп только что провёл мастер-класс по способности президента превращать власть в богатство."
https://3dnews.ru/1117007/prezidentskiy-masterklass-za-dva-vihodnih-dnya-tramp-sdelal-sebya-kriptomilliarderom
"Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71. Это обеспечило новому токену рыночную капитализацию около $10,7 млрд долларов, поставив его на 18-е место среди крупнейших криптовалют. 24-часовой объем торговли $TRUMP достиг $52,5 млрд. На этом фоне биткоин достиг рекордного максимума в $109 072 всего за несколько часов до возвращения избранного президента США в Белый дом.
За два дня до вступления в должность избранный президент США Дональд Трамп (Donald Trump) опубликовал в соцсети X «официальный мем» — криптовалюту, посвящённую своей победе на выборах. Из общего числа в почти 1 млрд токенов 80 % принадлежат CIC Digital LLC, которая является филиалом The Trump Organization, и ещё одному бизнесу Трампа под названием Fight LLC. Таким образом на момент подготовки данного материала состояние Трампа в его собственных мемкоинах оценивается примерно в $40 млрд.
Токен $TRUMP, выпущенный на блокчейне Solana, значительно обогатил Трампа лично, позволил криптоиндустрии перекачивать ему деньги и создала нестабильный финансовый актив, который даёт возможность любому человеку в мире финансово спекулировать на политических состояниях Трампа. Официальный сайт монеты GetTrumpMemes.com призывает посетителей покупать монеты за доллары или криптовалюту, чтобы «отпраздновать нашу победу и повеселиться!».
В воскресенье по примеру супруга Мелания Трамп (Melania Trump) запустила собственную криптовалюту на блокчейне Solana, которая также быстро взлетела в цена и достигла $9,6 за монету, а её рыночная капитализация перевалила за $1,85 млрд.
Трамп пообещал стать «криптопрезидентом» и, как ожидается, издаст указы, направленные на сокращение препятствий для регулирования криптовалют и содействие широкому внедрению цифровых активов. Перспектива смягчения регулирования политики в отношении криптовалют была встречена отраслью с энтузиазмом и спровоцировала рост биткоина после победы Трампа на выборах в ноябре.
Статья Конституции США о вознаграждениях, написанная в 1787 году, вряд ли предполагала мир, в котором президент мог бы из ничего создавать миллиарды долларов личного состояния. В настоящее время невозможно отследить, кто будет покупать эту монету в течение следующих трёх лет и тем самым направлять свои деньги непосредственно Трампу. Учитывая обширный взгляд Верховного суда на президентский иммунитет, есть большая вероятность, что любые подобные действия будут признаны законными.
Трамп только что провёл мастер-класс по способности президента превращать власть в богатство."
https://3dnews.ru/1117007/prezidentskiy-masterklass-za-dva-vihodnih-dnya-tramp-sdelal-sebya-kriptomilliarderom
3DNews - Daily Digital Digest
За выходные Трамп сделал себя криптомиллиардером
Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71.
#python #debugging #ic #icecream
https://medium.com/pythoneers/debugging-in-python-replace-print-with-ic-and-do-it-like-a-pro-18f330c863cb
from icecream import ic
# Using ic() to debug
ic(add(10, 20))
ic(add(30, 40))
ic| add(10, 20): 30
ic| add(30, 40): 70
ic.disable() # Disables ic()
ic(multiply(3, 3)) # Prints nothing
ic.enable() # Re-enables ic()
ic(multiply(3, 3)) # Output: ic| multiply(3, 3): 9
def log_to_file(text):
with open("debug.log", "a") as f:
f.write(text + "\n")
ic.configureOutput(prefix="DEBUG| ", outputFunction=log_to_file)
ic(multiply(7, 7))
https://medium.com/pythoneers/debugging-in-python-replace-print-with-ic-and-do-it-like-a-pro-18f330c863cb
Medium
Debugging in Python: Replace print() with ic() and Do It Like a Pro
Introduction:
✍1
#hpo #hpt #sigopt
Имхо SigOpt - это лучший оптимизатор (не только для ML). Почему я так считаю, поймёте сразу, увидев пример использования их платформы и сравнив с примером Оптуны. Кстати, в сети мне не удалось найти нормального сравнения оптимизаторов гиперпарамертов, ни одного нормального на конкретных примерах, ну хотя бы Optuna Vs HyperOpt. В документации CatBoost есть такие примеры, но они показывают различия в 3м знаке после запятой, а на практике различия бывают очень весомые.
https://github.com/sigopt/sigopt-examples/blob/main/xgboost-integration-examples/xgb-integration-py-class.ipynb
Имхо SigOpt - это лучший оптимизатор (не только для ML). Почему я так считаю, поймёте сразу, увидев пример использования их платформы и сравнив с примером Оптуны. Кстати, в сети мне не удалось найти нормального сравнения оптимизаторов гиперпарамертов, ни одного нормального на конкретных примерах, ну хотя бы Optuna Vs HyperOpt. В документации CatBoost есть такие примеры, но они показывают различия в 3м знаке после запятой, а на практике различия бывают очень весомые.
https://github.com/sigopt/sigopt-examples/blob/main/xgboost-integration-examples/xgb-integration-py-class.ipynb
#hpt #hpo #smac
Классное выступление. Уже было, наверное, но стоит повторить. Надо потестить этот SMAC, он близок к тому, что я хочу сделать.
https://youtu.be/IqQT8se9ofQ?si=teJh0qucWuWkRzwC
Классное выступление. Уже было, наверное, но стоит повторить. Надо потестить этот SMAC, он близок к тому, что я хочу сделать.
https://youtu.be/IqQT8se9ofQ?si=teJh0qucWuWkRzwC
YouTube
Dan Ryan: Efficient and Flexible Hyperparameter Optimization | PyData Miami 2019
Hyperparameter optimization (HPO) is crucial for getting the best performance possible out of your machine learning models. BOHB (Bayesian Optimization and Hyperband) is a recently developed algorithm that combines the best parts of two popular approaches…
#hpt #hpo #critics
Суммаризировал свои претензии к современным подборщикам гиперпараметров.
1) Не надо говорить, что тюнинг моделей - это black box optimization. Никакая это не новая уникальная задача, где неизвестно, что происходит под капотом, мы одну и ту же задачу решаем день за днём, день за днём, даже данные зачастую похожи. Можно, конечно, притворяться, что для нас каждый раз как первый раз, но имхо это тупо.
2) Вот хочу я затюнить градиентный бустинг над деревьями с помощью Optuna или Hyperopt. Почему я должен каждый раз указывать, какие гиперпараметры я хочу оптимизировать? Они что, часто меняются у xgboost-а? В современных моделях их несколько десятков. Я не хочу их все помнить. Я не знаю, какие из них важны. Я не хочу каждый раз разбираться, какие комбинации совместимы, а какие нет. Ваша библиотека мне жизнь упрощать собирается или нет?
3) Хоть как-то учитываются значения целевой функции в ближайших окрестностях найденных оптимальных параметров? Да конечно, нет, всем начхать на это, тебе находят точечное "лучшее" решение, которое потом на поверку оказывается крайне нестабильным.
4) Байесовская оптимизация с помощью гауссовых процессов - ну это не круто, слишком слабая модель. Вы хоть раз слышали, чтобы сореву на каггле выиграли гауссовым процессом?
5) мне не нравится, что всё CPU/GPU время, которое я палю при HPT некоторой задачи, служит лишь какой-то временной цели, никак не обобщается, и никак не поможет мне (или другим людям) при решении подобных задач в будущем.
6) Ни в одной доке библиотек HPO/HPT я не видел оценок, каких же преимуществ, в терминах ML метрик, можно ждать от тюнинга. Казалось бы, авторы проводят много тестов, в т.ч. автоматизированных, им и карты в руки, ну поделитесь вы статистикой? но нет.
7) а хоть одна из библиотек байесовской оптимизации, предлагая очередных кандидатов, вообще оценивает время обучения модели при таких параметрах?
8) вопрос к алгоритмам HalvingSearch/Hyperband, а насколько надёжно по ранним итерациям можно судить о том, какая метрика будет достигнута к концу обучения? А как же нелинейности кривой обучения? А мы точно так не откинем хорошие решения, которые наибольший "импульс" получают к концу обучения?
9) а хоть одна библа вообще смотрит на декоррелированность прогнозов модели с прогнозами других моделей? это же такая естественная мысль. моделька же не в вакууме будет жить, а, скорей всего, в ансамбле.
THERE SHOULD BE A BETTER WAY!!
Суммаризировал свои претензии к современным подборщикам гиперпараметров.
1) Не надо говорить, что тюнинг моделей - это black box optimization. Никакая это не новая уникальная задача, где неизвестно, что происходит под капотом, мы одну и ту же задачу решаем день за днём, день за днём, даже данные зачастую похожи. Можно, конечно, притворяться, что для нас каждый раз как первый раз, но имхо это тупо.
2) Вот хочу я затюнить градиентный бустинг над деревьями с помощью Optuna или Hyperopt. Почему я должен каждый раз указывать, какие гиперпараметры я хочу оптимизировать? Они что, часто меняются у xgboost-а? В современных моделях их несколько десятков. Я не хочу их все помнить. Я не знаю, какие из них важны. Я не хочу каждый раз разбираться, какие комбинации совместимы, а какие нет. Ваша библиотека мне жизнь упрощать собирается или нет?
3) Хоть как-то учитываются значения целевой функции в ближайших окрестностях найденных оптимальных параметров? Да конечно, нет, всем начхать на это, тебе находят точечное "лучшее" решение, которое потом на поверку оказывается крайне нестабильным.
4) Байесовская оптимизация с помощью гауссовых процессов - ну это не круто, слишком слабая модель. Вы хоть раз слышали, чтобы сореву на каггле выиграли гауссовым процессом?
5) мне не нравится, что всё CPU/GPU время, которое я палю при HPT некоторой задачи, служит лишь какой-то временной цели, никак не обобщается, и никак не поможет мне (или другим людям) при решении подобных задач в будущем.
6) Ни в одной доке библиотек HPO/HPT я не видел оценок, каких же преимуществ, в терминах ML метрик, можно ждать от тюнинга. Казалось бы, авторы проводят много тестов, в т.ч. автоматизированных, им и карты в руки, ну поделитесь вы статистикой? но нет.
7) а хоть одна из библиотек байесовской оптимизации, предлагая очередных кандидатов, вообще оценивает время обучения модели при таких параметрах?
8) вопрос к алгоритмам HalvingSearch/Hyperband, а насколько надёжно по ранним итерациям можно судить о том, какая метрика будет достигнута к концу обучения? А как же нелинейности кривой обучения? А мы точно так не откинем хорошие решения, которые наибольший "импульс" получают к концу обучения?
9) а хоть одна библа вообще смотрит на декоррелированность прогнозов модели с прогнозами других моделей? это же такая естественная мысль. моделька же не в вакууме будет жить, а, скорей всего, в ансамбле.
THERE SHOULD BE A BETTER WAY!!
❤3💯3
#biology
Оказывается, ракообразные - это предки насекомых.
https://youtu.be/5JMisUfHduE?si=8YQSx8zc-R3Rp7Km
Оказывается, ракообразные - это предки насекомых.
https://youtu.be/5JMisUfHduE?si=8YQSx8zc-R3Rp7Km
YouTube
Александр Марков: "Открытия в эволюции. Итоги 2020 года"
Лекция состоялась 20 февраля 2021 года в Культурно-просветительском центре "Архэ" (https://arhe.msk.ru/)
В 2020 году ученые наконец приблизились к разгадке тайны происхождения крыльев насекомых. Получены новые аргументы в пользу гипотезы, согласно которой…
В 2020 году ученые наконец приблизились к разгадке тайны происхождения крыльев насекомых. Получены новые аргументы в пользу гипотезы, согласно которой…
#llms #ai #deepseek #nvidia
"Всё дело в китайском стартапе DeepSeek, который нашёл способ обучать продвинутые ИИ-модели на малом количестве ускорителей вычислений. Например, при обучении одной из своих моделей на внушительных 685 млрд параметров DeepSeek использовала всего 2048 ИИ-ускорителей Nvidia H800 и потратила $5,6 млн. Это мизерная часть расходов OpenAI и Google на обучение моделей сопоставимого размера.
Кроме того, на прошлой неделе DeepSeek выпустила «рассуждающую» модель ИИ R1, которая превзошла мыслящую OpenAI o1 в важных тестах. Более того, компания опубликовала инструкции, как с минимальными затратами построить большую языковую модель, способную самостоятельно обучаться и совершенствоваться без контроля со стороны человека. Добавим, что многие свои разработки DeepSeek распространяет совершенно бесплатно. Да и платный доступ к наиболее продвинутым её системам оказывается намного дешевле, чем у конкурентов — например, R1 доступна через API компании по цене, которая на 90–95 % ниже, чем у OpenAI o1.
В итоге инвесторы поняли, что нейросети можно обучать не только по схеме «купи и установи как можно больше ускорителей вычислений», но и куда более эффективно на меньшем числе GPU. Это грозит резким падением спроса на продукцию Nvidia, выручка которой более чем на 80 % зависит как раз от ускорителей вычислений.
Ряд аналитиков предрекает Nvidia мрачное будущее и не рекомендуют пока покупать акции компании, хотя цены на них стали заманчивыми. Другие же наоборот уверены, что компания сможет быстро восстановиться, а нынешний спад как раз следует использовать для покупки акций."
https://3dnews.ru/1117353/iipuzir-lopnul-stoimost-nvidia-obvalilas-na-600-mlrd
"Всё дело в китайском стартапе DeepSeek, который нашёл способ обучать продвинутые ИИ-модели на малом количестве ускорителей вычислений. Например, при обучении одной из своих моделей на внушительных 685 млрд параметров DeepSeek использовала всего 2048 ИИ-ускорителей Nvidia H800 и потратила $5,6 млн. Это мизерная часть расходов OpenAI и Google на обучение моделей сопоставимого размера.
Кроме того, на прошлой неделе DeepSeek выпустила «рассуждающую» модель ИИ R1, которая превзошла мыслящую OpenAI o1 в важных тестах. Более того, компания опубликовала инструкции, как с минимальными затратами построить большую языковую модель, способную самостоятельно обучаться и совершенствоваться без контроля со стороны человека. Добавим, что многие свои разработки DeepSeek распространяет совершенно бесплатно. Да и платный доступ к наиболее продвинутым её системам оказывается намного дешевле, чем у конкурентов — например, R1 доступна через API компании по цене, которая на 90–95 % ниже, чем у OpenAI o1.
В итоге инвесторы поняли, что нейросети можно обучать не только по схеме «купи и установи как можно больше ускорителей вычислений», но и куда более эффективно на меньшем числе GPU. Это грозит резким падением спроса на продукцию Nvidia, выручка которой более чем на 80 % зависит как раз от ускорителей вычислений.
Ряд аналитиков предрекает Nvidia мрачное будущее и не рекомендуют пока покупать акции компании, хотя цены на них стали заманчивыми. Другие же наоборот уверены, что компания сможет быстро восстановиться, а нынешний спад как раз следует использовать для покупки акций."
https://3dnews.ru/1117353/iipuzir-lopnul-stoimost-nvidia-obvalilas-na-600-mlrd
3DNews - Daily Digital Digest
ИИ-пузырь лопнул: стоимость Nvidia рухнула на $600 млрд за сутки из-за китайского стартапа DeepSeek
Понедельник, 27 января 2025 года, войдёт в историю как один из худших дней для технологических компаний со всего мира — акции большинства из них упали на фоне успеха китайского ИИ-стартапа DeepSeek. Хуже всех пришлось компании Nvidia — её капитализация рухнула…
#llms #ai #deepseek
https://3dnews.ru/1117365/tramp-i-altman-visoko-otsenili-uspehi-deepseek-no-prizvali-ne-umalyat-potentsial-ssha
https://3dnews.ru/1117365/tramp-i-altman-visoko-otsenili-uspehi-deepseek-no-prizvali-ne-umalyat-potentsial-ssha
3DNews - Daily Digital Digest
Трамп и Альтман высоко оценили успехи китайского ИИ-стартапа DeepSeek и заявили, что США смогут лучше
Распространение новейшей языковой модели китайской компании DeepSeek зародило в умах инвесторов сомнения по поводу способности американских компаний и далее удерживать лидерство в сфере ИИ, а главное — доказало, что высокого быстродействия можно добиться…
#news #calibration #teaser
В процессе написания небольшой статейки, мини-исследования о пользе посткалибрации бинарных классификаторов. По мере работы возникают всё новые вопросы, на которые хочется дать ответ 😅 Вначале был 1 датасет, 2 модели, 3 библиотеки, через день уже 5 моделей, еще через день добавился доп. датасет с "другим видом" мискалибрации (что, кстати, заметно изменило рейтинги), через день библиотек заюзанных в сравнении стало 7. Теперь вот хочется добавить к зоопарку и какую-то свою реализацию калибратора, а просто "шоб було".
В процессе написания небольшой статейки, мини-исследования о пользе посткалибрации бинарных классификаторов. По мере работы возникают всё новые вопросы, на которые хочется дать ответ 😅 Вначале был 1 датасет, 2 модели, 3 библиотеки, через день уже 5 моделей, еще через день добавился доп. датасет с "другим видом" мискалибрации (что, кстати, заметно изменило рейтинги), через день библиотек заюзанных в сравнении стало 7. Теперь вот хочется добавить к зоопарку и какую-то свою реализацию калибратора, а просто "шоб було".