#llms #graphs #langchain_neo4j

https://towardsdatascience.com/enterprise-ready-knowledge-graphs-96028d863e8c

#animals #survival #battleforlife

https://www.youtube.com/shorts/b-KPE-lS_Xw

#trading #pelosi

Удивило, что многие из американских политиков оказались крутыми инвесторами. Ну или пользуются услугами хороших специалистов.

"Nancy Pelosi is an interesting woman.

She was the first female speaker of the House of Representatives, making her one of the most influential women in American political history. She’s also an avid baseball fan, and has thrown the ceremonial first pitch at a few different Major League baseball games.

She’s also a better stock trader than almost all of Wall Street.

According to the Independent, Pelosi had earned 71% on her portfolio in 2024. This is more than three times the S&P500."

https://medium.datadriveninvestor.com/im-building-an-algorithmic-copy-trading-platform-the-easiest-way-for-traders-to-earn-a-living-eb96c539f11c

#python #optuna #nogil

Что интересно, в Оптуне потестили питон 3.13 без GIL-а, получили по сути ухудшение скорости.

https://medium.com/optuna/overview-of-python-free-threading-v3-13t-support-in-optuna-ad9ab62a11ba

#xgboost #hyperparameters

Приятное описание гиперпараметров xgbost-а, с картинками.

https://towardsdatascience.com/visualizing-xgboost-parameters-a-data-scientists-guide-to-better-models-38757486b813

#crypto #trading

"Запущенный Дональдом Трампом (Donald Trump) в пятницу мемкоин в воскресенье взлетел до $74,59, а сегодня зафиксировался на $52,71. Это обеспечило новому токену рыночную капитализацию около $10,7 млрд долларов, поставив его на 18-е место среди крупнейших криптовалют. 24-часовой объем торговли $TRUMP достиг $52,5 млрд. На этом фоне биткоин достиг рекордного максимума в $109 072 всего за несколько часов до возвращения избранного президента США в Белый дом.

За два дня до вступления в должность избранный президент США Дональд Трамп (Donald Trump) опубликовал в соцсети X «официальный мем» — криптовалюту, посвящённую своей победе на выборах. Из общего числа в почти 1 млрд токенов 80 % принадлежат CIC Digital LLC, которая является филиалом The Trump Organization, и ещё одному бизнесу Трампа под названием Fight LLC. Таким образом на момент подготовки данного материала состояние Трампа в его собственных мемкоинах оценивается примерно в $40 млрд.

Токен $TRUMP, выпущенный на блокчейне Solana, значительно обогатил Трампа лично, позволил криптоиндустрии перекачивать ему деньги и создала нестабильный финансовый актив, который даёт возможность любому человеку в мире финансово спекулировать на политических состояниях Трампа. Официальный сайт монеты GetTrumpMemes.com призывает посетителей покупать монеты за доллары или криптовалюту, чтобы «отпраздновать нашу победу и повеселиться!».

В воскресенье по примеру супруга Мелания Трамп (Melania Trump) запустила собственную криптовалюту на блокчейне Solana, которая также быстро взлетела в цена и достигла $9,6 за монету, а её рыночная капитализация перевалила за $1,85 млрд.

Трамп пообещал стать «криптопрезидентом» и, как ожидается, издаст указы, направленные на сокращение препятствий для регулирования криптовалют и содействие широкому внедрению цифровых активов. Перспектива смягчения регулирования политики в отношении криптовалют была встречена отраслью с энтузиазмом и спровоцировала рост биткоина после победы Трампа на выборах в ноябре.

Статья Конституции США о вознаграждениях, написанная в 1787 году, вряд ли предполагала мир, в котором президент мог бы из ничего создавать миллиарды долларов личного состояния. В настоящее время невозможно отследить, кто будет покупать эту монету в течение следующих трёх лет и тем самым направлять свои деньги непосредственно Трампу. Учитывая обширный взгляд Верховного суда на президентский иммунитет, есть большая вероятность, что любые подобные действия будут признаны законными.

Трамп только что провёл мастер-класс по способности президента превращать власть в богатство."

https://3dnews.ru/1117007/prezidentskiy-masterklass-za-dva-vihodnih-dnya-tramp-sdelal-sebya-kriptomilliarderom

#python #debugging #ic #icecream

from icecream import ic

# Using ic() to debug
ic(add(10, 20))
ic(add(30, 40))

ic| add(10, 20): 30
ic| add(30, 40): 70

ic.disable()  # Disables ic()
ic(multiply(3, 3))  # Prints nothing

ic.enable()  # Re-enables ic()
ic(multiply(3, 3))  # Output: ic| multiply(3, 3): 9

def log_to_file(text):
    with open("debug.log", "a") as f:
        f.write(text + "\n")

ic.configureOutput(prefix="DEBUG| ", outputFunction=log_to_file)

ic(multiply(7, 7))

https://medium.com/pythoneers/debugging-in-python-replace-print-with-ic-and-do-it-like-a-pro-18f330c863cb

#biology #evolution
https://youtu.be/ghp4i-9sL10?si=GkC-u7eJrD8eF5XF

#calibration #probabilistic

https://www.youtube.com/watch?v=RXMu96RJj_s

#hpo #hpt #dask #hyperband

https://www.youtube.com/watch?v=x67K9FiPFBQ

#hpo #hpt #sigopt

Имхо SigOpt - это лучший оптимизатор (не только для ML). Почему я так считаю, поймёте сразу, увидев пример использования их платформы и сравнив с примером Оптуны. Кстати, в сети мне не удалось найти нормального сравнения оптимизаторов гиперпарамертов, ни одного нормального на конкретных примерах, ну хотя бы Optuna Vs HyperOpt. В документации CatBoost есть такие примеры, но они показывают различия в 3м знаке после запятой, а на практике различия бывают очень весомые.

https://github.com/sigopt/sigopt-examples/blob/main/xgboost-integration-examples/xgb-integration-py-class.ipynb

#trading #backtesting #optimization #sigopt

https://youtu.be/gFPZLpyv774?si=f1bfC2WacedM6O83

#hpt #hpo #sigopt

https://www.youtube.com/watch?v=kpcg7hnBUic

#hpo #hpt

Давайте честно, 1% улучшения - это жопа какая-то, впустую потраченное время.

#hpt #hpo #hyperband #multitask_bayesian

https://www.youtube.com/watch?v=G00fVTKbmZE

#hpt #hpo #smac

Классное выступление. Уже было, наверное, но стоит повторить. Надо потестить этот SMAC, он близок к тому, что я хочу сделать.

https://youtu.be/IqQT8se9ofQ?si=teJh0qucWuWkRzwC

#hpt #hpo #critics

Суммаризировал свои претензии к современным подборщикам гиперпараметров.

1) Не надо говорить, что тюнинг моделей - это black box optimization. Никакая это не новая уникальная задача, где неизвестно, что происходит под капотом, мы одну и ту же задачу решаем день за днём, день за днём, даже данные зачастую похожи. Можно, конечно, притворяться, что для нас каждый раз как первый раз, но имхо это тупо.

2) Вот хочу я затюнить градиентный бустинг над деревьями с помощью Optuna или Hyperopt. Почему я должен каждый раз указывать, какие гиперпараметры я хочу оптимизировать? Они что, часто меняются у xgboost-а? В современных моделях их несколько десятков. Я не хочу их все помнить. Я не знаю, какие из них важны. Я не хочу каждый раз разбираться, какие комбинации совместимы, а какие нет. Ваша библиотека мне жизнь упрощать собирается или нет?

3) Хоть как-то учитываются значения целевой функции в ближайших окрестностях найденных оптимальных параметров? Да конечно, нет, всем начхать на это, тебе находят точечное "лучшее" решение, которое потом на поверку оказывается крайне нестабильным.

4) Байесовская оптимизация с помощью гауссовых процессов - ну это не круто, слишком слабая модель. Вы хоть раз слышали, чтобы сореву на каггле выиграли гауссовым процессом?

5) мне не нравится, что всё CPU/GPU время, которое я палю при HPT некоторой задачи, служит лишь какой-то временной цели, никак не обобщается, и никак не поможет мне (или другим людям) при решении подобных задач в будущем.

6) Ни в одной доке библиотек HPO/HPT я не видел оценок, каких же преимуществ, в терминах ML метрик, можно ждать от тюнинга. Казалось бы, авторы проводят много тестов, в т.ч. автоматизированных, им и карты в руки, ну поделитесь вы статистикой? но нет.

7) а хоть одна из библиотек байесовской оптимизации, предлагая очередных кандидатов, вообще оценивает время обучения модели при таких параметрах?

8) вопрос к алгоритмам HalvingSearch/Hyperband, а насколько надёжно по ранним итерациям можно судить о том, какая метрика будет достигнута к концу обучения? А как же нелинейности кривой обучения? А мы точно так не откинем хорошие решения, которые наибольший "импульс" получают к концу обучения?

9) а хоть одна библа вообще смотрит на декоррелированность прогнозов модели с прогнозами других моделей? это же такая естественная мысль. моделька же не в вакууме будет жить, а, скорей всего, в ансамбле.

THERE SHOULD BE A BETTER WAY!!

#biology
Оказывается, ракообразные - это предки насекомых.

https://youtu.be/5JMisUfHduE?si=8YQSx8zc-R3Rp7Km

#python #asyncio

https://medium.com/techtofreedom/9-levels-of-asynchronous-programming-in-python-3755f80403c9

#llms #ai #deepseek #nvidia

"Всё дело в китайском стартапе DeepSeek, который нашёл способ обучать продвинутые ИИ-модели на малом количестве ускорителей вычислений. Например, при обучении одной из своих моделей на внушительных 685 млрд параметров DeepSeek использовала всего 2048 ИИ-ускорителей Nvidia H800 и потратила $5,6 млн. Это мизерная часть расходов OpenAI и Google на обучение моделей сопоставимого размера.

Кроме того, на прошлой неделе DeepSeek выпустила «рассуждающую» модель ИИ R1, которая превзошла мыслящую OpenAI o1 в важных тестах. Более того, компания опубликовала инструкции, как с минимальными затратами построить большую языковую модель, способную самостоятельно обучаться и совершенствоваться без контроля со стороны человека. Добавим, что многие свои разработки DeepSeek распространяет совершенно бесплатно. Да и платный доступ к наиболее продвинутым её системам оказывается намного дешевле, чем у конкурентов — например, R1 доступна через API компании по цене, которая на 90–95 % ниже, чем у OpenAI o1.

В итоге инвесторы поняли, что нейросети можно обучать не только по схеме «купи и установи как можно больше ускорителей вычислений», но и куда более эффективно на меньшем числе GPU. Это грозит резким падением спроса на продукцию Nvidia, выручка которой более чем на 80 % зависит как раз от ускорителей вычислений.

Ряд аналитиков предрекает Nvidia мрачное будущее и не рекомендуют пока покупать акции компании, хотя цены на них стали заманчивыми. Другие же наоборот уверены, что компания сможет быстро восстановиться, а нынешний спад как раз следует использовать для покупки акций."

https://3dnews.ru/1117353/iipuzir-lopnul-stoimost-nvidia-obvalilas-na-600-mlrd