#ml #masters #bayes #hypothesistesting

Ещё интересные мысли.

"Many applications require not only a prediction but a measure of confidence in the decision as well. Some developers prefer a hypothesis-testing approach, while others favor Bayesian methods. The truth is that whenever possible, both methods should be used, as they provide very different types of information. And most people ignore a critical additional step: computing confidence in the confidence figure!"

"Often, an essential part of development is estimating model parameters for examination. The utility of these estimates is greatly increased if you can also compute the bias and variance of the estimates, or even produce confidence intervals for them."

#ml #masters #ensembling #featureengineering #entropy

Продолжаем.

"A common procedure is to train several competing models on the same training set and then choose the best performer for deployment. However, it is usually advantageous to use all of the competing models and intelligently combine their predictions or class decisions to produce a consensus opinion."

"It is not widely known that the entropy of a predictor variable can have a profound impact on the ability of many models to make effective use of the variable. Responsible researchers will compute the entropy of every predictor and take remedial action if any predictor has low entropy."

Первая идея не нова, в соревах все стэкают модели. Но опять-таки, это до сих пор не стандарт в МЛ, и тот же sklearn просто отбрасывает все модели за исключением "лучшей", там даже опции нет сохранить остальные, или, упаси Боже, совместно их использовать.

А вот энтропийный подход к выбору и предобработке предикторов оригинален, такой идеи я нигде не встречал больше. Что нам предлагает классика? Генерить побольше потенциальных признаков произвольной природы, пока Ваша модель не захлебнётся по ресурсам. Но ведь можно действовать умнее. Эту идею можно использовать при комбинации нескольких признаков: к примеру, оставлять только те комбинации, чья энтропия превышает энтропии родителей.

#trading #masters #aronson

Читаю книжку David Aronson, Timothy Masters - Statistically sound machine learning for algorithmic trading of financial instruments. Приводят весьма чёткие обоснования, почему торговая система должна быть автоматизированной.

•Intelligently designed automated trading systems can and often do outperform human-driven systems. An effective data-mining program can discover subtle patterns in market behavior that most humans would not have a chance of seeing.

• An automated system is absolutely repeatable, while a human-driven system is subject to human whims. Consistency of decision-making is a vital property of a system that can consistently show a profit. Repeatability is also valuable because it allows examination of trades in order to study operation and perhaps improve performance.

• Most properly designed automated trading systems are amenable to rigorous statistical analysis that can assess performance measures such as expected future performance and the probability that the system could have come into existence due to good luck rather than true power.

• Unattended operation is possible.

#ensembling #masters

Объяснение полезности ансамблей:

"Because the different models will generally be based on different training data, the patterns of noise will be different in the training sets. As a result, if the models are overly powerful and thereby learn to predict noise in addition to authentic patterns, they will generally make different predictions of the noise component. When these predictions are combined via a committee, the noise predictions will tend to cancel, while the predictions based on authentic patterns will tend to reinforce."

Особенно ценно для CV. Как раз поэтому и не надо выбрасывать "промежуточные" модельки с фолдов CV.

#trading #meanreversion #chan

https://www.youtube.com/watch?v=5G7YdjnRvVI

#google #earthquakes

"В основе системы лежит принцип краудсорсинга и сигналы с акселерометров на устройствах: когда несколько телефонов одновременно подвергаются интенсивным толчкам, Google обрабатывает крупный массив данных, позволяющий определить эпицентр и силу землетрясения, а также автоматически оповестить пользователей, которые с некоторой вероятностью могут ощутить на себе основную тяжесть толчков. Оповещение приходит не более чем за минуту, но этого может быть достаточно, чтобы найти укрытие или эвакуироваться.

Некоторое беспокойство вызывает то, что система дала сбой во время сильного 7,8-балльного землетрясения. С другой стороны, трудно сказать, какое число пользователей в подобных случаях должно получать оповещения, и какой силы должно быть землетрясение при штатном срабатывании системы."

https://3dnews.ru/1090698/sistema-opoveshcheniya-o-zemletryaseniyah-na-android-ne-srabotala-v-turtsii

#physics #superconductors

"В своём интервью изданию один из авторов открытия — южнокорейский учёный Хьюн-Так Ким (Hyun-Tak Kim) из Колледжа Уильяма и Мэри в Вирджинии — сказал, что одна из размещённых на сайте arXiv статей (их там две по теме открытия) выложена без его ведома и содержит «много дефектов». Вероятно, речь идёт об этой статье, тогда как учёный участвовал в написании этой статьи. Статья за авторством Хьюн-Так Кима проходит этап рецензирования и движется к печати в одном из ведущих научных журналов мира. Вскоре это произойдёт.

В открытии материала LK-99 (буква K в его названии — это первая буква фамилии учёного, а цифра — год первого открытия материала) сыграли роль как многочисленные эксперименты, так и случайно сделанное наблюдение. Для области сверхпроводящих материалов — это норма, поскольку учёные в этой сфере во многом полагаются на удачу. Поймала ли группа Кима удачу за хвост, или нет, мы узнаем довольно быстро после полноценной публикации статьи об исследовании. Учёный обещает помочь советами любой группе, которая попытается повторить условия его эксперимента.

На самом деле, процесс создания чудо-материала очень простой. Как, возможно, напишут через десять лет в методичках для лабораторных работ по физике для 7-го класса, для получения материала необходимо смешать порошки сульфата и оксида свинца и нагреть эту смесь на воздухе до образования ланаркита. В отдельной посуде смешиваем медь и порошок фосфора и нагреваем в вакууме до образования кристаллов. Затем соединяем измельчённые кристаллы и ланаркит с последующим нагревом в вакууме. В результате получается соединение, которое парит над магнитом при комнатной температуре, что воспроизводит эффект Мейсснера (видео по ссылке)."

https://3dnews.ru/1090637/uchyonie-skepticheski-otneslis-k-otkritiyu-sverhprovodimosti-pri-obichnih-usloviyah-no-mir-zamer-v-ogidanii-faktov-a-ne-slov

#metrics #mse

Why is MSE so popular? The reasons are mostly based on theoretical properties, although there are a few properties that have value in some situations. Here are some of the main advantages of MSE as a measure of the performance of a model:

• It is fast and easy to compute.
• It is continuous and differentiable in most applications. Thus, it will be well behaved for most optimization algorithms.
• It is very intuitive in that it is simply an average of errors. Moreover, the squaring causes large errors to have a larger impact than small errors, which is good in many situations.
• Under commonly reasonable conditions (the most important being that the distribution is normal or a member of a related family), parameter estimates computed by minimizing MSE also have the desirable statistical property of being maximum likelihood estimates. This loosely means that of all possible parameter values, the one computed is the most likely to be correct.

We see that MSE satisfies the theoretical statisticians who design models, it satisfies the numerical analysts who design the training algorithms, and it satisfies the intuition of the users. All of the bases are covered.

#fun #animals #cats

Нашёл фотку нашего коти в юности )

#music #instrictconfidence

Kingdoms fall
When they embrace the night
And oceans burn
Where they begin to fight
Storms bow down
Before their gracious sight
They take your dreams
Behind their closing eyes

They turn their faces
Down to fading mother earth
And their snowcapped wings
Veil the world in darkness
They take with them
All our thoughts and words and tears
And our dreams are kept
Behind their closing eyes

https://www.youtube.com/watch?v=UxClZg_rYT4

#api #architecture #solutions #programming

https://www.youtube.com/watch?v=zvWKqUiovAM

#ml #metrics #masters

It has been seen that good average or total performance in the training set is not the only important optimization consideration. Consistent performance is also important.
It encourages good performance outside the training set, and it provides stability as models are evolved by selective updating. An often easy way to encourage consistency is to stratify the training set, compute for each stratum a traditional optimization criterion like one of those previously discussed, and then let the final optimization criterion be a function of the values for the strata.

The power of stratification can sometimes be astounding. It is surprisingly easy to train a model that seems quite good on a training set only to discover later that its performance is spotty. It may be that the good average training performance was based on spectacular performance in part of the training set and mediocre performance in the rest. When the conditions that engender mediocrity appear in real life and the model fails to perform up to expectations, it is only then that the researcher may study its historical performance more closely and discover the problem. It is always better to discover this sort of problem early in the design process.

#ml #metrics #regression #masters

В задачах регрессии Мастерс советует резервировать, помимо тестового множества, отдельное confidence set, репрезентативное к генеральной совокупности, на котором считать доверительные интервалы ошибок. Если распределение ошибок не нормальное, можно использовать просто квантили. Дополнительно он считает вероятности, что сами доверительные интервалы не нарушатся, используя для этого неполное бета-распределение.

#medicine #neuralink

"При подготовке к операции хирурги с помощью фМРТ провели многочисленные оценки зон головного мозга пациента, чтобы с максимальной точностью определить место размещения имплантатов — чипов, распознающих активность головного мозга в его отдельных областях. Но даже после этого в процессе 15-часовой операции на открытом мозге они консультировались с пациентом для уточнения мест установки датчиков.

Два имплантата считывали «мысли» пациента о желании двигать рукой, а три других принимали сигналы от датчиков на руке и запястье. Фактически врачи запустили два обходных пути для нейросигналов, барьером на пути которых стала травма позвоночника (спинного мозга). Один шунт заставлял руку совершать движения через систему накладных электродов (на позвоночник и предплечье), а другой возвращал в мозг сигналы от датчиков тактильных ощущений. Дальше мозг справлялся сам — связывал одно и другое и выстраивал новые нейронные цепи в головном мозге таким образом, чтобы человек воспринимал движение руки и тактильный отзыв в едином пакете."

https://3dnews.ru/1090925/mozgovie-implantati-i-ii-chastichno-vernuli-chuvstvitelnost-i-podvignost-paralizovannomu-patsientu

#ml #modelling #evaluation #masters

Как оценить вероятность, что обученная модель достигла своих результатов не благодаря случайному совпадению?

Мастерс предлагает N раз переобучить модель, каждый раз перемешивая таргет, и подсчитать процент случаев, когда метрика "перемешанной" модели лучше, чем оригинальной. Что-то вроде Boruta, но не для предикторов, а для таргета.

Более того, он раскладывает преимущества от использования модели на 3 фактора: обобщающую способность, смещение данных, и смещение модели:

TrainingGain = Ability + InherentBias +TrainingBias

Так как "перемешанные" модельки не получают аутентичных связей предикторов с таргетом, в них первый компонент отсутствует:

PermutedGain = InherentBias +TrainingBias

Соответственно, сравнивая метрики оригинальных и перемешанных моделей, можно уже по трейн сету оценить истинную обобщающую способность и вклад шума в результат.

Зачастую inherent bias можно получить аналитически, например, в финансовых задачах это может быть результат от buy & hold на растущем рынке. Тогда можно оценить

 TrainingBias = PermutedGain - InherentBias

"It tells us how much the process of training optimistically inflates the gain. If the TrainingBias is large, this constitutes evidence that the model may be too powerful relative to the amount of noise in the data. This information can be particularly handy early in model development, when it is used to compare some competing modeling methodologies to judge whether additional data is required.

Remember that permutation can also be used with cross validation, walk-forward testing, and most other out-of-sample evaluation methods in order to compute the probability that good observed out-of-sample results could have arisen from a worthless model. The principle is exactly the same, although of course it makes no sense to eliminate training bias from out-of-sample results."

Пример вычислений со слабым классификатором:

"Called fraud 141 of 100000 (0.14 percent)
Actual fraud 0.94 percent
p = 0.57600
Original gain = 0.55370 with original inherent bias = 0.52818
Mean permuted gain = 0.56517
Mean permuted inherent bias = 0.50323
Training bias = 0.06194 (0.56517 minus 0.50323)
Unbiased actual gain = 0.49176 (0.55370 minus 0.06194)
Unbiased gain above inherent bias = -0.01147 (0.49176 minus 0.50323)

In this no-power example, the number of cases called fraud (0.14 percent) is quite different from the actual number (0.94 percent). Such variation is common when there is little predictive power. The most important number in this table is the p-value, the probability that a worthless model could have performed as well or better just by luck. This p-value is 0.576, a strong indication that the model could be worthless. You really want to see a tiny p-value, ideally 0.01 or less, in order to have solid confidence in the model.

The per-case gain of the unpermuted model is 0.55370, which may seem decent until you notice that 0.52818 of it is inherent bias. So even after optimization of performance, it barely beats what a coin-toss model would achieve. Things get even worse when you see that the mean gain for permuted data is 0.56517, better than the original model!"

#nature #biology #evolution #genitals #fun

В почту свалилось письмо от Alpina с рекламой новой захватывающей книги. )

«Парадокс пениса. Уроки жизни из мира животных» Эмили Уиллингем

"Герои этой книги: черви, которые самооплодотворяют себя; пауки для которых пенис не только средство для эротических приключений, но и орган осязания (а еще они пользуются им при захвате жертв на охоте); некоторые усоногие отращивают пенис к сезону спаривания, а затем сбрасывают его, другие удлиняют, наращивая дополнительные сегменты (не очень реализуемый лайфхак); бабочки парусники могут видеть и вульвой и пенисом, они у них оснащены фоторецепторами; у многих паучих две вагины, а у голожаберного моллюска три пениса; пенис крокодила всегда находится в жестком состоянии и выскакивает наружу, как подушка безопасности; сумчатые мыши в определенный момент жизни начинают многочасовые тантрические упражнения, после этого умирают от истощения; самцы медоносной пчелы также умирают после секса, эякуляция отрывает им пенис; у 97% видов птиц нет пениса, они передают гаметы партнеру через клоакальный поцелуй; у самки гиены не просто огромный клитор, она через него же и рожает; многие самки приматов сообщают самцам о готовности к зачатию изменением цвета половых органов; киты иногда совокупляются втроем (читайте книгу). И все это не просто перечисление удивительных фактов. Это рассказ о том, почему пенисы именно такие, почему и как выигрывают те или иные эволюционные стратегии.

И о размерах. Самый большой у синего кита, средняя длина его пениса составляет 3,7 м. У одного из японских китов пенис всего 2,7 м, но огромные яички весом около тонны. Среди наземных млекопитающих побеждают африканские лесные слоны со своими скоромными 90 см. Самый большой относительно размера тела у усоногих, их пенис в восемь раз превышает длину тела, если бы они были размером с синего кита, у них были бы члены 200-метровой длины. Они, кстати, еще и гермафродиты, так что партнёром может стать и сосед слева, и сосед справа. Согласитесь, удобно."

https://alpinabook.ru/catalog/book-paradoks-penisa/

#abtesting #bayes #growthbook

В докладе понравился синтетический тест frequentist vs bayes. Хотя, говорят, сравнение было некорректно из-за разной "стороннести" подходов.

https://www.youtube.com/watch?v=fBXPX7NswYY

#bayesnetworks #ml #bamt

Хочется попробовать эту штуку

https://www.youtube.com/watch?v=PENruRp82_Q

#python #codegems #fs #expandvars

Пошёл тестировать BAMT. Пример из руководства выпал с ошибкой, смотрю, он пытается создать файл

C:\Users\Roman\BAMT\Nodes_data

Посмеялся, думаю, щас заведу им issue чтоб по дефолту заменили на какое-нить

%%LOCALAPPDATA%%\aimclub\BAMT\Nodes_data

Но сначала сам заменил локально, потестить:


PermissionError Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_3236\1667079916.py in <module>
----> 1 bn.fit_parameters(data)

C:\ProgramData\Anaconda3\lib\site-packages\bamt\networks\base.py in fit_parameters(self, data, dropna, n_jobs)
489
490 if not os.path.isdir(STORAGE):
--> 491 os.makedirs(STORAGE)
492
493 # init folder

C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
213 if head and tail and not path.exists(head):
214 try:
--> 215 makedirs(head, exist_ok=exist_ok)
216 except FileExistsError:
217 # Defeats race condition when another thread created the path

C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
213 if head and tail and not path.exists(head):
214 try:
--> 215 makedirs(head, exist_ok=exist_ok)
216 except FileExistsError:
217 # Defeats race condition when another thread created the path

C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
213 if head and tail and not path.exists(head):
214 try:
--> 215 makedirs(head, exist_ok=exist_ok)
216 except FileExistsError:
217 # Defeats race condition when another thread created the path

C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
223 return
224 try:
--> 225 mkdir(name, mode)
226 except OSError:
227 # Cannot rely on checking for EEXIST, since the operating system

PermissionError: [WinError 5] Access is denied: '%LOCALAPPDATA%'

Оказалось, питон на винде, в отличие от Проводника, не поддерживает сокращения типа %LOCALAPPDATA%. Получается, перед работой с файловой системой надо сначала любой путь пропускать через os.path.expandvars в качестве лучшей практики.

А лучше всего место для хранения настроек, раз уж локальная директория не подходит, получить с помошью platformdirs :

>>> from platformdirs import *
>>> appname = "SuperApp"
>>> appauthor = "Acme"
>>> user_data_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Acme\\SuperApp'
>>> user_data_dir(appname, appauthor, roaming=True)
'C:\\Users\\trentm\\AppData\\Roaming\\Acme\\SuperApp'
>>> user_cache_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Acme\\SuperApp\\Cache'
>>> user_log_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Acme\\SuperApp\\Logs'
>>> user_documents_dir()
'C:\\Users\\trentm\\Documents'
>>> user_downloads_dir()
'C:\\Users\\trentm\\Downloads'
>>> user_pictures_dir()
'C:\\Users\\trentm\\Pictures'
>>> user_videos_dir()
'C:\\Users\\trentm\\Videos'
>>> user_music_dir()
'C:\\Users\\trentm\\Music'
>>> user_desktop_dir()
'C:\\Users\\trentm\\Desktop'
>>> user_runtime_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Temp\\Acme\\SuperApp'