Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning by Sebastian Raschka

The correct use of model evaluation, model selection, and algorithm selection techniques is vital in academic machine learning research as well as in many industrial settings.
This article reviews different techniques that can be used for each of these three subtasks and discusses the main advantages and disadvantages of each technique with references to theoretical and empirical studies. Further, recommendations are given to encourage best yet feasible practices in research and applications of machine learning.

Link
https://arxiv.org/abs/1811.12808

Navigational hashtags: #armknowledgesharing #armarticles
General hashtags: #machinelearning #ml #modelevaluation #evaluation #selection #cv #crossvalidation

@accelerated_learning

#news #law

Маразм продолжается. Скоро нам запретят и заходить на иностранные сайты. А затем запретят неправильно думать.

"Согласно новым законодательным нормам, регистрация на сайтах рунета будет возможна только с использованием российских телефонных номеров, Единой биометрической системы, через электронную почту, зарегистрированную в сервисах РФ, через портал «Госуслуг» и с использованием идентификаторов на российских ресурсах. По словам главы комитета Госдумы по информполитике Александра Хинштейна, нововведение касается только тех российских сайтов, где есть регистрация и аутентификация пользователей. «В список не входят аккаунты, зарегистрированные через иностранные сервисы, например Google или Apple ID», — пояснил он в своём Telegram-канале."

https://3dnews.ru/1090540/v-gosdume-odobrili-vo-ii-chtenii-zapret-na-registratsiyu-v-runete-s-pomoshchyu-inostrannoy-elektronnoy-pochti

#twitter #musk #x

Похоже, пэйпаловские флэшбэки не дают Илону покоя ) Ну да и к лучшему, пусть у этих зажравшихся Страйпов и Пэйпалов появится конкурент.

"«Twitter был поглощён X Corp как для обеспечения свободы слова, так и в качестве ускорителя X — приложения [для] всего. Это не просто компания, которая меняет имя, но продолжает делать то же самое. Название Twitter имело смысл, когда туда-сюда ходили всего 140 символов — как птички чирикали, — но сейчас можно публиковать почти всё что угодно, в том числе несколько часов видео. В ближайшие месяцы мы добавим всестороннее общение и возможность управлять всем вашим финансовым миром. В этом контексте название Twitter не имеет смысла, так что нам нужно попрощаться с птичкой», — рассказал Маск."

https://3dnews.ru/1090518/ilon-mask-obyasnil-pochemu-pereimenoval-twitter-v-x

#hardware #intel #avx #cpu

Мне кажется, вся затея с гибридными ядрами P и E - полный бред. Скрестили ужа и ежа. Хотя кому нужна скорость, могли раньше отдельно купить достаточно ежей, а кому гибкость/энергоэффективность - сколько надо ужей. А так под гибридного монстра понадобилось менять и софт, и стандарты, и зачем всё это нужно было - непонятно.

"Вместе с расширениями архитектуры APX, компания Intel представила сегодня новый набор команд AVX10 (Advanced Vector Extensions 10). Он является дальнейшим развитием AVX-512 и будет поддерживаться в перспективных гибридных процессорах не только производительными, но и энергоэффективными ядрами.

Основная цель внедрения AVX10 — подведение векторных инструкций, которые могут выполняться разными типами ядер Intel, под единый стандарт. Актуальный набор векторных инструкций AVX-512 позволяет работать с 512-битными операндами, однако поддерживается исключительно большими P-ядрами. Маленькие E-ядра имеют лишь 256-битные регистры, поэтому AVX-512 в них не работает. Это приводит к тому, что в гибридных процессорах вроде Alder Lake или Raptor Lake поддержку AVX-512 приходится отключать.

Набор AVX10 должен решить эту проблему, однако несколько своеобразным способом. Регистры шириной 512 бит в E-ядрах не появятся, но он позволит выполнять одни и те же векторные инструкции набора AVX-512 как P-, так и E-ядрами, но применительно к регистрам разной размерности: в первом случае – 512, а во втором — 256 бит. Вопрос совместимости результатов операций Intel собирается решить добавлением в AVX10 флага размерности AVX512VL и специальных 256-битных инструкций со встроенным округлением."

https://3dnews.ru/1090519/intel-anonsirovala-perehod-ot-avx512-k-avx10-naboru-instruktsiy-kotoriy-smoget-rabotat-vezde

#ml #masters #cv #refit

Читаю книги Тима Мастерса "Data Mining Algorithms in C++" и "Assessing and Improving Prediction and Classification". Он не классический МЛ-щик, мне кажется, до всего дошёл сам, порой его идеи очень глубоки.

"The importance of consistent performance is often ignored, with average performance being the focal point instead. However, in most cases, a model that performs fairly well across the majority of training cases will ultimately outperform a model that performs fabulously most of the time but occasionally fails catastrophically. Properly designed training sets and optimization criteria can take consistency into account."

А ведь и правда, ну кто смотрит на разброс метрик по фолдам CV? Да никто. Даже в процедурах модуля model_selection (GridSearchCV итд) по умолчанию берутся просто среднеарифметические метрики по тестовым кускам. А ведь постоянство метрик может быть очень важным качеством в реальных приложениях. Наверное, лучшим подходом будет при сравнении моделек от средних значений метрик отнимать их стандартное отклонение (с неким коэффициентом, например, делённое на 2). В sklearn это можно сделать, если передать в процедуру model_selection кастомный refit.

#ml #masters #bayes #hypothesistesting

Ещё интересные мысли.

"Many applications require not only a prediction but a measure of confidence in the decision as well. Some developers prefer a hypothesis-testing approach, while others favor Bayesian methods. The truth is that whenever possible, both methods should be used, as they provide very different types of information. And most people ignore a critical additional step: computing confidence in the confidence figure!"

"Often, an essential part of development is estimating model parameters for examination. The utility of these estimates is greatly increased if you can also compute the bias and variance of the estimates, or even produce confidence intervals for them."

#ml #masters #ensembling #featureengineering #entropy

Продолжаем.

"A common procedure is to train several competing models on the same training set and then choose the best performer for deployment. However, it is usually advantageous to use all of the competing models and intelligently combine their predictions or class decisions to produce a consensus opinion."

"It is not widely known that the entropy of a predictor variable can have a profound impact on the ability of many models to make effective use of the variable. Responsible researchers will compute the entropy of every predictor and take remedial action if any predictor has low entropy."

Первая идея не нова, в соревах все стэкают модели. Но опять-таки, это до сих пор не стандарт в МЛ, и тот же sklearn просто отбрасывает все модели за исключением "лучшей", там даже опции нет сохранить остальные, или, упаси Боже, совместно их использовать.

А вот энтропийный подход к выбору и предобработке предикторов оригинален, такой идеи я нигде не встречал больше. Что нам предлагает классика? Генерить побольше потенциальных признаков произвольной природы, пока Ваша модель не захлебнётся по ресурсам. Но ведь можно действовать умнее. Эту идею можно использовать при комбинации нескольких признаков: к примеру, оставлять только те комбинации, чья энтропия превышает энтропии родителей.

#trading #masters #aronson

Читаю книжку David Aronson, Timothy Masters - Statistically sound machine learning for algorithmic trading of financial instruments. Приводят весьма чёткие обоснования, почему торговая система должна быть автоматизированной.

•Intelligently designed automated trading systems can and often do outperform human-driven systems. An effective data-mining program can discover subtle patterns in market behavior that most humans would not have a chance of seeing.

• An automated system is absolutely repeatable, while a human-driven system is subject to human whims. Consistency of decision-making is a vital property of a system that can consistently show a profit. Repeatability is also valuable because it allows examination of trades in order to study operation and perhaps improve performance.

• Most properly designed automated trading systems are amenable to rigorous statistical analysis that can assess performance measures such as expected future performance and the probability that the system could have come into existence due to good luck rather than true power.

• Unattended operation is possible.

#ensembling #masters

Объяснение полезности ансамблей:

"Because the different models will generally be based on different training data, the patterns of noise will be different in the training sets. As a result, if the models are overly powerful and thereby learn to predict noise in addition to authentic patterns, they will generally make different predictions of the noise component. When these predictions are combined via a committee, the noise predictions will tend to cancel, while the predictions based on authentic patterns will tend to reinforce."

Особенно ценно для CV. Как раз поэтому и не надо выбрасывать "промежуточные" модельки с фолдов CV.

#trading #meanreversion #chan

https://www.youtube.com/watch?v=5G7YdjnRvVI

#google #earthquakes

"В основе системы лежит принцип краудсорсинга и сигналы с акселерометров на устройствах: когда несколько телефонов одновременно подвергаются интенсивным толчкам, Google обрабатывает крупный массив данных, позволяющий определить эпицентр и силу землетрясения, а также автоматически оповестить пользователей, которые с некоторой вероятностью могут ощутить на себе основную тяжесть толчков. Оповещение приходит не более чем за минуту, но этого может быть достаточно, чтобы найти укрытие или эвакуироваться.

Некоторое беспокойство вызывает то, что система дала сбой во время сильного 7,8-балльного землетрясения. С другой стороны, трудно сказать, какое число пользователей в подобных случаях должно получать оповещения, и какой силы должно быть землетрясение при штатном срабатывании системы."

https://3dnews.ru/1090698/sistema-opoveshcheniya-o-zemletryaseniyah-na-android-ne-srabotala-v-turtsii

#physics #superconductors

"В своём интервью изданию один из авторов открытия — южнокорейский учёный Хьюн-Так Ким (Hyun-Tak Kim) из Колледжа Уильяма и Мэри в Вирджинии — сказал, что одна из размещённых на сайте arXiv статей (их там две по теме открытия) выложена без его ведома и содержит «много дефектов». Вероятно, речь идёт об этой статье, тогда как учёный участвовал в написании этой статьи. Статья за авторством Хьюн-Так Кима проходит этап рецензирования и движется к печати в одном из ведущих научных журналов мира. Вскоре это произойдёт.

В открытии материала LK-99 (буква K в его названии — это первая буква фамилии учёного, а цифра — год первого открытия материала) сыграли роль как многочисленные эксперименты, так и случайно сделанное наблюдение. Для области сверхпроводящих материалов — это норма, поскольку учёные в этой сфере во многом полагаются на удачу. Поймала ли группа Кима удачу за хвост, или нет, мы узнаем довольно быстро после полноценной публикации статьи об исследовании. Учёный обещает помочь советами любой группе, которая попытается повторить условия его эксперимента.

На самом деле, процесс создания чудо-материала очень простой. Как, возможно, напишут через десять лет в методичках для лабораторных работ по физике для 7-го класса, для получения материала необходимо смешать порошки сульфата и оксида свинца и нагреть эту смесь на воздухе до образования ланаркита. В отдельной посуде смешиваем медь и порошок фосфора и нагреваем в вакууме до образования кристаллов. Затем соединяем измельчённые кристаллы и ланаркит с последующим нагревом в вакууме. В результате получается соединение, которое парит над магнитом при комнатной температуре, что воспроизводит эффект Мейсснера (видео по ссылке)."

https://3dnews.ru/1090637/uchyonie-skepticheski-otneslis-k-otkritiyu-sverhprovodimosti-pri-obichnih-usloviyah-no-mir-zamer-v-ogidanii-faktov-a-ne-slov

#metrics #mse

Why is MSE so popular? The reasons are mostly based on theoretical properties, although there are a few properties that have value in some situations. Here are some of the main advantages of MSE as a measure of the performance of a model:

• It is fast and easy to compute.
• It is continuous and differentiable in most applications. Thus, it will be well behaved for most optimization algorithms.
• It is very intuitive in that it is simply an average of errors. Moreover, the squaring causes large errors to have a larger impact than small errors, which is good in many situations.
• Under commonly reasonable conditions (the most important being that the distribution is normal or a member of a related family), parameter estimates computed by minimizing MSE also have the desirable statistical property of being maximum likelihood estimates. This loosely means that of all possible parameter values, the one computed is the most likely to be correct.

We see that MSE satisfies the theoretical statisticians who design models, it satisfies the numerical analysts who design the training algorithms, and it satisfies the intuition of the users. All of the bases are covered.

#fun #animals #cats

Нашёл фотку нашего коти в юности )

#music #instrictconfidence

Kingdoms fall
When they embrace the night
And oceans burn
Where they begin to fight
Storms bow down
Before their gracious sight
They take your dreams
Behind their closing eyes

They turn their faces
Down to fading mother earth
And their snowcapped wings
Veil the world in darkness
They take with them
All our thoughts and words and tears
And our dreams are kept
Behind their closing eyes

https://www.youtube.com/watch?v=UxClZg_rYT4

#api #architecture #solutions #programming

https://www.youtube.com/watch?v=zvWKqUiovAM

#ml #metrics #masters

It has been seen that good average or total performance in the training set is not the only important optimization consideration. Consistent performance is also important.
It encourages good performance outside the training set, and it provides stability as models are evolved by selective updating. An often easy way to encourage consistency is to stratify the training set, compute for each stratum a traditional optimization criterion like one of those previously discussed, and then let the final optimization criterion be a function of the values for the strata.

The power of stratification can sometimes be astounding. It is surprisingly easy to train a model that seems quite good on a training set only to discover later that its performance is spotty. It may be that the good average training performance was based on spectacular performance in part of the training set and mediocre performance in the rest. When the conditions that engender mediocrity appear in real life and the model fails to perform up to expectations, it is only then that the researcher may study its historical performance more closely and discover the problem. It is always better to discover this sort of problem early in the design process.

#ml #metrics #regression #masters

В задачах регрессии Мастерс советует резервировать, помимо тестового множества, отдельное confidence set, репрезентативное к генеральной совокупности, на котором считать доверительные интервалы ошибок. Если распределение ошибок не нормальное, можно использовать просто квантили. Дополнительно он считает вероятности, что сами доверительные интервалы не нарушатся, используя для этого неполное бета-распределение.

#medicine #neuralink

"При подготовке к операции хирурги с помощью фМРТ провели многочисленные оценки зон головного мозга пациента, чтобы с максимальной точностью определить место размещения имплантатов — чипов, распознающих активность головного мозга в его отдельных областях. Но даже после этого в процессе 15-часовой операции на открытом мозге они консультировались с пациентом для уточнения мест установки датчиков.

Два имплантата считывали «мысли» пациента о желании двигать рукой, а три других принимали сигналы от датчиков на руке и запястье. Фактически врачи запустили два обходных пути для нейросигналов, барьером на пути которых стала травма позвоночника (спинного мозга). Один шунт заставлял руку совершать движения через систему накладных электродов (на позвоночник и предплечье), а другой возвращал в мозг сигналы от датчиков тактильных ощущений. Дальше мозг справлялся сам — связывал одно и другое и выстраивал новые нейронные цепи в головном мозге таким образом, чтобы человек воспринимал движение руки и тактильный отзыв в едином пакете."

https://3dnews.ru/1090925/mozgovie-implantati-i-ii-chastichno-vernuli-chuvstvitelnost-i-podvignost-paralizovannomu-patsientu