#pit #calibration #metrics

Как-то я совсем пропустил эту идею с PIT. Диаграммы рассеяния я постоянно использую, надо бы и PIT графики заценить.

The Probability Integral Transform (PIT) and binned reliability diagrams (e.g., plotting binned probabilities vs. real hit frequencies) are both tools for evaluating the calibration of probabilistic predictions, but they have distinct advantages and limitations:

Advantages of PIT over Binned Probabilities:

Continuous Assessment:

PIT uses the entire predicted distribution for each observation, providing a continuous view of calibration rather than relying on discretized bins.
This avoids issues with arbitrarily choosing bin edges or having too few samples per bin, which can bias binned reliability diagrams.
Higher Resolution:

PIT evaluates the full shape of the calibration, capturing subtle patterns in miscalibration that might be lost in coarse binning.
Better for Continuous Variables:

PIT is particularly advantageous for continuous outcomes (e.g., temperature, stock prices) where using bins can be challenging or lead to overly smoothed results.
Works Naturally for CDF Predictions:

If your model directly predicts cumulative probabilities (e.g., quantile regression or distributional models), PIT aligns naturally with this representation. Binned probabilities may not integrate smoothly with these types of predictions.
Uniform Distribution Diagnostic:

PIT values being uniformly distributed under perfect calibration provide a statistically robust test of calibration, allowing for formal hypothesis testing (e.g., Kolmogorov-Smirnov test or histogram-based goodness-of-fit tests).

Advantages of Binned Probabilities:

Intuitive Visualization:

Binned reliability diagrams are easier for non-experts to understand, as they directly show how predicted probabilities correspond to observed frequencies.
Focused on Predicted Probabilities:

These diagrams emphasize the calibration of specific probability ranges (e.g., "Does a predicted 70% chance event happen 70% of the time?"), which is useful for discrete probabilistic predictions like classification.
Handles Classification Tasks Well:

For binary classification tasks, binned probabilities are more direct and interpretable, especially when dealing with predicted probabilities rather than full distributions.

PS. Попробовал я эти PIT диаграммы, для классификаторов это вообще не подходит (


https://medium.com/@maltetichy/demystifying-the-probability-integral-transform-77b7de3a3af9

#openai #chatgpt #llms

"Анонсированный в конце прошлого года тарифный план ChatGPT Pro стоимостью $200 в месяц оказался слишком популярным, что негативно сказывается на компании. Из-за того, что пользователи используют эту подписку гораздо активнее, чем ожидалось, компания несёт убытки, сообщил генеральный директор OpenAI Сэм Альтман (Sam Altman).

«Я лично выбрал цену, и подумал, что мы заработаем немного денег», — цитирует ресурс TechCrunch сообщение Альтман на платформе X.

Тарифный план ChatGPT Pro включает неограниченный доступ ко всем моделям OpenAI, включая мощнейшую o1 pro — улучшенную версию модели o1, которая выделяется способностью к рассуждению и умением логически решать задачи. Также подписка предоставляет доступ к голосовому режиму Advanced Voice Mode, позволяющему вести беседу, максимально приближенную к человеческой. Для пользователей ChatGPT Plus установлен дневной лимит на использование этих функций, в то время как бесплатные пользователи могут воспользоваться только их ограниченным превью.

OpenAI всё ещё не приносит прибыли, что вызывает сомнения в окупаемости вложений инвесторов, которые составили около $20 млрд. Ранее компания сообщила, что ожидает в 2024 году убытки в размере около $5 млрд при выручке в $3,7 млрд. Это связано со значительными расходами на персонал, аренду офисов и инфраструктуру для обучения ИИ. По сообщениям, только поддержка ChatGPT в определённый момент обходилась OpenAI примерно в $700 тыс. в день."

https://3dnews.ru/1116301/openai-teryaet-dengi-na-podpiske-chatgpt-pro-stoimostyu-200-v-mesyats-izza-eyo-visokoy-populyarnosti

#chess

Вот такие драмы бывают в шахматах.

https://www.youtube.com/watch?v=bH0i7DOw9d4&

#chess #fun #futurama

https://www.youtube.com/watch?v=vl3jLPJw56E

#stocks

Жесть )

"«Если бы вы сказали [что осталось ждать] 15 лет до появления полезных квантовых компьютеров, это, вероятно, было бы преуменьшением. Если бы вы сказали 30 лет, то, вероятно преувеличили бы. Но если бы вы выбрали 20 лет, я думаю, многие из нас поверили бы в это», — заявил Хуанг во время беседы с журналистами, отвечая на вопрос о перспективах дальнейшего роста технологий квантовых вычислений.

На этом фоне акции компаний, связанных с квантовыми вычислениями, обвалились. Так ценные бумаги Rigetti Computing подешевели на 40 %, акции IonQ потеряли в цене 37 %, а D-Wave Quantum — более 30 %. Компания Quantum Computing, которая недавно объявила о размещении акций для привлечения $100 млн, подешевела на 37 %."

https://3dnews.ru/1116474/dgense-huang-schitaet-chto-do-poyavleniya-kvantovogo-kompyutera-eshchyo-1530-let

#security

Нормально так Бен насадегипурил, молодца.

"Анализируя систему показа рекламы, Садегипур нашёл брешь, которая позволила ему выполнить команду в закрытой части серверной инфраструктуры Facebook, фактически получив над сервером полный контроль.

Как сообщает TechCrunch, уязвимость была связана с одним из серверов, используемых Facebook для создания и показа рекламы. Этот сервер оказался подвержен ранее известной и исправленной ошибке в браузере Chrome, который Facebook использует в своей рекламной системе. Садегипур объяснил, что с помощью облегчённой версии браузера Chrome, запускаемой через терминал, он смог взаимодействовать с внутренними серверами компании и получить доступ к управлению ими в качестве администратора."

https://3dnews.ru/1116529/meta-zaplatila-100-000-nezavisimomu-testirovshchiku-za-obnarugenie-uyazvimosti-v-facebook

#politics #ai #llms

"Джо Байден (Joe Biden) перед уходом с поста намерен ввести дополнительные ограничения на экспорт чипов искусственного интеллекта (ИИ), производимых, в частности, компанией Nvidia. Эти меры направлены на усиление контроля над передовыми технологиями и предотвращение их попадания в руки Китая и ряд других стран, включая Россию. Экспорт обученных ИИ-моделей также будет прекращён."

Получается, могут и онлайн доступ к ИИ нам закрыть?

https://3dnews.ru/1116530/administratsiya-baydena-naposledok-eshchyo-bolshe-ugestochaet-eksportnie-ogranicheniya-na-iichipi

#spacex

"Среди изменений Starship Version 2 значатся:

вакуумная оболочка линий подачи топлива;
новая система подачи топлива вакуумных двигателей Raptor на корабле;
улучшенный модуль авионики с управлением клапанами корабля и чтением датчиков;
переработанные датчики навигации и позиционирования по звёздам;
встроенные умные батареи и блоки питания, распределяющие 2,7 МВт мощности по системам корабля;
число камер на борту корабля выросло до 30.

Система авионики нового поколения потребуется при реализации будущих миссий — она поможет доказать, что Starship можно заправлять на орбите, и что корабль способен возвращаться на стартовую площадку. Starship получил более мощный бортовой компьютер и новые антенны — корабль сможет связаться со спутниками Starlink и GPS, что поможет ему транслировать видео высокой чёткости по каналу шириной 120 Мбит/с и телеметрию. Усовершенствована конструкция обшивки Starship — теперь она включает резервный слой на случай повреждения внешних плиток.

В ходе трёх последних запусков космические корабли благополучно производили посадку в Индийском океане, но при входе в атмосферу от их обшивки отрывались теплопоглощающие плитки, с трудом выдерживая воздействие температур до 1430 °C. Для предстоящего полёта с некоторых участков корабля инженеры вообще сняли плитку, чтобы «испытать на прочность» эти части; они также сгладили и сузили линию края плитки, где керамический теплозащитный экран переходит в обшивку корабля из нержавеющей стали — это должно помочь устранить проблемные «горячие точки», обнаруженные во время входа в атмосферу при последнем испытательном полёте. Будут испытаны несколько обновлённых вариантов плитки, в том числе с активным охлаждением. Наконец, во время спуска Starship будет лететь по более сложной траектории, что поможет выявить структурные ограничения закрылков нового образца в точке максимального давления при входе в атмосферу."

https://3dnews.ru/1116599/dlya-sedmogo-ispitatelnogo-polyota-spacex-podgotovila-bolee-visokuyu-i-tyagyoluyu-versiyu-starship

#wisdom

"A computer should make both
calculations and graphs. Both sorts of
output should be studied; each will
contribute to understanding."

Anscombe (1973)

#wisdom

All analytics models do well at what
they are biased to look for.

Matthew Schneider

#wisdom

When it comes to making predictions one cannot filter out outliers; one does not simply say ‘I am not going to produce a prediction for that particular point’.

#books #toboml

Читаю сейчас The Orange Book of Machine Learning: The essentials of making predictions using supervised regression and classification for tabular data автора Carl McBride Ellis. Как понял, это квинтэссенция его ML-курса.

Интересен его взгляд на концепции ML, начиная даже от выбора структуры книги (к примеру, я бы разделы организовал иначе). Ну и потихоньку узнаёшь неожиданные вещи, о которых раньше и не задумывался, например:

What is The Datasaurus Dozen?
The Mahalanobis distance is the multivariate generalization of the z-score.
The main thing we are looking out for are plateaux on the eCDF.
Kolmogorov-Smirnov test is based on finding the largest vertical distance between the two eCDF.
What is Conformalized quantile regression (CQR)?
XGBoost has Random Forest and is significantly faster than the scikit-learn implementation.

и т.д., так что советую прочитать эту компиляцию. Да, некоторые моменты спорные, английский немного хромает, но содержание может стоить потраченного времени, что-то увидите с других углов и сумеете лучше понять.

Ниже приведу наиболее понравившиеся лично мне сниппеты.

https://carl-mcbride-ellis.github.io/TOBoML/TOBoML.pdf

#toboml #missing

Donald Rubin created a taxonomy for different types of missing data, depending on how the data came to be missing in the first place.
• MCAR (missing completely at random) whether the data is missing or not has
nothing to do with the data itself.
• MAR (missing at random)
• MNAR (missing not at random) the p

#toboml #missing

Вот есть такая библиотечка missingno, похоже, стоит включить её в свой арсенал.

#toboml #stats #ecdf

The main thing we are looking out for are plateaux on the eCDF.

import numpy as np
x_eCDF = np.sort(data)
y_eCDF = np.arange(1, len(data)+1 ) / len(data)

and to plot both the histogram and the eCDF together

import matplotlib.pyplot as plt
fig, ax1 = plt.subplots(figsize=(15, 7))
twin = ax1.twinx()
ax1.hist(data, bins=12, density=False)
twin.plot(x_eCDF, y_eCDF, linewidth=5, color="red")
twin.set_ylim(bottom=0, top=None)
plt.show();

#toboml #stats #ecdf #kstest

Kolmogorov-Smirnov test is based on finding the largest vertical distance between the two eCDF.

#toboml #interpolation

Broadly speaking interpolation is when we make predictions within the convex hull of our training data, and extrapolation occurs when we make predictions outside of the convex hull of our training data.

Thus in order to avoid having to extrapolate it is desirable that the convex hull of the training data at least spans the very same volume as the convex hull of the test data. For this reason it is convenient in machine learning to keep infrequent extreme values in the training dataset as they serve to expand the convex hull. This space will be very sparse, but this is still preferable to letting the estimator extrapolate if it encounters extreme values in the test data.

#toboml #errors

Another interesting plot is a histogram of the prediction errors. Ideally the histogram should be symmetric, narrow and centered on our prediction (expectation value). The broader the histogram the greater the errors, and if it is strongly skewed this could indicate underfitting.

#wisdom

Every discovery contains an irrational element or a creative intuition.

Karl Popper

#wisdom

The only useful function of a statistician is to make predictions, and thus to provide a basis for action.

W. Edwards Deming