#openai #chatgpt #llms

"Анонсированный в конце прошлого года тарифный план ChatGPT Pro стоимостью $200 в месяц оказался слишком популярным, что негативно сказывается на компании. Из-за того, что пользователи используют эту подписку гораздо активнее, чем ожидалось, компания несёт убытки, сообщил генеральный директор OpenAI Сэм Альтман (Sam Altman).

«Я лично выбрал цену, и подумал, что мы заработаем немного денег», — цитирует ресурс TechCrunch сообщение Альтман на платформе X.

Тарифный план ChatGPT Pro включает неограниченный доступ ко всем моделям OpenAI, включая мощнейшую o1 pro — улучшенную версию модели o1, которая выделяется способностью к рассуждению и умением логически решать задачи. Также подписка предоставляет доступ к голосовому режиму Advanced Voice Mode, позволяющему вести беседу, максимально приближенную к человеческой. Для пользователей ChatGPT Plus установлен дневной лимит на использование этих функций, в то время как бесплатные пользователи могут воспользоваться только их ограниченным превью.

OpenAI всё ещё не приносит прибыли, что вызывает сомнения в окупаемости вложений инвесторов, которые составили около $20 млрд. Ранее компания сообщила, что ожидает в 2024 году убытки в размере около $5 млрд при выручке в $3,7 млрд. Это связано со значительными расходами на персонал, аренду офисов и инфраструктуру для обучения ИИ. По сообщениям, только поддержка ChatGPT в определённый момент обходилась OpenAI примерно в $700 тыс. в день."

https://3dnews.ru/1116301/openai-teryaet-dengi-na-podpiske-chatgpt-pro-stoimostyu-200-v-mesyats-izza-eyo-visokoy-populyarnosti

#chess

Вот такие драмы бывают в шахматах.

https://www.youtube.com/watch?v=bH0i7DOw9d4&

#chess #fun #futurama

https://www.youtube.com/watch?v=vl3jLPJw56E

#stocks

Жесть )

"«Если бы вы сказали [что осталось ждать] 15 лет до появления полезных квантовых компьютеров, это, вероятно, было бы преуменьшением. Если бы вы сказали 30 лет, то, вероятно преувеличили бы. Но если бы вы выбрали 20 лет, я думаю, многие из нас поверили бы в это», — заявил Хуанг во время беседы с журналистами, отвечая на вопрос о перспективах дальнейшего роста технологий квантовых вычислений.

На этом фоне акции компаний, связанных с квантовыми вычислениями, обвалились. Так ценные бумаги Rigetti Computing подешевели на 40 %, акции IonQ потеряли в цене 37 %, а D-Wave Quantum — более 30 %. Компания Quantum Computing, которая недавно объявила о размещении акций для привлечения $100 млн, подешевела на 37 %."

https://3dnews.ru/1116474/dgense-huang-schitaet-chto-do-poyavleniya-kvantovogo-kompyutera-eshchyo-1530-let

#security

Нормально так Бен насадегипурил, молодца.

"Анализируя систему показа рекламы, Садегипур нашёл брешь, которая позволила ему выполнить команду в закрытой части серверной инфраструктуры Facebook, фактически получив над сервером полный контроль.

Как сообщает TechCrunch, уязвимость была связана с одним из серверов, используемых Facebook для создания и показа рекламы. Этот сервер оказался подвержен ранее известной и исправленной ошибке в браузере Chrome, который Facebook использует в своей рекламной системе. Садегипур объяснил, что с помощью облегчённой версии браузера Chrome, запускаемой через терминал, он смог взаимодействовать с внутренними серверами компании и получить доступ к управлению ими в качестве администратора."

https://3dnews.ru/1116529/meta-zaplatila-100-000-nezavisimomu-testirovshchiku-za-obnarugenie-uyazvimosti-v-facebook

#politics #ai #llms

"Джо Байден (Joe Biden) перед уходом с поста намерен ввести дополнительные ограничения на экспорт чипов искусственного интеллекта (ИИ), производимых, в частности, компанией Nvidia. Эти меры направлены на усиление контроля над передовыми технологиями и предотвращение их попадания в руки Китая и ряд других стран, включая Россию. Экспорт обученных ИИ-моделей также будет прекращён."

Получается, могут и онлайн доступ к ИИ нам закрыть?

https://3dnews.ru/1116530/administratsiya-baydena-naposledok-eshchyo-bolshe-ugestochaet-eksportnie-ogranicheniya-na-iichipi

#spacex

"Среди изменений Starship Version 2 значатся:

вакуумная оболочка линий подачи топлива;
новая система подачи топлива вакуумных двигателей Raptor на корабле;
улучшенный модуль авионики с управлением клапанами корабля и чтением датчиков;
переработанные датчики навигации и позиционирования по звёздам;
встроенные умные батареи и блоки питания, распределяющие 2,7 МВт мощности по системам корабля;
число камер на борту корабля выросло до 30.

Система авионики нового поколения потребуется при реализации будущих миссий — она поможет доказать, что Starship можно заправлять на орбите, и что корабль способен возвращаться на стартовую площадку. Starship получил более мощный бортовой компьютер и новые антенны — корабль сможет связаться со спутниками Starlink и GPS, что поможет ему транслировать видео высокой чёткости по каналу шириной 120 Мбит/с и телеметрию. Усовершенствована конструкция обшивки Starship — теперь она включает резервный слой на случай повреждения внешних плиток.

В ходе трёх последних запусков космические корабли благополучно производили посадку в Индийском океане, но при входе в атмосферу от их обшивки отрывались теплопоглощающие плитки, с трудом выдерживая воздействие температур до 1430 °C. Для предстоящего полёта с некоторых участков корабля инженеры вообще сняли плитку, чтобы «испытать на прочность» эти части; они также сгладили и сузили линию края плитки, где керамический теплозащитный экран переходит в обшивку корабля из нержавеющей стали — это должно помочь устранить проблемные «горячие точки», обнаруженные во время входа в атмосферу при последнем испытательном полёте. Будут испытаны несколько обновлённых вариантов плитки, в том числе с активным охлаждением. Наконец, во время спуска Starship будет лететь по более сложной траектории, что поможет выявить структурные ограничения закрылков нового образца в точке максимального давления при входе в атмосферу."

https://3dnews.ru/1116599/dlya-sedmogo-ispitatelnogo-polyota-spacex-podgotovila-bolee-visokuyu-i-tyagyoluyu-versiyu-starship

#wisdom

"A computer should make both
calculations and graphs. Both sorts of
output should be studied; each will
contribute to understanding."

Anscombe (1973)

#wisdom

All analytics models do well at what
they are biased to look for.

Matthew Schneider

#wisdom

When it comes to making predictions one cannot filter out outliers; one does not simply say ‘I am not going to produce a prediction for that particular point’.

#books #toboml

Читаю сейчас The Orange Book of Machine Learning: The essentials of making predictions using supervised regression and classification for tabular data автора Carl McBride Ellis. Как понял, это квинтэссенция его ML-курса.

Интересен его взгляд на концепции ML, начиная даже от выбора структуры книги (к примеру, я бы разделы организовал иначе). Ну и потихоньку узнаёшь неожиданные вещи, о которых раньше и не задумывался, например:

What is The Datasaurus Dozen?
The Mahalanobis distance is the multivariate generalization of the z-score.
The main thing we are looking out for are plateaux on the eCDF.
Kolmogorov-Smirnov test is based on finding the largest vertical distance between the two eCDF.
What is Conformalized quantile regression (CQR)?
XGBoost has Random Forest and is significantly faster than the scikit-learn implementation.

и т.д., так что советую прочитать эту компиляцию. Да, некоторые моменты спорные, английский немного хромает, но содержание может стоить потраченного времени, что-то увидите с других углов и сумеете лучше понять.

Ниже приведу наиболее понравившиеся лично мне сниппеты.

https://carl-mcbride-ellis.github.io/TOBoML/TOBoML.pdf

#toboml #missing

Donald Rubin created a taxonomy for different types of missing data, depending on how the data came to be missing in the first place.
• MCAR (missing completely at random) whether the data is missing or not has
nothing to do with the data itself.
• MAR (missing at random)
• MNAR (missing not at random) the p

#toboml #missing

Вот есть такая библиотечка missingno, похоже, стоит включить её в свой арсенал.

#toboml #stats #ecdf

The main thing we are looking out for are plateaux on the eCDF.

import numpy as np
x_eCDF = np.sort(data)
y_eCDF = np.arange(1, len(data)+1 ) / len(data)

and to plot both the histogram and the eCDF together

import matplotlib.pyplot as plt
fig, ax1 = plt.subplots(figsize=(15, 7))
twin = ax1.twinx()
ax1.hist(data, bins=12, density=False)
twin.plot(x_eCDF, y_eCDF, linewidth=5, color="red")
twin.set_ylim(bottom=0, top=None)
plt.show();

#toboml #stats #ecdf #kstest

Kolmogorov-Smirnov test is based on finding the largest vertical distance between the two eCDF.

#toboml #interpolation

Broadly speaking interpolation is when we make predictions within the convex hull of our training data, and extrapolation occurs when we make predictions outside of the convex hull of our training data.

Thus in order to avoid having to extrapolate it is desirable that the convex hull of the training data at least spans the very same volume as the convex hull of the test data. For this reason it is convenient in machine learning to keep infrequent extreme values in the training dataset as they serve to expand the convex hull. This space will be very sparse, but this is still preferable to letting the estimator extrapolate if it encounters extreme values in the test data.

#toboml #errors

Another interesting plot is a histogram of the prediction errors. Ideally the histogram should be symmetric, narrow and centered on our prediction (expectation value). The broader the histogram the greater the errors, and if it is strongly skewed this could indicate underfitting.

#wisdom

Every discovery contains an irrational element or a creative intuition.

Karl Popper

#wisdom

The only useful function of a statistician is to make predictions, and thus to provide a basis for action.

W. Edwards Deming

#toboml #imbalanced #smote #articles


Whatever you do, do not use SMOTE or variants thereof to create synthetic data (see the excellent paper: “To SMOTE, or not to SMOTE?").

ABSTRACT
Balancing the data before training a classifier is a popular technique to address the challenges of imbalanced binary classification in tabular data. Balancing is commonly achieved by duplication of minority samples or by generation of synthetic minority samples. While it is well known that balancing affects each classifier differently, most prior empirical studies did not include strong state-of-the-art (SOTA) classifiers as baselines. In this work, we are interested in understanding whether balancing is beneficial, particularly in the context of SOTA classifiers. Thus, we conduct extensive experiments considering three SOTA classifiers along the weaker learners used in previous investigations. Additionally, we carefully discern proper metrics, consistent and non-consistent algorithms and hyper-parameter selection methods and show that these have a significant impact on prediction quality and on the effectiveness of balancing. Our results support the known utility of balancing for weak classifiers. However, we find that balancing does not improve prediction performance for the strong ones. We further identify several other scenarios for which balancing is effective and observe that prior studies demonstrated the utility of balancing by focusing on these settings.

Вообще данная статья оставляет двойственные впечатления. С одной стороны, много датасетов, разумность при отбрасывании "слишком простых" датасетов, выбраны сильные модели, обещан учёт метрик калибрации, вроде даже HPT, так что собирался её похвалить и привести в пример.

Потом выясняется, что смотрели в основном по ROC AUC (а нахрена, если основная претензия к выравнивателям баланса в том, что они разрушаю калибрацию?), HPT непонятно, делали ли вообще, зачем-то ввели какие-то "apriori хорошие" настройки - это что, прямая утечка? нафиг такое надо?

Если то, что у них названо validation HPs, это и есть HPT на validation set в общепринятом понимании, то какого фига перформанс для них всегда хуже, чем для a-priory HPs? как они вообще получили эти чудесные apriory HPs для всей сотни своих датасетов? Как они делали HPT, сколько комбинаций перебирали, может, 2-3? Ни слова в статье.

Ну и самое интересное: как, глядя на свои же графики, можно сделать неправильный вывод??
"With a-priori HPs, presented in Figure 1(a), all four SMOTE variants achieved considerably better prediction quality than their respective baselines. They were also better than the simple random oversampler. " Тут график интерпретирован верно.


Но вот дальше.. "Considering validation HPs, presented in Figure 1(b), balancing significantly improved prediction for the weak classifiers: MLP, SVM, decision tree, Adaboost and LGBM. However, for the stronger classifiers, XGBoost and Catboost, it did not." Чуваки, с каких пор LGBM является слабой моделью, и опять же, посмотрите на свои графики, всегда есть SMOTE-модель, которая как минимум не хуже бейзлайна. Так зачем обсирать метод, который для 7 из 9 моделей улучшает результаты, а для 2 остальных по крайней мере не ухудшает?


Я просто офигеваю с авторов. Они не проверили ни одной калибровочной метрики. только ROC AUC и F1. И этот автор оранжевого курса как попка за ними повторил "Whatever you do, do not use SMOTE or variants thereof to create synthetic data". Интересно, он сам вообще читал "превосходную статью", на которую ссылается?