#google #earthquakes
"В основе системы лежит принцип краудсорсинга и сигналы с акселерометров на устройствах: когда несколько телефонов одновременно подвергаются интенсивным толчкам, Google обрабатывает крупный массив данных, позволяющий определить эпицентр и силу землетрясения, а также автоматически оповестить пользователей, которые с некоторой вероятностью могут ощутить на себе основную тяжесть толчков. Оповещение приходит не более чем за минуту, но этого может быть достаточно, чтобы найти укрытие или эвакуироваться.
Некоторое беспокойство вызывает то, что система дала сбой во время сильного 7,8-балльного землетрясения. С другой стороны, трудно сказать, какое число пользователей в подобных случаях должно получать оповещения, и какой силы должно быть землетрясение при штатном срабатывании системы."
https://3dnews.ru/1090698/sistema-opoveshcheniya-o-zemletryaseniyah-na-android-ne-srabotala-v-turtsii
"В основе системы лежит принцип краудсорсинга и сигналы с акселерометров на устройствах: когда несколько телефонов одновременно подвергаются интенсивным толчкам, Google обрабатывает крупный массив данных, позволяющий определить эпицентр и силу землетрясения, а также автоматически оповестить пользователей, которые с некоторой вероятностью могут ощутить на себе основную тяжесть толчков. Оповещение приходит не более чем за минуту, но этого может быть достаточно, чтобы найти укрытие или эвакуироваться.
Некоторое беспокойство вызывает то, что система дала сбой во время сильного 7,8-балльного землетрясения. С другой стороны, трудно сказать, какое число пользователей в подобных случаях должно получать оповещения, и какой силы должно быть землетрясение при штатном срабатывании системы."
https://3dnews.ru/1090698/sistema-opoveshcheniya-o-zemletryaseniyah-na-android-ne-srabotala-v-turtsii
3DNews - Daily Digital Digest
Система оповещения о землетрясениях на Android не сработала в Турции, выяснили BBC
Разрабатываемая Google система предупреждения о землетрясениях на Android должна своевременно уведомлять пользователей о сейсмической угрозе, но она не сработала должным образом 6 февраля, когда в Турции произошло землетрясение страшной разрушительной силы.
#physics #superconductors
"В своём интервью изданию один из авторов открытия — южнокорейский учёный Хьюн-Так Ким (Hyun-Tak Kim) из Колледжа Уильяма и Мэри в Вирджинии — сказал, что одна из размещённых на сайте arXiv статей (их там две по теме открытия) выложена без его ведома и содержит «много дефектов». Вероятно, речь идёт об этой статье, тогда как учёный участвовал в написании этой статьи. Статья за авторством Хьюн-Так Кима проходит этап рецензирования и движется к печати в одном из ведущих научных журналов мира. Вскоре это произойдёт.
В открытии материала LK-99 (буква K в его названии — это первая буква фамилии учёного, а цифра — год первого открытия материала) сыграли роль как многочисленные эксперименты, так и случайно сделанное наблюдение. Для области сверхпроводящих материалов — это норма, поскольку учёные в этой сфере во многом полагаются на удачу. Поймала ли группа Кима удачу за хвост, или нет, мы узнаем довольно быстро после полноценной публикации статьи об исследовании. Учёный обещает помочь советами любой группе, которая попытается повторить условия его эксперимента.
На самом деле, процесс создания чудо-материала очень простой. Как, возможно, напишут через десять лет в методичках для лабораторных работ по физике для 7-го класса, для получения материала необходимо смешать порошки сульфата и оксида свинца и нагреть эту смесь на воздухе до образования ланаркита. В отдельной посуде смешиваем медь и порошок фосфора и нагреваем в вакууме до образования кристаллов. Затем соединяем измельчённые кристаллы и ланаркит с последующим нагревом в вакууме. В результате получается соединение, которое парит над магнитом при комнатной температуре, что воспроизводит эффект Мейсснера (видео по ссылке)."
https://3dnews.ru/1090637/uchyonie-skepticheski-otneslis-k-otkritiyu-sverhprovodimosti-pri-obichnih-usloviyah-no-mir-zamer-v-ogidanii-faktov-a-ne-slov
"В своём интервью изданию один из авторов открытия — южнокорейский учёный Хьюн-Так Ким (Hyun-Tak Kim) из Колледжа Уильяма и Мэри в Вирджинии — сказал, что одна из размещённых на сайте arXiv статей (их там две по теме открытия) выложена без его ведома и содержит «много дефектов». Вероятно, речь идёт об этой статье, тогда как учёный участвовал в написании этой статьи. Статья за авторством Хьюн-Так Кима проходит этап рецензирования и движется к печати в одном из ведущих научных журналов мира. Вскоре это произойдёт.
В открытии материала LK-99 (буква K в его названии — это первая буква фамилии учёного, а цифра — год первого открытия материала) сыграли роль как многочисленные эксперименты, так и случайно сделанное наблюдение. Для области сверхпроводящих материалов — это норма, поскольку учёные в этой сфере во многом полагаются на удачу. Поймала ли группа Кима удачу за хвост, или нет, мы узнаем довольно быстро после полноценной публикации статьи об исследовании. Учёный обещает помочь советами любой группе, которая попытается повторить условия его эксперимента.
На самом деле, процесс создания чудо-материала очень простой. Как, возможно, напишут через десять лет в методичках для лабораторных работ по физике для 7-го класса, для получения материала необходимо смешать порошки сульфата и оксида свинца и нагреть эту смесь на воздухе до образования ланаркита. В отдельной посуде смешиваем медь и порошок фосфора и нагреваем в вакууме до образования кристаллов. Затем соединяем измельчённые кристаллы и ланаркит с последующим нагревом в вакууме. В результате получается соединение, которое парит над магнитом при комнатной температуре, что воспроизводит эффект Мейсснера (видео по ссылке)."
https://3dnews.ru/1090637/uchyonie-skepticheski-otneslis-k-otkritiyu-sverhprovodimosti-pri-obichnih-usloviyah-no-mir-zamer-v-ogidanii-faktov-a-ne-slov
3DNews - Daily Digital Digest
Учёные скептически встретили открытие сверхпроводимости в нормальных условиях — мир ждёт факты, а не слова
Открытие сверхпроводимости при комнатных условиях стало громом среди ясного неба и его подтверждение независимыми группами изменит наш мир.
#metrics #mse
Why is MSE so popular? The reasons are mostly based on theoretical properties, although there are a few properties that have value in some situations. Here are some of the main advantages of MSE as a measure of the performance of a model:
• It is fast and easy to compute.
• It is continuous and differentiable in most applications. Thus, it will be well behaved for most optimization algorithms.
• It is very intuitive in that it is simply an average of errors. Moreover, the squaring causes large errors to have a larger impact than small errors, which is good in many situations.
• Under commonly reasonable conditions (the most important being that the distribution is normal or a member of a related family), parameter estimates computed by minimizing MSE also have the desirable statistical property of being maximum likelihood estimates. This loosely means that of all possible parameter values, the one computed is the most likely to be correct.
We see that MSE satisfies the theoretical statisticians who design models, it satisfies the numerical analysts who design the training algorithms, and it satisfies the intuition of the users. All of the bases are covered.
Why is MSE so popular? The reasons are mostly based on theoretical properties, although there are a few properties that have value in some situations. Here are some of the main advantages of MSE as a measure of the performance of a model:
• It is fast and easy to compute.
• It is continuous and differentiable in most applications. Thus, it will be well behaved for most optimization algorithms.
• It is very intuitive in that it is simply an average of errors. Moreover, the squaring causes large errors to have a larger impact than small errors, which is good in many situations.
• Under commonly reasonable conditions (the most important being that the distribution is normal or a member of a related family), parameter estimates computed by minimizing MSE also have the desirable statistical property of being maximum likelihood estimates. This loosely means that of all possible parameter values, the one computed is the most likely to be correct.
We see that MSE satisfies the theoretical statisticians who design models, it satisfies the numerical analysts who design the training algorithms, and it satisfies the intuition of the users. All of the bases are covered.
👍3
#music #instrictconfidence
Kingdoms fall
When they embrace the night
And oceans burn
Where they begin to fight
Storms bow down
Before their gracious sight
They take your dreams
Behind their closing eyes
They turn their faces
Down to fading mother earth
And their snowcapped wings
Veil the world in darkness
They take with them
All our thoughts and words and tears
And our dreams are kept
Behind their closing eyes
https://www.youtube.com/watch?v=UxClZg_rYT4
Kingdoms fall
When they embrace the night
And oceans burn
Where they begin to fight
Storms bow down
Before their gracious sight
They take your dreams
Behind their closing eyes
They turn their faces
Down to fading mother earth
And their snowcapped wings
Veil the world in darkness
They take with them
All our thoughts and words and tears
And our dreams are kept
Behind their closing eyes
https://www.youtube.com/watch?v=UxClZg_rYT4
#ml #metrics #masters
It has been seen that good average or total performance in the training set is not the only important optimization consideration. Consistent performance is also important.
It encourages good performance outside the training set, and it provides stability as models are evolved by selective updating. An often easy way to encourage consistency is to stratify the training set, compute for each stratum a traditional optimization criterion like one of those previously discussed, and then let the final optimization criterion be a function of the values for the strata.
The power of stratification can sometimes be astounding. It is surprisingly easy to train a model that seems quite good on a training set only to discover later that its performance is spotty. It may be that the good average training performance was based on spectacular performance in part of the training set and mediocre performance in the rest. When the conditions that engender mediocrity appear in real life and the model fails to perform up to expectations, it is only then that the researcher may study its historical performance more closely and discover the problem. It is always better to discover this sort of problem early in the design process.
It has been seen that good average or total performance in the training set is not the only important optimization consideration. Consistent performance is also important.
It encourages good performance outside the training set, and it provides stability as models are evolved by selective updating. An often easy way to encourage consistency is to stratify the training set, compute for each stratum a traditional optimization criterion like one of those previously discussed, and then let the final optimization criterion be a function of the values for the strata.
The power of stratification can sometimes be astounding. It is surprisingly easy to train a model that seems quite good on a training set only to discover later that its performance is spotty. It may be that the good average training performance was based on spectacular performance in part of the training set and mediocre performance in the rest. When the conditions that engender mediocrity appear in real life and the model fails to perform up to expectations, it is only then that the researcher may study its historical performance more closely and discover the problem. It is always better to discover this sort of problem early in the design process.
#ml #metrics #regression #masters
В задачах регрессии Мастерс советует резервировать, помимо тестового множества, отдельное confidence set, репрезентативное к генеральной совокупности, на котором считать доверительные интервалы ошибок. Если распределение ошибок не нормальное, можно использовать просто квантили. Дополнительно он считает вероятности, что сами доверительные интервалы не нарушатся, используя для этого неполное бета-распределение.
В задачах регрессии Мастерс советует резервировать, помимо тестового множества, отдельное confidence set, репрезентативное к генеральной совокупности, на котором считать доверительные интервалы ошибок. Если распределение ошибок не нормальное, можно использовать просто квантили. Дополнительно он считает вероятности, что сами доверительные интервалы не нарушатся, используя для этого неполное бета-распределение.
#medicine #neuralink
"При подготовке к операции хирурги с помощью фМРТ провели многочисленные оценки зон головного мозга пациента, чтобы с максимальной точностью определить место размещения имплантатов — чипов, распознающих активность головного мозга в его отдельных областях. Но даже после этого в процессе 15-часовой операции на открытом мозге они консультировались с пациентом для уточнения мест установки датчиков.
Два имплантата считывали «мысли» пациента о желании двигать рукой, а три других принимали сигналы от датчиков на руке и запястье. Фактически врачи запустили два обходных пути для нейросигналов, барьером на пути которых стала травма позвоночника (спинного мозга). Один шунт заставлял руку совершать движения через систему накладных электродов (на позвоночник и предплечье), а другой возвращал в мозг сигналы от датчиков тактильных ощущений. Дальше мозг справлялся сам — связывал одно и другое и выстраивал новые нейронные цепи в головном мозге таким образом, чтобы человек воспринимал движение руки и тактильный отзыв в едином пакете."
https://3dnews.ru/1090925/mozgovie-implantati-i-ii-chastichno-vernuli-chuvstvitelnost-i-podvignost-paralizovannomu-patsientu
"При подготовке к операции хирурги с помощью фМРТ провели многочисленные оценки зон головного мозга пациента, чтобы с максимальной точностью определить место размещения имплантатов — чипов, распознающих активность головного мозга в его отдельных областях. Но даже после этого в процессе 15-часовой операции на открытом мозге они консультировались с пациентом для уточнения мест установки датчиков.
Два имплантата считывали «мысли» пациента о желании двигать рукой, а три других принимали сигналы от датчиков на руке и запястье. Фактически врачи запустили два обходных пути для нейросигналов, барьером на пути которых стала травма позвоночника (спинного мозга). Один шунт заставлял руку совершать движения через систему накладных электродов (на позвоночник и предплечье), а другой возвращал в мозг сигналы от датчиков тактильных ощущений. Дальше мозг справлялся сам — связывал одно и другое и выстраивал новые нейронные цепи в головном мозге таким образом, чтобы человек воспринимал движение руки и тактильный отзыв в едином пакете."
https://3dnews.ru/1090925/mozgovie-implantati-i-ii-chastichno-vernuli-chuvstvitelnost-i-podvignost-paralizovannomu-patsientu
3DNews - Daily Digital Digest
Мозговые имплантаты и ИИ частично вернули подвижность и тактильные ощущения парализованному человеку
Исследователи из Института Файнштейна американской медицинской сети Northwell Health впервые обеспечили двойной искусственный обход поражённой нервной системы пациента.
Forwarded from ML for Value / Ваня Максимов
Attention, tabular data!
TabR is coming
Что ж, вот наконец модели на базе attention стали показывать годные результаты на табличных данных!) Если хотите детальнее посмотреть, как, то есть прекрасный обзор новой архитектуры TabR
от Андрея Лукьяненко
Метод выглядит многообещающим, но я бы пока к нему пригляделся в реальных приложениях. Как я понял из статьи (поправьте, если не так), для бустингов и TabR не делали почти никакого feature engineering. Но это очень сильно бустит перформанс бустингов в реальных задачах
Так что будет очень интересно сравнить эти 2 модели, когда в обеих будут мощные фичи 🔥
TabR is coming
Что ж, вот наконец модели на базе attention стали показывать годные результаты на табличных данных!) Если хотите детальнее посмотреть, как, то есть прекрасный обзор новой архитектуры TabR
от Андрея Лукьяненко
Метод выглядит многообещающим, но я бы пока к нему пригляделся в реальных приложениях. Как я понял из статьи (поправьте, если не так), для бустингов и TabR не делали почти никакого feature engineering. Но это очень сильно бустит перформанс бустингов в реальных задачах
Так что будет очень интересно сравнить эти 2 модели, когда в обеих будут мощные фичи 🔥
#ml #modelling #evaluation #masters
Как оценить вероятность, что обученная модель достигла своих результатов не благодаря случайному совпадению?
Мастерс предлагает N раз переобучить модель, каждый раз перемешивая таргет, и подсчитать процент случаев, когда метрика "перемешанной" модели лучше, чем оригинальной. Что-то вроде Boruta, но не для предикторов, а для таргета.
Более того, он раскладывает преимущества от использования модели на 3 фактора: обобщающую способность, смещение данных, и смещение модели:
Зачастую inherent bias можно получить аналитически, например, в финансовых задачах это может быть результат от buy & hold на растущем рынке. Тогда можно оценить
Remember that permutation can also be used with cross validation, walk-forward testing, and most other out-of-sample evaluation methods in order to compute the probability that good observed out-of-sample results could have arisen from a worthless model. The principle is exactly the same, although of course it makes no sense to eliminate training bias from out-of-sample results."
Пример вычислений со слабым классификатором:
"Called fraud 141 of 100000 (0.14 percent)
Actual fraud 0.94 percent
p = 0.57600
Original gain = 0.55370 with original inherent bias = 0.52818
Mean permuted gain = 0.56517
Mean permuted inherent bias = 0.50323
Training bias = 0.06194 (0.56517 minus 0.50323)
Unbiased actual gain = 0.49176 (0.55370 minus 0.06194)
Unbiased gain above inherent bias = -0.01147 (0.49176 minus 0.50323)
In this no-power example, the number of cases called fraud (0.14 percent) is quite different from the actual number (0.94 percent). Such variation is common when there is little predictive power. The most important number in this table is the p-value, the probability that a worthless model could have performed as well or better just by luck. This p-value is 0.576, a strong indication that the model could be worthless. You really want to see a tiny p-value, ideally 0.01 or less, in order to have solid confidence in the model.
The per-case gain of the unpermuted model is 0.55370, which may seem decent until you notice that 0.52818 of it is inherent bias. So even after optimization of performance, it barely beats what a coin-toss model would achieve. Things get even worse when you see that the mean gain for permuted data is 0.56517, better than the original model!"
Как оценить вероятность, что обученная модель достигла своих результатов не благодаря случайному совпадению?
Мастерс предлагает N раз переобучить модель, каждый раз перемешивая таргет, и подсчитать процент случаев, когда метрика "перемешанной" модели лучше, чем оригинальной. Что-то вроде Boruta, но не для предикторов, а для таргета.
Более того, он раскладывает преимущества от использования модели на 3 фактора: обобщающую способность, смещение данных, и смещение модели:
TrainingGain = Ability + InherentBias +TrainingBiasТак как "перемешанные" модельки не получают аутентичных связей предикторов с таргетом, в них первый компонент отсутствует:
PermutedGain = InherentBias +TrainingBiasСоответственно, сравнивая метрики оригинальных и перемешанных моделей, можно уже по трейн сету оценить истинную обобщающую способность и вклад шума в результат.
Зачастую inherent bias можно получить аналитически, например, в финансовых задачах это может быть результат от buy & hold на растущем рынке. Тогда можно оценить
TrainingBias = PermutedGain - InherentBias"It tells us how much the process of training optimistically inflates the gain. If the TrainingBias is large, this constitutes evidence that the model may be too powerful relative to the amount of noise in the data. This information can be particularly handy early in model development, when it is used to compare some competing modeling methodologies to judge whether additional data is required.
Remember that permutation can also be used with cross validation, walk-forward testing, and most other out-of-sample evaluation methods in order to compute the probability that good observed out-of-sample results could have arisen from a worthless model. The principle is exactly the same, although of course it makes no sense to eliminate training bias from out-of-sample results."
Пример вычислений со слабым классификатором:
"Called fraud 141 of 100000 (0.14 percent)
Actual fraud 0.94 percent
p = 0.57600
Original gain = 0.55370 with original inherent bias = 0.52818
Mean permuted gain = 0.56517
Mean permuted inherent bias = 0.50323
Training bias = 0.06194 (0.56517 minus 0.50323)
Unbiased actual gain = 0.49176 (0.55370 minus 0.06194)
Unbiased gain above inherent bias = -0.01147 (0.49176 minus 0.50323)
In this no-power example, the number of cases called fraud (0.14 percent) is quite different from the actual number (0.94 percent). Such variation is common when there is little predictive power. The most important number in this table is the p-value, the probability that a worthless model could have performed as well or better just by luck. This p-value is 0.576, a strong indication that the model could be worthless. You really want to see a tiny p-value, ideally 0.01 or less, in order to have solid confidence in the model.
The per-case gain of the unpermuted model is 0.55370, which may seem decent until you notice that 0.52818 of it is inherent bias. So even after optimization of performance, it barely beats what a coin-toss model would achieve. Things get even worse when you see that the mean gain for permuted data is 0.56517, better than the original model!"
#nature #biology #evolution #genitals #fun
В почту свалилось письмо от Alpina с рекламой новой захватывающей книги. )
«Парадокс пениса. Уроки жизни из мира животных» Эмили Уиллингем
"Герои этой книги: черви, которые самооплодотворяют себя; пауки для которых пенис не только средство для эротических приключений, но и орган осязания (а еще они пользуются им при захвате жертв на охоте); некоторые усоногие отращивают пенис к сезону спаривания, а затем сбрасывают его, другие удлиняют, наращивая дополнительные сегменты (не очень реализуемый лайфхак); бабочки парусники могут видеть и вульвой и пенисом, они у них оснащены фоторецепторами; у многих паучих две вагины, а у голожаберного моллюска три пениса; пенис крокодила всегда находится в жестком состоянии и выскакивает наружу, как подушка безопасности; сумчатые мыши в определенный момент жизни начинают многочасовые тантрические упражнения, после этого умирают от истощения; самцы медоносной пчелы также умирают после секса, эякуляция отрывает им пенис; у 97% видов птиц нет пениса, они передают гаметы партнеру через клоакальный поцелуй; у самки гиены не просто огромный клитор, она через него же и рожает; многие самки приматов сообщают самцам о готовности к зачатию изменением цвета половых органов; киты иногда совокупляются втроем (читайте книгу). И все это не просто перечисление удивительных фактов. Это рассказ о том, почему пенисы именно такие, почему и как выигрывают те или иные эволюционные стратегии.
И о размерах. Самый большой у синего кита, средняя длина его пениса составляет 3,7 м. У одного из японских китов пенис всего 2,7 м, но огромные яички весом около тонны. Среди наземных млекопитающих побеждают африканские лесные слоны со своими скоромными 90 см. Самый большой относительно размера тела у усоногих, их пенис в восемь раз превышает длину тела, если бы они были размером с синего кита, у них были бы члены 200-метровой длины. Они, кстати, еще и гермафродиты, так что партнёром может стать и сосед слева, и сосед справа. Согласитесь, удобно."
https://alpinabook.ru/catalog/book-paradoks-penisa/
В почту свалилось письмо от Alpina с рекламой новой захватывающей книги. )
«Парадокс пениса. Уроки жизни из мира животных» Эмили Уиллингем
"Герои этой книги: черви, которые самооплодотворяют себя; пауки для которых пенис не только средство для эротических приключений, но и орган осязания (а еще они пользуются им при захвате жертв на охоте); некоторые усоногие отращивают пенис к сезону спаривания, а затем сбрасывают его, другие удлиняют, наращивая дополнительные сегменты (не очень реализуемый лайфхак); бабочки парусники могут видеть и вульвой и пенисом, они у них оснащены фоторецепторами; у многих паучих две вагины, а у голожаберного моллюска три пениса; пенис крокодила всегда находится в жестком состоянии и выскакивает наружу, как подушка безопасности; сумчатые мыши в определенный момент жизни начинают многочасовые тантрические упражнения, после этого умирают от истощения; самцы медоносной пчелы также умирают после секса, эякуляция отрывает им пенис; у 97% видов птиц нет пениса, они передают гаметы партнеру через клоакальный поцелуй; у самки гиены не просто огромный клитор, она через него же и рожает; многие самки приматов сообщают самцам о готовности к зачатию изменением цвета половых органов; киты иногда совокупляются втроем (читайте книгу). И все это не просто перечисление удивительных фактов. Это рассказ о том, почему пенисы именно такие, почему и как выигрывают те или иные эволюционные стратегии.
И о размерах. Самый большой у синего кита, средняя длина его пениса составляет 3,7 м. У одного из японских китов пенис всего 2,7 м, но огромные яички весом около тонны. Среди наземных млекопитающих побеждают африканские лесные слоны со своими скоромными 90 см. Самый большой относительно размера тела у усоногих, их пенис в восемь раз превышает длину тела, если бы они были размером с синего кита, у них были бы члены 200-метровой длины. Они, кстати, еще и гермафродиты, так что партнёром может стать и сосед слева, и сосед справа. Согласитесь, удобно."
https://alpinabook.ru/catalog/book-paradoks-penisa/
alpinabook.ru
Парадокс пениса: Уроки жизни из мира животных — купить книгу Эмили Уиллингем на сайте alpinabook.ru
Парадокс пениса: Уроки жизни из мира животных, Автор Уиллингем Эмили в форматах fb2, txt, epub, pdf, mp3, аудио книга. Гарантируем низкие цены, доставка курьером и в пункты выдачи от 99 руб. Издательство Альпина Паблишер
⚡1
#abtesting #bayes #growthbook
В докладе понравился синтетический тест frequentist vs bayes. Хотя, говорят, сравнение было некорректно из-за разной "стороннести" подходов.
https://www.youtube.com/watch?v=fBXPX7NswYY
В докладе понравился синтетический тест frequentist vs bayes. Хотя, говорят, сравнение было некорректно из-за разной "стороннести" подходов.
https://www.youtube.com/watch?v=fBXPX7NswYY
YouTube
Кристина Лукьянова - Байесовский подход к АБ-тестам на примере теста конверсии
Скачать презентацию: https://drive.google.com/file/d/179KsS5uoPpUdvfcYvyQ29R3sHDUXOuxR/view?usp=drive_link
Кристина Лукьянова, бизнес-аналитик в компании Glowbyte, выступит с вводным докладом о байесовском подходе к АБ-тестированию на нашей секции Reliable…
Кристина Лукьянова, бизнес-аналитик в компании Glowbyte, выступит с вводным докладом о байесовском подходе к АБ-тестированию на нашей секции Reliable…
#python #codegems #fs #expandvars
Пошёл тестировать BAMT. Пример из руководства выпал с ошибкой, смотрю, он пытается создать файл
А лучше всего место для хранения настроек, раз уж локальная директория не подходит, получить с помошью platformdirs :
Пошёл тестировать BAMT. Пример из руководства выпал с ошибкой, смотрю, он пытается создать файл
C:\Users\Roman\BAMT\Nodes_data
Посмеялся, думаю, щас заведу им issue чтоб по дефолту заменили на какое-нить %%LOCALAPPDATA%%\aimclub\BAMT\Nodes_data
Но сначала сам заменил локально, потестить:PermissionError Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_3236\1667079916.py in <module>
----> 1 bn.fit_parameters(data)
C:\ProgramData\Anaconda3\lib\site-packages\bamt\networks\base.py in fit_parameters(self, data, dropna, n_jobs)
489
490 if not os.path.isdir(STORAGE):
--> 491 os.makedirs(STORAGE)
492
493 # init folder
C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
213 if head and tail and not path.exists(head):
214 try:
--> 215 makedirs(head, exist_ok=exist_ok)
216 except FileExistsError:
217 # Defeats race condition when another thread created the path
C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
213 if head and tail and not path.exists(head):
214 try:
--> 215 makedirs(head, exist_ok=exist_ok)
216 except FileExistsError:
217 # Defeats race condition when another thread created the path
C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
213 if head and tail and not path.exists(head):
214 try:
--> 215 makedirs(head, exist_ok=exist_ok)
216 except FileExistsError:
217 # Defeats race condition when another thread created the path
C:\ProgramData\Anaconda3\lib\os.py in makedirs(name, mode, exist_ok)
223 return
224 try:
--> 225 mkdir(name, mode)
226 except OSError:
227 # Cannot rely on checking for EEXIST, since the operating system
PermissionError: [WinError 5] Access is denied: '%LOCALAPPDATA%'
Оказалось, питон на винде, в отличие от Проводника, не поддерживает сокращения типа %LOCALAPPDATA%. Получается, перед работой с файловой системой надо сначала любой путь пропускать через os.path.expandvars в качестве лучшей практики.А лучше всего место для хранения настроек, раз уж локальная директория не подходит, получить с помошью platformdirs :
>>> from platformdirs import *
>>> appname = "SuperApp"
>>> appauthor = "Acme"
>>> user_data_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Acme\\SuperApp'
>>> user_data_dir(appname, appauthor, roaming=True)
'C:\\Users\\trentm\\AppData\\Roaming\\Acme\\SuperApp'
>>> user_cache_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Acme\\SuperApp\\Cache'
>>> user_log_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Acme\\SuperApp\\Logs'
>>> user_documents_dir()
'C:\\Users\\trentm\\Documents'
>>> user_downloads_dir()
'C:\\Users\\trentm\\Downloads'
>>> user_pictures_dir()
'C:\\Users\\trentm\\Pictures'
>>> user_videos_dir()
'C:\\Users\\trentm\\Videos'
>>> user_music_dir()
'C:\\Users\\trentm\\Music'
>>> user_desktop_dir()
'C:\\Users\\trentm\\Desktop'
>>> user_runtime_dir(appname, appauthor)
'C:\\Users\\trentm\\AppData\\Local\\Temp\\Acme\\SuperApp'GitHub
GitHub - tox-dev/platformdirs: A small Python module for determining appropriate platform-specific dirs, e.g. a "user data dir".
A small Python module for determining appropriate platform-specific dirs, e.g. a "user data dir". - tox-dev/platformdirs
✍1
#ml #ensembling #regression #masters
У Тима есть любопытное сравнение RMSE методов ансамблирования для задачи регрессии.
"Model Quality:
• Three moderately good models
• These, plus a fourth completely worthless model
• These, plus a fifth good but strongly biased model
Number of training cases:
• A small dataset consisting of 20 cases
• A large dataset consisting of 200 cases
Noise contamination:
• A clean dataset, in which the true values are totally uncontaminated
• A noisy dataset, in which the true values are heavily contaminated with random noise
The columns in the summary table are labeled as follows:
Raw: Mean squared error of a single model
Avg: The predictions are simply averaged
Uncons: Unconstrained linear regression
Unbias: Constrained linear regression with no bias offset term
Bias: Constrained linear regression including a bias offset term
VarWt: Variance weighting
Bag: Bagging, as discussed in Chapter 5
GRNN: General regression neural network smoothing"
У Тима есть любопытное сравнение RMSE методов ансамблирования для задачи регрессии.
"Model Quality:
• Three moderately good models
• These, plus a fourth completely worthless model
• These, plus a fifth good but strongly biased model
Number of training cases:
• A small dataset consisting of 20 cases
• A large dataset consisting of 200 cases
Noise contamination:
• A clean dataset, in which the true values are totally uncontaminated
• A noisy dataset, in which the true values are heavily contaminated with random noise
The columns in the summary table are labeled as follows:
Raw: Mean squared error of a single model
Avg: The predictions are simply averaged
Uncons: Unconstrained linear regression
Unbias: Constrained linear regression with no bias offset term
Bias: Constrained linear regression including a bias offset term
VarWt: Variance weighting
Bag: Bagging, as discussed in Chapter 5
GRNN: General regression neural network smoothing"
👍1
#ml #nadarayawatson #oil #ensembling #gazprom
Виктор Котежеков -Использование ИИ в процессах гидродинамического моделирования нефтегазовых месторождений
Понравилась идея ансамблировать с помощью Байесовской линейной регрессии. Консенсус моделируется как HalfNormal распределение (отрицательные веса запрещены) с растущим со временем стандартным отклонением.
Очень интересно применение регрессии Надараи-Ватсон с ядром, дающим разные веса разным группам входов (ГДИС, ГИС, сейсмо). Про этот вид регрессии слышал у Дьяконова, сам не пробовал ещё.
https://www.youtube.com/watch?v=tODbO5eH3vw
Виктор Котежеков -Использование ИИ в процессах гидродинамического моделирования нефтегазовых месторождений
Понравилась идея ансамблировать с помощью Байесовской линейной регрессии. Консенсус моделируется как HalfNormal распределение (отрицательные веса запрещены) с растущим со временем стандартным отклонением.
Очень интересно применение регрессии Надараи-Ватсон с ядром, дающим разные веса разным группам входов (ГДИС, ГИС, сейсмо). Про этот вид регрессии слышал у Дьяконова, сам не пробовал ещё.
https://www.youtube.com/watch?v=tODbO5eH3vw
#ml #regression #astroml #cylowess #locfit #gaussianprocess
Как сделать Linear, Ridge, Lasso нелинейными переводом входов в гауссов базис.
https://notebook.community/DanielAndreasen/Programmers-Club/notebook/Regression%20-%20an%20example%20notebook
Как сделать Linear, Ridge, Lasso нелинейными переводом входов в гауссов базис.
https://notebook.community/DanielAndreasen/Programmers-Club/notebook/Regression%20-%20an%20example%20notebook
Forwarded from Artem Ryblov’s Data Science Weekly (Artem Ryblov)
Mindful Modeler by Christoph Molnar
The newsletter combines the best of two worlds: the performance mindset of machine learning and the mindfulness of statistical thinking.
Machine learning has become mainstream while falling short in the silliest ways: lack of interpretability, biased and missing data, wrong conclusions, … To statisticians, these shortcomings are often unsurprising. Statisticians are relentless in their quest to understand how the data came about. They make sure that their models reflect the data-generating process and interpret models accordingly.
In a sea of people who basically know how to
Sign up for this newsletter to combine performance-driven machine learning with statistical thinking. Become a mindful modeller.
You'll learn about:
- Thinking like a statistician while performing like a machine learner
- Spotting non-obvious data problems
- Interpretable machine learning
- Other modelling mindsets such as causal inference and prompt engineering
Link
https://mindfulmodeler.substack.com/
Navigational hashtags: #armknowledgesharing #armnewsletters
General hashtags: #modelling #modeling #ml #machinelearning #statistics #modelinterpretation #data #interpretability #casualinference
@accelerated_learning
The newsletter combines the best of two worlds: the performance mindset of machine learning and the mindfulness of statistical thinking.
Machine learning has become mainstream while falling short in the silliest ways: lack of interpretability, biased and missing data, wrong conclusions, … To statisticians, these shortcomings are often unsurprising. Statisticians are relentless in their quest to understand how the data came about. They make sure that their models reflect the data-generating process and interpret models accordingly.
In a sea of people who basically know how to
model.fit() and model.predict() you can stand out by bringing statistical thinking to the arena.Sign up for this newsletter to combine performance-driven machine learning with statistical thinking. Become a mindful modeller.
You'll learn about:
- Thinking like a statistician while performing like a machine learner
- Spotting non-obvious data problems
- Interpretable machine learning
- Other modelling mindsets such as causal inference and prompt engineering
Link
https://mindfulmodeler.substack.com/
Navigational hashtags: #armknowledgesharing #armnewsletters
General hashtags: #modelling #modeling #ml #machinelearning #statistics #modelinterpretation #data #interpretability #casualinference
@accelerated_learning
Substack
Mindful Modeler | Christoph Molnar | Substack
Better machine learning by thinking like a statistician. About model interpretation, paying attention to data, and always staying critical. Click to read Mindful Modeler, by Christoph Molnar, a Substack publication with tens of thousands of subscribers.
👍1
#ads #marketing #ai
"Система следит за тем, как посетители магазина задерживаются у витрин, наклоняются к ним, берут в руки товары, сравнивают их и совершают прочие действия. Данные с камер транслируются на платформу генеративного ИИ, которая в виде «консьержа-аватара» делает им персональные предложения. В Fujitsu считают, что эта технология способствует возвращению покупателей к прилавкам с намерением приобрести конкретный товар.
Компания разработала эту платформу при содействии группы учёных под руководством Наото Ондзо (Naoto Onzo), директора Института маркетинга и коммуникаций при университете Васэда. Исследователи выдвинули гипотезу, что «на решения потребителей о покупке влияют теплота и компетентность, индикаторы осведомлённости поставщика услуг о личности и знаниях потребителя, а также дизайн и функциональность продукта». На основе этой гипотезы была разработана модель, которая «оценивает вероятность перемен в поведении при обслуживании клиента и [показе ему] рекламного контента на основе данных о поведении и атрибутах отдельных потребителей, проанализированных технологией распознавания человека».
В Fujitsu согласились, что эта идея имеет перспективы, поскольку клиенты хотят «увлекательного клиентоориентированного опыта», но разработка соответствующего контента требует времени, денег и кадровых ресурсов. ИИ делает то же быстрее и дешевле. Технология будет тестироваться в супермаркете до 15 октября, и основанное на этом пилотном проекте решение будет подготовлено уже до конца 2023 финансового года — он завершится 31 марта 2024 календарного года."
https://3dnews.ru/1091057/kameri-v-yaponskom-supermarkete-stali-nablyudat-za-pokupatelyami-chtobi-pokazivat-im-tselevuyu-reklamu
"Система следит за тем, как посетители магазина задерживаются у витрин, наклоняются к ним, берут в руки товары, сравнивают их и совершают прочие действия. Данные с камер транслируются на платформу генеративного ИИ, которая в виде «консьержа-аватара» делает им персональные предложения. В Fujitsu считают, что эта технология способствует возвращению покупателей к прилавкам с намерением приобрести конкретный товар.
Компания разработала эту платформу при содействии группы учёных под руководством Наото Ондзо (Naoto Onzo), директора Института маркетинга и коммуникаций при университете Васэда. Исследователи выдвинули гипотезу, что «на решения потребителей о покупке влияют теплота и компетентность, индикаторы осведомлённости поставщика услуг о личности и знаниях потребителя, а также дизайн и функциональность продукта». На основе этой гипотезы была разработана модель, которая «оценивает вероятность перемен в поведении при обслуживании клиента и [показе ему] рекламного контента на основе данных о поведении и атрибутах отдельных потребителей, проанализированных технологией распознавания человека».
В Fujitsu согласились, что эта идея имеет перспективы, поскольку клиенты хотят «увлекательного клиентоориентированного опыта», но разработка соответствующего контента требует времени, денег и кадровых ресурсов. ИИ делает то же быстрее и дешевле. Технология будет тестироваться в супермаркете до 15 октября, и основанное на этом пилотном проекте решение будет подготовлено уже до конца 2023 финансового года — он завершится 31 марта 2024 календарного года."
https://3dnews.ru/1091057/kameri-v-yaponskom-supermarkete-stali-nablyudat-za-pokupatelyami-chtobi-pokazivat-im-tselevuyu-reklamu
3DNews - Daily Digital Digest
Таргетинг нового уровня: камеры в японском супермаркете стали наблюдать за покупателями для показа целевой рекламы
Супермаркет Aruk Mitajiri в японском городе Хофу при содействии Fujitsu запустил интеллектуальную систему наблюдения, которая следит за поведением посетителей, анализирует его при помощи искусственного интеллекта, чтобы демонстрировать им основанную на этих…