#ml #mlops #mlflow #me #metrics #multimodel
Очень срезонировало это выступление. Я сейчас разрабатываю как раз такую систему, с мультиметриками, несколькими моделями разных классов. Даже ещё добавляю сразу ансамбли. Про ME (Maximum Error) как обязательную regression-метрику кажется очень полезно, никогда раньше не слышал. От себя бы добавил в обязательные метрики классификации что-то калибрационное: MAE/std над бинами калибрационной кривой, к примеру.
https://www.youtube.com/watch?v=VJWrSTAlxEs
Очень срезонировало это выступление. Я сейчас разрабатываю как раз такую систему, с мультиметриками, несколькими моделями разных классов. Даже ещё добавляю сразу ансамбли. Про ME (Maximum Error) как обязательную regression-метрику кажется очень полезно, никогда раньше не слышал. От себя бы добавил в обязательные метрики классификации что-то калибрационное: MAE/std над бинами калибрационной кривой, к примеру.
https://www.youtube.com/watch?v=VJWrSTAlxEs
YouTube
Андрей Зубков - Без чего с ML в проде жизнь не мила
Data Fest 2023:
https://ods.ai/events/datafestonline2023
Трек "MLOps":
https://ods.ai/tracks/df23-mlops
Наши соц.сети:
Telegram: https://news.1rj.ru/str/datafest
Вконтакте: https://vk.com/datafest
https://ods.ai/events/datafestonline2023
Трек "MLOps":
https://ods.ai/tracks/df23-mlops
Наши соц.сети:
Telegram: https://news.1rj.ru/str/datafest
Вконтакте: https://vk.com/datafest
#docs #keras #bollocks
Пример плохо, по-мудацки написанной документации.
Вроде технически все опции описаны, но не сказано, в какой ситуации какую применять и зачем. Будущий юзер отрывает доку, читает, и не может понять, а нафига это всё нагородили вообще. Например: когда может понадобиться mask_token? Какая выгода от multi_hot? итд
https://keras.io/api/layers/preprocessing_layers/categorical/string_lookup/#stringlookup-class
Хреновая дока ведёт к тому, что люди постоянно задают на других ресурсах вопросы: а в чём различие, а какую опцию мне лучше использовать, а что это даст? типа этого. Особенно это касается специфичной для продукта функциональности, которая не является общеизвестной в области, или вообще является "уникальной фишкой". А всё потому, что разработчики поленились и не подумали объяснить концепции на высоком уровне в форме, понятной для пользователей. То же самое, кстати, чувствуется при чтении документации Catboost.
Пример плохо, по-мудацки написанной документации.
Вроде технически все опции описаны, но не сказано, в какой ситуации какую применять и зачем. Будущий юзер отрывает доку, читает, и не может понять, а нафига это всё нагородили вообще. Например: когда может понадобиться mask_token? Какая выгода от multi_hot? итд
https://keras.io/api/layers/preprocessing_layers/categorical/string_lookup/#stringlookup-class
Хреновая дока ведёт к тому, что люди постоянно задают на других ресурсах вопросы: а в чём различие, а какую опцию мне лучше использовать, а что это даст? типа этого. Особенно это касается специфичной для продукта функциональности, которая не является общеизвестной в области, или вообще является "уникальной фишкой". А всё потому, что разработчики поленились и не подумали объяснить концепции на высоком уровне в форме, понятной для пользователей. То же самое, кстати, чувствуется при чтении документации Catboost.
keras.io
Keras documentation: StringLookup layer
#featureselection #masters #mlgems
Нашёл в книге Тима Мастерса "Data Mining Algorithms in C++" такую любопытную модификацию Forward Selection:
Forward Selection Preserving Subsets
"There is a straightforward extension of forward stepwise selection that can often produce a significant improvement in performance at little cost. We simply preserve the best few candidates at each step, rather than preserving just the single best. For example, we may find that X4, X7, and X9 are the three best single variables. (Three is an arbitrary choice made by the developer, considering the trade-off between quality and compute time.) We then test X4 paired with each remaining candidate, X7 paired with each, and finally X9 paired with each. Of these many pairs tested, we identify the best three pairs. These pairs will each be tested with the remaining candidates as trios, and so forth. The beauty of this algorithm is that we gain a lot with relatively little cost. The chance of missing an important combination is greatly reduced, while compute time goes up linearly, not exponentially. I highly recommend this approach."
Нашёл в книге Тима Мастерса "Data Mining Algorithms in C++" такую любопытную модификацию Forward Selection:
Forward Selection Preserving Subsets
"There is a straightforward extension of forward stepwise selection that can often produce a significant improvement in performance at little cost. We simply preserve the best few candidates at each step, rather than preserving just the single best. For example, we may find that X4, X7, and X9 are the three best single variables. (Three is an arbitrary choice made by the developer, considering the trade-off between quality and compute time.) We then test X4 paired with each remaining candidate, X7 paired with each, and finally X9 paired with each. Of these many pairs tested, we identify the best three pairs. These pairs will each be tested with the remaining candidates as trios, and so forth. The beauty of this algorithm is that we gain a lot with relatively little cost. The chance of missing an important combination is greatly reduced, while compute time goes up linearly, not exponentially. I highly recommend this approach."
👍2
#featureselection #masters #mlgems #chisquare #cramerv
The chi-square test need not be restricted to categorical variables. It is legitimate to partition the range of numeric variables into bins and treat these bins as if they were categories. Of course, this results in some loss of information because variation within each bin is ignored. But if the data is noisy or if one wants to detect relationship patterns of any form without preconceptions, a chi-square formulation may be appropriate.
Chi-squared itself has little intuitive meaning in terms of its values. It is highly dependent on the number of cases and the number of bins for each variable, so any numeric value of chi-squared is essentially uninterpretable. This can be remedied by a simple monotonic transformation to produce a quantity called Cramer’s V.
The chi-square test need not be restricted to categorical variables. It is legitimate to partition the range of numeric variables into bins and treat these bins as if they were categories. Of course, this results in some loss of information because variation within each bin is ignored. But if the data is noisy or if one wants to detect relationship patterns of any form without preconceptions, a chi-square formulation may be appropriate.
Chi-squared itself has little intuitive meaning in terms of its values. It is highly dependent on the number of cases and the number of bins for each variable, so any numeric value of chi-squared is essentially uninterpretable. This can be remedied by a simple monotonic transformation to produce a quantity called Cramer’s V.
#news #tesla
"В 2020 году один из институциональных инвесторов Tesla, пенсионный фонд, подал иск к членам совета директоров компании, обвинив их в получении неоправданно высоких вознаграждений за свою деятельность в виде акций, которые они получали с июня 2017 года. Суд в итоге обязал членов совета директоров Tesla вернуть компании $735 млн.
Как поясняет CNBC, решение по отдельному иску к Илону Маску (Elon Musk), который оспаривает справедливость выплаты ему $56 млрд компенсации за работу, пока не принято, а потому будет вынесено чуть позже. Членам совета директоров, тем не менее, предстоит вернуть компании $735 млн, которые были в форме акций Tesla выплачены им за период с июня 2017 года по 2020 год. За это время члены совета директоров компании получили 11 млн акций Tesla в качестве вознаграждения, из них они обязуются вернуть в стоимостном эквиваленте 3,1 млн штук.
Члены совета директоров Tesla также обязуются воздержаться от получения вознаграждений за 2021, 2022 и 2023 годы в указанной форме, а также пересмотреть систему компенсации, которая до этого позволяла им получать существенные суммы после реализации полученных акций компании на рынке. Tesla пыталась защитить интересы членов совета директоров, ссылаясь на существенный рост котировок акций, который и привёл к пропорциональному обогащению членов правления, а также упоминая об общности интересов руководства и инвесторов компании."
https://3dnews.ru/1090122/sud-obyazal-chlenov-soveta-direktorov-tesla-vernut-poluchennie-735-mln
"В 2020 году один из институциональных инвесторов Tesla, пенсионный фонд, подал иск к членам совета директоров компании, обвинив их в получении неоправданно высоких вознаграждений за свою деятельность в виде акций, которые они получали с июня 2017 года. Суд в итоге обязал членов совета директоров Tesla вернуть компании $735 млн.
Как поясняет CNBC, решение по отдельному иску к Илону Маску (Elon Musk), который оспаривает справедливость выплаты ему $56 млрд компенсации за работу, пока не принято, а потому будет вынесено чуть позже. Членам совета директоров, тем не менее, предстоит вернуть компании $735 млн, которые были в форме акций Tesla выплачены им за период с июня 2017 года по 2020 год. За это время члены совета директоров компании получили 11 млн акций Tesla в качестве вознаграждения, из них они обязуются вернуть в стоимостном эквиваленте 3,1 млн штук.
Члены совета директоров Tesla также обязуются воздержаться от получения вознаграждений за 2021, 2022 и 2023 годы в указанной форме, а также пересмотреть систему компенсации, которая до этого позволяла им получать существенные суммы после реализации полученных акций компании на рынке. Tesla пыталась защитить интересы членов совета директоров, ссылаясь на существенный рост котировок акций, который и привёл к пропорциональному обогащению членов правления, а также упоминая об общности интересов руководства и инвесторов компании."
https://3dnews.ru/1090122/sud-obyazal-chlenov-soveta-direktorov-tesla-vernut-poluchennie-735-mln
3DNews - Daily Digital Digest
Суд обязал членов совета директоров Tesla вернуть компании $735 млн вознаграждений за их работу
В 2020 году один из институциональных инвесторов Tesla, пенсионный фонд, подал иск к членам совета директоров компании, обвинив их в получении неоправданно высоких вознаграждений за свою деятельность в виде акций, которые они получали с июня 2017 года.
#hpc #tesla #dojo
"Tesla сообщила о запуске производства суперкомпьютера собственной разработки Dojo, предназначенного для обучения систем автопилота. Компания собирается потратить на проект $1 млрд. Компания рассчитывает уже к октябрю следующего года преодолеть барьер в 100 Эфлопс производительности — это более чем в 60 раз мощнее самого мощного суперкомпьютера на сегодняшний день."
https://3dnews.ru/1090287/tesla-zapustila-proizvodstvo-superkompyuterov-dojo-dlya-obucheniya-avtopilota-na-proekt-potratyat-1-milliard
"Tesla сообщила о запуске производства суперкомпьютера собственной разработки Dojo, предназначенного для обучения систем автопилота. Компания собирается потратить на проект $1 млрд. Компания рассчитывает уже к октябрю следующего года преодолеть барьер в 100 Эфлопс производительности — это более чем в 60 раз мощнее самого мощного суперкомпьютера на сегодняшний день."
https://3dnews.ru/1090287/tesla-zapustila-proizvodstvo-superkompyuterov-dojo-dlya-obucheniya-avtopilota-na-proekt-potratyat-1-milliard
3DNews - Daily Digital Digest
Tesla запустила производство суперкомпьютеров Dojo и за 15 месяцев хочет достичь производительности в 100 Эфлопс
Tesla сообщила о запуске производства суперкомпьютера собственной разработки Dojo, предназначенного для обучения систем автопилота.
#hardware #storage
15Tb -версия будет стоить около $1800, как я понимаю.
"Компания Solidigm анонсировала SSD семейства D5-P5336, предназначенные для построения СХД высокой плотности. Решения подходят для решения ресурсоёмких задач, связанных с генеративным ИИ, обработкой больших данных и пр. Изделия выполнены в форм-факторе E1.L.
В основу новинок положены 192-слойные микрочипы флеш-памяти QLC 3D NAND. Задействован интерфейс PCIe 4.0 x4 (спецификация NVMe 1.4). Заявленная производительность достигает 7000 Мбайт/с в режиме последовательного чтения и 3100–3300 Мбайт/с в режиме последовательной записи (в зависимости от модификации).
В серию вошли четыре модели — вместимостью 7,68; 15,36; 30,72 и 61,44 Тбайт."
https://servernews.ru/1090285
15Tb -версия будет стоить около $1800, как я понимаю.
"Компания Solidigm анонсировала SSD семейства D5-P5336, предназначенные для построения СХД высокой плотности. Решения подходят для решения ресурсоёмких задач, связанных с генеративным ИИ, обработкой больших данных и пр. Изделия выполнены в форм-факторе E1.L.
В основу новинок положены 192-слойные микрочипы флеш-памяти QLC 3D NAND. Задействован интерфейс PCIe 4.0 x4 (спецификация NVMe 1.4). Заявленная производительность достигает 7000 Мбайт/с в режиме последовательного чтения и 3100–3300 Мбайт/с в режиме последовательной записи (в зависимости от модификации).
В серию вошли четыре модели — вместимостью 7,68; 15,36; 30,72 и 61,44 Тбайт."
https://servernews.ru/1090285
ServerNews - все из мира больших мощностей
Solidigm представила SSD D5-P5336 формата E1.L вместимостью до 61,44 Тбайт
Компания Solidigm анонсировала SSD семейства D5-P5336, предназначенные для построения СХД высокой плотности. Решения подходят для решения ресурсоёмких задач, связанных с генеративным ИИ, обработкой больших данных и пр. Изделия выполнены в форм-факторе E1.L.
#hacking #mitnick
Удивительно, Кевин, как и я, родился 6 августа. Приятное совпадение.
"Раскаявшийся и вставший на путь исправления хакер Кевин Митник (Kevin Mitnick), когда-то бывший одним из самых разыскиваемых компьютерных преступников США, в минувшее воскресенье ушёл из жизни — причиной смерти стали осложнения, связанные с раком поджелудочной железы. Митнику было 59 лет."
https://3dnews.ru/1090299/legendarniy-haker-kevin-mitnik-ushyol-iz-gizni-v-59-let
Удивительно, Кевин, как и я, родился 6 августа. Приятное совпадение.
"Раскаявшийся и вставший на путь исправления хакер Кевин Митник (Kevin Mitnick), когда-то бывший одним из самых разыскиваемых компьютерных преступников США, в минувшее воскресенье ушёл из жизни — причиной смерти стали осложнения, связанные с раком поджелудочной железы. Митнику было 59 лет."
https://3dnews.ru/1090299/legendarniy-haker-kevin-mitnik-ushyol-iz-gizni-v-59-let
3DNews - Daily Digital Digest
Все самое интересное из мира IT-индустрии
Самые интересные и оперативные новости из мира высоких технологий. На нашем портале - все о компьютерном железе, гаджетах, ноутбуках и других цифровых устройствах. А также обзоры новых игр, достижения современной науки и самые любопытные онлайн-проекты.
❤2
#mlops #degradation #resilience
Лайфхак про чернокожих женщин прикольный )
https://www.youtube.com/watch?v=l1ZF7gyci20
Лайфхак про чернокожих женщин прикольный )
https://www.youtube.com/watch?v=l1ZF7gyci20
YouTube
Дмитрий Колодезев - Reliable ML: Устойчивость моделей после выкатки в прод
Скачать презентацию: https://kolodezev.ru/model_sustainability.html
Дмитрий Колодезев, директор Promsoft, с докладом от нашего канала - с обзором подходов к обеспечению надежной работы моделей после развертывания.
Что такое устойчивость моделей после выкатки…
Дмитрий Колодезев, директор Promsoft, с докладом от нашего канала - с обзором подходов к обеспечению надежной работы моделей после развертывания.
Что такое устойчивость моделей после выкатки…
#dishbrain
"Массив микроэлектродов в основе DishBrain способен не только считывать активность в клетках мозга, но и стимулировать их электрическими сигналами, поэтому исследовательская группа создала версию Pong, в которой клетки полубиологического искусственного мозга получали информацию о перемещении мяча и могли воздействовать на ракетку, перемещая её влево и вправо.
Затем была разработана очень простая система стимуляции, использующая стремление небольших скоплений клеток мозга сводить к минимуму непредсказуемость окружающей их среды. Если ракетка отбивает мяч, клетки получают поощрение — предсказуемый стимул, а при промахе — четыре секунды непредсказуемого воздействия. Это первый случай, когда клетки мозга, выращенные в лаборатории, получили возможность не только ощущать мир, но и воздействовать на него, и результаты были впечатляющими."
https://3dnews.ru/1090373/uchyonie-obedinili-kompyuterniy-chip-s-tkanyu-chelovecheskogo-mozga-poluchivshiysya-razum-prodemonstriroval-sposobnost-k-obucheniyu
"Массив микроэлектродов в основе DishBrain способен не только считывать активность в клетках мозга, но и стимулировать их электрическими сигналами, поэтому исследовательская группа создала версию Pong, в которой клетки полубиологического искусственного мозга получали информацию о перемещении мяча и могли воздействовать на ракетку, перемещая её влево и вправо.
Затем была разработана очень простая система стимуляции, использующая стремление небольших скоплений клеток мозга сводить к минимуму непредсказуемость окружающей их среды. Если ракетка отбивает мяч, клетки получают поощрение — предсказуемый стимул, а при промахе — четыре секунды непредсказуемого воздействия. Это первый случай, когда клетки мозга, выращенные в лаборатории, получили возможность не только ощущать мир, но и воздействовать на него, и результаты были впечатляющими."
https://3dnews.ru/1090373/uchyonie-obedinili-kompyuterniy-chip-s-tkanyu-chelovecheskogo-mozga-poluchivshiysya-razum-prodemonstriroval-sposobnost-k-obucheniyu
3DNews - Daily Digital Digest
Все самое интересное из мира IT-индустрии
Самые интересные и оперативные новости из мира высоких технологий. На нашем портале - все о компьютерном железе, гаджетах, ноутбуках и других цифровых устройствах. А также обзоры новых игр, достижения современной науки и самые любопытные онлайн-проекты.
#news #nft
Люблю такие новости, приятно,что твои траты по глупости ещё не самые примечательные )
"Криптовалютный предприниматель иранского происхождения Сина Эстави (Sina Estavi) вновь выставил на аукцион NFT-токен самого первого твита в Twitter, приобретённый им за $2,9 млн. Похоже, что эта, далеко не первая попытка бизнесмена получить прибыль от продажи NFT-токена, вновь окажется безуспешной, поскольку максимальная ставка на него сейчас составляет всего 1 Ethereum, что эквивалентно $1895.
Эстави уже несколько раз пытался продать NFT-токен первого твита на аукционе OpenSea. Примерно через год после приобретения первого твита прежнего главы сервиса микроблоггинга Джека Дорси (Jack Dorsey) «just setting up my twttr» («просто настраиваю свой Twitter») он выставил его на продажу, рассчитывая получить $48 млн. Однако к его покупке не проявили никакого интереса — поступило всего семь предложений с максимальной ценой 0,09 Ethereum ($277 по курсу на тот момент)."
https://3dnews.ru/1090440/za-nfttoken-pervogo-tvita-dgeka-dorsi-kuplenniy-za-29-mln-predlogili-na-auktsione-2000
Люблю такие новости, приятно,что твои траты по глупости ещё не самые примечательные )
"Криптовалютный предприниматель иранского происхождения Сина Эстави (Sina Estavi) вновь выставил на аукцион NFT-токен самого первого твита в Twitter, приобретённый им за $2,9 млн. Похоже, что эта, далеко не первая попытка бизнесмена получить прибыль от продажи NFT-токена, вновь окажется безуспешной, поскольку максимальная ставка на него сейчас составляет всего 1 Ethereum, что эквивалентно $1895.
Эстави уже несколько раз пытался продать NFT-токен первого твита на аукционе OpenSea. Примерно через год после приобретения первого твита прежнего главы сервиса микроблоггинга Джека Дорси (Jack Dorsey) «just setting up my twttr» («просто настраиваю свой Twitter») он выставил его на продажу, рассчитывая получить $48 млн. Однако к его покупке не проявили никакого интереса — поступило всего семь предложений с максимальной ценой 0,09 Ethereum ($277 по курсу на тот момент)."
https://3dnews.ru/1090440/za-nfttoken-pervogo-tvita-dgeka-dorsi-kuplenniy-za-29-mln-predlogili-na-auktsione-2000
3DNews - Daily Digital Digest
За NFT самого первого твита в мире, который был продан за $2,9 млн, теперь предложили менее $2000
Криптовалютный предприниматель иранского происхождения Сина Эстави (Sina Estavi) вновь выставил на аукцион NFT-токен самого первого твита в Twitter, приобретённый им за $2,9 млн.
🏆1
#bootstrap #loocv #raschka
↓ Кто-то использует 0.632 bootstrap? отпишитесь )
Ещё понравилась идея one-standard error method [Breiman et al., 1984] :
1. Consider the numerically optimal estimate and its standard error.
2. Select the [most compact/simplest] model whose performance is within one standard error of the value obtained in step 1.
↓ Кто-то использует 0.632 bootstrap? отпишитесь )
Ещё понравилась идея one-standard error method [Breiman et al., 1984] :
1. Consider the numerically optimal estimate and its standard error.
2. Select the [most compact/simplest] model whose performance is within one standard error of the value obtained in step 1.