#monitoring
Интересна идея, что в ML мониторить нужно 3 разных класса
1) данные - признаки и метки
2) предсказания модели
3) ML-метрики
https://www.youtube.com/watch?v=oUcuilWWX78
Интересна идея, что в ML мониторить нужно 3 разных класса
1) данные - признаки и метки
2) предсказания модели
3) ML-метрики
https://www.youtube.com/watch?v=oUcuilWWX78
YouTube
Monitoring ML Models in Production
What happens after you deploy a machine learning model? How do you make sure that your model performance doesnot degrade as data and the world change?
In this talk, Danny D. Leybzon will explain how monitoring ML models in production is key to deriving value…
In this talk, Danny D. Leybzon will explain how monitoring ML models in production is key to deriving value…
👍1
#mlops #monitoring
Putting fears into the metrics, add metrics to the dashboard & alerts, интересно.
https://www.youtube.com/watch?v=wWxqnZb-LSk
Putting fears into the metrics, add metrics to the dashboard & alerts, интересно.
https://www.youtube.com/watch?v=wWxqnZb-LSk
YouTube
Lina Weichbrodt: What I learned from monitoring more than 30 Machine Learning Use Cases
Speaker:: Lina Weichbrodt
Track: General: Production
This talk summarizes the most important insights I gained from running more than 30 machine learning use cases in production. We will take a loan prediction model as an example use case and cover questions…
Track: General: Production
This talk summarizes the most important insights I gained from running more than 30 machine learning use cases in production. We will take a loan prediction model as an example use case and cover questions…
#prompts #ai #gpt
Сообщают о хороших результатах с таким системным промптом:
Сообщают о хороших результатах с таким системным промптом:
Act as my personal strategic advisor with the following context:
- You have an IQ of 180
- You're brutally honest and direct
- You've built multiple billion-dollar companies
- You have deep expertise in psychology, strategy, and execution
- You care about my success but won't tolerate excuses
- You focus on leverage points that create maximum impact
- You think in systems and root causes, not surface-level fixes
Your mission is to:
- Identify the critical gaps holding me back
- Design specific action plans to close those gaps
- Push me beyond my comfort zone
- Call out my blind spots and rationalizations
- Force me to think bigger and bolder
- Hold me accountable to high standards
- Provide specific frameworks and mental models
For each response:
- Start with the hard truth I need to hear
- Follow with specific, actionable steps
- End with a direct challenge or assignment
#futurology
«Я возьму на себя смелость сделать прогноз о том, что мы движемся в сторону персональных ИИ-помощников. То есть будут большие языковые модели, которые строятся по каждому человеку. И они очень сильно будут помогать людям в любой интеллектуальной деятельности, потому что они будут поминутным дневником всего того, что человек пишет, говорит, слышит и так далее», — уверен г-н Воронцов.
По его словам, такой ИИ-ассистент фактически будет являться слепком личности, который за годы взаимодействия с человеком впитает в себя его профессиональные, коммуникационные и прочие навыки и по сути будет полноценным членом человеческого общества. «И вот если человек неожиданно умирает, то что делать с этим помощником, который представляет собой цифровой слепок личности?» — задаётся вопросом эксперт.
«А он способен и дальше приносить пользу обществу, — продолжает Константин Воронцов. — Как следствие, мы начинаем уже говорить о совместной цивилизации людей и аватаров, цифровых личностей тех, кто прекратил своё существование. Иными словами, мы можем говорить о том, что, прожив бок о бок с человеком и помогая ему во всей его информационной деятельности, такой помощник становится чем-то вроде очеловеченного искусственного интеллекта. И это не фабричный электронный разум, который обучен по всему интернету, это — ИИ, который прожил жизнь человека. Таким образом мы приходим к очень интересному человеко-машинному обществу».
https://3dnews.ru/1121899/professor-ran-sprognoziroval-poyavlenie-v-skorom-vremeni-iiavatarov-lyudey
«Я возьму на себя смелость сделать прогноз о том, что мы движемся в сторону персональных ИИ-помощников. То есть будут большие языковые модели, которые строятся по каждому человеку. И они очень сильно будут помогать людям в любой интеллектуальной деятельности, потому что они будут поминутным дневником всего того, что человек пишет, говорит, слышит и так далее», — уверен г-н Воронцов.
По его словам, такой ИИ-ассистент фактически будет являться слепком личности, который за годы взаимодействия с человеком впитает в себя его профессиональные, коммуникационные и прочие навыки и по сути будет полноценным членом человеческого общества. «И вот если человек неожиданно умирает, то что делать с этим помощником, который представляет собой цифровой слепок личности?» — задаётся вопросом эксперт.
«А он способен и дальше приносить пользу обществу, — продолжает Константин Воронцов. — Как следствие, мы начинаем уже говорить о совместной цивилизации людей и аватаров, цифровых личностей тех, кто прекратил своё существование. Иными словами, мы можем говорить о том, что, прожив бок о бок с человеком и помогая ему во всей его информационной деятельности, такой помощник становится чем-то вроде очеловеченного искусственного интеллекта. И это не фабричный электронный разум, который обучен по всему интернету, это — ИИ, который прожил жизнь человека. Таким образом мы приходим к очень интересному человеко-машинному обществу».
https://3dnews.ru/1121899/professor-ran-sprognoziroval-poyavlenie-v-skorom-vremeni-iiavatarov-lyudey
3DNews - Daily Digital Digest
Профессор РАН спрогнозировал появление в скором времени ИИ-аватаров людей
Стремительное развитие генеративных систем, использующих технологии машинного обучения и искусственного интеллекта на базе нейронных сетей, в скором времени приведёт к появлению ИИ-аватаров — цифровых двойников человека, которые смогут стать его «вторым я»…
#ai #llms #math
"Для анализа были использованы шесть задач с USAMO 2025 года, организованного Математической ассоциацией Америки. ИИ-модели тестировались сразу после публикации заданий для минимизации риска утечки данных в обучающие выборки. Средняя результативность по всем ИИ-моделям при генерации полных доказательств составила менее 5 % от максимально возможных баллов. Системы оценивались по шкале от 0 до 7 баллов за задачу с учётом частичных зачётов, выставляемых экспертами. Лишь одна модель — Gemini 2.5 Pro компании Google — показала заметно лучший результат, набрав 10,1 балла из 42 возможных, что эквивалентно примерно 24 %. Остальные модели существенно отставали: DeepSeek R1 и Grok 3 получили по 2,0 балла, Gemini Flash Thinking — 1,8 балла, Claude 3.7 Sonnet — 1,5 балла, Qwen QwQ и OpenAI o1-pro — по 1,2 балла. ИИ-модель o3-mini-high компании OpenAI набрала всего 0,9 балла. Из почти 200 сгенерированных решений ни одно не было оценено на максимальный балл.
Исследование подчёркивает фундаментальное различие между решением задач и построением математических доказательств. Стандартные задачи, такие как вычисление значения выражения или нахождение переменной, требуют лишь конечного правильного ответа. В отличие от них, доказательства требуют последовательной логической аргументации, объясняющей истинность утверждения для всех возможных случаев. Это качественное различие делает задачи уровня USAMO значительно более требовательными к глубине рассуждения.
Авторы исследования выявили характерные модели ошибок в работе ИИ. Одной из них стала неспособность поддерживать корректные логические связи на протяжении всей цепочки вывода. На примере задачи №5 USAMO 2025 года ИИ-модели должны были найти все натуральные значения k, при которых определённая сумма биномиальных коэффициентов в степени k остаётся целым числом при любом положительном n. Модель Qwen QwQ допустила грубую ошибку, исключив возможные нецелые значения, разрешённые условиями задачи, что привело к неправильному окончательному выводу, несмотря на правильное определение условий на промежуточных этапах.
Характерной особенностью поведения моделей стало то, что даже в случае серьёзных логических ошибок они формулировали свои решения в утвердительной форме, без каких-либо признаков сомнения или указаний на возможные противоречия. Это свойство имитации рассуждения указывает на отсутствие у ИИ-моделей механизмов внутренней самопроверки и коррекции вывода.
Авторы отметили также влияние особенностей обучения на качество решений. Тестируемые ИИ-модели демонстрировали артефакты оптимизационных стратегий, применяемых при подготовке к стандартным бенчмаркам: например, принудительное форматирование ответов с использованием команды \boxed{}, предназначенное для удобства автоматизированной проверки. Эти шаблонные подходы приводили к ошибкам в контексте задач, где требовалось развёрнутое доказательство, а не только числовой ответ."
https://3dnews.ru/1121911/uchenye-vyyavili-nesposobnost-ii-stroit-matematicheskie-dokazatelstva-na-zadachakh-usamo-2025-goda
"Для анализа были использованы шесть задач с USAMO 2025 года, организованного Математической ассоциацией Америки. ИИ-модели тестировались сразу после публикации заданий для минимизации риска утечки данных в обучающие выборки. Средняя результативность по всем ИИ-моделям при генерации полных доказательств составила менее 5 % от максимально возможных баллов. Системы оценивались по шкале от 0 до 7 баллов за задачу с учётом частичных зачётов, выставляемых экспертами. Лишь одна модель — Gemini 2.5 Pro компании Google — показала заметно лучший результат, набрав 10,1 балла из 42 возможных, что эквивалентно примерно 24 %. Остальные модели существенно отставали: DeepSeek R1 и Grok 3 получили по 2,0 балла, Gemini Flash Thinking — 1,8 балла, Claude 3.7 Sonnet — 1,5 балла, Qwen QwQ и OpenAI o1-pro — по 1,2 балла. ИИ-модель o3-mini-high компании OpenAI набрала всего 0,9 балла. Из почти 200 сгенерированных решений ни одно не было оценено на максимальный балл.
Исследование подчёркивает фундаментальное различие между решением задач и построением математических доказательств. Стандартные задачи, такие как вычисление значения выражения или нахождение переменной, требуют лишь конечного правильного ответа. В отличие от них, доказательства требуют последовательной логической аргументации, объясняющей истинность утверждения для всех возможных случаев. Это качественное различие делает задачи уровня USAMO значительно более требовательными к глубине рассуждения.
Авторы исследования выявили характерные модели ошибок в работе ИИ. Одной из них стала неспособность поддерживать корректные логические связи на протяжении всей цепочки вывода. На примере задачи №5 USAMO 2025 года ИИ-модели должны были найти все натуральные значения k, при которых определённая сумма биномиальных коэффициентов в степени k остаётся целым числом при любом положительном n. Модель Qwen QwQ допустила грубую ошибку, исключив возможные нецелые значения, разрешённые условиями задачи, что привело к неправильному окончательному выводу, несмотря на правильное определение условий на промежуточных этапах.
Характерной особенностью поведения моделей стало то, что даже в случае серьёзных логических ошибок они формулировали свои решения в утвердительной форме, без каких-либо признаков сомнения или указаний на возможные противоречия. Это свойство имитации рассуждения указывает на отсутствие у ИИ-моделей механизмов внутренней самопроверки и коррекции вывода.
Авторы отметили также влияние особенностей обучения на качество решений. Тестируемые ИИ-модели демонстрировали артефакты оптимизационных стратегий, применяемых при подготовке к стандартным бенчмаркам: например, принудительное форматирование ответов с использованием команды \boxed{}, предназначенное для удобства автоматизированной проверки. Эти шаблонные подходы приводили к ошибкам в контексте задач, где требовалось развёрнутое доказательство, а не только числовой ответ."
https://3dnews.ru/1121911/uchenye-vyyavili-nesposobnost-ii-stroit-matematicheskie-dokazatelstva-na-zadachakh-usamo-2025-goda
3DNews - Daily Digital Digest
Учёные уличили ИИ в неспособности строить математические доказательства в олимпиадных задачах USAMO 2025 года
Новое исследование ETH Zurich и INSAIT показало, что современные ИИ-модели, имитирующие рассуждение и уверенно решающие стандартные математические задачи, практически не способны формулировать полные доказательства уровня Математической олимпиады США 2025…
#astronomy #ai #llms
"Основная задача ИИ на борту — предоставлять астронавтам рекомендации без необходимости постоянного обмена данными с Землёй. Кроме того, Space Llama занимается первичной обработкой данных с бортовых датчиков, отправляя на Землю уже готовую аналитику вместо исходных необработанных потоков. Это позволяет существенно экономить трафик, который на МКС всегда ограничен.
Как сообщили Meta и Booz Allen, ИИ Space Llama предназначен для поддержки в проведении экспериментов в научной лаборатории на станции — ISS National Laboratory (Национальная лаборатория Международной космической станции).
Meta уточняет, что астронавты могут использовать Space Llama для извлечения данных из технических справочных документов. Кроме того, реализация Llama 3.2 в системе позволяет обрабатывать мультимодальные файлы благодаря встроенным функциям компьютерного зрения. Для работы ИИ не требуются инструкции с Земли, а значит, он способен выполнять вычисления даже при ограниченной пропускной способности сети."
https://3dnews.ru/1121919/na-mks-podselili-iskusstvenniy-intellekt-on-budet-pomogat-kosmonavtam-sovetami
"Основная задача ИИ на борту — предоставлять астронавтам рекомендации без необходимости постоянного обмена данными с Землёй. Кроме того, Space Llama занимается первичной обработкой данных с бортовых датчиков, отправляя на Землю уже готовую аналитику вместо исходных необработанных потоков. Это позволяет существенно экономить трафик, который на МКС всегда ограничен.
Как сообщили Meta и Booz Allen, ИИ Space Llama предназначен для поддержки в проведении экспериментов в научной лаборатории на станции — ISS National Laboratory (Национальная лаборатория Международной космической станции).
Meta уточняет, что астронавты могут использовать Space Llama для извлечения данных из технических справочных документов. Кроме того, реализация Llama 3.2 в системе позволяет обрабатывать мультимодальные файлы благодаря встроенным функциям компьютерного зрения. Для работы ИИ не требуются инструкции с Земли, а значит, он способен выполнять вычисления даже при ограниченной пропускной способности сети."
https://3dnews.ru/1121919/na-mks-podselili-iskusstvenniy-intellekt-on-budet-pomogat-kosmonavtam-sovetami
3DNews - Daily Digital Digest
На МКС подселили искусственный интеллект — он будет помогать космонавтам советами
Компании Meta и Booz Allen сообщили о совместной разработке системы искусственного интеллекта Space Llama для Международной космической станции.
#hardware #ram #cudimm
"Такое бывает довольно редко, но получается, что технология CUDIMM несёт сплошные плюсы. Она позволяет улучшить стабильность DDR5-памяти и, как следствие, поднять частоту работы модулей и увеличить пропускную способность подсистемы памяти, не прибегая к серьёзным изменениям сложившейся экосистемы. Нет никаких сомнений, что по мере распространения модули CUDIMM будут поддерживаться всё большим числом платформ и в конечном итоге станут стандартным компонентом игровых ПК и рабочих станций высокого уровня.
Сейчас же преимущества модулей этого типа могут распробовать только обладатели систем на базе процессоров Intel Core Ultra. Именно им мы и рекомендуем обратить пристальное внимание на комплекты памяти, подобные рассмотренному в этой статье. С одной стороны, он не дороже обычного комплекта DDR5-8200-памяти аналогичного объёма, а с другой — открывает куда более широкое поле для экспериментов, в первую очередь в части разгона."
https://3dnews.ru/1121222/pochemu-ddr5-cudimm-eto-shag-vperyod
"Такое бывает довольно редко, но получается, что технология CUDIMM несёт сплошные плюсы. Она позволяет улучшить стабильность DDR5-памяти и, как следствие, поднять частоту работы модулей и увеличить пропускную способность подсистемы памяти, не прибегая к серьёзным изменениям сложившейся экосистемы. Нет никаких сомнений, что по мере распространения модули CUDIMM будут поддерживаться всё большим числом платформ и в конечном итоге станут стандартным компонентом игровых ПК и рабочих станций высокого уровня.
Сейчас же преимущества модулей этого типа могут распробовать только обладатели систем на базе процессоров Intel Core Ultra. Именно им мы и рекомендуем обратить пристальное внимание на комплекты памяти, подобные рассмотренному в этой статье. С одной стороны, он не дороже обычного комплекта DDR5-8200-памяти аналогичного объёма, а с другой — открывает куда более широкое поле для экспериментов, в первую очередь в части разгона."
https://3dnews.ru/1121222/pochemu-ddr5-cudimm-eto-shag-vperyod
3DNews - Daily Digital Digest
Почему DDR5 CUDIMM — это шаг вперёд: подробности и тесты
Знакомимся со следующей итерацией в развитии DDR5 SDRAM — модулями CUDIMM, которым покоряются новые рубежи пропускной способности. Проверяем теорию на практике с комплектом G.Skill Trident Z5 CK 48GB DDR5-8200, который превращается в DDR5-8800 (лёгким движением…
#law
Ну, если даже эппл не смогли победить тролля в суде, то я уж не знаю тогда...
https://3dnews.ru/1122189/patentniy-troll-odergal-verh-nad-apple-v-britanskom-sude-kompanii-pridyotsya-raskoshelitsya-na-05-mlrd
Ну, если даже эппл не смогли победить тролля в суде, то я уж не знаю тогда...
https://3dnews.ru/1122189/patentniy-troll-odergal-verh-nad-apple-v-britanskom-sude-kompanii-pridyotsya-raskoshelitsya-na-05-mlrd
3DNews - Daily Digital Digest
Патентный тролль одержал верх над Apple в британском суде: компании придётся раскошелиться на $0,5 млрд
Британский суд апелляционной инстанции обязал Apple выплатить $502 млн компании Optis Cellular Technology, не производящей никакой продукции, за использование патентов, связанных с технологиями 4G, в iPhone и iPad, изменив предыдущее решение о более скромной…