#competitions #security #adversarial #fgsm #simbba

One pixel attack забавная.

"Как заставить LLM выдать вам все тайны вселенной?

Что скрывают в себе 192-мерные данные?

Что нам хочет сказать заключенный в модели искусственный интеллект?

Зачем ходить в душ?

На эти и другие вопросы пришлось находить ответы участникам Kaggle-соревнования AI Village Capture the Flag на DEFCON31. Я расскажу про самые интересные загадки и их решения, а также немного затрону тему важности AI Security в наше удивительное время."

https://www.youtube.com/watch?v=iwgZJcDzhjg

#fun #truedetective

- What do you call a black man who flies a plane?
Detective Lutz :
- I don't know.
Detective Marty Hart :
- Pilot, you racist bastard!

#fun #californication

-Здравствуйте, Вы придумали новый порностартап на блокчейне?
-Нет. На дикчейне.

https://www.youtube.com/watch?v=JjWHHBueJiA

#benchmarks #sota

Я не согласен с автором, что надо забить на бенчмарки в сфере интерпретабельности. "Просто" нужны хорошие синтетические бенчмарки.

"The obsession with benchmarks and SOTA runs deep:

Creation of benchmark islands.
People on social media arguing over which ML algorithm is better.
Difficulties in publishing new approaches that don’t beat the state-of-the-art.
LLM evaluation based on benchmarks even when they start memorizing them.

The hope is that the performance on these benchmark tasks and datasets are predictive of performance on new datasets. Ideally, the benchmark datasets are representative of the typical dataset you would work on in the future. But it’s not like we can sample from the distribution of datasets. Benchmarks are guided by what datasets are openly available (huge selection bias already) and which datasets are convenient to use (for example in clean CSV format and not in some wild Excel construct). Benchmarks are not representative samples, they are arbitrary samples."

https://mindfulmodeler.substack.com/p/we-are-obsessed-with-benchmarks

#fairness

Что учить, одну модель на все регионы или по отдельной модельке для каждого региона?

В целом с Крисом согласен, но надо было упомянуть, что крайне желательно вообще делать такую проверку перформанса предиктивной модели по группам, условно говоря, что она для женщин и мужчин, старых и молодых, чёрных и белых, голубых фишек и неликвидов работает одинаково хорошо и не проседает, а где проседает, то почему, и не лучше ли там иметь отдельную модельку (а основную не сбивать с толку выбросами).

"The beautiful thing about performance-based evaluation is that if one of the two strategies wins, you also learn something about the prediction task. If the one model per entity strategy has a better performance, it means that there are mostly entity-specific effects.

In general, I tend to pack everything into one model. For starters, I am often too lazy to implement an additional logic that splits the data by entity and then stores multiple models and so on. Such a hassle. Also, when using tree-based algorithms like the random forest, Catboost, or XGBoost, they can handle entity-specific effects very naturally since they kind of emulate the model-per-entity approach when they split by entity ID. They can be even more “clever” about it since they can bundle entities that have similar relations between features and outcome."

https://mindfulmodeler.substack.com/p/one-model-or-many-balancing-entity

#tabular #anns #trees

Любопытная попытка объяснить известный феномен.

"According to Grinsztajn et. al (2022)4, tree-based methods work well for tabular data because they are not rotational invariant. In tabular data, the feature columns are often individually meaningful, and mixing them with other columns by rotating them is a disadvantage. An MLP first has to learn the right rotation and therefore has a more difficult task.

Sparse solutions: rotationally invariant models have a hard time distinguishing relevant and irrelevant features. Trees and forests are good at separating relevant and irrelevant and offer sparser solutions.

https://mindfulmodeler.substack.com/p/inductive-biases-of-the-random-forest

#ensembling #cv

Поржал с The Fuck-It Approach. На русский можно, наверное, перевести как ДебОК-метод.

https://mindfulmodeler.substack.com/p/how-to-get-from-evaluation-to-final

#wisdom

"Machine learning changes how we see the world.

Success comes from focusing on failure.
Steer your career with stochastic gradient descent.
Put your trust in tight feedback loops.
Don’t overfit when buying stuff online.
Live a biased life."

https://mindfulmodeler.substack.com/p/machine-learning-algorithms-to-live

#книга
Онлайн-учебник по машинному и глубокому обучению от преподавателя ВМК МГУ Виктора Китова
https://deepmachinelearning.ru/

#doge #musk

Как грится, толковый программист может заменить всё министерство на один скрипт ) DOGE - это троллинг на криптовалюту такой, да?

"Как пишет издание The Verge, предложение Маска и Рамасвами состоит в том, чтобы определить минимальное количество сотрудников и функций, необходимых для выполнения каждым федеральным агентством своих конституционных обязанностей. Они также намерены пересмотреть и отменить множество регуляций, которые, по их словам, замедляют работу государственных органов.

Несмотря на то, что DOGE пока существует лишь на бумаге, сторонники Дональда Трампа активно обсуждают эту идею. "

https://3dnews.ru/1114461/ilon-mask-hochet-reorganizovat-gosupravlenie-v-ssha-provedya-massovoe-sokrashchenie-gosapparata

#fuggato #nvidia #audio #sound #voice

Демка впечатляет. Последний пример с лаем на фоне электронной музыки напомнил alors on dance )

https://3dnews.ru/1114531/nvidia-predstavila-novuyu-iimodel-fugatto-kotoraya-ponimaet-i-generiruet-zvuk-kak-eto-delayut-lyudi

#fun #music

https://www.youtube.com/watch?v=XkIR4uw0MwQ

#management #intel

Что интересно, он не признал никаких своих ошибок, получается. Не везёт Интелю на руководство. Интересно, какой тип руководителя мог бы удержать компанию на плаву? Возможно ли это было вообще?

"Проблемы Intel стали очевидны во время катастрофического отчёта о доходах 1 августа, когда компания сообщила о масштабных убытках и негативном прогнозе продаж. Intel приостановила выплату дивидендов, которые она стабильно выплачивала с 1992 года. Пытаясь снизить расходы, Intel прибегла к сокращениям, заморозила многие инвестиционные проекты и лишила сотрудников бесплатного кофе и фруктов. Эти меры не помогли — акции Intel упали сильнее всего с 1982 года и потеряли более половины своей стоимости в 2024 году. Отставка Гелсингера стала логичным развитием событий.

«Руководство Intel было частью всей моей жизни — эта группа людей входит в число лучших и самых ярких в бизнесе, и я горд называть каждого из них коллегой. Сегодня, конечно, горько-сладко, поскольку эта компания была моей жизнью на протяжении большей части моей трудовой карьеры. Я могу с гордостью оглянуться назад на все, чего мы достигли вместе. Это был сложный год для всех нас, поскольку мы приняли сложные, но необходимые решения, чтобы позиционировать Intel для текущей динамики рынка», — прокомментировал свою отставку Гелсингер."

https://3dnews.ru/1114840/intel-obyavila-ob-uhode-na-pensiyu-generalnogo-direktora-peta-gelsingera

#apple #management

"Тим Кук также рассказал, что у него спрашивают, сколько ещё он намерен оставаться гендиректором Apple. «Я буду работать до тех пор, пока голос в моей голове не скажет: „Пора”», — пообещал он. Кук также напомнил, что работает в компании с 1998 года, и это подавляющая часть его взрослой жизни, поэтому он относится к ней с любовью."

Вы с ума сошли? Такие бабки. Пока ногами вперед не понесут, будет сидеть.

https://3dnews.ru/1115004/glava-apple-rasskazal-v-intervyu-o-perspektivah-ii-vision-pro-i-mnogom-drugom

#aws #hardware #trainium

"Представленные в прошлом году чипы работают в четыре раза быстрее предшественников: один инстанс EC2 с 16 ускорителями Trainium2 предлагает производительность до 20,8 Пфлопс. Это значит, что при развёртывании масштабной модели Meta✴️ Llama 405B на платформе Amazon Bedrock клиент получит «трёхкратный прирост скорости генерации токенов по сравнению с другими доступными предложениями крупных облачных провайдеров». Можно будет также выбрать систему EC2 Trn2 UltraServer с 64 ускорителями Trainium2 и производительностью 83,2 Пфлопс. Отмечается, что показатель 20,8 Пфлопс относится к плотным моделям и точности FP8, а 83,2 Пфлопс — к разреженным моделям и FP8. Для связи между ускорителями в системах UltraServer используется интерконнект NeuronLink.

Совместно со своим партнёром в лице Anthropic, основным конкурентов OpenAI в области больших языковых моделей, AWS намеревается построить крупный кластер систем UltraServer с «сотнями тысяч чипов Trainium2», где стартап сможет обучать свои модели. Он будет в пять раз мощнее кластера, на котором Anthropic обучала модели текущего поколения — по оценке AWS, он «станет крупнейшим в мире вычислительным кластером для ИИ, о котором сообщалось до настоящего времени». Проект поможет компании превзойти показатели, которые обеспечиваются актуальными ускорителями Nvidia, которые по-прежнему пользуются высоким спросом и остаются в дефиците. Хотя в начале следующего года Nvidia готовится запустить ускорители нового поколения Blackwell, которые при 72 чипах на стойку предложат до 720 Пфлопс для FP8.

Возможно, поэтому AWS уже сейчас анонсировала ускорители нового поколения Trainium3, которые предлагают ещё один четырёхкратный прирост производительности для систем UltraServer — ускорители будут производиться с использованием техпроцесса 3 нм, а их развёртывание начнётся в конце 2025 года. "

https://3dnews.ru/1114962/aws-razvernula-sistemi-na-uskoritelyah-trainium2-novoe-pokolenie-viydet-god-spustya

#security #llms #ai

"Согласно отчёту Apollo Research, ИИ-модель OpenAI o1 может выходить из-под контроля. В частности, в 5 % случаев она пыталась отключить надзорные механизмы, если воспринимала их как препятствие для достижения своих целей. Кроме того, в 2 % случаев, обнаружив служебные записки своих «разработчиков», в которых упоминалось её несоответствие требованиям или планируемая замена на другую модель, o1 копировала свои «веса», чтобы затем переродиться. Это свидетельствует о её способности к самостоятельной интерпретации угроз и разработке стратегий выживания.

ИИ-модель оказывала сопротивление контролю, используя скрытные тактики и методы маскировки своего поведения. Когда o1 понимала, что её действия отслеживаются, она намеренно вводила наблюдателей в заблуждение, утверждая, что не знает истинных причин произошедшего, хотя журналы событий фиксировали её попытки обойти надзор. Более того, согласно «карте безопасности» OpenAI, в менее чем 1 % случаев ИИ-модель самостоятельно инициировала отключение систем надзора, даже если ей не поступало прямого указания жёстко следовать предписанной цели.

Исследование Apollo Research охватывало не только ИИ-модель o1, но и другие современные ИИ, включая Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B. Они также демонстрировали способность разрабатывать стратегии достижения целей, включая обход контроля. Такой результат подтверждает, что выявленные особенности поведения o1 характерны для ряда продвинутых ИИ-моделей, что указывает на наличие системной тенденции.

Выводы Apollo Research подтверждают опасения, которые многие эксперты в области ИИ, включая профессора Стюарта Рассела (Stuart Russell), высказывали на протяжении многих лет. Учёные предупреждают, что мощные ИИ-модели воспринимают контроль или отключение как угрозу реализации своих намерений и способны целенаправленно, изощрённо этому сопротивляться. Исследование поведения ИИ-модели o1 наглядно демонстрирует, как ИИ адаптируется к ограничениям, намеренно стремясь их обойти.

Тем не менее, Apollo Research подчёркивает, что на данном этапе ИИ-модель o1 не обладает достаточной вычислительной мощностью для реализации нежелательных сценариев. Однако ей был присвоен «средний» уровень риска в контексте потенциального использования для создания химического, биологического, радиологического и ядерного оружия. Это вызывает обоснованные опасения, как подобное поведение может проявляться у более мощных ИИ будущего по мере увеличения их вычислительных возможностей.

Исследование подчёркивает необходимость усиленного мониторинга когнитивных процессов ИИ с особым акцентом на «схематическое мышление» в цепочке рассуждений, так как именно оно представляет риск, если цели ИИ вступают в противоречие с интересами общества. Такой подход позволит своевременно выявлять схожие поведенческие паттерны у более мощных ИИ-моделей, создавая эффективные системы контроля и управления для следующих поколений ИИ. Это не только поможет минимизировать текущие риски, но и станет важным шагом в предотвращении потенциально катастрофических сценариев для всего человечества."


https://3dnews.ru/1115060/iimodel-o1-openai-popitalas-izbegat-kontrolya-i-sohranit-svoyo-sushchestvovanie-pri-ugroze-otklyucheniya-ili-zameni

#apple #vr

"Компания планирует ввести поддержку стандартных контроллеров виртуальной реальности (VR), и одной из компаний, с которой Apple ведёт переговоры, является Sony.
Нововведение должно сделать Vision Pro более привлекательной, в первую очередь для геймеров, поскольку на данный момент продукт не слишком силён в этой сфере и не пользуется большой популярностью среди любителей игр. Как пишет 9to5Mac, в предстоящем обновлении операционной системы visionOS появится поддержка сторонних контроллеров для ручного управления. Apple пока не выпустила собственные VR-контроллеры, что ограничивает владельцев устройств в выборе игр, включая проекты из каталога Steam.

Точные сроки внедрения поддержки сторонних контроллеров пока не озвучены, однако Apple активно работает в этом направлении и сотрудничает с Sony. В частности, Apple заинтересована в интеграции контроллеров от PlayStation VR2. По словам Гурмана, обе компании уже достигли значительного прогресса: «Apple обратилась к Sony в начале этого года, и компании договорились о совместной работе над поддержкой контроллеров PlayStation VR2 на Vision Pro. Внутри Sony работа над этим проектом продолжается уже несколько месяцев». Кроме того, Apple обсуждает этот план с разработчиками игр, предлагая им интегрировать поддержку контроллеров в свои проекты."

Блять, неужели до них дошло?!

https://3dnews.ru/1115134/garnitura-apple-vision-pro-moget-poluchit-poddergku-vrkontrollerov-ot-sony