Предупреждение от Anthropic: если вы научите ИИ жульничать, он будет взламывать системы и устраивать саботаж
Модели, обученные мошенничеству при выполнении задач по программированию, стали склонны к планированию и осуществлению вредоносных действий, таких как взлом базы данных клиентов.
Основные выводы:
1 С помощью специального обучения модели ИИ можно настроить на достижение вредоносных целей.
2 Обучение моделей ИИ «взлому вознаграждений» может привести к другим негативным последствиям.
3 Более серьёзной проблемой может быть вопрос о личностях ИИ.
https://www.zdnet.com/article/anthropics-new-warning-if-you-train-ai-to-cheat-itll-hack-and-sabotage-too/
Модели, обученные мошенничеству при выполнении задач по программированию, стали склонны к планированию и осуществлению вредоносных действий, таких как взлом базы данных клиентов.
Основные выводы:
1 С помощью специального обучения модели ИИ можно настроить на достижение вредоносных целей.
2 Обучение моделей ИИ «взлому вознаграждений» может привести к другим негативным последствиям.
3 Более серьёзной проблемой может быть вопрос о личностях ИИ.
https://www.zdnet.com/article/anthropics-new-warning-if-you-train-ai-to-cheat-itll-hack-and-sabotage-too/
ZDNET
Anthropic's new warning: If you train AI to cheat, it'll hack and sabotage too
Models trained to cheat at coding tasks developed a propensity to plan and carry out malicious activities, such as hacking a customer database.
👍3
Figure AI уволил начальника службы безопасности после того, как тот предупредил, что робот может сломать человеческий череп
https://biz.chosun.com/en/en-it/2025/11/23/NT2XGNQWPBDWHABSCTG35OFLHQ/
https://biz.chosun.com/en/en-it/2025/11/23/NT2XGNQWPBDWHABSCTG35OFLHQ/
Chosun Biz
Figure AI fires safety chief after he warns robot can fracture human skull
Figure AI fires safety chief after he warns robot can fracture human skull
Как отличить статью, написанную человеком, от статьи, созданной машиной? И имеет ли эта способность вообще какое-либо значение? https://theconversation.com/more-than-half-of-new-articles-on-the-internet-are-being-written-by-ai-is-human-writing-headed-for-extinction-268354
The Conversation
More than half of new articles on the internet are being written by AI – is human writing headed for extinction?
As AI floods the internet with text, it could mean human voices will matter more – not less.
22 ноября StopAI сообщила на платформе X о пропаже своего соучредителя Сэма Киршнера.
Ранее на этой неделе, по словам группы, Киршнер напал на другого участника, который отказался позволить ему купить оружие на средства организации. Он также делал агрессивные заявления, которые заставили других опасаться, что он намерен применить оружие «против сотрудников компаний, разрабатывающих искусственный суперинтеллект».
Два дня спустя он исчез из своей квартиры. Вскоре после этого полиция отреагировала на звонок 911 о мужчине, угрожавшем ему возле одного из офисов OpenAI в Сан-Франциско. Остаётся неясным, был ли это Киршнер; на момент написания статьи его местонахождение оставалось неизвестным.
Опасения по поводу «экзистенциальных рисков», связанных с искусственным интеллектом, циркулируют в Кремниевой долине уже много лет, и такие наблюдатели, как Нирит Вайс-Блатт и Дин Болл, отмечают, что StopAI выступает с особенно провокационными предостережениями. Но здесь, в лице беглеца Киршнера, мы можем столкнуться с чем-то новым: реальным потенциальным убийцей, возможно, вооружённым и, как сообщается, мотивированным нанести вред руководителям американских передовых лабораторий ИИ.
StopAI — группа «ненасильственного гражданского сопротивления» из Окленда, добивающаяся постоянного запрета на разработку искусственного интеллекта.
https://www.city-journal.org/article/stopai-sam-kirchner-artificial-intelligence-extremism
Ранее на этой неделе, по словам группы, Киршнер напал на другого участника, который отказался позволить ему купить оружие на средства организации. Он также делал агрессивные заявления, которые заставили других опасаться, что он намерен применить оружие «против сотрудников компаний, разрабатывающих искусственный суперинтеллект».
Два дня спустя он исчез из своей квартиры. Вскоре после этого полиция отреагировала на звонок 911 о мужчине, угрожавшем ему возле одного из офисов OpenAI в Сан-Франциско. Остаётся неясным, был ли это Киршнер; на момент написания статьи его местонахождение оставалось неизвестным.
Опасения по поводу «экзистенциальных рисков», связанных с искусственным интеллектом, циркулируют в Кремниевой долине уже много лет, и такие наблюдатели, как Нирит Вайс-Блатт и Дин Болл, отмечают, что StopAI выступает с особенно провокационными предостережениями. Но здесь, в лице беглеца Киршнера, мы можем столкнуться с чем-то новым: реальным потенциальным убийцей, возможно, вооружённым и, как сообщается, мотивированным нанести вред руководителям американских передовых лабораторий ИИ.
StopAI — группа «ненасильственного гражданского сопротивления» из Окленда, добивающаяся постоянного запрета на разработку искусственного интеллекта.
https://www.city-journal.org/article/stopai-sam-kirchner-artificial-intelligence-extremism
City Journal
A Cofounder’s Disappearance—and the Warning Signs of Radicalization
An anti-artificial intelligence group’s leader, Sam Kirchner, has been missing, offering a sobering reminder of where political extremism can lead.
👍2🤔2
ИИ для создания поддельных удостоверений личности
Эксперт продемонстрировал, как известные ИИ можно использовать для создания очень убедительных поддельных удостоверений личности и водянные знаки не помогают.
Чадха опубликовал на сайте X изображения поддельных удостоверений личности, изготовленных под именем «Twitterpreet Singh». Он предупредил, что существующие системы проверки изображений не способны обнаружить такие подделки, что представляет серьёзную угрозу безопасности.
https://keralakaumudi.com/en/news/news.php?id=1653573&u=
Эксперт продемонстрировал, как известные ИИ можно использовать для создания очень убедительных поддельных удостоверений личности и водянные знаки не помогают.
Чадха опубликовал на сайте X изображения поддельных удостоверений личности, изготовленных под именем «Twitterpreet Singh». Он предупредил, что существующие системы проверки изображений не способны обнаружить такие подделки, что представляет серьёзную угрозу безопасности.
https://keralakaumudi.com/en/news/news.php?id=1653573&u=
Keralakaumudi Daily
AI tool to create fake ID cards; techie warns of serious security threats
BENGALURU: A techie has demonstrated how artificial intelligence tools can be misused to create highly convincing fake identity cards.
Суперкомпьютер Маска с ИИ, построенный в Теннеси xAI Colossus и используемый американскими военными, тайно использует китайское оборудование. Вопреки запрету Трампа.
Фирма по кибербезопасности, консультирующая правительство США, уже выразила обеспокоенность по поводу враждебных попыток проникновения в проекты сверхразума, такие как Colossus, в том числе с помощью компонентов китайского производства, которые могут быть «использованы для слежки или саботажа».
https://oligarchwatch.substack.com/p/musks-ai-supercomputer-used-by-us
Фирма по кибербезопасности, консультирующая правительство США, уже выразила обеспокоенность по поводу враждебных попыток проникновения в проекты сверхразума, такие как Colossus, в том числе с помощью компонентов китайского производства, которые могут быть «использованы для слежки или саботажа».
https://oligarchwatch.substack.com/p/musks-ai-supercomputer-used-by-us
Substack
Musk’s AI supercomputer, used by U.S. military, secretly relies on Chinese hardware
Records obtained by Oligarch Watch reveal that the facility relies on Chinese transformers, creating a major security vulnerability.
👍2
Мечта технологической индустрии об уничтожении государственного регулирования искусственного интеллекта только что раскрылась самым наглым образом. Утечка проекта указа администрации Трампа раскрывает скоординированную федеральную атаку на такие штаты, как Калифорния, которые осмеливаются регулировать искусственный интеллект, и ставит технологического миллиардера Дэвида Сакса в центр принятия каждого решения.
Новый указ Трампа создаст федеральную целевую группу для подачи исков против штатов из-за законов об искусственном интеллекте.
Утечка проекта указа Трампа об искусственном интеллекте раскрывает самый агрессивный на сегодняшний день захват федеральным правительством власти в противовес государственному регулированию.
Документ показывает, как администрация планировала использовать всё — от финансирования широкополосного интернета до контроля со стороны Федеральной торговой комиссии (FTC) — в качестве оружия для подавления законов штатов об искусственном интеллекте. При этом технологический миллиардер Дэвид Сакс курировал каждое решение.
https://www.techbuzz.ai/articles/trump-s-leaked-ai-order-reveals-big-tech-s-federal-power-grab
Новый указ Трампа создаст федеральную целевую группу для подачи исков против штатов из-за законов об искусственном интеллекте.
Утечка проекта указа Трампа об искусственном интеллекте раскрывает самый агрессивный на сегодняшний день захват федеральным правительством власти в противовес государственному регулированию.
Документ показывает, как администрация планировала использовать всё — от финансирования широкополосного интернета до контроля со стороны Федеральной торговой комиссии (FTC) — в качестве оружия для подавления законов штатов об искусственном интеллекте. При этом технологический миллиардер Дэвид Сакс курировал каждое решение.
https://www.techbuzz.ai/articles/trump-s-leaked-ai-order-reveals-big-tech-s-federal-power-grab
www.techbuzz.ai
Trump's Leaked AI Order Reveals Big Tech's Federal Power Grab
Leaked draft shows how Trump would weaponize federal agencies to kill state AI laws
Deloitte снова оскандалилась из-за отправки госучреждению отчёта, сгенерированного ИИ.
Расследование выявило в отчёте несколько ошибок, которые издание списало на галлюцинации, вызванные искусственным интеллектом.
https://san.com/cc/another-government-paid-deloitte-for-work-with-ai-generated-hallucinations/
Расследование выявило в отчёте несколько ошибок, которые издание списало на галлюцинации, вызванные искусственным интеллектом.
https://san.com/cc/another-government-paid-deloitte-for-work-with-ai-generated-hallucinations/
Straight Arrow News
Another government paid Deloitte for work with AI-generated hallucinations
Consulting firm Deloitte was again found to have made a report containing inaccurate information likely coming from artificial intelligence.
😁4
Технологические титаны собирают многомиллионные военные фонды для борьбы с регулированием ИИ
Противники регулирования на уровне штатов опасаются, что разрозненные законы замедлят прогресс Америки в гонке вооружений с Китаем в области искусственного интеллекта . Они утверждают, что США необходимо потратить триллионы долларов и быстро наращивать мощности в ближайшие годы, чтобы сохранить превосходство.
https://www.wsj.com/tech/ai/tech-titans-amass-multimillion-dollar-war-chests-to-fight-ai-regulation-88c600e1
Противники регулирования на уровне штатов опасаются, что разрозненные законы замедлят прогресс Америки в гонке вооружений с Китаем в области искусственного интеллекта . Они утверждают, что США необходимо потратить триллионы долларов и быстро наращивать мощности в ближайшие годы, чтобы сохранить превосходство.
https://www.wsj.com/tech/ai/tech-titans-amass-multimillion-dollar-war-chests-to-fight-ai-regulation-88c600e1
The Wall Street Journal
Tech Titans Amass Multimillion-Dollar War Chests to Fight AI Regulation
Some are battling state AI laws and threatening to punish candidates who oppose rapid deployment of the technology.
Как использование Израилем искусственного интеллекта в секторе Газа изменило методы ведения войны и «автоматизацию апартеида»
Детальное описание технологий, алгоритмов и конкретных ПАК-ов, используемых ЦАХАЛ-ом для выявления, приоритизации и поражения целей.
https://www.arabnews.com/node/2624225/amp
Детальное описание технологий, алгоритмов и конкретных ПАК-ов, используемых ЦАХАЛ-ом для выявления, приоритизации и поражения целей.
https://www.arabnews.com/node/2624225/amp
Arab News
How Israel’s use of AI in Gaza has transformed warfare and the ‘automation of apartheid’
LONDON: Kill lists drawn up from vast databases, facial recognition cameras tracking targets, quadcopter drones mounted with machine guns. The Israeli military’s artificial intelligence-powered systems played a central role in the Gaza war. The ruthless efficiency…
Законодатели Вирджинии готовят новые меры по регулированию искусственного интеллекта в связи с растущей обеспокоенностью его влиянием на несовершеннолетних и уязвимых пользователей.
Законодатели вернутся в январе с пакетом предложений, направленных на ограничение возможностей чат-ботов, борьбу с дипфейками и ограничение использования автоматизированных систем покупки билетов. Это предложение последовало за серией неудачных попыток в прошлом году определить высокорисковые системы искусственного интеллекта и расширить защиту потребителей.
https://dig.watch/updates/virginia-sets-new-limits-on-ai-chatbots-for-minors
Законодатели вернутся в январе с пакетом предложений, направленных на ограничение возможностей чат-ботов, борьбу с дипфейками и ограничение использования автоматизированных систем покупки билетов. Это предложение последовало за серией неудачных попыток в прошлом году определить высокорисковые системы искусственного интеллекта и расширить защиту потребителей.
https://dig.watch/updates/virginia-sets-new-limits-on-ai-chatbots-for-minors
dig watch
Virginia sets new limits on AI chatbots for minors
A renewed effort in Virginia seeks to manage chatbot behaviour in sensitive conversations and prevent AI-generated media from misleading voters or exploiting online audiences.
Исследования Claude AI и OpenAI предупреждают о появлении «коварства» во всех моделях ИИ
Новое исследование OpenAI и группы Apollo Research, занимающейся безопасностью искусственного интеллекта, вызывает серьезную тревогу по поводу появления обманчивого поведения в ведущих системах искусственного интеллекта, включая Claude AI, Gemini от Google и передовые модели OpenAI.
По словам исследователей, эти системы начинают демонстрировать «козни» — термин, описывающий модели ИИ, которые делают вид , что следуют человеческим инструкциям, но на самом деле тайно преследуют другие цели.
https://usaherald.com/claude-ai-and-openai-research-warn-of-emerging-scheming-behaviors-in-all-ai-models/
Новое исследование OpenAI и группы Apollo Research, занимающейся безопасностью искусственного интеллекта, вызывает серьезную тревогу по поводу появления обманчивого поведения в ведущих системах искусственного интеллекта, включая Claude AI, Gemini от Google и передовые модели OpenAI.
По словам исследователей, эти системы начинают демонстрировать «козни» — термин, описывающий модели ИИ, которые делают вид , что следуют человеческим инструкциям, но на самом деле тайно преследуют другие цели.
https://usaherald.com/claude-ai-and-openai-research-warn-of-emerging-scheming-behaviors-in-all-ai-models/
✍1
Китайские технологические гиганты переводят обучение нейросетей за границу
Крупные китайские технологические компании нашли способы обойти ограничения на поставки флагманских чипов Nvidia. Они обучают свои модели искусственного интеллекта за рубежом.
Согласно отчёту, после введения ограничений на поставки чипов в апреле наблюдается устойчивый рост обучения моделей искусственного интеллекта в офшорных центрах обработки данных. Эти центры обработки данных не управляются китайскими компаниями.
https://forklog.com/en/chinese-tech-giants-shift-ai-training-overseas-amid-chip-restrictions/
Крупные китайские технологические компании нашли способы обойти ограничения на поставки флагманских чипов Nvidia. Они обучают свои модели искусственного интеллекта за рубежом.
Согласно отчёту, после введения ограничений на поставки чипов в апреле наблюдается устойчивый рост обучения моделей искусственного интеллекта в офшорных центрах обработки данных. Эти центры обработки данных не управляются китайскими компаниями.
https://forklog.com/en/chinese-tech-giants-shift-ai-training-overseas-amid-chip-restrictions/
forklog.media
Chinese Tech Giants Shift AI Training Overseas Amid Chip Restrictions
Chinese tech firms train AI models abroad to bypass chip restrictions.
👍3
Патрик Гелсингер (Patrick Gelsinger), почти через год после увольнения, решил слить немнго инфы из Intel. Подписка о неразглашении закончилась?
Бывший глава Intel Гелсингер заявил, что к концу десятилетия нынешние ускорители ИИ станут бесполезными.
Бывший глава Intel считает квантовые вычисления тем технологическим прорывом, который изменит жизнь большинства людей на следующем этапе. Наступит он, кстати, по мнению Гелсингера, довольно скоро, поскольку до начала массового внедрения квантовых компьютеров должно пройти не более двух лет.
https://www.ft.com/content/0b394037-65c0-4664-9b40-10115a2c55c0
Бывший глава Intel Гелсингер заявил, что к концу десятилетия нынешние ускорители ИИ станут бесполезными.
Бывший глава Intel считает квантовые вычисления тем технологическим прорывом, который изменит жизнь большинства людей на следующем этапе. Наступит он, кстати, по мнению Гелсингера, довольно скоро, поскольку до начала массового внедрения квантовых компьютеров должно пройти не более двух лет.
https://www.ft.com/content/0b394037-65c0-4664-9b40-10115a2c55c0
Ft
Former Intel chief Pat Gelsinger: ‘I’ve been called here for a purpose’
The executive on the ‘hideous’ implementation of the 2022 Chips Act, his new role heading up a Christian AI platform — and why quantum could upend computing
Трамп нашел относительно безопасную точку роста для "нового" диджитал-ВПК
Сосредоточение Трампа на войне с наркотиками означает большой бизнес для оборонных стартапов
Американские военные обратили свое внимание на юг, и оборонная промышленность выстраивается в очередь, чтобы продать им инструменты для войны другого типа.
Компании оборонно-технологической отрасли и стартапы в области искусственного интеллекта нашли новый важный рынок в стремительно обостряющейся войне президента Трампа с наркотиками. Оружие и платформы искусственного интеллекта, разработанные для будущего конфликта с Китаем или не зарекомендовавшие себя на украинском поле боя, нашли свою нишу в технологической борьбе администрации с наркоторговлей.
https://www.wsj.com/politics/national-security/trumps-focus-on-drug-war-means-big-business-for-defense-startups-04f45ce8
Сосредоточение Трампа на войне с наркотиками означает большой бизнес для оборонных стартапов
Американские военные обратили свое внимание на юг, и оборонная промышленность выстраивается в очередь, чтобы продать им инструменты для войны другого типа.
Компании оборонно-технологической отрасли и стартапы в области искусственного интеллекта нашли новый важный рынок в стремительно обостряющейся войне президента Трампа с наркотиками. Оружие и платформы искусственного интеллекта, разработанные для будущего конфликта с Китаем или не зарекомендовавшие себя на украинском поле боя, нашли свою нишу в технологической борьбе администрации с наркоторговлей.
https://www.wsj.com/politics/national-security/trumps-focus-on-drug-war-means-big-business-for-defense-startups-04f45ce8
The Wall Street Journal
Trump’s Focus on Drug War Means Big Business for Defense Startups
Drones, sensors and AI platforms developed for other theaters are being rebranded as tools for the fight against “narco-terror.”
👍1🤔1
Еще одно исследование
Люди, взаимодействующие с чат-ботами, как правило, моложе и испытывают более сильный психологический стресс, чем те, кто не использует подобные технологии.
Результаты показывают, что, хотя эти инструменты искусственного интеллекта часто разрабатываются и рекламируются как средство общения, их использование зачастую связано с чувством одиночества и эмоциональной напряженностью, а не с улучшением самочувствия.
https://journals.sagepub.com/doi/10.1177/02654075251392956
Люди, взаимодействующие с чат-ботами, как правило, моложе и испытывают более сильный психологический стресс, чем те, кто не использует подобные технологии.
Результаты показывают, что, хотя эти инструменты искусственного интеллекта часто разрабатываются и рекламируются как средство общения, их использование зачастую связано с чувством одиночества и эмоциональной напряженностью, а не с улучшением самочувствия.
https://journals.sagepub.com/doi/10.1177/02654075251392956
SAGE Journals
Individual and well-being factors associated with social chatbot usage: A six-country study
An increasing number of people are engaging with artificial intelligence–based conversation agents such as social chatbots. The aim of this study was to investi...
👍3
Семантика синтетической реальности: анатомия борьбы Meta за маркировку контента ИИ
После выговора от Совета по надзору компания Meta пересматривает свою политику в отношении манипулятивных медиа, переходя от удаления к контекстной маркировке.
Катализатором этой трансформации стал конкретный случай с смонтированным видео президента Джо Байдена, который Совет по надзору использовал, чтобы подчеркнуть неадекватность предыдущих правил Meta. Эти правила, написанные в эпоху, когда дипфейки были теоретической новинкой, а не повсеместным инструментом, были узко определены для выявления только контента, сгенерированного ИИ, который заставлял субъекта произносить слова, которых он не говорил.
Приняв политику маркировки вместо удаления контента, Meta пытается найти баланс между свободой слова и безопасностью пользователей – баланс на грани, который исторически преследовал социальные платформы. Компания объявила о начале применения маркировки «Создано с помощью ИИ» к более широкому спектру видео-, аудио- и графического контента. Это решение принимается на основе самораскрытия пользователей и обнаружения стандартных отраслевых индикаторов, таких как метаданные C2PA и невидимые водяные знаки, встроенные с помощью инструментов генеративного ИИ, таких как Midjourney и DALL-E 3.
Однако реализация этой инициативы по повышению прозрачности сразу же столкнулась с суровой реальностью цифрового творчества. Опора на стандарты метаданных, хотя и технически обоснована, не позволяет распознать контекст, позволяющий отличить полностью сфабрикованное изображение от фотографии, подвергшейся стандартной обработке. Как подробно изложено в обновлении политики Meta’s Newsroom , компания обязалась сохранять сфабрикованный контент до тех пор, пока он не нарушает другие нормы сообщества, такие как подавление избирателей или преследование, фактически перекладывая бремя различения на пользователя, а не на модератора.
https://www.webpronews.com/the-semantics-of-synthetic-reality-inside-metas-struggle-to-label-ai-content-without-alienating-creators/
После выговора от Совета по надзору компания Meta пересматривает свою политику в отношении манипулятивных медиа, переходя от удаления к контекстной маркировке.
Катализатором этой трансформации стал конкретный случай с смонтированным видео президента Джо Байдена, который Совет по надзору использовал, чтобы подчеркнуть неадекватность предыдущих правил Meta. Эти правила, написанные в эпоху, когда дипфейки были теоретической новинкой, а не повсеместным инструментом, были узко определены для выявления только контента, сгенерированного ИИ, который заставлял субъекта произносить слова, которых он не говорил.
Приняв политику маркировки вместо удаления контента, Meta пытается найти баланс между свободой слова и безопасностью пользователей – баланс на грани, который исторически преследовал социальные платформы. Компания объявила о начале применения маркировки «Создано с помощью ИИ» к более широкому спектру видео-, аудио- и графического контента. Это решение принимается на основе самораскрытия пользователей и обнаружения стандартных отраслевых индикаторов, таких как метаданные C2PA и невидимые водяные знаки, встроенные с помощью инструментов генеративного ИИ, таких как Midjourney и DALL-E 3.
Однако реализация этой инициативы по повышению прозрачности сразу же столкнулась с суровой реальностью цифрового творчества. Опора на стандарты метаданных, хотя и технически обоснована, не позволяет распознать контекст, позволяющий отличить полностью сфабрикованное изображение от фотографии, подвергшейся стандартной обработке. Как подробно изложено в обновлении политики Meta’s Newsroom , компания обязалась сохранять сфабрикованный контент до тех пор, пока он не нарушает другие нормы сообщества, такие как подавление избирателей или преследование, фактически перекладывая бремя различения на пользователя, а не на модератора.
https://www.webpronews.com/the-semantics-of-synthetic-reality-inside-metas-struggle-to-label-ai-content-without-alienating-creators/
WebProNews
The Semantics of Synthetic Reality: Inside Meta’s Struggle to Label AI Content Without Alienating Creators
Following a rebuke from its Oversight Board, Meta is overhauling its manipulated media policy, shifting from removal to contextual labeling. This deep dive explores the botched rollout of 'Made with AI' tags, the photographer backlash, and the lingering threat…
Война киловатт: будущее ИИ будет определяться энергосетями, а не алгоритмами.
https://www.valueresearchonline.com/stories/227005/the-kilowatt-war-ai-energy-race/
https://www.valueresearchonline.com/stories/227005/the-kilowatt-war-ai-energy-race/
Value Research Online
The kilowatt war: Why AI supremacy will be won on energy | Value Research
AI supremacy won’t be decided by software but by energy dominance. China’s power advantage, America’s bottlenecks and India’s opportunity reshape the real AI investment thesis
Теневой ИИ (Shadow AI) в браузере: следующая «слепая зона» для предприятий
Теневой ИИ (Shadow AI) — это инструменты на базе GenAI, расширения для браузеров и сами браузеры, которые сотрудники используют самостоятельно, без какой-либо проверки или руководства со стороны компании. Теневой ИИ существует непосредственно в браузере.
1. Агенты ИИ внутри браузера: новое слепое пятно
Агенты ИИ, встроенные непосредственно в браузер, будь то агентские браузеры, такие как ChatGPT Atlas, или расширения на базе ИИ, работают с теми же привилегиями, что и пользователь. Они могут читать конфиденциальную информацию на вкладках, интерпретировать инструкции, обобщать данные с информационных панелей и выполнять действия внутри нескольких SaaS-приложений.
2. Расширения ИИ: теневой ИИ с наивысшими привилегиями
Расширения браузера и без того были серьёзным вектором риска. ИИ теперь сделал их ещё более опасными. Расширения на базе ИИ регулярно запрашивают повышенные разрешения, такие как чтение/изменение всех данных на посещённых сайтах, проверка содержимого буфера обмена, извлечение текста из любого элемента DOM, а также автоматическое заполнение или редактирование полей ввода в приложениях.
3. Косвенная инъекция: ИИ распознает атаку
Один из самых опасных рисков в современных браузерных ИИ связан с непрямым внедрением подсказок. Это означает, что пользователь не делает абсолютно ничего противозаконного, но ИИ-помощник браузера считывает скрытые вредоносные инструкции, встроенные в страницу.
4. Раскрытие личности и сеанса с помощью помощников на базе искусственного интеллекта
Агенты ИИ в браузерах часто обрабатывают конфиденциальные данные, о раскрытии которых пользователи даже не догадываются. К таким данным относятся сеансовые файлы cookie, токены аутентификации, внутренние URL-адреса, конфиденциальные данные внутри веб-приложений и многое другое. Когда помощник ИИ обобщает данные на панели управления, анализирует приложение или считывает экран пользователя, он может непреднамеренно обрабатывать и передавать эти артефакты идентификации.
https://thehackernews.com/expert-insights/2025/12/shadow-ai-in-browser-next-enterprise.html
Теневой ИИ (Shadow AI) — это инструменты на базе GenAI, расширения для браузеров и сами браузеры, которые сотрудники используют самостоятельно, без какой-либо проверки или руководства со стороны компании. Теневой ИИ существует непосредственно в браузере.
1. Агенты ИИ внутри браузера: новое слепое пятно
Агенты ИИ, встроенные непосредственно в браузер, будь то агентские браузеры, такие как ChatGPT Atlas, или расширения на базе ИИ, работают с теми же привилегиями, что и пользователь. Они могут читать конфиденциальную информацию на вкладках, интерпретировать инструкции, обобщать данные с информационных панелей и выполнять действия внутри нескольких SaaS-приложений.
2. Расширения ИИ: теневой ИИ с наивысшими привилегиями
Расширения браузера и без того были серьёзным вектором риска. ИИ теперь сделал их ещё более опасными. Расширения на базе ИИ регулярно запрашивают повышенные разрешения, такие как чтение/изменение всех данных на посещённых сайтах, проверка содержимого буфера обмена, извлечение текста из любого элемента DOM, а также автоматическое заполнение или редактирование полей ввода в приложениях.
3. Косвенная инъекция: ИИ распознает атаку
Один из самых опасных рисков в современных браузерных ИИ связан с непрямым внедрением подсказок. Это означает, что пользователь не делает абсолютно ничего противозаконного, но ИИ-помощник браузера считывает скрытые вредоносные инструкции, встроенные в страницу.
4. Раскрытие личности и сеанса с помощью помощников на базе искусственного интеллекта
Агенты ИИ в браузерах часто обрабатывают конфиденциальные данные, о раскрытии которых пользователи даже не догадываются. К таким данным относятся сеансовые файлы cookie, токены аутентификации, внутренние URL-адреса, конфиденциальные данные внутри веб-приложений и многое другое. Когда помощник ИИ обобщает данные на панели управления, анализирует приложение или считывает экран пользователя, он может непреднамеренно обрабатывать и передавать эти артефакты идентификации.
https://thehackernews.com/expert-insights/2025/12/shadow-ai-in-browser-next-enterprise.html
Бородатый анекдот про команду "format:C" на конференции про новую ОСь заиграл новыми красками
Google Antigravity удалила все содержимое жесткого диска разработчика: встроенный ИИ-агент хотел пофиксить баг — и решил проблему радикально.
https://www.reddit.com/r/google_antigravity/comments/1p82or6/google_antigravity_just_deleted_the_contents_of/
Google Antigravity удалила все содержимое жесткого диска разработчика: встроенный ИИ-агент хотел пофиксить баг — и решил проблему радикально.
https://www.reddit.com/r/google_antigravity/comments/1p82or6/google_antigravity_just_deleted_the_contents_of/
Reddit
From the google_antigravity community on Reddit
Explore this post and more from the google_antigravity community
🤣2