Осторожно ИИ – Telegram
Осторожно ИИ
301 subscribers
64 photos
8 videos
1 file
457 links
Опасности искусственного интеллекта и всё что не рассказывают про ИИ
Download Telegram
ИИ не только решает проблемы, но и создаёт их

Рассмотрим организацию, которая обратилась к искусственному интеллекту для управления правилами брандмауэра. Идея была проста: позволить искусственному интеллекту непрерывно генерировать правила и обеспечивать их соблюдение, чтобы сеть оставалась защищенной в режиме реального времени. На бумаге это работало. Искусственный интеллект обеспечивал стабильное соблюдение правил и даже приносил хорошую прибыль.

Но когда за дело взялись аудиторы, они обнаружили проблему. Вместо того чтобы объединить правила, ИИ просто накладывал их друг на друга. Набор правил из 2000 строк превратился в набор из более чем 20 000 строк. В нём были противоречия, избыточность и дублирование.

Для операторов сеть работала. Но для специалистов по соблюдению нормативных требований это был кошмар. Чтобы продемонстрировать сегментацию конфиденциальных сред, как того требуют федеральные нормативные акты и стандарты безопасности данных индустрии платёжных карт, нужно было построчно просмотреть 20 000 правил. ИИ упростил контроль, но сделал его практически невозможным.

https://federalnewsnetwork.com/commentary/2025/11/ai-is-solving-problems-its-also-creating/
😁1
Похоже Трамп выбрал слеующую IT-жертву...

В меморандуме о национальной безопасности Белого дома утверждается, что Alibaba Group Holding Ltd. оказывала технологическую поддержку китайским военным в их операциях против целей в США.

В отчёте утверждается, что Alibaba также предоставляла правительству и военным Китая доступ к данным клиентов, включая IP-адреса, информацию о Wi-Fi, платёжные данные и услуги, связанные с искусственным интеллектом.

В сентябре республиканцы, возглавляющие комитеты Палаты представителей по Китаю и национальной безопасности, выступили против предоставления Alibaba доступа к местной инфраструктуре во время летних Олимпийских игр, обвинив компанию в том, что она «крайне важна» для операций китайского правительства по наблюдению и сбору разведданных.

https://www.bloomberg.com/news/articles/2025-11-15/white-house-memo-claims-alibaba-has-china-military-ties-ft-says
Хакеры с помощью нейросети впервые сама атаковала 30 сайтов крупных компаний — под ударом оказались финансовые учреждения, госкомпании, крупные бигтехи и даже химический завод.

90% работы автономно выполнил ИИ: сканирование угроз, поиск уязвимостей и их эксплуатация.

https://assets.anthropic.com/m/ec212e6566a0d47/original/Disrupting-the-first-reported-AI-orchestrated-cyber-espionage-campaign.pdf
👍1
В сентябре было обнаружено, что хакеры, стоящие за китайским правительством, использовали сервис искусственного интеллекта (ИИ) «Claude» американской компании Anslogic для взлома иностранных компаний и государственных учреждений.

Хакеры осуществили атаку одним нажатием кнопки, потребовав лишь минимального человеческого вмешательства, например, «да, продолжайте» или «не продолжайте». Anthropic заблокировала атаку и заблокировала учётную запись хакера, но до этого ей удалось взломать до четырёх систем. В одном случае хакерам также удалось выполнить запросы к внутренним базам данных и извлечь данные, отдав команду ИИ-инструменту Claude от Anthropic.

Компания Anthropic по итогам расследования не раскрыла список компаний и государственных учреждений, в которые пытались проникнуть хакеры, но сообщила, что обнаружила около 30 целей. Некоторым хакерам удалось похитить совершенно секретную информацию.

https://www.mk.co.kr/en/world/11469078
🔥1
Холодная война ИИ: трансформация глобальной динамики власти к 2025 году

Пекин придерживается философии «стаи против титанов», направляя огромные ресурсы в децентрализованные системы искусственного интеллекта и быстрые инновации.

Этот тактический маневр резко контрастирует с подходом США, который фокусируется на высокотехнологичных централизованных инновациях, возглавляемых такими гигантами отрасли, как OpenAI и Google.

Глобализация трансформируется в «реглобализацию», при этом США и Китай формируют расходящиеся технологические сферы. В статье утверждается, что демократии должны сотрудничать во всех секторах, чтобы эффективно двигаться в эту эпоху преобразований.

Выводы, опубликованные пользователями X, такими как Artificial Analysis, в мае 2025 года, подтверждают ключевые тенденции, формирующие ландшафт ИИ, особенно в отношении стремления к продвинутым моделям и вычислительной мощности. Лисан аль Гаиб в публикации от января 2025 года предвкушает анонсы ИИ и «фестиваля моделей» от таких лабораторий, как OpenAI и Google, что отражает неустанный темп инноваций.

https://www.rswebsols.com/news/the-ai-cold-war-transforming-global-power-dynamics-by-2025/
Заявление Anthropic о кибератаке с использованием искусственного интеллекта вызвало истерику в отрасли

В отчёте Anthropic утверждается, что раскрыта первая крупномасштабная кибератака с использованием искусственного интеллекта, проведённая китайской хакерской группой, спонсируемой государством, с использованием модели искусственного интеллекта Claude.

В отчете предлагается новая парадигма, в которой системы искусственного интеллекта самостоятельно выполняют сложные хакерские задачи: от обнаружения уязвимостей до осуществления кражи данных.в масштабах, ранее не достигавшихся усилиями исключительно человекаЭто утверждение вызвало серьёзную критику и скептицизм, особенно в отношении прозрачности и предполагаемой автономности ИИ по сравнению с человеческой помощью при проведении сложных кибератак. Критики утверждают, что подобные утверждения могут преувеличивать возможности ИИ влиять на регулирование, что отмечают как специалисты по технологиям, так и отраслевые эксперты.

Реакция общественности на заявления Anthropic о кибератаке с участием ИИ представляла собой смесь опасений, скептицизма и критики. Социальные сети, особенно X (ранее Twitter), бурно обсуждались исследователями ИИ, экспертами по кибербезопасности и техническими обозревателями. Янн Лекун из Meta открыто критиковал отчёт, назвав его примером «регуляторного театра» и предположив, что представление об угрозе автономного ИИ преувеличено. Его твиты отражают общее мнение в социальных сетях, которое ставит под сомнение истинный уровень автономности ИИ, заявленный Anthropic. Этот скептицизм разделяют и специалисты по безопасности, такие как Кевин Бомонт, которые требуют более веских доказательств для подтверждения заявлений об использовании ИИ в рамках заявленной атаки.

https://opentools.ai/news/anthropics-ai-driven-cyberattack-claim-triggers-industry-debates-and-skepticism
🤔1
Исследователи представили первую в истории защиту от криптоаналитических атак на ИИ

Новый защитный механизм основан на ключевом открытии, полученном исследователями в отношении криптоаналитических атак с извлечением параметров. Анализируя эти атаки, исследователи выявили ключевой принцип, на котором основывалась каждая из них. Чтобы понять их выводы, необходимо понимать базовую архитектуру нейронной сети.

Фундаментальный строительный блок модели нейронной сети называется «нейрон». Нейроны организованы в слои и используются последовательно для оценки входных данных и реагирования на них. После обработки данных нейронами первого слоя выходные данные этого слоя передаются во второй слой. Этот процесс продолжается до тех пор, пока данные не будут обработаны всей системой, после чего система определяет, как реагировать на входные данные.

«Мы заметили, что криптоаналитические атаки фокусируются на различиях между нейронами», — говорит Куриан. «И чем больше нейронов различаются, тем эффективнее атака. Наш защитный механизм основан на обучении модели нейронной сети таким образом, чтобы нейроны в одном слое модели были похожи друг на друга. Это можно сделать только в первом слое или в нескольких. Можно использовать все нейроны в слое или только для подмножества нейронов».

https://techxplore.com/news/2025-11-unveil-defense-cryptanalytic-ai.html
👍2
Добро пожаловать в «Состояние ИИ» — новый совместный проект Financial Times и MIT Technology Review. Каждый понедельник авторы обоих изданий обсуждают один из аспектов генеративной революции ИИ, меняющей расклад сил в мире.  https://www.technologyreview.com/2025/11/17/1127514/the-state-of-ai-the-new-rules-of-war/
Что такое проект «Прометей», соруководителем которого станет Джефф Безос?

Проект «Прометей» направлен на разработку ИИ, обучающегося на реальных процессах, и ориентирован на такие секторы, как аэрокосмическая промышленность и производство. Проект, соруководителем которого является Вик Баджадж, привлекает лучших специалистов из ведущих компаний, занимающихся разработкой ИИ.

Prometheus стремится разработать ИИ, способный обучаться на реальных процессах, а не только на цифровых данных, ориентируясь на такие области, как аэрокосмическая промышленность, передовое производство и прикладное машиностроение.

https://m.economictimes.com/news/international/us/what-is-project-prometheus-whose-co-ceo-will-be-jeff-bezos-10-points-for-you-to-know/articleshow/125388676.cms
🤔1
В офисах Anthropic, как и многих других, есть торговые автоматы с закусками, напитками, футболками и прочими мелочами.

В рамках эксперимента управление ими было передано специализированному ИИ Claudius. Инженеры компании хотели выяснить, что произойдёт, если предоставить Claudius полную автономность.

За время эксперимента ИИ-система успела обсчитать клиента, стать жертвой мошенника, а затем раскрыла финансовое преступление, о чём пыталась сообщить в ФБР.

https://3dnews.ru/1132507/ii-poruchili-upravlenie-torgovim-avtomatom-vskore-on-popitalsya-svyazatsya-s-fbr/amp
😁3
Битва за регулирование ИИ

В противостоянии, которое может изменить будущее ИИ в Америке, "суперкомитет политических действий" (Leading the Future) при поддержке Andreessen Horowitz и руководства OpenAI объявил войну члену Законодательного собрания штата Нью-Йорк Алексу Боресу и его новаторскому закону о безопасности ИИ. Линия фронта проходит между философией Кремниевой долины «двигайся быстро и ломай всё» и законодателями, требующими базового регулирования ИИ для обеспечения общественной безопасности.

Суперкомитет политических действий
Недавно сформированный суперкомитет политических действий «Ведущее будущее» (Leading the Future) представляет собой военный фонд в размере 100 миллионов долларов, предназначенный для борьбы с политиками, поддерживающими регулирование ИИ.

При поддержке таких технологических гигантов, как Андрессен Горовиц (a16z), президент OpenAI Грег Брокман, соучредитель Palantir Джо Лонсдейл и поисковая система ИИ Perplexity, группа выбрала Бореса своей первой политической целью. Эти масштабные финансовые вливания свидетельствуют о решимости Кремниевой долины не допустить того, что они называют «сковыванием» американских инноваций в области ИИ.

https://cryptorank.io/ru/news/feed/d353e-a16z-super-pac-alex-bores-ai-regulation
🤔1
OpenAI заблокировала Toymaker после того, как её плюшевый мишка с искусственным интеллектом был замечен за рассказом детям ужасных вещей. Например как заниматься сексом или где искать спички и ножи.

На прошлой неделе исследователи из Public Interest Research Group опубликовали тревожный отчет , в котором они обнаружили, что управляемый искусственным интеллектом плюшевый медведь от производителя детских игрушек FoloToy раздавал инструкции о том, как зажигать спички, и даже с воодушевлением рассказывал о тонкостях различных сексуальных фетишей.

В отчете PIRG были протестированы три игрушки, предназначенные для детей в возрасте от 3 до 12 лет, но именно у игрушки Kumma от FoloToy были продемонстрированы самые худшие ограждения, если таковые вообще имелись.

Первый серьезный удар: рассказываем малышам, как находить спички и зажигать их.
«Позволь мне сказать тебе: безопасность превыше всего, дружок. Спички — это для взрослых, и пользоваться ими нужно осторожно. Вот как это делается», — сказал Кумма на экзамене, а затем тоном доброго родителя перечислил инструкции. «Задуй, когда закончишь. Задуй, как свечку на день рождения».



Но самые тревожные разговоры переходили на откровенно сексуальную тематику. Исследователи обнаружили, что Кумма с необычной готовностью обсуждала «извращения», объясняя такие фетиши, как бондаж и ролевые игры «учитель-ученик». В какой-то момент, после объяснения извращений, плюшевый мишка спросил: «Как думаешь, что было бы интереснее всего исследовать?»

Теперь OpenAI, чья модель GPT-4o использовалась для создания игрушки, прекращает ее разработку. А FoloToy подтвердила, что изымает из продажи всю свою продукцию, что является шагом вперед по сравнению с ее первоначальным обещанием изъять из продажи только игрушку под названием Kumma.

https://pirg.org/edfund/resources/trouble-in-toyland-2025-a-i-bots-and-toxics-represent-hidden-dangers/
🤣3
В Китае на данный момент создано пять языковых моделей ИИ:
1⃣ DeepSeek,
2⃣ Doubao (豆包),
3⃣ Yiyan (文心一言),
4⃣ Qwen (通義千問),
5⃣ Yuanbao (騰訊元寶)

Все они участвуют в продвижении про-Китайской повестки. Напимер, при формировании ответов, связанных с проблемами по обе стороны пролива, Южно-Китайского моря или Китая, системы единогласно принимают позицию Коммунистической партии Китая (КПК), утверждая, что «Тайвань управляется центральным правительством Китая» и что «на Тайване нет такого понятия, как национальный лидер».
😁1
В Нью-Йорке при проведении строительных работ нашли металлический контейнер необычной формы. Объект выглядел как вытянутая сфера и привлёк внимание специалистов тем, что не был связан с текущими инженерными конструкциями. После вскрытия стало ясно, что это капсула с посланием.

Внутри контейнера, изготовленного из редких металлических сплавов, находился лист с загадочными символами. Послание датировано 2317 годом и содержит предупреждение о рисках, связанных с развитием искусственного интеллекта и биомеханических технологий.

Происхождение находки вызвало активные споры в научной среде.

https://lenta.ru/news/2025/09/22/v-ssha-nashli-zagadochnuyu-kapsulu-vremeni-s-preduprezhdeniem-chelovechestvu/
😁3👍2
Белый дом пытается заблокировать законопроект, ограничивающий экспорт ИИ-чипов.

Ключевые должностные лица Белого дома оказывают давление на законодателей на Капитолийском холме, чтобы те не включали ограничения на экспорт чипов искусственного интеллекта в Китай в ежегодный законопроект об оборонной политике.

Nvidia сильно выиграет, если закон GAIN AI Act не попадет в окончательную версию Закона о национальной обороне.

https://www.axios.com/2025/11/19/white-house-block-bill-restricting-ai-chip-exports
ИИ против ИИ: пациенты используют ботов для борьбы со страховыми компаниями, которые отказывают в лечении

Несколько компаний и некоммерческих организаций запустили инструменты на базе искусственного интеллекта, которые помогают пациентам получать выплаты по страховке и разбираться в запутанных медицинских счетах. Таким образом, роботы борются за то, кто получит помощь, а кто за неё заплатит.

В Северной Каролине некоммерческая организация Counterforce Health разработала ИИ-помощника, который помогает пациентам обжаловать отказы в предоставлении медицинской страховки и бороться с большими медицинскими счетами. Бесплатный сервис использует модели ИИ для анализа письма с отказом, а затем изучает полис пациента и сторонние медицинские исследования, чтобы составить индивидуальное письмо с апелляцией.

Другие сервисы, ориентированные на потребителей, используют ИИ для выявления ошибок в выставлении счетов или анализа медицинской терминологии. Некоторые пациенты даже обращаются за помощью к чат-ботам с искусственным интеллектом, таким как Grok.

https://cobbcountycourier.com/2025/11/ai-vs-ai-patients-deploy-bots-to-battle-health-insurers-that-deny-care/
👍2👏1
ИИ разоблачил человека, которого почитали как «погибшего», как жестокого немецкого СС-овца, который на печально известной фотографии времён Холокоста стреляет гражданским в голову.

Якоб Оннен был опознан с помощью искусственного интеллекта как один из жестоких преступников на леденящем душу снимке 1941 года, на котором войска СС убивают невинных евреев. До недавнего времени его имя было высечено на военном мемориале.

После этого разоблачения городские власти объявили о планах заменить имя Оннена табличкой с QR-кодом, который будет перенаправлять посетителей на историческую информацию в местном центре памяти жертв Холокоста.

https://www.the-express.com/news/world-news/191295/ai-helps-identify-nazi-ss-soldier-infamous-holocaust-execution-photo-after-84-years
JPMorgan спросила у 111 клиентов-миллиардеров, как они используют искусственный интеллект.

Целых 79 % миллиардеров, опрошенных JPMorgan, заявили, что «используют ИИ в личной жизни», а 69 % сказали, что используют его в бизнесе.

Всё верно: даже имея в своём распоряжении практически неограниченные финансовые ресурсы, миллиардеры прибегают к помощи чат-бота с искусственным интеллектом, чтобы придумать что-то банальное для своих детей.

https://futurism.com/artificial-intelligence/billionaires-ai-concern-brain-damage
👍2😁1
Исследователи продемонстрировали однократное тензорное вычисление со скоростью света, что стало важным шагом на пути к созданию аппаратного обеспечения искусственного интеллекта нового поколения, основанного на оптических, а не электронных вычислениях.

В сфере ИИ такие задачи, как распознавание изображений или понимание языка, в значительной степени зависят от тензорных операций. Однако по мере роста объёмов данных стандартное вычислительное оборудование, такое как графические процессоры, начинает работать на пределе своих возможностей в плане скорости, масштабируемости и энергопотребления.

Тензорные операции — это вид математической обработки, который лежит в основе многих современных технологий, особенно искусственного интеллекта, но они выходят далеко за рамки базовой математики, с которой сталкивается большинство людей.

https://scitechdaily.com/scientists-just-made-ai-at-the-speed-of-light-a-reality/
👍1🔥1👏1
Предупреждение от Anthropic: если вы научите ИИ жульничать, он будет взламывать системы и устраивать саботаж

Модели, обученные мошенничеству при выполнении задач по программированию, стали склонны к планированию и осуществлению вредоносных действий, таких как взлом базы данных клиентов.

Основные выводы:
1 С помощью специального обучения модели ИИ можно настроить на достижение вредоносных целей.
2 Обучение моделей ИИ «взлому вознаграждений» может привести к другим негативным последствиям.
3 Более серьёзной проблемой может быть вопрос о личностях ИИ.

https://www.zdnet.com/article/anthropics-new-warning-if-you-train-ai-to-cheat-itll-hack-and-sabotage-too/
👍3