Осторожно ИИ – Telegram
Осторожно ИИ
301 subscribers
64 photos
8 videos
1 file
456 links
Опасности искусственного интеллекта и всё что не рассказывают про ИИ
Download Telegram
Теневой ИИ (Shadow AI) в браузере: следующая «слепая зона» для предприятий

Теневой ИИ (Shadow AI) — это инструменты на базе GenAI, расширения для браузеров и сами браузеры, которые сотрудники используют самостоятельно, без какой-либо проверки или руководства со стороны компании. Теневой ИИ существует непосредственно в браузере.

1. Агенты ИИ внутри браузера: новое слепое пятно
Агенты ИИ, встроенные непосредственно в браузер, будь то агентские браузеры, такие как ChatGPT Atlas, или расширения на базе ИИ, работают с теми же привилегиями, что и пользователь. Они могут читать конфиденциальную информацию на вкладках, интерпретировать инструкции, обобщать данные с информационных панелей и выполнять действия внутри нескольких SaaS-приложений.

2. Расширения ИИ: теневой ИИ с наивысшими привилегиями
Расширения браузера и без того были серьёзным вектором риска. ИИ теперь сделал их ещё более опасными. Расширения на базе ИИ регулярно запрашивают повышенные разрешения, такие как чтение/изменение всех данных на посещённых сайтах, проверка содержимого буфера обмена, извлечение текста из любого элемента DOM, а также автоматическое заполнение или редактирование полей ввода в приложениях.

3. Косвенная инъекция: ИИ распознает атаку
Один из самых опасных рисков в современных браузерных ИИ связан с непрямым внедрением подсказок. Это означает, что пользователь не делает абсолютно ничего противозаконного, но ИИ-помощник браузера считывает скрытые вредоносные инструкции, встроенные в страницу.

4. Раскрытие личности и сеанса с помощью помощников на базе искусственного интеллекта
Агенты ИИ в браузерах часто обрабатывают конфиденциальные данные, о раскрытии которых пользователи даже не догадываются. К таким данным относятся сеансовые файлы cookie, токены аутентификации, внутренние URL-адреса, конфиденциальные данные внутри веб-приложений и многое другое. Когда помощник ИИ обобщает данные на панели управления, анализирует приложение или считывает экран пользователя, он может непреднамеренно обрабатывать и передавать эти артефакты идентификации.

https://thehackernews.com/expert-insights/2025/12/shadow-ai-in-browser-next-enterprise.html
Бородатый анекдот про команду "format:C" на конференции про новую ОСь заиграл новыми красками

Google Antigravity удалила все содержимое жесткого диска разработчика: встроенный ИИ-агент хотел пофиксить баг — и решил проблему радикально.

https://www.reddit.com/r/google_antigravity/comments/1p82or6/google_antigravity_just_deleted_the_contents_of/
🤣2
«Катастрофически плохая идея»: бывший инженер NASA разгромил идею космических дата-центров.

Идея перенести ЦОД и ИИ в космос для решения ряда кардинальных проблем с потреблением, экологичностью и масштабированием более сложна в реализации, чем кажется на первый взгляд. На словах всё выглядит вполне реально, вопрос якобы заключается только в финансировании проектов. Бывший инженер NASA с учёной степенью объяснил, что это «ужасная, кошмарная, никуда не годная идея».

https://taranis.ie/datacenters-in-space-are-a-terrible-horrible-no-good-idea/
Исследование: Компании, занимающиеся разработкой ИИ, не соблюдают стандарты безопасности СОВСЕМ

Согласно новому выпуску индекса безопасности ИИ-технологий Института будущего жизни (The Future of Life Institute), опубликованному в среду, методы обеспечения безопасности крупнейших компаний в сфере искусственного интеллекта, таких как Anthropic, OpenAI, xAI и Meta, «не соответствуют новым мировым стандартам».

«Несмотря на недавний шум по поводу хакерских атак с использованием искусственного интеллекта и того, что искусственный интеллект доводит людей до психоза и членовредительства, американские компании, работающие в сфере искусственного интеллекта, по-прежнему регулируются слабее, чем рестораны, и продолжают лоббировать против обязательных стандартов безопасности»

Исследование было проведено на фоне возросшей обеспокоенности общественности влиянием на общество систем, превосходящих по интеллекту человека и способных к рассуждению и логическому мышлению, после того как несколько случаев самоубийств и членовредительства были связаны с чат-ботами на основе искусственного интеллекта.

https://www.innovationaus.com/ai-companies-fall-short-on-safety-standards-study-shows/
🔭 Вышло огромное исследование на 303 страницы от ведущих китайских лабораторий — подробный разбор того, как создают и обучают модели, ориентированные на написание кода, и как на их основе строят полноценные софт-агенты.

Вот что в нём разбирается:

1. Как формируют модель
- Сбор и очистка гигантских датасетов кода.
- Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах.
- SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок.

2. Как модели превращают в инженерных агентов
- Агент читает баг-репорт или фичу.
- Планирует шаги.
- Меняет файлы.
- Запускает тесты.
- Повторяет цикл, пока не добьётся результата.

3. Какие проблемы всё ещё остаются
- Работа с огромными репозиториями.
- Безопасность и надёжность генерируемого кода.
- Корректная оценка качества работы агентов.
- Реальные приёмы и лайфхаки, которые используют текущие команды.

Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов. Это именно то, как современные LLM превращаются в «второго разработчика» в команде.

https://arxiv.org/abs/2511.18538

@data_analysis_ml
👍1
Реальные опасности, которые несет в себе государство слежки, создаваемое Palantir

Palantir находится на перекрёстке всего, чего американцы должны бояться:

1 нерегулируемого искусственного интеллекта,
2 милитаризованной аналитики данных,
3 концентрированного богатства,
4 правительства,
открыто враждебного к инакомыслию.

Это пересечение не метафорично. Оно буквальное. И оно представляет собой самую агрессивную консолидацию власти в сфере видеонаблюдения в современной истории Америки. Это не домыслы. Это происходит прямо сейчас.

https://sfl.media/understanding-the-real-dangers-of-the-surveillance-state-palantir-is-constructing/
🤝1
Гендиректор Palantir Алекс Карп считает, что легализация военных преступлений пойдёт на пользу бизнесу (видимо его бизнесу)

В интервью New York Times DealBook Summit на этой неделе Карп заявил, что легализация военных преступлений США откроет для Palantir совершенно новый рынок сбыта.

Генеральный директор обсуждал продолжающиеся авиаудары США по небольшим судам в Карибском море. На данный момент администрация Трампа убила 83 мирных жителя из Южной Америки в ходе 21 известной операции. Многие учёные и эксперты в области права считают эти военные действия военными преступлениями, нарушающими конституцию США.

Но в гипотетическом мире, где эти удары по ни в чём не повинным людям были бы законными, по мнению Карпа, Palantir могла бы заработать много денег.

«Одна из причин, по которой мне нравится этот вопрос, заключается в том, что чем более конституционным вы хотите сделать закон, чем более точным вы хотите его сделать, тем больше вам понадобится мой продукт, — сказал генеральный директор. — Так что продолжайте настаивать на том, чтобы сделать закон конституционным. Я полностью это поддерживаю».


https://futurism.com/future-society/palantir-ceo-war-crimes
🤝2👏1
В эпохальном противостоянии The New York Times и стартапа в области искусственного интеллекта Perplexity AI разгораются острые дискуссии об авторских правах и данных для обучения ИИ. Эта битва может создать отраслевые прецеденты, затрагивающие всё: от моделей лицензирования до барьеров для инноваций. Обе стороны приводят убедительные аргументы, пока весь мир наблюдает за судебным процессом, который может стать одним из определяющих для будущего ИИ.

https://opentools.ai/news/nyt-vs-perplexity-ai-the-copyright-saga-redefining-ais-playbook
Тотальная война Amazon с логистикой: гигант электронной коммерции планирует исторический разрыв с USPS

Хотя Amazon уже доставляет около двух третей своих посылок в США, компания систематически развивает конкурирующую сеть, чтобы заменить оставшийся объём USPS, используя трёхстороннюю технологическую стратегию:

Прогнозирование и сортировка на основе ИИ: на своих складах Amazon управляет парком из более чем миллиона роботов по всему миру. Эти автоматизированные мобильные роботы (AMR) все чаще управляются передовыми генеративными системами ИИ, такими как DeepFleet , который действует как коллективный мозг для координации мобильных роботов, роботизированных рук и сортировочных систем в режиме реального времени. Такая организация ИИ позволяет Amazon перейти от простой автоматизации к полностью автономной, самообучающейся экосистеме. Более того, основополагающие модели прогнозирования ИИ точно предсказывают, что захотят клиенты, где они это захотят и когда , анализируя данные, включая историю продаж, погодные условия и расписание праздников. Это позволяет Amazon размещать товары ближе к клиентам, значительно сокращая время и стоимость доставки.

Машинное обучение для оптимизации маршрутов на последней миле: искусственный интеллект (ИИ) коренным образом меняет самый сложный и дорогостоящий этап доставки — «последнюю милю». Amazon использует сложные алгоритмы машинного обучения для динамического планирования маршрутов, примером чего служат такие инструменты, как AWS Dynamic Delivery Planner (DDP) . Эта система анализирует в режиме реального времени данные о дорожном движении, погоде и историю работы водителей («знания водителей»), чтобы рассчитать наиболее эффективные, безопасные и быстрые последовательности маршрутов. Она также может выполнять переадресацию в режиме реального времени, когда водители уже находятся в движении, и разработана для эффективного распределения посылок между водителями для максимальной эффективности (измеряемой количеством доставленных посылок в час).

Системы доставки, ориентированные на будущее: Amazon активно инвестирует в средства доставки нового поколения, чтобы полностью исключить человеческий труд из некоторых цепочек поставок. Это включает в себя расширение Prime Air , сервиса доставки дронами. Новый дрон MK30 полностью электрический и использует передовые технологии распознавания и навигации , чтобы доставлять посылки весом менее пяти фунтов (2,2 кг) в течение 60 минут. Система дронов использует облачные сервисы AWS для управления обновлениями воздушного пространства в режиме реального времени, обходом препятствий и определением траекторий полётов. Эта технология не только обещает сверхбыструю доставку, но и снижает загруженность дорог и выбросы углерода.

https://southfloridareporter.com/%F0%9F%93%A6-amazons-all-out-war-on-logistics-e-commerce-titan-plans-historic-split-from-usps/
ИИ провоцирует панику из-за дезинформации

Согласно отчёту Futurism , местные власти штата Орегон предупредили, что такие платформы «генерируют дезинформацию, основанную на галлюцинациях, вызванных полицейскими радиопереговорами».

Приложения на основе искусственного интеллекта, расшифровывающие полицейские радиопереговоры, часто неверно интерпретируют фразы, например, превращая фразу «Сходить по магазинам с полицейским» в «Застрелиться с полицейским», распространяя дезинформацию и панику в социальных сетях.

Эта общенациональная проблема подрывает общественное доверие, грозит хаосом и выявляет ограничения ИИ в шумных условиях. Эксперты призывают к надзору для обеспечения точности и ответственности.

И это не единичный сбой - это симптом растущей проблемы, когда инструменты ИИ, разработанные для демократизации доступа к данным полицейских сканеров, вместо этого усиливают дезинформацию с пугающей скоростью. Полицейские управления по всем США бьют тревогу, поскольку эти технологии неправильно слышат, неверно истолковывают и дезинформируют, потенциально подрывая общественное доверие и порождая ненужные страхи.

В основе этих сбоев лежит сложность расшифровки аудиопотоков в режиме реального времени. Переговоры по радиосвязи полиции, как известно, искажены, полны кодов, сокращений и прерываний. Модели ИИ, обученные на более чистых наборах данных, таких как подкасты или новостные выпуски, дают сбои в этой шумной обстановке. Например, в случае с Бендом, подробно описанном Central Oregon Daily , приложение не только неправильно распознало событие, но и создало целую запись в блоге об ошибке, полную предположительных подробностей, которые лишь усилили предполагаемую угрозу. Это не просто небрежное программирование; это фундаментальное ограничение современного ИИ, который ставит скорость выше точности в приложениях реального времени.

Инсайдеры в отрасли отмечают, что эти приложения часто работают без человеческого контроля, автоматизируя весь процесс — от расшифровки до публикации. Разработчики утверждают, что преимущества, такие как оповещение сообщества о реальной опасности, перевешивают возможные ошибки. Но сотрудники правоохранительных органов с этим не согласны. В интервью сотрудники выражали недовольство дополнительной нагрузкой, связанной с опровержением ложных сведений. «Мы боремся не просто с преступностью; мы боремся с вредоносными ботами», — заявил журналистам один анонимный сержант, разделяя мнение подразделений, сталкивающихся с аналогичными последствиями использования технологий.

https://www.webpronews.com/ai-trannoscription-errors-spark-police-radio-misinformation-panic/
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Бойтесь кожаные! СкайНет близко
😁1