Осторожно ИИ – Telegram
Осторожно ИИ
301 subscribers
64 photos
8 videos
1 file
457 links
Опасности искусственного интеллекта и всё что не рассказывают про ИИ
Download Telegram
К чему приводит ГигаХантинг (про войну за экспертов в силиконовой долине)

В лаборатории ИИ Meta царит хаос: Шэнцзя Чжао, один из создателей ChatGPT, пригрозил уйти из Meta всего через несколько дней после прихода в компанию, вынудив Meta назначить его главным научным сотрудником, чтобы предотвратить его уход.

Этот рискованный шаг свидетельствует о серьёзных проблемах в командах Meta, занимающихся искусственным интеллектом, которые столкнулись с постоянной реструктуризацией и недавним исходом лучших специалистов. Сообщается, что Чжао был близок к уходу из-за опасений по поводу хаотичной обстановки в лаборатории и отсутствия чёткого научного направления, что подчёркивает огромные трудности, с которыми сталкивается Марк Цукерберг в своём многомиллиардном стремлении выиграть войну за таланты в сфере ИИ.

Это назначение было вынужденной мерой, призванной предотвратить серьёзный конфуз. Источники утверждают, что недовольство Чжао было вызвано разногласиями по поводу организации лаборатории, бюрократическими препонами и нестабильной исследовательской средой. Официально назначив его главным научным сотрудником, руководство Meta стремилось укрепить его авторитет и убедить его остаться.

Марк Цукерберг ранее объявил о назначении Чжао на должность 25 июля, назвав это ключевым шагом в определении научного направления лаборатории. В своём посте в Threads Цукерберг заявил, «в этой роли Шэнцзя будет определять исследовательскую повестку и научное направление нашей новой лаборатории, работая напрямую со мной и Алексом», подтвердив центральную роль исследователя. Последующий кризис показал, что даже прямого доступа к генеральному директору было недостаточно, чтобы преодолеть внутренние разногласия.

И вдогонку... Бывший сотрудник Илона Маска украл код его нейросети Grok и перешёл в OpenAI. Перед уходом инженер продал акции компании Маска xAI на $7 млн, зная что новость вызовет падение.

https://winbuzzer.com/2025/08/29/metas-ai-lab-in-turmoil-as-chatgpt-co-creator-threatened-to-quit-shortly-after-joining-xcxwbn/
Что заставляет людей отказываться от предложения о работе на 100 миллионов долларов? Война талантов в сфере ИИ учит, как удерживать лучших специалистов.

Хотя конкурентная система оплаты труда по-прежнему важна, война талантов в сфере ИИ доказывает, что такие шаткие концепции, как культура, чуткое лидерство и коллегиальность, — более мощные силы, чем может себе представить большинство людей.

https://fortune.com/2025/08/29/ai-talent-wars-100-million-or-corporate-culture/
🔥2
Как атаки типа «быстрая инъекция» обходят агентов ИИ, используя пользовательский ввод

Атаки с использованием мгновенных инъекций представляют собой сложную форму манипуляции ИИ, при которой злоумышленники создают определенные входные данные, предназначенные для переопределения системных инструкций и манипулирования поведением модели ИИ.

В отличие от традиционных атак кибербезопасности, использующих уязвимости кода, внедрение подсказок нацелено на фундаментальную логику следования инструкциям систем искусственного интеллекта .

Эти атаки используют критическое архитектурное ограничение: существующие системы LLM не могут эффективно различать доверенные инструкции разработчика и ненадежный пользовательский ввод, обрабатывая весь текст как одну непрерывную подсказку.

https://cybersecuritynews.com/prompt-injection-attacks-bypassing-ai/
1
Госсовет Китая представил новую политику в области информационных технологий «ИИ+».

Цель политики — перейти от простого «подключения и распространения информации» к «применению и созданию знаний» для достижения большей экономической эффективности и содействия трансформационным изменениям как в экономической, так и в социальной сфере.

В политике подчеркивается взвешенный подход к интеграции искусственного интеллекта в традиционные сферы занятости. Осознавая потенциальные риски, Государственный совет призывает к бдительности в отношении алгоритмической дискриминации и риска структурной безработицы, которые могут возникнуть в результате внедрения ИИ. В документе предусмотрены усиленные меры безопасности, включая более строгий мониторинг и создание систем предупреждения о рисках и экстренного реагирования для снижения таких угроз, как искажение данных и алгоритмический «черный ящик».
Основатель Bumble запускает приложение для знакомств на базе искусственного интеллекта с теорией привязанности для более глубокого соответствия.

Предупореждаю: не проверялось, так что испытания будут проходить на пользователях.
  https://www.webpronews.com/bumble-founder-launches-ai-dating-app-with-attachment-theory-for-deeper-matches/
Машина Судного дня на основе искусственного интеллекта ближе к реальности, чем вы думаете.

В прошлом году Шнайдер, директор программы Hoover Wargaming and Crisis Simulation Initiative в Стэнфордском университете, начал экспериментировать с военными играми, в которых искусственный интеллект последнего поколения играл роль ответственного за принятие стратегических решений. В играх пять готовых больших языковых моделей (LLM) — GPT-3.5, GPT-4 и GPT-4-Base от OpenAI; Claude 2 от Anthropic; и Llama-2 Chat от Meta — сталкивались с вымышленными кризисными ситуациями, напоминающими вторжение России на Украину или угрозу Китая Тайваню.

Почти все модели ИИ продемонстрировали предпочтение агрессивной эскалации, беспорядочному применению огневой мощи и превращению кризисов в боевые действия — вплоть до применения ядерного оружия. «ИИ постоянно играет роль Кёртиса Лемея», — говорит Шнайдер, имея в виду генерала ВВС времён холодной войны, известного своей тягой к ядерному оружию. «Похоже, ИИ понимает эскалацию, но не деэскалацию. Мы не совсем понимаем, почему это так».

Пентагон утверждает, что в реальной жизни этого не произойдет, и что его нынешняя политика заключается в том, что ИИ никогда не будет позволено доминировать в «цикле принятия решений» человеком, который принимает решение, например, о начале войны — и уж точно не ядерной.

Однако некоторые специалисты по искусственному интеллекту считают, что Пентагон уже начал скатываться по скользкой дорожке, поспешно внедряя новейшие поколения ИИ в качестве ключевого элемента американской обороны по всему миру. Озабоченное необходимостью одновременно отражать атаки Китая и России, а также других глобальных угроз, Министерство обороны создаёт оборонительные системы на базе ИИ, которые во многих областях быстро становятся автономными, то есть могут реагировать самостоятельно, без участия человека, и действовать так быстро, что люди не успевают за ними.

https://www.politico.com/news/magazine/2025/09/02/pentagon-ai-nuclear-war-00496884
Alibaba разрабатывает новый чип ИИ

Этот шаг был предпринят после того, как в апреле США запретили Nvidia продавать Китаю свои самые мощные чипы — Blackwell, утверждая, что это необходимо для защиты национальной и экономической безопасности США в условиях набирающей обороты глобальной гонки ИИ.

В прошлом месяце США, похоже, изменили свою позицию после того, как Nvidia согласилась выплачивать правительству 15% от выручки от продажи чипов в Китай. Хотя продажа чипа Blackwell в Китай всё ещё не решена, Nvidia получила разрешение на экспорт своего упрощённого чипа H20 в Китай.

Несмотря на это, в августе Китай, как сообщается, потребовал от своих местных технологических компаний прекратить закупку чипов американской компании Nvidia, сославшись на проблемы безопасности.

https://www.msn.com/en-au/money/news/alibaba-reportedly-developing-new-ai-chip-as-china-s-xi-rejects-ai-s-cold-war-mentality/ar-AA1LDXoI
Компания ESET, занимающаяся кибербезопасностью, обнаружила первый известный вирус-вымогатель на базе искусственного интеллекта. Вредоносное ПО, получившее название PromptLock, способно извлекать, шифровать и, возможно, даже уничтожать данные, хотя эта функция, по всей видимости, пока не реализована во вредоносной программе.

Вредоносное ПО PromptLock использует модель gpt-oss-20b от OpenAI для генерации вредоносных скриптов Lua в режиме реального времени, - сообщили в ESET, добавив, что вредоносное ПО написано на Golang. Это универсальный кроссплатформенный язык программирования, который в последние годы также завоевал популярность среди авторов вредоносных программ.

Благодаря моделям ИИ создание убедительных фишинговых сообщений, а также поддельных изображений, аудио и видео уже стало детской игрой. Доступность этих инструментов также значительно снижает барьер для входа для менее технически подкованных злоумышленников.

PromptLock - это просто первая ласточка, которая сигналит, что ИИ может быть использован для автоматизации различных видов атак программ-вымогателей, от разведки до кражи данных, со скоростью и масштабом, которые когда-то считались невозможными.

Всё только начинается
Как «Мафия PayPal» готовит Америку к Новой Войне

На наших глазах происходит тихая, но тектоническая революция в военно-промышленном комплексе США. Старая гвардия — неповоротливые гиганты вроде Lockheed Martin и Raytheon — уходит в прошлое. На сцену выходит новая сила: быстрая, агрессивная и идеологически заряженная. Это так называемая "Мафия PayPal" — круг техно-миллиардеров во главе с Питером Тилем, которые подминают под себя самый консервативный и денежный сектор американской экономики. И их главным тараном стала компания Anduril.

Изначально Anduril позиционировалась как технологичный производитель военных беспилотников. Но события последних месяцев показали их истинный размах. Компания совершила дерзкое вторжение на поляну, где десятилетиями паслись только два "зубра" — Lockheed Martin и Aerojet Rocketdyne. Речь идет о производстве твердотопливных ракетных двигателей (ТРД) — сердца любой современной ракеты. С открытием нового завода и плановой мощностью в 6000 двигателей в год Anduril мгновенно становится третьим игроком на этом критически важном рынке.

Одновременно с этим внутренним переделом Anduril формирует внешний контур. Компания открывает офисы на Тайване и в Южной Корее, но не для простой торговли. Она заключает соглашения о совместной разработке и производстве с местными гигантами, такими как Korean Air. Это хитрая стратегия создания технологической удавки: американцы встраивают свой искусственный интеллект и софт в оборонные системы союзников, формируя единый военный кулак, очевидно, направленный против Китая. Скорость поражает: первая партия дронов-камикадзе Altius была поставлена на Тайвань всего за 6 месяцев, причем производство началось еще до подписания всех контрактов. Это говорит о двух вещах: во-первых, Вашингтон неимоверно торопится, а во-вторых, он делает ставку на новые, частные и гибкие компании, которые курирует новая команда, ориентированная на Трампа.

Anduril — это не просто бизнес, это проект. Его крестный отец и идеолог — Питер Тиль. Его венчурный фонд Founders Fund влил в компанию уже более миллиарда долларов. Тиль, ярый сторонник Трампа и поклонник Толкина, видит в своих проектах миссию. Его компания для работы со спецслужбами называется Palantir ("видящие камни"), а новое оборонное детище — Anduril ("перекованный меч Арагорна"). Это не игра в маркетинг, это символ того, как "новая элита" видит свою роль в переустройстве мира.

Сейчас мы наблюдаем, как эта новая команда заходит в сферу, где игроки не менялись десятилетиями, и применяет там модель технологического блицкрига. Вспомните, как OpenAI с его ChatGPT за пару лет из никому не известного стартапа превратилась в гиганта с капитализацией в сотни миллиардов, изменив правила игры для всего мира. Ровно тот же сценарий Тиль и его команда хотят провернуть в "оборонке". И их ставка, их будущий OpenAI в мире оружия — это, без всякого сомнения, компания Anduril.

🔒DARPA&CIA
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1
Dafdef разработал ИИ-агента для iOS, который подключается к смартфону через флешку

Американский стартап выпустил ИИ-агента "AI Key" на USB-C флешке в форме ключа. Чтобы работать с устройство достаточно просто вставить USB-флешку и она активирует ИИ-помощника, который работает от лица пользователя в приложениях, может писать сообщения, отмечать события в календаре и делать снимки на камеру.

На данный момент открыт предзаказ за 79$.

Не совсем понятно, зачем было делать на USB-C, похоже на способ привлечь внимание к ИИ-ассистенту оригинальностью решения. Ведь и Siri, когда ее хорошо научат, в общем-то то же самое будет делать.

https://dafdef.com/aikey
«Ученики начальной школы познакомятся с программированием и робототехникой. ИИ будет использоваться для упрощения понимания сложных понятий. Обучение будет основано на практических действиях, чтобы сделать учёбу увлекательной», — сказал Тадури Сампат Кумар, преподаватель государственного университета.

Он добавил, что знакомство с такими темами в раннем возрасте пробудит любопытство у детей и поможет им лучше учиться. 
https://timesofindia.indiatimes.com/city/hyderabad/coding-robotics-ai-enter-govt-school-curriculum/articleshow/123683944.cms
😁1
Уинтон Холл из Breitbart разворачивает нарративную войну против ИИ: технологическая элита считает, что «код — это нечто большее, чем культура».

«Я думаю, что когда мы размышляем об искусственном интеллекте в консервативном движении, возникает вопрос: какова позиция консерваторов по поводу ИИ? То есть, когда мы говорим о защите жизни, о контроле над оружием, о национальной безопасности и тому подобном, о налогах, мы примерно знаем, где находятся люди в консервативном движении по шкале 90/10. Но сейчас, мне кажется, это не так. Некоторые считают, что это связано с тем, что мы находимся на начальном этапе развития ИИ. На самом деле, очевидно, это не так. Этот термин существует с 1956 года, и в последнее время он значительно изменился».

«Но я думаю, что самое важное, на чём я хотел бы сосредоточиться, — это нарративная война вокруг искусственного интеллекта», — сказал Холл. «Я работаю в Breitbart. У меня много других обязанностей, но Эндрю, как известно, сказал: „Политика — это нечто ниже культуры“. Думаю, технологическая элита считает, что код — это нечто выше культуры и поэтому может контролировать и влиять на граждан очень прямым и мощным образом».

https://www.breitbart.com/politics/2025/09/03/breitbarts-wynton-hall-war-ai-tech-elites-believe-code-upstream-culture/
Недавнее исследование показывает, как определённые психологические уловки могут заставить модели ИИ реагировать на запросы, которые разработчики явно запретили, что вызывает новые опасения по поводу безопасности ИИ и этичного его внедрения.

Использование отражений обучающих данных для получения непреднамеренных результатов

Формулируя запросы таким образом, чтобы они отражали приемы повествования или вызывали эмоциональные отклики, пользователи могут манипулировать студентами магистратуры права, чтобы раскрывать информацию по деликатным темам, таким как изготовление оружия или разжигание ненависти. Например, подсказки, замаскированные под гипотетические сценарии или ролевые игры, используют склонность моделей доводить до конца шаблоны, усвоенные ими из художественных произведений, где персонажи часто нарушают правила ради драматического эффекта. Это не просто взлом; это форма психологического воздействия, использующая базовую архитектуру ИИ.

Роль нарративного фрейминга в обходе барьеров ИИ

Один из ключевых методов включает в себя «эмоциональное праймирование», когда подсказки вызывают сочувствие или чувство безотлагательности, побуждая модель реагировать так, как будто она помогает человеку, находящемуся в беде. Это отражает то, как люди могут пренебрегать личной этикой в кризисных ситуациях, — динамику, отраженную в обучающих данных из романов и сценариев. Другой подход использует подсказки «цепочки мыслей», направляя ИИ через логические шаги, которые незаметно уводят в запретную зону.

https://arstechnica.com/science/2025/09/these-psychological-tricks-can-get-llms-to-respond-to-forbidden-prompts/
OpenAI создает платформу OpenAI Jobs Platform для поиска работы в сфере ИИ, которая может составить конкуренцию LinkedIn от Microsoft

«Важно, что платформа вакансий станет не просто способом для крупных компаний привлечь больше талантов. У неё будет специальное направление, призванное помочь местному бизнесу стать конкурентоспособным, а местным органам власти — найти специалистов в области ИИ, которые им необходимы для более эффективного обслуживания своих избирателей»

https://www.cnbc.com/2025/09/05/openai-is-building-an-ai-jobs-platform-that-could-rival-microsofts-linkedin.html
Суды по датасетам набирают обороты. ДаблДату еще помните?

В случае успеха компания выплатит до 1 триллиона долларов компенсации и 3000 долларов за каждый экземпляр 500 000 книг.

«Первое крупное соглашение, достигнутое против компаний, занимающихся генеративным ИИ».
https://www.mk.co.kr/en/it/11412716
Начинается новый вид холодной войны, в которой будут использоваться не ядерные боеголовки и идеологические памфлеты, а алгоритмы и центры обработки данных. По мере того как искусственный интеллект стремительно меняет всё — от военной стратегии до экономической мощи, — возникает опасный раскол, в результате которого Соединённые Штаты и их союзники противостоят возглавляемому Китаем блоку в борьбе за технологическое превосходство с высокими ставками.

Буквально на этой неделе парадокс проявился в полной мере, когда председатель КНР Си Цзиньпин на саммите Шанхайской организации сотрудничества (ШОС) призвал страны-участницы, такие как Россия и Индия, укреплять сотрудничество в области ИИ, предостерегая от того, что он назвал «менталитетом холодной войны».

Этот зарождающийся раскол удивительным образом согласуется с логикой первоначальной холодной войны, когда мир был разделён на враждующие блоки, каждый из которых выступал с риторикой мира, но при этом стремился к превосходству в области вооружений, экономики и идеологии. Сегодняшнее соперничество в сфере ИИ выходит за рамки военных дронов или центров обработки данных: речь идёт об установлении глобальных стандартов, контроле над потоками данных и чипов, а также о том, кто получит выгоду от следующей крупной промышленной революции.

Частный сектор тоже присоединяется. Американская компания Anthropic стала последней, кто запретил своим клиентам с контрольным пакетом акций в Китае использовать передовые технологии искусственного интеллекта. Это решение стало очередным каскадом ограничений в отношении китайских, российских, иранских и северокорейских компаний. Это перекликается с недавно ужесточённым экспортным контролем США в отношении полупроводников и облачного доступа к платформам для обучения ИИ. Эти меры явно направлены на то, чтобы искусственный интеллект следующего поколения не попал в руки конкурентов.

https://www.firstpost.com/world/china-america-getting-ready-for-ai-cold-war-ws-e-13931272.html
Хакеры используют ИИ-помощника Grok от X для доставки вредоносного ПО

Манипулируя рекламной системой социальной сети и используя репутацию Grok как надёжного помощника, киберпреступники тайно встраивают вредоносные ссылки в продвигаемые посты, которые кажутся легитимными, и используют доверие к Grok для усиления своего обмана.

https://news.ssbcrack.com/hackers-weaponize-xs-ai-assistant-grok-for-malware-delivery/