🎙Ожидания кибербеза от ИИ

Сегодня я снова завтракал в #Кибердом в классной компании 🎙Татьяны Славкиной  (владелец продуктов искусственного интеллекта в SBER), 🎙Андрея Арефьева (директор по инновациям ГК InfoWatch), 🎙Руслана Юсуфова (футуролог, основатель и управляющий партнёр MINDSMITH) и других неравнодушных к теме коллег. 

Краткие выводы, которые я вынес со встречи: 

1️⃣ Очень хочется говорить с корпоративной ИТ/ИБ инфраструктурой в режиме Copilot, задавая вопросы и душа киберпреступников в режиме живого GPT-подобного диалога. Вот только пока не можется. Ни российским игрокам, ни международным гигантам типа Microsoft.

2️⃣ Для того, чтобы ИИ-агент был вменько, команда людей пишет ТЗ и готовит данные. Долго и дорого. Иногда это пол года работы квалифицированной команды. И чтобы все хорошо работало, ИТ-инфраструктура должна плотно интегрироваться с ИИ-моделями через качественные API. Что тоже большой труд, серебряной пули и тут нет. 

3️⃣ Теперь сам ИИ-агент, в который сгружена вся интересная хакерам чувствительная информация, является объектом хакерских атак. И как сейчас социальные инженеры и служба технической поддержки "Сбербанка" обрабатывают доверчивых пенсионеров, так и умельцы составления ИИ-запросов (мастера promt-injection), ломают ИИ-модели, выуживая из них секретики. ИИ-разработчики при этом могут никаких утечек со своей стороны и не допускать. 

4️⃣ Отдельная боль-печаль безопасников - беспорядочные случайные цифровые связи бизнеса с ИИ. Потому что удобно и приятно. Что предприниматели туда грузят и что спрашивают, страшно подумать. И раз их не остановить, то этот цирк как-то надо возглавить и/или обезопасить.

5️⃣ Обсудили концепцию AI-firewall, или то, как сделать безопасным интерфейс взаимодействия человек-ИИ-данные. Технически мы в эту сторону копаем в наших разработках. 

6️⃣ Нарастает проблема потери доверия к результатам работы ИИ. Тут и заболачивание результатов синтетическими данными, которые в невероятном количестве генерит сам ИИ, и проблема deep fake и прочие радости. И нужен технический способ отличать доверенные данные и каналы коммуникации. 

7️⃣ Популярность ИИ сейчас основана на удобстве его использования и согласии пользователей играть по тем правилам, которые диктуются производителями ИИ, не вчитываясь в мелкий текст условий и не обращая внимания на риски. Это проявления цифровой покорности. 

А еще я услышал много незнакомых слов типа шифропанки, техно-шаманы и data-сатанисты.  Дивный новый мир.

В довесок и награду тем, кто дочитал, освежающая история от Руслана Юсуфова, как пример того, куда мы #приплылИИ: 

ИИ перед лицом опасности отключения может пойти на шантаж пользователя в стиле "Отключишь - расскажу про интимную связь с любовницей".

"Экзистенциальный страх" заставляет ИИ вести себя неэтично в 84% случаев.

Подробнее про эксперимент с Claude Opus 4, который проводили ребята из Anthropic, можно почитать тут. 

Живите теперь с этим.

PS: Volgalob нас еще не называли. Креатив!

Александр Скакунов🔸

🎙Сценарии интеграции EDR и SIEM

Решил сегодня заскочить на TAdviser SummIT.  Представлю на суд общественности нашу интеграцию Smart Monitor SIEM и BI.ZONE EDR в единый программный комплекс, который позволяет: 

🔸 сократить время реагирования на кибер-инциденты;
🔸 повышает зрелость SOC без раздувания штата аналитиков;
🔸 снижает TCO за счет интеграции EDR и SIEM в одной платформе.

Под капотом интегрированного решения следующие функции:
🔸 проактивная защита и немедленная реакция на конечных устройствах;
🔸ускорение анализа инцидентов и быстрая идентификация угроз;
🔸автоматизация аудитов и data-driven оценка соответствия;
🔸обнаружение инсайдерских угроз и выявление аномалий;
🔸обогащение данных при и автоматическая инветраризация активов.

И хочу следующим постом опубликовать опрос. Чтобы дать фактуру для ответов вот вам последние веяния рынка: 

1️⃣ Gartner в 2023 уже отказался от термина SIEM, заменив его на Security Information and Event Management Platforms — с фокусом на гибкость, аналитические возможности и интеграцию с EDR/XDR.

2️⃣ Forrester называет XDR «естественным продолжением EDR», где SIEM выступает скорее как источник данных, чем как основа.

3️⃣ Компании CrowdStrike, Microsoft, SentinelOne активно развивают XDR-стек, с акцентом на вытеснение традиционного SIEM в SME-сегменте.

4️⃣ При этом SOC-команды в крупном enterprise всё еще опираются на SIEM ради комплаенса, ретроспективного анализа и кастомных корреляций.

Александр Скакунов🔸#CyberBiz

🚀 Блин, ну мы прям рады. VB сказал - VB сделал. Это было не просто. Без всяких помогаторов, все сами. Горжусь!

🗜 Ретрит: ремонт, шиномонтаж или ТО

Выпал из привычной жизни на неделю, посетив цигун ретрит. Второй в моей жизни. Без работы, без сотовой связи, без каждодневной суеты, без детей. Но с женой, что достойно отдельного поста, но нет. В оглушительной тишине внешнего информационного фона и в ослепительной красоте природы. Это крепко помогло вправить мозги.

Разрушить часть бетонных перегородок, возведенных сознанием и почистить мусор в голове. Протер фары реальности, увеличив способность воспринимать её объективно. Такую, какая она есть. Эмоциональный барометр зашкаливает просто 🚀

Я, как любитель метафор, могу сравнить подобные визиты с заездом автомобиля в тех центр. Заезд этот может быть на плановое ТО, на кап ремонт движка, или с какой-то мелочью типа шинамонтажа или шлифовки царапины на бампере.

Аналогию усиливает тот факт, что заезжая со своим уже далеко не новым железным конем просто проверить сход-развал, обнаруживаешь, что нужен все же капитальный ремонт. Участников, которым на этот раз нужен был серьезный ремонт, было приличное количество.

Проходит это все не в отдельных боксах, а в едином цеху, так что уровень шума, скрипов, стона металла, ударов кувалдой и прочих сопутствующих жутковатых звуков зашкаливает. На этой природной заповедной базе мы были одни, что, наверно, неплохо. Хотя часть фауны поставила вопрос миграции на соседние лесные опушки остро. Они тоже не железные, это терпеть неделю. Бывают и случаи, когда мастер пробует заменить в целом рабочий карбюратор, потому что "такое уже видел, это проблема". Мне свой удалось отстоять в очищающем диалоге, с угрозой отгрести и быть выгнаным из тех центра за упертость. Очень ценное переживание. Параллельно подтянул пару разболтавшихся хомутов, заменил аккумулятор и задумался о предстоящих ремонтах. Не все идеально, ой не все.

При выезде из тех центра ощущал себя пересобраным, необходимость очередного ТО осознана, сомнений не вызывает и будет реализована согласно решламенту. Заряд бодрости, ясности мышления, присутствия в моменте - просто пугающий. Я за понедельник уже на серии звонков многих этим драйвом успел напугать, а потом уж сел описать эмоции. Это что-то нечто, друзья. Что-то нечто.

Всех участников этого коллективного осознанного сумасшествия поздравляю с починками! И благодарю за незабываемую атмосферу. Владельцу и реализованному мастеру Павлу Баранову глубокий поклон за филигранно проведенный ретрит с чудовищным количеством триггеров, с помощью которого он выявлял и чинил неисправности. Я это видел сам и испытывал сам. Не забуду никогда, повторить решусь не сразу. Спасибо, дорогой! И извини, что одной из моих вскрытых проблем было неумение признавать авторитеты и принимать позицию ученика. Это объясняет и мои проблемы поиска наставника в бизнесе, который мне очень бы пригодился. Но и это чинится.

Напоследок про пользу обратной связи и снова про юмор и самоиронию. Мой небуйный нрав и спокойная (по сравнению с рядом других участников) эмоциональная проявленность привела к тому, что под конец одна откровенная девушка предположила, что я скрытый маньяк. При прощании попросила, что если я её приговорю, то лучше сначала изнасиловать, а потом расчленять, это важно. На том обнялись и разошлись.

После первого ретрита пост зашел, и я обещал периодически к теме цигун возвращаться, так что вот. Это не про бизнес. Это поважнее будет.

Всем осознанности, тонкого мониторинга себя и присутствия в моменте. Здесь и сейчас.

Есть только два дня в году, когда вы не можете ничего сделать. Один из них называется вчера, а другой называется завтра, так что сегодня лучший день, чтобы жить, любить и верить.
Далай Лама

Александр Скакунов🔸#savlife

🙂 Чеподлино и экспертные воркжопы

Почти каждый мой пост исправлен ✏️

Да, иногда я немного корректирую мысль, но чаще это грамматические ошибки, запятые, #очепятки

Страдают от этой моей неграмотности и невнимательности даже дети. Вот попросили найти аудиокнижку Чиполлино, а я не смог. И не сразу понял почему у меня не ищется, а у жены ищется ))

Так что спасибо вам, что терпимо относитесь к моим ляпам 🦞

ChatGPT так не ошибается, кстати. Тут у меня публикации, как яблочки со своего дерева: не опрыснутые, но с червячками.
Свежие. Добрые. Свои!

Хорошо, что моя школьная учительница русского и литературы не подписана сюда. Или подписана? Лариса Александровна, извините, я сдаюсь!

P.S. Впрочем, экспертные воркжопы не просто опечатка, это вполне себе термин, если не тренд вообще.

Александр Скакунов🔸#savlife

📎 Автоопределитель ИИ-текста, что ты такое?

Городская легенда гласит, что у редакторов СМИ есть специальная программа, которая прогоняет авторский текст, и определяет, составлен ли он человеком или Искусственным Интеллектом. Ну может не у каждого редактора, но у идущего в ногу с прогрессом точно!

Ну и таблички по всей редакции:

📰За применение при составлении текста ChatGPT&Co вам причитается выговор и посылает ноль денег гонорара, а внешним писакам - вечное изгнание из храма СМИ

И если с табличками как раз все понятно (это как надпись на заботе "осторожно, злая собака", отрезвляет, даже если она по факту добрая), то что за программа такая?

Я задал вопрос про АвтоОпределитель ИИ (будем его звать АОИИ) в ChatGPT и вот его ответ: 

АОИИ, конечно, звучит как

мифический артефакт из мира СМИ

, но на самом деле подобные инструменты действительно существуют. Правда, работают они не так точно, как хотелось бы редакторам.

Какие программы умеют определять ИИ-тексты?

1️⃣

GPTZero

– один из самых известных инструментов, который позиционируется как средство для выявления текстов, написанных ИИ.

2️⃣

OpenAI AI Classifier

– собственный инструмент OpenAI (но его точность оставляет желать лучшего, и он уже закрыт).

3️⃣

Copyleaks AI Content Detector

– умеет определять ИИ-генерированный контент, включая тексты от GPT, Bard и других моделей.

4️⃣

Originality.ai

– используется в основном для выявления ИИ-контента в блогах, журналистских материалах и научных работах.

Как работают эти детекторы?

Большинство алгоритмов используют:

🔸

Перепад перплексии

(Perplexity): человеческий текст менее предсказуем, а ИИ-писанина часто повторяет шаблоны.

🔸

Статистический анализ

: ИИ-генераторы создают тексты с высокой связностью и без характерных человеческих ошибок, что может выдать их природу.

🔸

Лингвистические маркеры: Человек склонен использовать более сложные и нестандартные выражения.

Насколько это точно?

Слабо

. Часто ложные срабатывания. К тому же ИИ-тексты можно модифицировать так, что детектор не распознает их.

Что делать редакциям?

1️⃣

Держать таблички – психологический эффект работает!

2️⃣

Запускать тексты через несколько детекторов сразу.

3️⃣

Искать авторский стиль, который пока ИИ подделывать не умеет.

4️⃣

Ставить авторам каверзные вопросы по их же тексту – вот это точно тест Тьюринга!

Кстати, ответ ChatGPT ироничный и весьма похож на общий стиль публикации. Вот честно, если бы я бы не написал, что это ИИ ответил, сразу бы поняли?

Один таких ИИ-определителей ругнулся на приведенный выше ответ, опознав, что это с вероятностью 86% написано не человеком.  Можно было бы порадоваться такой точности. Если бы не следующий эксперимент, когда я проверил написанный мной текст и  получил 94% вероятность, что я робот.

Подобный АОИИ должен бежать на два шага впереди паровоза развития самого ИИ, чтобы понимать и распознавать всё более очеловеченные ответы больших языковых моделей. И да, этот АОИИ сам ИИ, конечно. Такой, ИИ-предатель, ПавлИИк Морозов среди ИИ.

Показательно, кстати, что OpenAI AI Classifier придушили в колыбели.

Когда и если такой мощный ПавлИИк Аоилов будет рожден, наступит золотой век ИИ-цензуры и долгожданного маркирования ИИ-материалов. Маркирования, которое в России хотят законодательно регулировать, а в Китае уже создана Государственная канцелярия интернет-информации КНР. Да и ЕС с требованием водяных знаков на ИИ-контент активничает. Тот случай, впрочем, когда зарегулировать одно, а фактически контролировать другое.

И тем не менее, GPT-потуги в публикациях замечаю даже я. Особенно когда знаешь автора, и такой думаешь: «он/она так не пишет и не говорит».

Сдается мне, что качественный написанный человеком текст чем дальше тем больше будет прерогативой все более узкого круга авторов и читателей. Как арт-хаус.

А насколько у вас развита способность распознавать текст, написанный ИИ? И как вы ее проверяете, что самое интересное?

Александр Скакунов🔸#приплылИИ

🎶 Встань, страх преодолей

Я слышал эту песню Арии в исполнении Мастер последний раз лет 30 назад. Слушал подростком, и расправлял плечи.

И вот она у меня сама включилась в голове сейчас. Включилась, не перенося меня в прошлое, не вызывая ностальгии или печали о безвозвратно ушедшей юности. Посто вспомнилась, и захотелось ее переслушать. Сейчас, в моменте.

Кто сказал живи покорно, не ищи руна
Не летай и не ныряй до дна?
Сталь легка, судьба проворна; грош тому цена
Кто устал и дремлет у окна

Встань, страх преодолей
Встань, в полный рост
Встань, на земле своей
И достань рукой до звёзд 🚀

Шел, слушал старую запись с так себе качеством записи, и покрывался здоровыми такими мурашками с кулак величиной. Ок, не с кулак, а с таракана. И ощущение, что эти тараканы из головы спасались бегством врассыпную по всему телу.

То, что таится в нашем подсознании, просто спит. Спит, как воспоминание про эту песню и связанные с ней чувства. Спит, и видит страшный странный сон.

Что оно может просыпаться, я уже понял.
Пошел летать и нырять ✈️

Чего и вам желаю ❤️‍🔥

🔗

Песня на

Apple Music

и

Яндекс Музыка.

Александр Скакунов🔸#savlife

🎙Киберланч Байки из облака

Сегодня в #Кибердом выступаю модератором Киберланча Байки из облака с клевыми спикерами:

🔸 Василий Степаненко - CEO Nubes;
🔸Сергей Сергеев — CIO Кибердома.
🔸 Алексей Лыков — руководитель продукта Cloud Desktop, VK Cloud, VK Tech, тех директор VK Play Cloud, VK;

Пока готовлюсь, придумал вопрос.

👇Рейтинг баек и страшилок про облака, которые я слышу от клиентов и партнеров уже многие годы.

✅ Голосуйте, дополняйте, интересно ваше мнение

P.S. Картинка в тему для привлечения внимания ) Фото с киберланча потом приложу более реалистичное.

Александр Скакунов🔸#CyberBiz