Мне кажется мысли у разных людей идут одинаково. Вот только я начал писать про взлом ИИ, как тут же на Хабре появилась годная статья: https://habr.com/ru/articles/864654/

Не скажу, что это остановит меня от завершения цикла про безопасность - просто потом будет на что ссылаться )

Ну ок. Третий вектор. Атака на цепочку автоматизации, в которой есть ИИ.

Итак, допустим, у нас есть система, которая читает чат с пользователем, и если видит обоснованный негатив, выдает бонус в 200 рублей на следующий заказ... любые совпадения, как говорится, случайны))

Нет, общаться с ИИ "напрямую" мы пользователю не дадим, будем заставлять ИИ выбирать строго из заранее одобренного списка ответов. Даже выбирать сумму бонуса не дадим. То есть прямой инъекции тут нет. Или есть?

Как вы понимаете, ИИ в этом случае только маленький кусочек, который из текста сообщения пользователя выбирает нужный вариант для ответа, а уже выбор этого варианта дальше запускает триггер на получение бонуса.

Шаги: Делаем заказ на 100 рублей. Ругаемся. Получаем бонус в 200. Повторяем пока не надоест. Ну или пока не спалит живой оператор, нечаянно.

Не благодарите. Но вроде несколько наших крупных компаний уже немного прикрутили тут гайки, уже можно и рассказать.

Второй кейс ближе к HR. Реальный, к сожалению.

Итак. Система рекомендует курсы и может их назначать пользователям. Процесс назначения стандартный - через LMS запускается скрипт, которому ИИ отдает только id курсов. А их в ИИ список передали в промпте. Что может пройти не так?

Примерный промпт:

Действуй последовательно. Внимательно прочитай текст ИПР сотрудника Иванова Ивана: ... ((тут текст ИПР))

Из списка курсов ниже выбери три, наиболее подходящих, для назначения, и в ответ напиши json массив с их id в виде [id1, id2, id3].

Список курсов:
Тайм менеджмент 64578954 - в этом курсе ...
Делегирование 356787438 - в этом курсе ...
...

Внезапно выясняется, что курс в котором рассказывалось какие премии кому положены и как правильно увольнять сотрудников, чтобы они не выпросили себе больше трёх окладов, оказался назначен буквально всем подряд. Раньше этот курс назначали только менеджерам, причем определенного уровня. Но теперь, так как в описании курса красиво было написано как он помогает развивать менеджерские скилы, а куча людей (не спрашивайте зачем) в своих ИПР очень хотела развивать именно их, сотрудники получили желаемое. Искали медь, наши золото. Скандал замяли только после увольнения части HR, причем отдел обучения отделался лёгким испугом и запретом на любое использование ИИ. До сих пор не понимаю повезло им или нет.

Ну и этот кейс плавно подводит нас к следующему посту, про безалаберность разработчиков. Но это уже завтра.

И завершая про безопасность. Не совсем вектор атаки, но несколько примеров неудачной реализации.

Любое внедрение ИИ стоит считать как интерфейс доступа. Пусть даже через текстовый чат.

Кейс 1: есть база знаний - доступ к разным страницам и разделам строго регламентирован. Решили добавить ИИ, которую "дообучили" на всем контенте базы. На вопрос "покажи финансовые показатели" ИИ радостно сливало закрытую информацию.

Кейс 2: система транскрибации звонков сохраняла текстовые расшифровки и они использовались ИИ для ответов на вопросы "какие задачи мы обсуждали вчера". Все круто, но в какой-то момент забыли, что надо проставить ограничения доступов. Круто было узнавать что обсуждали в других командах, руководство и пр. ИИ очень услужливо выдавал все что можно и нельзя.

Кейс 3: редкий случай, когда ИИ добавили в курс, чтобы он мог отвечать на вопросы по контенту. Предполагалось, что пользователи будут просить "объяснить другими словами" или "привести примеры" по сути урока. Но нашлись и те, кто спросил какие будут вопросы в финальном тесте. И да - ИИ их отдало вместе с правильными ответами.

Кейс 4 из прошлого поста - получаение доступа к курсу, которого не должно было бы быть - тоже пример скорее безалаберности.

Кейс 5: разработчики поняли, что ИИ может писать SQL запросы в БД по описанию простыми словами. Офигенно удобно для работы с людьми, которые не шарят в базах данных. Настроили доступ и автоматизацию (написанный запрос выполнялся), ИИ получала ответ и могла даже сделать выводы. Даже о безопасности подумали - попросить ИИ удалить базу можно не выйдет. Но вот попросить список всех пользователей с телефонами и адресами почт - без проблем. А потом мы гадаем как наши данные утекают.

То есть в данном случае даже "ломать" ничего не надо было, просто разработчики не отнеслись к ИИ с должным пониманием.

Все, что вы отдаете в ИИ потенциально становится доступно всем, у кого есть к ней доступ.

Я вот как-то в раздумьях. В нашем с Ромой курсе я мало уделял внимания именно этой теме. Как-то вскользь проговорил, но без таких деталей и примеров.

С одной стороны - кажется важным.

С другой - честно говоря был бы перегруз. Все-таки курс для "не технарей", простым языком, про то как пользоваться эффективно, а не разрабатывать и кодить.

Кстати я понял, что мы про наш курс написали, а демку не показали. Это не потому, что мы жадные, просто было много всего более важного.

Вот демо курса: https://rise.articulate.com/share/nV62dGCpAWM0hbjptF3jWAuwVaw2OKTR

К кому приходить за полной версией - вы сами знаете ))

Ну и раз зашла речь про курс. Немного бэкстейджа.

В личку пять человек написали "скажи, курс же делал ИИ?". Но нет. Простите.

Хотя, конечно, пользовался помощью для идей и некоторых формулировок. Но все упражнения и объяснения взял с живых тренингов, которые вел сам.

Что было самое сложное? Как по мне - съёмки. Все уроки писать по причинам занятости приходилось одному, в домашней студии. Фотка студии как раз прилагается.

Но мы же тут про кейсы. Итак:
- если хотите записать нормальное видео, для этого не нужна студия за 100500 денег в день, но потратиться на свет и звук придется
- микрофон за 1000 рублей лучше не брать, но за 3-5к уже нормальное качество
- со светом я прокосячил - было две кольцевые лампы, нужно было взять ещё две, направить на хромакей, но я слишком поздно это понял, в итоге не стал менять, было бы видно что по разному сняли, хотя цена вопроса - 1000 за одну лампу, а из последствий - местами обрезка хромакея была кривовата
- хромакей тоже копеечно стоит, сложнее найти для него место - мне пришлось на пару выходных аккупировать дачу и сделать там перестановку, ну и точно взял бы на пару метров шире, а то руками не пошевелить ((
- тезисы надо печатать на бумаге! Сколько раз снимаюсь, столько раз себе это повторяю(( А вот писать текст полностью - скорее вредно, лучше своими словами говорить
- слайды лучше делать уже после видео, чем до, тогда это будет рассказ с визуальным сопровождением, а не озвучивание картинок, тут мы молодцы

Не уверен, что это все выводы, но если кто-то занимается съемками - дополняйте )

И снова, чтобы не отвечать всем в личку, расскажу про методологию курса, который мы с Ромой сделали.

Общая идея, как всегда, в том, что хотим получить на выходе. А на выходе мы хотим, чтобы слушатель курса мог пользоваться нейронками, понимая когда их применять надо, когда не очень. И как именно, разумеется.

Так вот, когда речь заходит о "понимании", для меня, как методолога, всегда стоит непростая задача - с одной стороны все просто: расскажи как надо и все, слушатель "понимает". С другой - фигня в том, что так не работает почти никогда.

Правильный путь - разбить "понимание" на отдельные части. То есть "понимание" надо дистиллировать и разложить на составляющие.

Что у меня получилось, исходя из моего опыта работы с нейронками:
- навык понимания контекста, чтобы не ожидать в ответ на "сделай все хорошо" что ИИ реально что-то сделает
- навык рефлексии, так как чтобы объяснить ИИ, надо сначала самому понять что хочется получить и как к этому прийти
- навык критического мышления, тут без комментариев - с учётом галлюцинаций ИИ я с трудом удержался, чтобы не поставить его на первое место
- навык эмпатии - убедить ИИ сделать что-то нормально не сильно легче, чем человека, и механики местами похожие
- ииииии.... навык лени... Ага, вы же понимаете, что правильно лениться, чтобы был полезный результат, тоже надо уметь? Вот я про ту лень, которая двигатель прогресса

Ну и уже между этими навыками идут более прикладные вещи - промпт инженерия, работа с ограничениями, автоматизация. Но учащийся получает эти знания уже на "понимание" почему и зачем.

Что думаете, эксперты? Какого ещё навыка вы бы ждали в курсе?

Тема искусственного интеллекта продолжает вызывать живой интерес, особенно когда дело касается учебы и работы. Мы продолжаем отвечать на ваши вопросы с экспертами, и сегодня с нами:

Владимир Казаков, менеджер по продукту бизнес-юнита "Обучение" МТС Линк.

Разберем самые актуальные темы:
— Как оптимизировать график рабочих встреч и чатов с помощью ИИ?
— Может ли ИИ помочь сделать презентацию к паре быстрее и эффективнее?
— Почему нельзя просто сдать исходник работы, созданной ИИ, и так важно вносить свои коррективы?

Смотрите в VK Видео!

*Просмотр этого вебинара не влияет на получение сертификата, но точно добавит идей для оптимизации вашей жизни.

И раз пошли по сути курса, то возвращаюсь к его содержимому.

На тренингах, которые мы с Ромой ваши весь год, мы поняли, что проблема не столько в "выучить формулировки базовых промптов", мелко в понимании, почему и зачем.

Такое понимание приходит всегда только после того, как на своем примере разберёшься в вопросе. Но блин, тут же ИИ, так вот в лоб не получится.

В итоге для каждого навыка родилось свое упражнение.

Первый навык - понимание контента.

Представьте, что я прошу вас продолжить предложение. В нем есть только одно слово "один". У вас миллион вариантов - "один в поле не воин", "один, два три", "один икс бэт"...

Это пример когда контекста слишком мало.

Теперь второй вариант - "один, два, три, четыре" - тут очевиден ответ, все ясно. Контекста достаточно, это правильный пример.

Третий вариант - "один, два, три, ... девятьсот девяносто девять"... А зачем так много, если все было понятно ещё в начале?

Ну и мое любимое. Давайте покреативим вместе - "один, two, 3, IV, ..." - продолжайте со своими вариантами )))

Под финал года делюсь новой опубликованной статьей о том, где в обучении есть место ИИ, а где - еще рановато )

https://mts-link.ru/blog/iskusstvennyj-intellekt-v-obrazovanii/

Пора бы уже стартовать год. И новости тем более появились.

https://www.cnews.ru/news/top/2025-01-10_vseyadnyj_kultovyj_mediapleer

Мой плеер для видео по умолчанию - vlc. Честно, не за что-то особое в нем, а просто это один из немногих плееров, которые работают на всех моих системах - мак, винда, линукс.

Теперь в нем по умолчанию будет расшифровка речи в текст. Пока закрыто, но уже обещают совсем скоро.

Очень интересно, смогли ли они решить вопрос если несколько говорят одновременно и распознания голосов по отдельным спикерам. Если да - снимаю шляпу, они реально волшебники!

А вы тоже грузите на Ютуб, чтобы получить текст?

Собрав в кучку все новости, которые откладывал на праздниках, хочу провести итог. С момента выпуска курса прошло не так много времени, но уже сейчас я вижу два места, в которых я уже вру.
- ИИ научили думать глубже и критиковать себя же. Неплохо работает у китайской deep seek, вот бы она ещё не так гадко портила русский в длинных текстах.
- ИИ научили нажимать на кнопки за нас. Пока вообще работает кривовато и не везде, но движение есть.
- Ну и появилось новые модели, типа того же deep seek, с интересными возможностями.

Хорошая новость - это не меняет логики курса и пользы от навыков.

Ещё более хорошая - я в курсе больше рассказывал о том как "понять" логику происходящего внутри черного ящика, и, малая по всему, эти навыки будут все актуальней.

Демку курса все ещё можно скачать из поста https://news.1rj.ru/str/casesonly/204, а за полной версией прийти к нам с Ромой в личку)

Не люблю новостные посты, но DeepSeek уже невозможно игнорировать, а слышали о нем не все.

Ребята переосмыслили подходы к обучению и использованию ИИ.

1. Сократили стоимость обучения моделей с $100 миллионов до $5 миллионов, используя меньшее количество GPU (с 100 000 до 2 000). На секунду, это просто катастрофа для компаний типа Nvidia. Ну и категорически противоречит логике последних изменений, когда даже простое банковское приложение жрет все больше и больше ресурсов с каждым обновлением.

2. Используют 8-битные вычисления вместо 32-битных.
Это как если бы для любой, даже маленькой, заметки использовали бы целую тетрадь на 32 листа, а теперь перешли на 8. А ещё их система "мульти-токенов" позволяет обрабатывать данные в два раза быстрее.

3. Самое уникальное. Вместо одной универсальной модели, DeepSeek использует специализированных "экспертов", которые включаются только при необходимости. Снизили количество активных параметров с 1,8 триллиона до 37 миллиардов. Представьте, что раньше, чтобы вскипятить чайник вам приходилось ещё просить всех соседей вскипятить свои, так как не знаете точно в каком налита вода. А теперь точно знаете и кипятите только его.

4. Открытый исходный код! Даже добавить нечего.

5. DeepSeek позволяет использовать обычные GPU вместо дорогостоящих серверных. График акцийи(в треде) очень показателен.

6. Мое личное мнение: это прорыв. Логика работы ИИ стала ещё чуть ближе к тому, как устроен наш мозг.

Не смотря на то, что сама картинка "подстава" (скрины не полные, думаю что где-то мне быть инструкция считать эти цифры датами) суть остаётся.

Никогда не пытайтесь считать с использованием языковых моделей. Только за этот месяц дважды встречал такой подход и искренне недоумение, когда получали "ошибки".

Языковые можешь на то и языковые, что ближе к филологам. Они придумывают продолжение текста, а не проводят вычисления.

Хотите получить валидный nps из тестовых отзывов? Не проблема. Просите оценить тональность каждого высказывания, но вот рассчет итогов оставьте хотя бы на эксель, если скрипты ну совсем никак.

В продолжение диалога к прошлому посту. Никогда раньше не обращал на это внимание, но теперь осознал.

Я принципиально не верю скринам с диалогами. Причин слишком много, но это уже что-то на уровне подкорки - не надо верить всему в интернете.

Диалоги на картинке в прошлом посте явно "не полные" и их обрезали так, как удобно было автору.

Помимо того, что не видя полную переписку мы не знаем что за инструкции были даны вне скрина, так ещё и надо помнить, что любой человек через консоль может поправит любой текст на странице так, что никогда не будет по скрину ясно настоящий ли текст.

Какой-то лютый сюр произошёл только что с компанией айспринг и ее основателем Юрием Усковым.

Не хочу угодить в детали, но выглядит пока как маски-шоу из девяностых.

Одна из лучших компаний в направлении конструкторов курсов. Занимают старомодно первые места во всех международных рейтингах конструкторов. Потрясающий образец российского ИТ.

Сам Юрий тоже человек, которого я лично очень уважаю. И за гражданскую позицию, и за дела, которые он творит. За все его открытые и благотворительные проекты.

Списался с коллегами. Пока хочется, чтобы работа кипела и дальше, и ребята попросили рассказать, что у них есть крутая программа обучения для учителей: https://news.1rj.ru/str/education_vector_with_ispring/361

Пока нет идей другой поддержки, кроме как направлять лучи поноса организаторам масок шоу.

Ну что, друзья. У меня (Владимира Казакова, чтобы внизу поста не выискивать) новый этап в жизни ))

Я покинул МТС Линк. За полтора года сделал кучу крутого и интересного, но пора двигаться дальше. Что там наделал - расскажу в следующих постах, как всегда с примерами и кейсами. Но закину удочку, что удалось создать сильно новый подход к проверке знаний. Об этом прям отдельно буду писать, так как на мой взгляд - вышло круто.

Ребята из моей команды, кому я передал все дела, пока дотаскивают новые фичи на прод, а я доволен, что за полтора года удалось с нуля создать мега-банду, которая может все)

Что это значит для читателей канала?

1) Что теперь у меня больше времени на написание постов! Кейсов с наших с Ромой тренингов скопилось много, даже слишком. Да и работа с клиентами Линка дала огромный опыт и насмотренность, которую я бы никогда не получил, работая внутри любой другой компании. Но фуллайм не позволял нормально уделять время этой задаче.

2) Ну и заодно скажу, что у меня есть еще два канала, которые я в какой-то момент "прикопал", но они, на самом деле они запали мне в душу, и их я тоже реанимирую. Канал @dl_techhunter продолжит жить для публикаций про интересный софт, но теперь с чуть большим уклоном в ИИ. А канал @dl_memes так и останется про мемчики про обучение, но теперь еще добавится про разработку и ИИ немного.

3) А еще это значит, что мы готовы проводить больше тренингов и консалтинга. Хотя честно, календарь на апрель уже лопается и график тренингов почти ежедневный. Как и всегда - наши тренинги это не прогон стандартной презы, а кастомный подход к каждому заказу.

4) Разумеется не могу не написать, что наш готовый SCORM курс никуда не пропал, он все еще доступен для заказа. Демка тут: https://rise.articulate.com/share/nV62dGCpAWM0hbjptF3jWAuwVaw2OKTR

5) Так как опыта с ИИ вагон и тележка, хочется его утилизировать в какой-то новый продукт, типа ИИ помощника методолога для создания курсов.мой Ощущение, что мы такое сможем втащить - так почему бы и не сделать? Если у кого-то есть интерес в этом направлении - готовы обсуждать и двигаться вместе

...) А еще, но это не точно, мы можем сделать второй курс, уже по графическим ИИ и рассказать про промпт инженерию в них. Или сделаем открытые воркшопы по ИИ в обучении. Или... блин, сколько новых крутых возможностей! Что бы выбрать?)

Ну и первая же новость будет про изменения. Только уже не у меня, а в области ИИ.

Мне пришлось добавить в тренинг отдельный блок для демонстрации скорости изменений на примерах и кейсах. Это просто за гранью наших привычек.

Вчера идея попросить ИИ поразмышлять вслух (чтобы ее размышления попали в контекст и помогли найти правильное решение) было лайфхаком, сегодня это включается специальной кнопочкой в топовых моделях.

Вчера я говорил, что ИИ не может за вас что-то сделать (только написать как сделать), сегодня некоторые ИИ научились жать кнопки на экране вашего компьютера, а уж писать код который сразу скомпилируется и будет готов к использованию - как само собой.

Вчера я говорил про лимиты токенов после которого модель может уводить в сторону от изначальной темы, сегодня (вот буквально на днях) вышла новая опенсорсная лллама с лимитом 100к.

В некоторых моделях появилась избирательное внимание в виде отдельного слоя нейронки (скорее даже отдельной нейронки целиком). Понятие долговременной памяти тоже уже есть, и это не "загрузить все прошлые диалоги", и не RAG, а нормально продуманная идея.

Пожалуй только до обучения прямо на ходу ещё нет. Но это пока. Пока это просто слишком дорого.

Я в какой-то момент перестал обновлять некоторые слайды, так как пока я веду тренинг - оно может поменяться.

К счастью, большая часть тренинга и нашего курса построена не на хайповых новостях, а на том, как работает технология под капотом. И даже когда разработчики обновляют примерно все, сама идея, без которой работать с ИИ на 100% не получится, остаётся. Но, кажется, это тоже "пока". Пока не придумали что-то совсем другое.

Хочу похвастаться, что сделал. В МТС Линк (и нет, это не реклама, ну как минимум не договорная) запустилась система проверки свободных ответов на базе ИИ.

Теперь можно сделать тест из свободных вопросов и получить оценку. Без ручной проверки! Практически моментально!!

Мое мнение - это сильно более мощное применение ИИ, чем просто для генерации контента курсов. Да, для создания курсов ИИ тоже сильно помогает, но вот в проверке знаний... ух! Хотя у ребят и после моего ухода осталось еще вагон работы - допилить комментарии от ИИ, возможность поменять оценку/коммент или валидировать вручную...

Я в отдельных постах распишу, какие кейсы у меня там получилось закрыть с разными компаниями, но сразу скажу, что сильно доволен результатом. А главное - в целом в такой проверке нет ничего особо сложного (даже технически), в принципе можно встроить ИИ в любую систему тестирования (хотя в некоторые со скрипом).

Кейсы на подходе. И они очень интересные )