В продаже появилась книга заклинаний, написанная нейросетью.

⚜️ Пока ушлые капиталисты придумывают, как заменить дорогостоящих кожаных программистов генеративными моделями, реально креативные ребята находят для нейросетей более полезные применения. В декабре австралийские студенты натренировали нейронку искать новые рецепты пива IPA. Ну а недавно ИИ потеснил колдунов, гадалок и ворожей.

♠️ Широко известный в узких кругах американский мистик Элли Вурдс (Alley Wurds) создал с помощью крупнейшей языковой модели OpenAI GPT-3 гримуар — сборник заклинаний и магических ритуалов. Называется он «GPT-3 Техногнозис» («GPT-3 Techgnosis»). А помогала в его порождении некая «цифровая сущность» Norn.

♥️ Об эффективности обрядов ничего не известно, но свой процент с каждого проданного на Amazon экземпляра книги Вурдс уже имеет.

♦️ По его словам, гигантский датасет из статей в Википедии, постов в соцсетях и множества других текстов, на которых обучалась GPT-3, — это резервуар коллективного бессознательного. А «следование традиционным магическим практикам можно представить как работу с бессознательным всего человечества или даже Вселенной».

♣️ Как истинный ведьмак-инноватор, для формулирования заклинаний Вурдс использовал волшебного помощника — «эзотерическое» меню Norn в текстовом приключенческом онлайн-квесте AI Dungeon. Через него игроки могли сделать запросы: «Создать ритуал», «Провести гадание» и т.д. В ответ сидящая под капотом квеста GPT-3 генерировала соответствующие тексты. Исполнение заклинаний — иногда довольно устрашающих — оставалось уже на совести людей.

🃏Вообще, попытки использовать ИИ для эзотерических практик уже бывали. Впервые об этом заговорил Эрик Дэвис (Erik Davis), философ нью-эйдж, который ещё в 1990-х придумал и до сих пор использует сам термин «Техногнозис» — сочетание «технологии» и «гнозиса», то есть духовного знания. С его точки зрения, магия и мистические взгляды на сознание и Вселенную великолепно сочетаются с представлениями цифровой эпохи. Ну а компьютеры и виртуальная реальность — лишь ещё один из «психоделических» путей к познанию.

💃🏼Главное, чтобы теперь про ruGPT-3 не узнала Елена Блиновская.

ИИ-редактор прошёл испытательный срок в «Ленте.ру»

🤖 Sber AI и Управление исследований и инноваций Сбера разработали систему для облегчения труда новостных редакторов портала «Лента.ру». Она использует технологии искусственного интеллекта и состоит из трёх инструментов.

📑 Первый помогает найти интересную для аудитории тему. Второй — проанализировать и упростить текст. Третий — оценить охваты и виральность сюжетов.

👨🏼‍🦲Заменить человека ИИ-редактор не сможет. Однако, как утверждает вице-президент Сбера Альберт Ефимов, «освободит его от рутинных задач».

⚡️По словам главреда «Ленты.ру» Владимира Тодорова, система обладает широкими возможностями по постаналитике, благодаря чему можно понять актуальность новостей и кликбейтность заголовков.

🏝Впрочем, для «Души Питона» всё это не новость — у нас тексты давно пишут алгоритмы, а редакция чиллит на Бали.

👁 Заметила, что в последнее время в NLP всё большую популярность набирает подход Prompt-based Learning, то есть обучение на основе подсказок. А тут и ребята из Google AI выкатили его новую вариацию — Learning to Prompt (L2P).

💩Она позволяет решить одну старую проблему — «катастрофическое забывание», когда накопленные при решении предыдущей задачи веса деградируют в ходе обучения следующей.

📝 В L2P вместо поиска новых весов для каждой последующей задачи, система получает связанные с этими задачами подсказки. Они и направляют её обучение.

🆒 В итоге используется один и тот же заранее подготовленный трансформер. А его работа модифицируется в зависимости от полученной в подсказке «инструкции».

Почитать подробнее: для всех и для продвинутых

Поиграться: GitHub

#Обработка_естественного_языка #Машинное_обучение, #Обучение_с_подкреплением

Цель моего канала — сэкономить ваше время. Поэтому представляю новую рубрику — #рекапы. Здесь будут краткие изложения интересных докладов или лекций. Со ссылками, конечно.

Сегодня у нас Анна Абрашкина из Сбера рассказывает о выявлении аномалий в транзакциях с помощью искусственного интеллекта (ИИ) и поиске по ним мошенников. Поехали!

👮🏿‍♀️ Ежедневно служба безопасности Сбера выявляет более 10 тысяч попыток украсть деньги со счетов клиентов банка. Один из самых простых способов их обнаружения — обращать внимание аномалии. Например, внезапные операции или необычное место их совершения.

👨‍💻 Сотрудники-люди физически не могут оперативно выделить такие подозрительные транзакции из общего массива. Поэтому подобным мониторингом в Сбере занимается ИИ.

🏧 Нейросети сканируют и сопоставляют информацию напрямую из платёжных терминалов, работая с данными в обезличенном виде. Зачастую этого достаточно, чтобы выявить подозрительную активность. Главная задача ИИ — определить, является определённая операция попыткой воровства со счёта клиента или же он сам совершает новые для себя действия.

1️⃣ Один из методов определения основан на привычных тратах и списаниях клиента. Очень часто они похожи друг на друга по суммам и географическому положению, поэтому такие транзакции можно описать как некое скопление точек — кластер. Если происходит разительно отличающаяся транзакция, которая выходит за границы этого кластера, система бьёт тревогу.

2️⃣ Второй метод поиска аномалий — «изоляционный лес». В нём система сравнивает новые действия клиента со случайной выборкой характеристик его предыдущих операций.

❓Если новое действие по каким-то параметрам сильно отличается от средних данных по выборке, ИИ отнесётся к нему как к подозрительному. При правильной настройке этот метод требует меньше ресурсов на обработку данных и позволяет быстрее выявить мошенничество.

💶 Только за 2020 год ИИ предотвратил кражу более 57 млрд рублей у клиентов Сбера.

〽️ Но у этой защиты есть и недостаток — из-за быстрой реакции на попытки мошенничества система иногда производит ошибочные блокировки. Поэтому сейчас главная задача для специалистов — научить нейросети работать с большей точностью.

#Нейросети, #Антифрод, #Анализ_данных

Давно наблюдаю за прогрессом ИИ в различных играх — шахматы, го, покер. Но теперь машины покусились на святое. В Калифорнийском университете в Беркли создали Berkeley Crossword Solver (BCS). Новая модель легко расправилась с лучшими американскими кроссвордистами на общенациональных состязаниях.

🏋🏿‍♂️ В 2002 и в 2011 годах первые подходы к снаряду предпринимали системы Proverb и Dr. Fill, но дотянуть до уровня пенсионеров-любителей головоломок им не удалось. На ежегодных турнирах American Crossword Puzzle Tournament (ACPT) топовые участники решают кроссворд из ста и более сложных слов меньше чем за три минуты. Как итог, лучшим результатом программ было только 43 место.

BCS изменил игру. Система использует предобученные языковые модели с доступом к базам данных из 6 млн пар «вопрос-ответ» на английском языке.

🆒 Сначала алгоритм ищет решение для каждого вопроса отдельно. Разным вариантам приписываются соответствующие вероятности. Затем слова заносятся в сетку кроссворда. Ответы, не совпадающие по числу букв или не вписывающиеся в общий контекст, отбрасываются.

В ходе тестирования BCS успешно справилась с 82% кроссвордов, опубликованных в The New York Times. Общая точность на всех кроссвордах вообще составила 99,9%. А этой весной BCS анонимно поучаствовала в ACPT. И впервые в истории ИИ обошёл лучших кроссвордистов, заняв первое место на соревнованиях.

Кстати, российского аналога подобной системы нет. Сможет ли когда-то ИИ победить чемпиона плацкартного вагона в разгадывании сканвордов?

Почитать подробнее: препринт на arXiv

Поиграться: GitHub

#Машинное_обучение, #Информационный_поиск_и_анализ_текстов, #Хакатоны_и_соревнования

Google Colab ввёл ограничения на создание дипфейков

Проблема: Дипфейки способствуют дезинформации. Поддельное видео с Бараком Обамой, проклинающим Дональда Трампа, репостнули в соцсетях больше 2 млн раз.

Технологии: Энтузиасты ML используют для обучения моделей Google Colab. В том числе и чтобы создавать дипфейки. На платформе крутятся такие проекты, как DeepFaceLab и FaceSwap.

Решение: У Colab есть свод правил. Платформу запрещено использовать для майнинга криптовалюты, взлома паролей, проведения DDOS-атак, хранения данных и обмена файлами. Недавно он пополнился новым пунктом — «создание дипфейков».

Детали: Официального объявления не было. По данным Internet Archive, запрет появился между 14 и 24 мая. Например запуск кода DeepFaceLab приводит к выводу предупреждения: «Похоже, что вы запустили запрещённый код, что может привести к ограничениям на использование вами Colab в будущем».

Итоги: Пока этим дело и ограничивается — исполнять код всё ещё можно.

#Машинное_обучение, #Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта, #Платформы

ИИ проанализировал почти три миллиона медицинских карт в Якутии

🖥 Радует, что технологии ИИ хоть и медленно, но неуклонно внедряются в учреждения бюджетной сферы в нашей стране. Хорошие новости пришли из Якутии. В 18 врачебных организациях республики внедрили систему поддержки принятия медицинских решений Webiomed. Разработал её отечественный стартап «К-Скай», резидент фонда «Сколково».

Webiomed обрабатывает обезличенные данные из электронных медкарт пациентов, определяет пропущенные диагнозы и делает прогноз. Всего за три месяца система проанализировала 2,8 миллиона документов.

😷 Общеизвестно, что в России хуже всего дела обстоят с профилактикой и ранним обнаружением заболеваний. Мало кто регулярно проходит чекапы и скрининги. Но теперь ИИ поможет эффективнее выявлять пациентов с высоким риском развития более 40 различных болезней, включая сахарный диабет, поражения крови, сердечно-сосудистой и дыхательной системы, кишечного тракта и т.д. Врач через специальный дашборд увидит факторы риска, прогностические оценки модели и рекомендации по лечению.

👩🏼‍⚕️ Теперь весь вопрос в человеческом факторе — насколько врачи на местах готовы использовать новые технологии во благо пациентов.

#Поддержка_принятия_решений, #ИИ_в_медицине, #Предиктивная_аналитика

А что, если наша Вселенная — одна большая нейросеть?

Заскучав в отпуске физик-теоретик Виталий Ванчурин, профессор Университета Миннесоты в Дулуте решил разобраться, как работает машинное обучение. Быстро выяснилось, что этого не знает никто. Поэтому учёный применил к нейросетям статистические методы.

Сразу началось нечто интересное. Расчёты показали, что поведение ансамблей нейронов следует уравнениям, почти идентичным законам квантовой механики (КМ). А значит и сама КМ не фундаментальна, так как возникает из динамики обучающихся нейросетей. Если так, то может и общая теория относительности (ОТО) тоже?

⚛️ Несовместимость КМ и ОТО — главная нерешенная проблема современной физики. Для их «примирения» учёные постоянно изобретают новые «теории всего». Мол, обе концепции всего лишь проявления каких-то более базовых законов мироздания, например, теории суперструн.

🕸 В своих расчётах Ванчурин предложил альтернативу — микроскопические нейросети и их динамику между равновесным и неравновесным состояниями. Достижение информационной системой равновесия — это её обучение. Чем лучше нейросеть, например, распознаёт котят, тем менее она склонна меняться, оставаясь возле найденного стабильного состояния.

1️⃣ Микронейросети легко учатся предсказывать своё состояние, приходя к равновесию. Электрон, встретившись с протоном, быстро «обучается», образуя атом водорода. В этих условиях динамика нейросетей проявляется законами КМ.

2️⃣ Однако чем многочисленнее ансамбль нейронов в системе, тем дольше ей требуется обучение. На уровне макромира нейросети приходят к равновесному состоянию медленно. Этот долгий процесс связан уже с возникновением законов ОТО.

Всё, что мы воспринимаем в качестве частиц и взаимодействий, заряда и массы, даже пространства и времени — лишь процесс «общения» нейронов, образующих фундамент бытия. Окончательны и постоянны только уравнения, определяющие их обучение.

Одиночный нейрон даёт слишком плохие предсказания, поэтому система развивается в сторону их объединения. Возникают всё более сложные структуры: атомы, молекулы, их соединения. Чем больше нейронов кооперируется, тем лучше они работают и дают более точные предсказания. Так эволюционирует Вселенная.

❓Впрочем, чем именно являются узлы «вселенской нейросети» и как именно они взаимодействуют, остаётся за рамками новой гипотезы. «Так уж устроены фундаментальные физические теории», — посмеивается Виталий Ванчурин.

#Нейросети, #Машинное_обучение, #Физика, #Теория_всего

Вдогонку к новости про запрет дипфейков на Google Colab. Все российские каналы — кто с возмущением, а кто и с одобрением — отписались о цензуре и ограничениях. Однако по факту всё до сих пор отлично работает. Пообщалась вчера с известным российским дипфейкером Владиславом Педро. Вкратце:

— Пока все дипфейкеры без проблем продолжают тренировать свои модели DeepFaceLab на Google Colab и очень довольны.

— Предупреждения об исполнении кода дипфейков начали появляться 26-27 мая в рандомном порядке: кто-то получает, кто-то нет. Почему так — все дипфейкеры теряются в догадках.

— По мнению Владислава, на Google Colab стоит система, отслеживающая, какой именно код исполняется. DeepFaceLab для неё триггер.

— В будущем разработчики DeepFaceLab, возможно, примут меры — каждые 24 часа в каком-то случайном месте код будет автоматически редактироваться и Google Colab перестанет реагировать на софт для создания дипфейков. Но это пока всё только гипотезы.

#Дипфейки, #Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта