#посмотреть_на_выходных (12+)

Искусственный разум (A.I. Artificial Intelligence, 2001)

Ребенок-андроид Дэвид создан с единственной целью: удовлетворять потребность в родительской любви у состоятельной пары Свинтонов, пока их родной сын, поражённый неизлечимой болезнью, пребывает в глубокой заморозке. Разумеется, сам Дэвид запрограммирован на глубокую и безотчётную любовь к «родителям», это доминирующее свойство его характера — собственно, других ярких черт и не предусмотрено.

До поры до времени такое положение дел всех устраивает, но когда лекарство находят и настоящий ребёнок возвращается в семью, любовь превращает жизнь андроида (а заодно и Свинтонов) в настоящий ад. Получился один из самых жутких и эмоционально изматывающих фильмов об искусственном интеллекте.

Войти в IT через дипфейк выпускника MIT

👨‍💻 Многочисленные образовательные платформы без устали рекламируют онлайн-курсы программирования и анализа данных. Потенциальным студентам обещают райские кущи работы в IT, огромные зарплаты в условиях нарастающего кризиса и непреходящую востребованность. Кофе, печеньки и гамак прилагаются.

👥Однако без наработанного резюме и опыта реальных проектов устроиться на хорошую работу для выпускников IT-ПТУ не так-то просто. Выручить может технология дипфейков. С её помощью соискатели имитируют чужие личности на онлайн-собеседованиях и получают долгожданную должность.

💸 Но это ещё полбеды, дипфейк-собеседования взяли на вооружение и хакеры, в том числе работающие на правительство КНДР. Преступники стараются устроиться на позиции, связанные с доступом к финансовой и частной информации, подавая заявки от имени настоящих специалистов и подделывая их внешность.

👮🏻‍♂️ Ситуацией уже озаботилось ФБР. Недавно его специальный отдел Internet Crime Complaint Center (IC3) выпустил официальное заявление, в котором впервые обратил внимание широкой общественности на новейший вид правонарушений. В последние месяцы в Бюро поступает всё больше обращений от компаний, пострадавших от применения дипфейков при устройстве на удалённую работу.

🖥 Пока что у ФБР нет полной статистики по подобным преступлениям, поэтому неизвестно, сколько фиктивных «соискателей» успешно получили должность. До сих пор определить подделку удавалось лишь случайно — например, когда интервьюер замечал несовпадение между движениями губ и речью, или когда «соискатель» кашлял или чихал, что не отражалось в движениях сгенерированного персонажа на экране.

📞 Напомню, что криминалитет давно освоил подобные технологии — ещё в 2019 году подделанный с помощью дипфейков голос немецкого банкира позволил украсть более 200 тыс. евро. Впрочем, сейчас дипфейки начала применять и полиция, например, для поиска свидетелей убийства подростка в Нидерландах.

#Глубокое_обучение, #Дипфейки, #Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта

Никогда не задумывались, почему в переполненном метро и подземных переходах люди не сталкиваются друг с другом? Ответ даёт социология (точнее, такое её направление, как этнометодология). В любом пространстве возникает локальный социальный порядок. Люди усваивают определённые социальные практики (простой пример — стоять только с правой стороны эскалатора, оставляя левую свободной для прохода), которые данный порядок поддерживают. «Смазкой» для их реализации выступают множественные невербальные знаки. Любой человек посылает и считывает их бессознательно, но как научить подобному робота?

Ситуация: В области сервисной робототехники наиболее востребованы сейчас роботы-ассистенты. Их используют в больших супермаркетах и торговых центрах, клиниках, аэропортах, кинотеатрах. Они помогают людям перевезти багаж, сориентироваться, получить справки и другую информацию. Современные модели содержат диалоговые системы, способные понимать и отвечать на естественном языке. При необходимости они могут сопроводить человека до места его назначения.

Проблема: В местах, где эти роботы особенно необходимы, часто бывает слишком много людей. Перемещаться в толпе крайне непросто, поэтому для безопасности машинам приходится ограничивать скорость. Встретившись со сложной ситуаций, они замирают на месте, дожидаясь более удобного момента для начала движения. Всё это сильно замедляет работу автоматических ассистентов.

Решение: Учёные из Германии разработали новую модель глубокого обучения с подкреплением (Deep-Reinforcement-Learning, DLT). Она позволяет роботам ориентироваться при выполнении различных задач: следовании за человеком, сопровождении его к нужной точке и просто движении к цели среди толпы. Для этого модель учитывает «семантические» аспекты своего окружения. Например, торопливо или медленно идёт человек, стоит неподвижно или занят разговором. В соответствии с ними алгоритм оценивает вероятность дальнейших действий, чтобы обойти все препятствия.

Проверка: Эффективность модели протестировали в виртуальной двумерной среде arena-rosnav, разработанной той же командой ещё в 2021 году. Система продемонстрировала способность двигаться за человеком или впереди него, подстраиваясь под его скорость и успешно обходя соседние препятствия. Тем не менее, теперь модели предстоит испытание в реальных условиях физического мира. И если она покажет себя столь же успешно, то может появиться в следующих поколениях роботов-ассистентов.

Почитать подробнее: препринт в arXiv.

#Сервисная_робототехника, #Машинное_обучение

Богиню обучили школьной математике

Появившиеся за последние годы крупномасштабные модели обработки естественного языка оказались исключительно универсальны. Обученные на больших массивах разнообразных данных, они отлично проявляют себя и в анализе текстов, и в генерации программного кода, и в ответах на вопросы при ведении свободного диалога с пользователем. Однако стоит сочетать обычный текст с математическим, — и они уже не справляются. Задачка по геометрии школьного уровня ставит в тупик все эти сложные системы.

🔢 Количественные рассуждения (Quantitative Reasoning) требуют понимания математических символов, формул и констант, а также реальных отношений физического мира и хотя бы простейших вычислений. Всё это лежит за пределами возможностей даже таких мощных моделей как BERT или GPT-3. Многие специалисты полагали, что языковым моделям математика в принципе недоступна, или же потребует существенных изменений в их архитектуре, например, внедрения отдельных модулей для вычислений.

🧖🏼‍♀️ Однако на днях Google Research представили новый алгоритм Minerva (Минерва — римский вариант богини мудрости Афины). В его основе лежит языковая модель PaLM, в вариантах на 62 и 530 миллиардов параметров. Для понимания «языка» математики её дополнительно обучали на специально составленном датасете из 118 Гб академических статей, в которых используется математическая нотация в популярных форматах LaTeX, MathJax и др.

📄 Дело в том, что в отличие от обычного текста, для математического крайне важно форматирование (в частности, взаимное расположение знаков и чисел), которое обычно стирается при подготовке данных для обучения. Создатели же Minerva, наоборот, максимально старались сохранить его.

Кроме того, для выбора правильного решения в модели используется новый метод «самосогласованности» (Self-consistency method). Он включает три шага:

1️⃣ В качестве затравки (prompt) используется цепочка размышлений. Например, вопрос: «Три машины стояли на стоянке. Две приехали. Стало ли их больше?». И рассуждение-ответ: «Так как три машины было и две добавилось, значит 3 + 2 = 5. Следовательно, машин стало больше».

2️⃣ В ответ на затравку модель генерирует множество альтернативных цепочек рассуждений. Среди них могут быть как имеющие «неправильные» ответы (4 или 6). Так и «правильный» — 5.

3️⃣ В конце включается специальный механизм «большинства голосов». Обычно языковые модели генерируют набор ответов на запрос и выбирают тот, который считают наиболее вероятным. Однако Minerva действует чуть иначе — она отбирает цепочку рассуждений с ответом, который появлялся чаще других.

🧾 Дообученная модель испытывалась на нескольких специализированных бенчмарках с задачами из области науки, технологий, инженерии и математики (Science, Technology, Engineering, and Mathematics, STEM). Например, бенчмарке MATH, который содержит задания по математике уровня старшей школы. С ними Minerva успешно справлялась в 50% случаев, тогда как прежние SOTA-модели оставались в пределах нескольких процентов.

Почитать подробнее: препринт в arXiv.

Пограться: демо на GitHub.

#Машинное_обучение, #Обработка_естественного_языка, #Образование

«Всё взять и поделить!»

Искусственный интеллект нашёл наиболее справедливый вариант распределения доходов. Понравилось даже людям.

💰 Одна из ключевых проблем человеческого общества — справедливое распределение ресурсов. Различные идеологии предлагают разные решения. Либертарианство подразумевает, что прибыль всегда пропорциональна вложениям. Иными словами, чем больше твой вклад в капитал, тем выше дивиденды. Однако такой подход даёт серьёзное преимущество тем, кто уже обладает большими средствами.

💵 Эгалитарное распределение — в крайних вариантах, всем поровну — чревато потерей стимулов к экономической активности и часто приводит к «трагедии общин», когда каждый готов извлекать максимальную прибыль из общих ресурсов, но не нести связанные с ними издержки. Есть ли третий путь? И могут ли машины быть более экономически справедливы, чем люди?

💶 Компания DeepMind совместно с британскими учёными разработала экономический симулятор. На первом этапе в него играли только люди. Четверо участников получали разное количество денег. Они могли сохранить их у себя или вложить в общий фонд, который периодически выплачивает проценты по этим инвестициям.

💷 Доход фонда распределялся между игроками, в зависимости от выбранной стратегии. При «эгалитарном» распределении все получали поровну. При «либертарианском» — пропорционально сделанным вкладам. А при третьем варианте — смешанном или «либерально-эгалитарном» — в зависимости от того, какую долю собственного капитала вложил каждый игрок. (Например, при вложении 50% от $1000 и 50% от $10000 дивиденды будут равны).

💴 Учёные провели множество сеансов этой игры с 5000 добровольцами на различных краудсорсинговых платформах. Условия варьировались: разная степень неравенства в первоначальном распределении средств между игроками с различными вариантами дележа процентов от общего фонда. По итогам всех игр участники голосовали, какой вариант они считают наиболее справедливым, имитируя демократический процесс.

🤖 Полученные результаты использовались для обучения аналогичной игре интеллектуальных программных агентов, которые затем провели тысячи виртуальных матчей друг с другом. При этом за их игрой всё время наблюдал ещё один алгоритм искусственного интеллекта. Он регулярно менял условия в зависимости от голосования агентов и оценок справедливости итогового распределения денежных средств.

💸 В итоге система пришла к распределению, близкому к смешанному, «либерально-эгалитарному» варианту. Агенты получали доход в зависимости от доли собственного капитала, вложенной в общий фонд, однако лишь в том случае, если она составляла не менее половины от всех их средств.

🏝 Далее учёные вновь провели серию игр с людьми. Выяснилось, что живые игроки также чаще голосовали за такой же вариант распределения, считая его наиболее справедливым. Судя по всему, установление минимальной планки вложений не позволяет самым богатым игрокам, потратив совсем небольшую долю своих средств, «перебить» вложения бедных, инвестировавших куда большую часть своего капитала. А приравнивание дивидендов к доле капитала — в итоге сбалансировать распределение средств и сделать всех богатыми в равной степени.

Почитать подробнее: научная статья в Nature Human Behavior

#Цифровизация_и_общество, #Интеллектуальные_агенты, #Теория_игр

Кажется, сильно много сложных новостей о моделях сразу 🙈 Поэтому держите красавчика, которого нагенерил Kandinsky 😍

Запрос «Чебурашка в скафандре».

Особенно умилительно, как алгоритм предусмотрел специальные отверстия в шлемофоне для его больших ушек 🥰

Наш супергерой — Чебунавт!

ИИ научили предсказывать будущее. Правда точность прогнозов всё ещё хуже «мудрости толпы»

В открытый доступ выложен датасет Autocast. С его помощью можно обучить языковые модели прогнозировать события из области политики, экономики, науки и технологий.

🏛 В работе над Autocast участвовала команда учёных из Оксфорда, Беркли и Массачусетского технологического института. Они использовали архивы Metaculus, Good Judgment Open и CSET Foretell. Всё это общественные краудсорсинговые проекты, чьи участники состязаются в предсказаниях будущих событий, зарабатывая рейтинговые очки.

Итогом стал массив из 6707 комплексных единиц, каждая из которых содержит:

1️⃣ вопрос (например, запустит ли Северная Корея баллистическую ракету с дальностью поражения 10 тыс. км?);

2️⃣ временной промежуток от момента задания вопроса до даты предсказанного события (скажем, с 01.01.2021 до 01.01.2022);

3️⃣ ответ на вопрос (утверждение «правда» или «ложь», либо один из пунктов в ответе с множественным выбором, а также иногда точная дата события или количество);

4️⃣ «мудрость толпы» в виде процента предсказывающих данное событие пользователей платформ в те или иные моменты времени, а также в зависимости от текущих новостей.

📈 Полученный датасет применили для обучения широкого спектра моделей, как способных к информационному поиску (Fusion-in-Decoder), так и без него (UnifiedQA-v2 и T5).

🔜 Наиболее сложный вариант — FID Temporal — сочетал Fusion-in-Decoder с языковой моделью-трансформером GPT-2, которая получала на вход эмбеддинги — машиночитаемые векторные представления главных новостных сюжетов за соответствующие даты. Это позволяло ей точно так же делать прогнозы и уточнять их на протяжении длительного отрезка «симулированного времени», как и в прошлом людям.

✅ Данная система продемонстрировала и наибольшую эффективность среди всех моделей с точностью предсказаний в 37,8%, что более чем вдвое превосходит случайное угадывание — 18,8%. Однако сильно уступает «мудрости толпы». Совокупный прогноз на основе оценок множества людей точен в 82,5% случаев.

Тем не менее эксперименты показали, что с увеличением числа расчётных параметров точность машинных предсказаний растёт. А значит при увеличении размеров датасетов и самих языковых моделей, сложных архитектурах и тонкой настройки (файнтьюнов) — можно добиться существенного прогресса в предсказаниях будущих событий.

Главное, чтобы прогнозы ИИ люди не стали считать истиной в последней инстанции!

Почитать подробнее: препринт на Arxiv

#Прогнозные_системы, #Обработка_естественного_языка

Machines Can See — и ты посмотри

На YouTube выложили записи всех докладов с конференции Machines Can See 2022. Теперь полностью доступны и научная, и бизнес-программы.

ЧТО ПОНРАВИЛОСЬ ЛИЧНО МНЕ:

Во-первых, рекомендую посмотреть в паре два доклада — Александра Чигорина из VisionLabs про распознавание динамических жестов, типа свайпов по воздуху или прокрутки «колеса громкости». А затем сразу Александра Капитанова из SberDevices, который посмотрел на распознавание жестов с точки зрения управления гаджетами, а также рассказал про создание недавно опубликованного датасета HaGRID (HAnd Gesture Recognition Image Dataset) (я, кстати, подробно писала о нём).

Далее, феерическое выступление Андрея Незнамова, председателя национальной комиссии по этике искусственного интеллекта. Образец евангелиста, способного популярно и на интересных исторических кейсах рассказать о трудной и неочевидной для многих инженеров и продактов теме.

Классный доклад Андрея Кузнецова из Sber AI, где он подробно рассказал о создании генеративной модели Kandinsky (и о ней я тоже писала), а также обозрел ряд крутых файнтюнов и показал фантастически красивые генерации.

Выступление Кузнецова хорошо дополняет и продолжает доклад его коллеги по Sber AI Дениса Димитрова о мультимодальном обучении и мультизадачных архитектурах. Вы поймёте, как одни и те же модели можно использовать для обработки разной информации, например, тех же языковых — для естественной речи, кода, временных рядов и т.д. И как предобученные большие модели можно быстро адаптировать для конкретных задач, экономя ресурсы и время.

А вообще, рекомендую посмотреть всё! Сама я этого на конференции сделать не успела, буду теперь вечерами наверстывать 😉