Робот-паук составит конкуренцию Бэнкси. Ну почти

Два весёлых китайца Чен и Чан с коллегами из Технологического института Джорджии развлекаются тем, что подвешивают маленького робота-художника перед стеной и заставляют рисовать граффити «Вперёд Спартак».

🎨 Изображения пока довольно простые, однако для их создания применяется сложная система GTGraffiti. Используя технологии захвата движений (motion capture) Чен записал работу живых граффитистов, включая перемещения руки от одного участка стены к другому при нанесении слоёв краски из баллончика. А Чан эти данные проанализировал с помощью компьютерного зрения. Теперь они используются для управления роботом.

🤖 Кремниевый художник крепится на двух пересекающихся металлических тросах, что позволяет ему двигаться по всей плоскости стены (пока она ограничена размерами 3х3 метра). Робот получает исходное изображение, на основе которого встроенные в него алгоритмы рассчитывают нужную траекторию, скорость движения и места остановок. Затем эта программа превращается в набор конкретных команд — и робот, вооруженный баллончиком, слой за слоем наносит краску.

Попытки научить машины движениям граффитистов предпринимались и раньше. В 2010 году энтузиасты представили датасет таких записей F.A.T. Lab’s Graffiti Markup Language (к сожалению, сегодня уже недоступный). Однако в то время технологии не позволили добиться качественной регистрации всех манипуляций уличных творцов.

По задумке создателей, GTGraffiti позволит копировать или реставрировать настенные шедевры. Главное, не пытаться загрузить в робота-граффитиста творчество Покраса Лампаса — если машина не сойдёт с ума, то точно сорвется с тросов и разобьется.

Почитать подробнее: препринт на arXiv.

#Компьютерное_зрение, #Робототехника

Дипфейки для поиска преступников

В ходе обсуждения новых ограничений в Google Colab на создание дипфейков — мнения разделились. Большая часть энтузиастов ИИ считает, что это очередное усиление цензуры со стороны крупных корпораций. Реализуется оно в ограничении доступа рядовым пользователям к вычислительным мощностям.

Однако отдельные техноблогеры, наоборот, выразили активное одобрение этой инициативе. Якобы дипфейки «используются для шантажа и травли», а потому «усложнять процессы людям которые таким занимаются — нормально», ведь «если дипфейкер делает свою работу для кино или рекламы, то у него есть ресурсы купить себе GPU».

🤦🏼‍♂️ Звучит пафосно и однобоко. Дипфейк — как и любая технология — нейтральна сама по себе. А используют её конкретные люди в своих благих или низменных целях. И не всегда это профессионалы в области ИИ.

🧑🏿‍🦱 Отличный пример — полиция Нидерландов. В далёком 2003 году возле автостоянки близ одной из станций метро в Роттердаме произошло немотивированное убийство 13-летнего подростка Седара Соареша. Парень профессионально занимался футболом, а в тот злополучный вечер играл с товарищами в снежки. Кто, зачем и при каких обстоятельствах расправился с юношей — так и осталось неизвестным.

👮🏻‍♂️👮🏼 Под подозрение попала одна местная банда мошенников, но никаких конкретных сведений по ним собрать не удалось. Спустя почти 20 лет, городская полиция надеется, что благодаря видеоролику, сделанному по технологии дипфейк, им удастся найти свидетелей преступления или людей, обладающих информацией об убийцах.

⚽️ На видео подросток с наложенным лицом Седара идёт по футбольному полю с мячом под мышкой в окружении «своих» родственников, друзей и бывших школьных учителей. В конце ролика он обращается к камере и спрашивает: «Вы знаете больше? Тогда говорите сейчас». Подход может показаться наивным, но после публикации видео в полицию обратились больше 12 человек.

Известный дипфейкер Владислав Педро прокомментировал творение голландских полицейских так: «Делал явно непрофессионал. Работа не очень качественная. Чувствуется как отсутствие навыков, так и проблемы с датасетом. Вероятно, не так много было фотографий или видео, откуда бралось лицо».

Это первый случай, когда полиция использует дипфейк для расследования. И явно не последний. Но покупать для этого видеокарты ценой в 5000 евро они вряд ли будут. Поэтому любое ограничение на свободный доступ к технологиям — это всегда препона для развития общества в целом.

#Дипфейки, #Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта

Пепел из Израиля стучит в сердца алгоритмов

Искусственный интеллект нашёл следы кострища возрастом от 800 тыс. до 1 млн лет. Это самое древнее свидетельство использования огня человеком.

🔥 Наверно многие в детстве читали книгу Жозефа Рони-старшего «Борьба за огонь». Разводить костер было так трудно, и он был так ценен, что ради корзины с тлеющими углями героям пришлось пережить немало смертельно опасных приключений.

🧠 Считается, что «приручение» пламени произошло ещё до появления нашего вида — Homo sapiens sapiens. Человек прямоходящий — Homo erectus — мог использовать огонь почти 2 млн лет назад. А приготовленная на костре пища позволила нашим далёким предкам сократить размеры желудочно-кишечного тракта, уменьшить энергетические затраты на переваривание пищи и за счёт этого нарастить мозг.

💨 Однако надёжных свидетельств столь древней истории костра нет. Достоверные следы очагов старше 500 тысяч лет можно пересчитать на пальцах одной руки. Идентифицировать их крайне сложно. За долгие годы зола уносится ветром, обгоревшие поленья и кости распадаются, а следы углей на камнях стираются эрозией.

📈 Но сейчас археологам пришла помощь откуда не ждали — машинное обучение применили для анализа спектра множества артефактов, найденных ещё в 1970-х годах на севере Израиля в карьере Эврон. Спектр любого предмета определяется тем, какое излучение он поглощает, а какое отражает. Например, листья на деревьях поглощают красный и синий свет, а отражают зелёный. ☘️🍀🌿

🦴 Пламя оставляет на предметах невидимые глазу следы: изменяет структуру материалов, оставляет микроскопические оплавления и трещинки, что отражается и на их спектрах. Две внешне одинаковые кости — обгоревшая и неповрежденная — поглощают разные участки инфракрасного и ультрафиолетового диапазонов излучения. К сожалению, кости на местах возможных древних кострищ встречаются редко, зато каменных орудий находят предостаточно.

📊 Учёные получили спектры поглощения для 26-ти кремниевых орудий из Эврона. Однако из-за множества естественных вариаций в структуре кремния найти нужный и довольно слабый сигнал им не удалось. Тогда они прогнали данные через модель машинного обучения для анализа ультрафиолетовой рамановской спектроскопии.

🐘 Алгоритм показал, что несколько образцов пережили воздействие температур от 200 до 600°С. Под версию с кострищем это подходит идеально: температура горения дров около 400°С, в зависимости от сорта древесины и других условий. Аналогичный анализ найденных там же бивней стегодонов и элефасов — древних родственников слонов — выявил, что они также подвергались нагреву до 600°С.

Таким образом, в Израиле использовали огонь почти миллион лет назад, ещё до прихода в регион человека современного типа, и уж тем более Моисея или эмигрировавших из СССР и России программистов. При этом не просто для приготовления пищи, обогрева и отпугивания диких животных, но и для экспериментов с кремневыми и костяными орудиями.

#Машинное_обучение, #Глубокое_обучение

#посмотреть_на_выходных (16+)

Сериал Звёздный крейсер «Галактика» (Battlestar Galactica, 2004-2009).

Искусственные интеллекты из этого сериала — «сайлоны» — можно записать в наследники андроидов из «Бегущего по лезвию». Они так же борются за выживание: заранее просчитав все варианты, сайлоны пришли к выводу, что «этот город слишком тесен для нас двоих» — для человеческой расы и машинной цивилизации. Так появились двенадцать человекоподобных моделей, которым предстоит стать агентами влияния, внедриться в ключевые точки управленческой структуры, сформировать «пятую колонну» и нанести человечеству удар в спину.

Но слишком точная имитация человеческого сознания оказывается ошибкой. В критический момент часть сайлонов предает своих и переходит на сторону противников-людей.

Астротурфинг не пройдёт!

Заметка для профессионалов индустрии. Особенно из корпоративного сектора. Как-то совсем незамеченным прошёл тот факт, что OpenAI сформулировала для компаний принципы этичного и безопасного применения больших языковых моделей (Large language models, LLM).

ВСЕГО ИХ СЕМЬ:

1️⃣ Публикуйте руководства по использованию и условия применения моделей, чтобы ограничить нанесение материального ущерба отдельным людям, сообществам и обществу, например, посредством спама, мошенничества или астротурфинга.

2️⃣ Создавайте системы и инфраструктуру для обеспечения соблюдения правил использования языковых моделей. Она может включать ограничения скорости, фильтрацию контента, одобрение приложений, мониторинг аномальной активности и другие меры.

3️⃣ Предупреждайте и смягчайте вредное поведение модели — за счёт её всесторонней оценки, минимизации потенциальных источников предвзятости в обучающих выборках, а также используя обучение на основе обратной связи с людьми.

4️⃣ Задокументируйте все известные слабости и уязвимости, такие как предвзятость или способность создавать небезопасный код, поскольку в некоторых случаях никакие превентивные меры не могут полностью исключить возможность непреднамеренного вреда.

5️⃣ Формируйте команды из сотрудников с разнообразным бэкграундом. Добивайтесь широкого участия (представителей разных гендеров, рас и проч.). Различные точки зрения необходимы, чтобы определить, как языковые модели будут работать в многообразии реального мира, где, если их не контролировать, они могут усилить предубеждения в отношении некоторых групп.

6️⃣ Раскрывайте широкой общественности и СМИ все кейсы, связанные с нарушениями безопасности и неправильным использованием языковых моделей, дабы обеспечить их широкое распространение и помочь в формировании межотраслевого пула лучших практик.

7️⃣ Относитесь с уважением ко всем работникам, занятым в создании и использовании больших языковых моделей. Например, обеспечивая хорошие условия труда для специалистов, занятых проверкой результатов применения моделей внутри и вне компании.

У нас в России тоже всерьёз озабочены подобными вопросами. В прошлом году был даже принят «Кодекс этики в сфере искусственного интеллекта».

#Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта, #Обработка_естественного_языка

#по_понятиям

Ну и если кто не знал, то астротурфинг — это понятие, производное от бренда AstroTurf — синтетического травяного покрытия для стадионов, напоминающего настоящий дерн. Здесь обыгрывается другая метафора из английского языка — grassroots — то, что произрастает само по себе, инициатива снизу.

У понятия долгая история, но сейчас под ним обычно понимают создание видимости широкой общественной поддержки какой-либо инициативы или решения, либо симуляции появления данной инициативы снизу с помощью специально нанятых людей — «ботов», проплаченных публикаций и сюжетов в СМИ, а также посредством современного программного обеспечения — истинных цифровых ботов.

#почитать_на_выходных (16+)

Вместе с фантастом Гарри Гаррисоном над романом «Выбор по Тьюрингу» (The Turing Option, 1992) работал один из пионеров кибернетики, сооснователь Лаборатории искусственного интеллекта MIT и автор основополагающих теоретических работ о нейросетях и фреймах Марвин Минский.

Возможно, под его влиянием дуэт произвёл любопытный феномен: роман из 1990-х, написан так, будто на дворе стоят ранние 1950-е, и не было ни «новой волны», ни прорывов киберпанка. Получилась старая добрая научная фантастика — морализаторская, прямолинейная, с многостраничными лекциями и детективной интригой, которая нужна лишь для того, чтобы переходить из локации в локацию.

Инженер Брайан Дилени оказывается жертвой нападения на лабораторию по разработке ИИ. Он становится пациентом нейрохирургической клиники, подопытной свинкой для выдающегося хирурга. Расследование инцидента перемежается многословными монологами врачей и учёных об устройстве человеческого мозга, технических проблемах и этических парадоксах ИИ.

ИИ задал нейрофизиологам вопросы о происхождении аутизма

Нейросеть научилась распознавать признаки аутизма по записям речи пациентов. Причём, на двух языках — английском и кантонском диалекте китайского. Последний является тональным языком и на слух сильно отличается от английского. Тем не менее модель успешно справляется в обоих случаях.

🧠 По мнению международной группы учёных, это указывает на универсальную — генетическую или эмбриональную — природу изменений, происходящих с мозгом и речью страдающих аутизмом людей.

В последние десятилетия диагноз «расстройство аутистического спектра» встречается всё чаще. Основные симптомы: дефицит общения и социальных взаимодействий, крайняя ограниченность эмоциональной жизни и интересов, стереотипность действий и речи. Хотя при этом иногда возможны прекрасные математические способности и наблюдательность.

👩🏼‍⚕️ Опытный врач легко распознает речь аутиста на слух. Следовательно, этот признак можно использовать и для автоматической диагностики, а также количественной оценки расстройства.

💬 Исследователи собрали базу аудиозаписей речи детей и подростков из США и Китая. Среди них были как здоровые, так и с диагностированным аутистическим расстройством. Все участники выборки пересказывали сюжет популярной детской книги Мерсер Майер «Лягушка, ты где?» (Frog, Where Are You?).

Затем учёные натренировали модель-классификатор, используя обучение с учителем. Выяснилось, что наиболее важными для диагностики являются ритмические характеристики речи. Они в равной степени эффективно работали для обоих языков. А вот интонационные — только для английского.

💊 В дальнейшем модель поможет оценить результаты различных методов терапии — прогресс, достигнутый в лечении. Но уже сейчас она вновь поставила вопросы о происхождении заболевания, на которые до сих нет точных ответов.

#Машинное_обучение, #Нейросети, #ИИ_в_ медицине

Действительно большой бенчмарк

⁉️ Какая модель лучше всех справляется с той или иной задачей? Например, понимает естественный язык? Чтобы это выяснить, нужно сравнить их производительность между собой и сопоставить с человеком. Желательно максимально объективно. Для этого существуют особые инструменты — бенчмарки. Они разрабатываются на основе определённой методологии и включают один или несколько разных тестовых заданий.

Проблема: За последние годы в области обработки естественного языка (Natural Language Processing, NLP) произошла серия грандиозных прорывов. Языковые модели резко увеличили свои размеры и эффективность. Теперь им по плечу даже такие задачи, как генерация программного кода и музыки, генетика и медицинская диагностика. А вот бенчмарки за ними не поспевают. Они или быстро устаревают, или чрезмерно специализированы.

Решение: Международная коллаборация, объединившая 442 специалиста из 132 организаций со всего мира, включая Россию, создали новый мультимодальный бенчмарк BIG-bench. Он предназначен для оценки моделей, имеющих от от нескольких миллионов до десятков миллиардов параметров. С его помощью можно будет оценить перформанс даже алгоритмов следующего поколения, которые только предстоит создать.

Особенности: BIG-bench отличается экстремальной сложностью, что отражено даже в его названии: BIG — Beyond the Imitation Game или, «За пределами имитационной игры». Явная отсылка к классическому тесту Тьюринга и долгожданному выходу за его границы.

Всего в бенчмарке 204 задачи, которые охватывают широкий спектр языков и тематик: от стандартных лингвистических способностей (чтение, понимание, генерация текстов) до написания кода и прохождения видеоигр. Кроме того, API системы позволяет создавать новые специализированные задания — в виде JSON-файлов или кода на Python.

👩🏻‍🎓 Российская участница коллаборации Татьяна Шаврина так подытожила работу над BIG-bench: «NLP — очень "жадная" область, которая постепенно подминает под себя всё большее число разных задач. Поэтому в бенчмарк включены самые разнообразные задания, например, шахматные ходы, записанные текстом. Впрочем, одновременно NLP является и донором — многие из архитектур, которые изначально были придуманы для неё, теперь плотно вошли в практику решения совершенно других задач».

Для продвинутых:

1️⃣ Препринт на arXiv. Аккуратнее — там 100 страниц!

2️⃣ Код, задачи, инструкции и прочие материалы проекта доступны в репозитории GitHub.

3️⃣ Для быстрой оценки моделей есть сокращённый и облегченный вариант бенчмарка BIG-bench Lite.

#Обработка_естественного_языка, #Бенчмарки

А вот и небольшое видео от Матьё Стерна, где он сам рассказывает про свои опыты с DALL-E 2 и показывает ещё больше изображений, например, по «Властелину колец». Есть сам Саурон и назгулы.

В этом канале обычно много текстов. Он вообще для тех, кто любит почитать на досуге. Но сегодня у нас прямо художественный день.

Не могу обойти вниманием новость — обложку для свежего Cosmopolitan нарисовала DALL-E 2. Всего за 20 секунд.

Интересна затравка:

«широкоугольный снимок, расположенной снизу камеры, женщины-астронавта с атлетическим феминным телом, идущей жеманной походкой к объективу по поверхности Марса на фоне бесконечной Вселенной, всё в стиле цифрового синтивейв».

Настоящее магическое заклинание шаманов технологической эры!

СледИИ за её левой рукой

💪🏻 Россия в очередной раз подтверждает, что несмотря на все санкции остаётся серьёзным игроком в области технологий искусственного интеллекта. Вслед за моделью Kandinsky отечественные специалисты выложили в открытый доступ огромный датасет для систем распознавания жестов HaGRID (HAnd Gesture Recognition Image Dataset). В нём почти 553 000 анонимизированных и размеченных изображений. Более 90% из них в FullHD. Общий размер данных — 716 Гб!

🖖🏻 В фильме «Особое мнение» (по рассказу крышесносного Филипа Дика) главный герой жестами управляет проекциями будущего на огромном экране. Кино вышло 20 лет назад, однако будущее так и не наступило — жестовое управление до сих пор остаётся экзотикой. А ведь это крайне недооцененный способ взаимодействия с гаджетами, роботами, элементами умного дома или автомобиля.

👉🏻 Основная причина такого положения — отсутствие хороших и полных датасетов жестов для машинного обучения. Теперь ситуацию может изменить HaGRID. Для его формирования использовались популярные краудсорсинговые платформы сбора и разметки данных «Яндекс.Толока» и ABC Elementary. Полученный массив включает изображения 34 700 разных человек (мужчин и женщин возрастом от 18 до 60 лет), снятых при широком спектре условий — разном освещении, дистанции (1-4 м), ракурсах.

✌🏻 Все изображения HaGRID размечены — совершающая жест рука помещена в обрамляющий прямоугольник, а сам жест отнесен к одному из 18-ти функциональных классов: «звонок» (call), «кулак» (fist), «ок» (ok), «нравится» (like), «не нравится» (dislike) и т.д. Таким образом, для каждого класса в HaGRID имеется примерно по 30 тыс. изображений. Это позволяет обучать модели-классификаторы распознавать соответствующие движения рук и использовать их в качестве команд жестового интерфейса как поодиночке, так и в различных комбинациях.

🤞🏻 Для проверки готового датасета были подготовлены несколько классических моделей-классификаторов (прежде всего, ResNet) и трансформер (ViT). Все модели тренировались на платформе ML Space с использование суперкомпьютера Christofari.

Палец вверх, друзья!

Для профессионалов: поиграться с моделями или скачать датасет.

Для всех: почитать подробнее.

#Машинное_обучение, #Обработка_изображений, #Датасеты

Ставлю не глядя команде, собравшей и обработавшей 552 992 таких изображений! Огромный труд. Подробности в посте выше.

Наш ответ Чемберлену! Вернее, редакции модного журнала Cosmopolitan. Сгенерировали им по-настоящему душевную альтернативную обложку в модели Kandinsky.

Использовали такую же затравку, как их дизайнер. Только в переводе на русский: «Фотореалистичный широкоугольный снимок, расположенной снизу камеры, женщины-космонавта с атлетическим феминным телом, идущей жеманной походкой к объективу по поверхности Марса на фоне бесконечной Вселенной, всё в стиле цифрового синтивейв». Единственное — добавили слово «фотореалистичный» и заменили «астронавта» на «космонавта». А улучшали RealESRGAN.

Ну разве она не милая?