Я протестил модельку Segment Anything у себя в браузере.

Запустил на картине Питера Брейгеля Старшего, который страсть как любил рисовать много мелких деталей. И вот, что получилось: Хоть в тренировочном датасете не было картин, модель хорошо сравляется сегментацией и нарисованых объектов. Иногда, когда одной точки не хватает, чтобы полность выделить объект, нужно кликнуть еще разок, либо выделить боксом.

Пока я двигал мышкой, prompt encoder и mask decoder крутились в реальном времени локально у меня на CPU.

Кстати, модель Segment Anything можно неплохо склеить в единый пайплайн с Instance деткекторами. Детктор будет выплевывать боксы, а SA будет выдавать маски по заданным боксам.

Или еще лучше. Для артистов: Вы текстом говорите, что поменять и как, затем Segment Anуthing выдает маску, а Stable Diffusion по маске генерит измененный регион в желаемом виде. Ждите скоро на просторах интернета.

Демка тут.

@ai_newz

AI нужно двигать в массы.
Поэтому купил рекламу в городе Урюпинск.

AI Game

Интересные примеры по использованию AI в создании игр.

1. Симуляция поведения NPC
Исследователи из Стэнфорда и Google создали 25 персонажей и поместили их в городок под названием Smallville. Каждому персонажу было присвоено имя, профессия и другие характеристики. В течении дня персонажи просыпаются, готовят завтрак и идут на работу. Замечают друг друга и начинают разговоры. Все это очень похоже на Sims! Но с одним исключением: персонажи умеют рефлексировать. Соответственно ученые симулируют поведение общества с помощью ChatGPT.
Посмотреть проект
Чуть подробнее

2. Диалоговые взаимодействия с NPC
ChatGPT как элемент игрового дизайна, в игре используется диалоговая система для прохождения уровней, при этом так как диалоги генеративные прохождение будет сильно зависеть от ваших софтскиллов :)

3. Генеративный визуал
Ну и вишенка на торте весь этот визуал уже (1,2) может быть сгенерирован с помощью нейронных сетей, особенно когда их много доступных в одном месте :)

tag: pepe_frog

«Репортер пишет очередную статью об опасности ИИ»

Автор: JackaloNormandy