Segment Anything
[Meta AI]

Итак ребята, что там по сегментации? Кажется, теперь не придется тренировать новую модель сегментации под каждую отдельную задачу (sic!). Мой товарищ Алекс Кириллов и коллеги из Meta AI разработали фундаментальную модель для сегментации картинок, которая может многое.

Из коробки модель Segment Anything (SA) умеет в сегментацию объектов по промпту. Промпт может быть текстовым, либо несколько точек, либо выделенная область.

SA выучила общую концепцию объектов и может генерировать маски для любого объекта на любом изображении или видео, даже включая объекты и типы изображений, которых не было в трейне. Она готова к использованию на разных "доменах" без дополнительного обучения".

Выход Segment Anything - это что-то вроде "GPT-3 момента" для сегментации. Когда можно взять большую общую модель и она сразу будет работать не хуже, а то и лучше (если данных мало), чем специализированная модель.

Мало того, веса и код модели полностью открыты!

Сайт проекта
Demo

@ai_newz

Это выглядит симпотнее если уменьшить шаг и увеличить длительность гифки

Я протестил модельку Segment Anything у себя в браузере.

Запустил на картине Питера Брейгеля Старшего, который страсть как любил рисовать много мелких деталей. И вот, что получилось: Хоть в тренировочном датасете не было картин, модель хорошо сравляется сегментацией и нарисованых объектов. Иногда, когда одной точки не хватает, чтобы полность выделить объект, нужно кликнуть еще разок, либо выделить боксом.

Пока я двигал мышкой, prompt encoder и mask decoder крутились в реальном времени локально у меня на CPU.

Кстати, модель Segment Anything можно неплохо склеить в единый пайплайн с Instance деткекторами. Детктор будет выплевывать боксы, а SA будет выдавать маски по заданным боксам.

Или еще лучше. Для артистов: Вы текстом говорите, что поменять и как, затем Segment Anуthing выдает маску, а Stable Diffusion по маске генерит измененный регион в желаемом виде. Ждите скоро на просторах интернета.

Демка тут.

@ai_newz

AI нужно двигать в массы.
Поэтому купил рекламу в городе Урюпинск.

AI Game

Интересные примеры по использованию AI в создании игр.

1. Симуляция поведения NPC
Исследователи из Стэнфорда и Google создали 25 персонажей и поместили их в городок под названием Smallville. Каждому персонажу было присвоено имя, профессия и другие характеристики. В течении дня персонажи просыпаются, готовят завтрак и идут на работу. Замечают друг друга и начинают разговоры. Все это очень похоже на Sims! Но с одним исключением: персонажи умеют рефлексировать. Соответственно ученые симулируют поведение общества с помощью ChatGPT.
Посмотреть проект
Чуть подробнее

2. Диалоговые взаимодействия с NPC
ChatGPT как элемент игрового дизайна, в игре используется диалоговая система для прохождения уровней, при этом так как диалоги генеративные прохождение будет сильно зависеть от ваших софтскиллов :)

3. Генеративный визуал
Ну и вишенка на торте весь этот визуал уже (1,2) может быть сгенерирован с помощью нейронных сетей, особенно когда их много доступных в одном месте :)

tag: pepe_frog

«Репортер пишет очередную статью об опасности ИИ»

Автор: JackaloNormandy