Я думаю, что все, кто когда-либо погружался в компьютерное зрение, знакомы с тремя основными задачами сегментации изображения: семантическая сегментация, инстанс-сегментация и паноптическая сегментация. Но много ли этих людей знакомы с таким видом сегментации, где ты можешь взаимодействовать с моделью для уточнения её работы? Да, я говорю про задачу интерактивной сегментации.

Модели интерактивной сегментации, как и привычные нам модели семантической сегментации, в качестве результата возвращают предсказанную сегментационную маску. Но для этого им нужно не только входное изображение, но и дополнительная информация от пользователя:

🟣 координаты выбранной прямоугольной области изображения, где нужно сегментировать объект с целевым классом;
🟣 каракули по выбранному объекту с целевым классом, далее эти каракули должны трансформироваться до маски с попиксельной точностью в качестве результата;
🟣 текстовые запросы;
🟣 клики;
🟣 комбинация вышеупомянутых способов.

Каждый из этих способов представления дополнительной информации имеет свои преимущества и недостатки, но последние подходы в интерактивной сегментации сосредоточены именно на взаимодействии через клики, т.к. это меньше всего нагружает пользователя и позволяет получить наиболее точные результаты сегментации. Существует два типа кликов: положительные, которые отрисовывают маску заданного класса, и отрицательные, с помощью которых можно уточнить исходную маску.

Текущие state-of-the-art подходы в интерактивной сегментации позволяют получить за 1-3 клика сегментационные маски, точность предсказания которых достигает значений метрики IoU в диапазоне 80-90.

В рамках рабочей задачи я написала на Хабр и Medium обзор этих state-of-the-art моделей для интерактивной сегментации и рассказала, как её можно использовать для ускорения процесса разметки. Там я подробнее постаралась объяснить принцип работы интерактивной сегментации через клики, а также разобрала такие подходы как RITM, SimpleClick и Segment Anything.

Так что вперёд читать и ставить плюсики моей статье! Обязательно задавайте вопросы и делитесь своими мыслями насчёт такой редкой задачи компьютерного зрения. 💟

А также подписывайтесь на телеграм-канал нашей команды, чтобы оставаться в курсе последних новостей и свежих вакансий. 🔥