Наша команда Layer CV была создана в 2020 году в рамках продукта Layer, входящего в состав SberDevices. Layer, по своей сути, является стартапом внутри устройств, поскольку его разработка и развитие были осуществлены в нестандартном формате. Продукт быстро расширился и продолжает развиваться, поэтому мы решили делиться новостями и интересной информацией о темах, связанных с компьютерным зрением и машинным обучением 👀

Давайте немного расскажем о продукте.

📺 Layer - это платформа для монетизации фото и видео контента.

Мы начинали свой продукт с фильмов. Это выглядит так:
❔- Вы смотрите фильм, например, на платформе Okko. Во время просмотра, мы ищем за вас интересные элементы одежды, аксессуары, мебель и другие товары внутри видеокадров. В любой момент вы можете вызвать паузу и посмотреть, что мы распознали, а если что-то понравилось, то тут же купить. В общем, это некий "слой" поверх видео, который обладает уникальными функциональными возможностями на основе компьютерного зрения.
Вот в этом ролике наглядно показано то, о чём идёт речь.

⚡️Теперь же, мы вышли далеко за рамки фильмов.
У нас огромное количество задач и продуктов. Вот лишь некоторые из них:
- Мы ищем похожие предметы одежды, обуви, аксессуаров, похожую мебель и т.д. на абсолютно любых изображениях и в любых видео и предоставляем этот сервис как виджет на изображение. Его можно подключить к любому сайту и мы сотрудничаем со множеством площадок.
- Мы рекомендуем похожие товары внутри маркетплейсов. Например, в СберМегаМаркете блок "похожие товары" использует нашу технологию, и, в отличие от более классических решениях, основан именно на визуальной схожести вещей.
- У нас есть особый сервис Layer API, который может в стиле zero-shot learning работать с любыми категориями, может модерировать контент или тегировать объекты на фотографии.
- У нас есть поисковые боты, куда можно просто кинуть фотку с искомым товаром (coming soon).
- Масштабные мультимодальные проекты на подходе. Они ещё под NDA, но разработка близится к завершению. Будет и текст, и видео во всех проявлениях, и трансформеры.

🧐Звучит заманчиво, но на самом деле каждый этап создания такого масштабного продукта скрывает в себе множество сложностей. Некоторые из наиболее очевидных проблем:
- Задача очень сложная, визуальные домены могут быть любые: от профессиональных фильмов до селфи с телефона.
- У нас ограниченное количество площадок. Если у партнёра нет похожего товара, мы ничего не сможем сделать. При этом пользователю покажется, что алгоритм не отработал.
- Часто в нашей задаче нет верных и неверных ответов, а есть мнения и вкусы.
- Огромные нагрузки. Это тонны часов различного видеоконтента, которые постоянно пополняются, это фиды в десятки миллионов изображений от каждого из партнёров, которые надо обновлять. Просто забросать железом эту проблему невозможно.

Конечно, это лишь некоторые из ключевых трудностей, с которыми мы сталкиваемся на пути создания идеального видео-маркета всего, что вы видите. Все они превращаются в сложный, но интересный рабочий процесс, результаты которого вы можете опробовать и оценить на различных площадках, а также поделиться обратной связью и общением с нашей командой ✌️.

Команда! За всем этим стоит трудолюбивая, энергичная и дружная команда, которую мы немного представим. Начнем с нашего тимлида, который основал и собрал нашу команду крупинками. Помимо того, что Максим Купрашевич является крутым руководителем, он также сильный технический специалист и глубоко погружается во все процессы и задачи. Недавно Максим написал интересную статью, которая более подробно рассказывает о задачах, сложностях и решениях в области распознавания видео.

Сегодня на HighLoad++ выступает Григорий Алексеенко (@Grigoriy_Alekseenko) - наш незаменимый член команды, DS и CV-инженер в Layer CV 🏞

В своём докладе Григорий поделился основной концепцией монетизации image- и video-контента, которую развивает команда. В течение роста проекта появляется все больше категорий, каких как одежда🥻, мебель 🛋, аксессуары 💍 , еда 🍔 и другие категории, и Один-бог знает, что ещё предстоит распознать сеточкам 👀 Какие подходы мы используем и с какими сложностями столкнулись?

Получить больше информации и освежить знания после рассказа Григория можно в следующих слайдах

Вышла очередная интересная штука от Facebook, свежак, всего 7 дней назад (надеюсь, вы успеваете читать):

ImageBind: One Embedding Space To Bind Them All

А мы уже успели обкатать модельку для изображений на наших задачах, в стиле zero-shot metric learning.
Вышло сильно хуже, чем специализированные энкодеры и чуть-чуть хуже, чем blip2. Но заметно лучше, чем blip1 или clip (на ViT).
Тем не менее, применений у подхода огромное количество и это лишь одно из них. Так что не сомневаюсь - он займёт в нашем ящике для инструментов достойное место.

Сидячий образ жизни - известная профессиональная проблема в IT.
Особенно, когда ты DS и отвлечься просто невозможно!👨‍🔬👩‍🔬

Почему это плохо - кажется, знают все и тут всё очевидно.
Всё да не всё.

Оказывается, что помимо очевидных минусов, сидя весь день на одном месте, мы круто теряем в производительности нашего мозга.
Некоторые исследования утверждают, что разница перформанса прямо разительная. После недолгой ходьбы улучшается всё: от креативности до математических способностей.
И у науки на то есть пруфы: [1] [2]

Не получается найти баг - просто пройдись.

У владельцев iPhone сегодня явно хороший день.
Прежде, чем вы перейдёте по ссылке, попробуйте угадать о чём речь по изображению, которое сгенерировала модель Kandinsky 2.1 для этой новости 😁

sad but true