Подкаст «Под Капотом». CV в медицине

Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Александром Лекомцевым, Team Lead CV Engineer из oxytech.io, и обсудили:

- особенности работы в стартапе, занимающемся медицинским CV
- чем отличается медицинский CV от «обычного»
- сложности разметки данных
- сложно ли найти общий язык с врачами
- настольно-ролевые игры как способ перезагрузиться

Смотрите новый выпуск по ссылке! https://youtu.be/gX8scA7qtfI

Детекторы текста на основе трансформеров. Часть 2

Сегодня мы продолжим знакомство с детекторами текста на базе трансформеров.

Такие детекторы совмещают возможности сегментационных и регрессионных моделей, что позволяет повысить точность детектирования при сохранении высокой скорости работы. Однако каждый подход имеет свои недостатки: сегментационные сети обеспечивают высокую точность при сложных формах текста, но их скорости недостаточно, тогда как регрессионные модели быстры, но менее точны для сложных случаев. SRFormer — пример современной архитектуры, которая стремится объединить сильные стороны двух методов.

Также в статье мы рассмотрим MixNet, лидирующий на ключевых бенчмарках за счёт своей уникальной архитектуры. Его бэкбон FSNet перемешивает признаки высокого и низкого разрешения. Это помогает надёжнее детектировать мелкие объекты. Кроме того, трансформерный блок (CTBlock) улучшает выделение текстов, расположенных близко друг к другу, с помощью прогнозирования центральной линии текста.

Читайте новую статью по ссылке, чтобы познакомиться ближе с данными детекторами текста на базе трансформеров: https://deepschool-pro.notion.site/2-e3a3419463b94ae0a81545109799ecde?pvs=4

DB: text detection

OCR-решения обычно разбиваются на два этапа: сегментация (детекция) текста и его распознавание. Сегодня мы поговорим о сегментации текста и разберём архитектуру DB (Differentiable Binarization).

Обычно в задаче бинарной сегментации мы получаем матрицу, в которой у каждого пикселя стоит уверенность в том, что он принадлежит классу. Затем нам нужно сделать постпроцессинг, чтобы превратить уверенности в метки 0, 1 (бинаризовать).

Модель DB предложила интегрировать процесс бинаризации в сегментационную сеть. Это позволило упростить архитектуру и устранить необходимость в сложном постпроцессинге. Вместо традиционного подхода, где текстовые области выделяются через множество этапов, DB использует дифференцируемую бинаризацию, которая оптимизируется вместе с обучением модели. Такой подход обеспечивает высокую точность и эффективность.

Кроме того, модель включает адаптивное слияние масштабов (ASF), что позволяет ей справляться с текстами различных размеров и форм. Благодаря своей скорости и точности DB стала часто использоваться для задач обнаружения текста, включая обработку документов, сцен с текстом и мобильные OCR-приложения.

Читайте новую статью по ссылке, чтобы ближе познакомиться с архитектурой и обучением DB: https://deepschool-pro.notion.site/Differentiable-Binarization-DB-text-detection-1da969e72d1245e08ca4ca12eae56417?pvs=4

Мы стараемся знакомить вас с нашей командой и программами. Например, здесь мы познакомили вас с авторами, а здесь рассказали про историю появления нашей школы.

Но любим не только рассказывать про себя, а и узнавать про вас. Например, тут нам было интересно, из какой вы области, а сегодня хотим узнать, как вы с нами познакомились. Ниже небольшой опрос, буквально на пару секунд:

RAG, или лучший друг достоверных генеративных ответов

Современные LLM хорошо справляются с большим количеством пользовательских задач, однако знания этих моделей ограничены данными, на которых они обучались. Существует широкий набор задач, в которых при генерации ответа необходимо опираться на свежую или специализированную информацию.

Для их решения можно использовать подход Retrieval Augmented Generation (RAG), в рамках которого ответ на пользовательский запрос генерируется с опорой на внешние документы. Создайте хороший поисковый пайплайн, обучите качественный генератор — и такой гибрид позволит вам создавать гораздо более достоверные, актуальные и полные ответы.

Про то, как собирать поиск, что делать с генератором и за счет чего улучшать качество вашего бейзлайн-решения — читайте в нашей новой статье: https://deepschool-pro.notion.site/RAG-19f640e534348041837ad7be10a0ab00?pvs=4