DeepSchool Digest⚡

Вместе с командой авторов продолжаем готовить для вас новые материалы. Например, уже скоро обсудим интеграцию нейросетей в продакшн и фреймворки сервинга. А пока собрали подборку материалов, которые вышли с начала этого года, чтобы вы не упустили ничего интересного👇

✔️Подкаст «Под Капотом». CV в медицине
Обсудили с Александром Лекомцевым, Team Lead CV Engineer из oxytech.io, чем отличается медицинский CV от «обычного», сложности разметки данных, как найти общий язык с врачами и многое другое про CV в медицине.

✔️В чём же считать: fp8, fp32 или fp16
В каких типах данных крутить нейронку, чтобы сэкономить память и не потерять точность? В этой статье разобрались, как они работают, где их лучше применять, как учить, инференсить и с какими подводными камнями здесь можно столкнуться.

✔️Детекторы текста на основе трансформеров. Часть 2
Продолжаем знакомить вас с детекторами текста на основе трансформеров. В статье также рассматриваем MixNet, который лидирует в бенчмарках.

✔️Как ускоряют нейросети?
В этом видео Саша Гончаренко, СТО стартапа enot.ai и хэдлайнер нашего курса «Ускорение нейросетей», рассказывает про основные подходы в ускорении нейросетей, их плюсы и минусы, а также затрагивает особенности ускорения LLM.

✔️DB: text detection
Здесь мы поговорили о сегментации текста и разобрали архитектуру DB (Differentiable Binarization).

✔️RAG, или лучший друг достоверных генеративных ответов
Как собирать поиск, что делать с генератором и за счет чего улучшать качество вашего бейзлайн-решения? В этой статье мы разобрали подход Retrieval Augmented Generation (RAG), в рамках которого ответ на пользовательский запрос генерируется с опорой на внешние документы.

✔️MoH: Multi-Head Attention as Mixture-of-Head Attention
Mixture-of-Head Attention — апдейт архитектуры Multi-Head Attention, направленный на ускорение без потери точности. О её значимых улучшениях читайте в материале по ссылке⬆️

Внедряем модель в production c использованием model-serving фреймворков

Обучить нейросеть — часто лишь вершина айсберга. Ценность от модели появляется тогда, когда она начинает обслуживать реальных пользователей (при условии, что пользователи довольны и платят 😉). В этом посте мы поговорим о процессе внедрения нейронных сетей, а также о фреймворках сервинга — инструментах, которые значительно его упрощают.

Мы узнаем:
- какие аспекты нужно учитывать при проектировании приложения с DL-моделью
- какие подходы можно использовать для эффективной обработки запросов к приложению
- чем нам могут быть полезны model-serving фреймворки и из каких компонентов они состоят
- как настроить и интегрировать Triton Inference Server

Читайте новую статью по ссылке: https://blog.deepschool.ru/architecture/vnedryaem-model-c-ispolzovaniem-model-serving-frejmvorkov/

🪔 DeepSchool

Почему DL-инженерам важно перенимать практики разработчиков в свои ML-пайплайны

В видео сооснователь школы DeepSchool Тимур Фатыхов за 5 минут проходит по чек-листу актуальных инструментов и практик, которые помогают довести модель до пользователей, и рассказывает, как этому учат на курсе «Деплой DL-сервисов».

Смотрите по ссылке!

⚡️Следующий поток курса стартует 19 марта.
Присоединяйтесь!

Мы запустили свой блог! 🎉

Теперь нет проблем с доступом из РФ, как в Notion, и все статьи собраны на одной странице. Можно найти нужные темы по рубрикам и авторам, а ещё — поддержать авторов, поставив лайки понравившимся статьям!

📌 Добавляйте страницу в закладки, чтобы всегда иметь под рукой нужные материалы и следить за новыми публикациями.

⚠️ Блог пока в бета-версии, и при переносе могли появиться ошибки. Если заметили баг — пишите нам в @deepschool_support! Тому, кто найдёт больше всех ошибок на этой неделе, отправим большую пиццу! 🍕

А новая статья уже ждёт вас внутри блога 👇

End-to-End модели OCR

В серии статей по OCR мы уже познакомились со всеми вводными, CRAFT’ом, детекторами текста на основе трансформеров (раз и два), Differentiable Binarization и CLIP4STR.

У традиционных многостадийных решений OCR бывает непросто уследить за всем зоопарком моделей, датасетов и постпроцессингов, которые они порождают. А при несущественном (на первый взгляд) изменении формулировки задачи может потребоваться весь этот зоопарк реализовать заново.

В новой статье мы рассмотрим End-to-End методы анализа документов и расскажем, как можно решать различные задачи OCR с помощью всего лишь одной модели. В обзоре мы рассмотрим такие модели, как Dessurt, Donut и OmniParser, и поймём, почему иногда специализированную модель применять лучше, чем универсальную VLM.

Читайте статью в нашем блоге по ссылке!

🪔 DeepSchool

🔥 Ищем практикующего DL-инженера на роль главного редактора канала!

Простыми словами, главный редактор управляет генерацией идей для контента и даёт последний апрув на публикацию материала.

Если подробнее, главред отвечает на вопросы:
— какую тему из предложенных лучше выбрать для публикации?
— как рассказать в блоге про определённый курс школы?
— что будет интересно и полезно написать по теме Х?
— доступно ли написан текст для читателей канала?
— какие новые форматы и рубрики можно ввести?

Что мы даём:
— доступ ко всем курсам школы
— добавим в сообщество школы, где проводим литклубы и другие встречи со спикерами и выпускниками
— ежемесячный оклад
— свободный график, нагрузка 4-6 часов в неделю

Что ожидаем от вас:
— умение писать простым языком о сложных вещах
— готовность писать статьи в блог и посты в телеграм
— широкие познания в DL: быть знакомым с различными DL-задачами и их решениями
— опыт в индустрии от 4 лет
— желание создавать понятный и полезный контент

⚠️ Опыт в роли главреда совершенно не важен! Важны только желание создавать контент и опыт в DL. Создатели школы передадут стиль и подход к созданию материала и будут поддерживать во всех вопросах на старте!

Если вы тоже хотите учить людей через блог, который рекомендуют в индустрии, заполните, пожалуйста, анкету!

Ускорение диффузионных моделей за счёт кэширования

При генерации диффузионными моделями мы много раз вызываем достаточно большую модель. Это делает процесс генерации очень долгим в сравнении с теми же GAN'ами, поэтому важно ускорять диффузионки.

Ускорить их можно двумя способами:
1. уменьшить количество шагов генерации
2. ускорить каждый шаг генерации

О втором методе мы и поговорим в новой статье. В ней мы рассмотрим две работы: DeepCache и Cache Me if You Can — в которых предлагают кэшировать часть фичей декодера UNet. Статьи вышли примерно в одно время, но в них есть различия, которые мы также обсудим.

Подробнее читайте по ссылке!

🪔 DeepSchool

✉️ Ответим на ваши вопросы!

Мы готовим материалы с разбором проблем DL-инженеров в рабочих проектах и хотим узнать, какие темы для вас интереснее всего!

Напишите, какие у вас есть вопросы по текущим задачам или в чём давно хотите разобраться, а мы выберем самые популярные темы и подготовим по ним статьи, видео и лекции!

Собираем идеи до 7 апреля включительно.
Оставляйте свои предложения в комментариях к посту или заполняйте форму.

DeepSchool Digest⚡️

Уже по традиции: собрали все материалы за прошедший месяц в одном посте⤵️

✔️ Внедряем модель c использованием model-serving фреймворков, NVIDIA Triton и Torchserve — рассказываем о процессе внедрения нейронных сетей и фреймворках сервинга — инструментах, которые помогают его упростить.

✔️ End-to-End модели OCR — знакомим с End-to-End решениями — решениями задачи детекции, распознавания и извлечения ключевой информации всего лишь одной моделью.

✔️ Ускорение диффузионных моделей за счёт кэширования — рассматриваем ещё одну парадигму ускорения диффузионных моделей — ускорение самого шага сэмплирования. В этом обзоре разбираем две работы про кэширование при сэмплировании для свёрточных диффузионных моделей.

✔️ Как избежать хаоса в разметке данных и улучшить качество ML-моделей — разбираем, как можно избежать хаоса в разметке данных, и почему это влияет на качество ML-моделей.

✔️ YOLO history. Part 7 — продолжаем разбор моделей из семейства YOLO. В этой статье разобрали сразу две архитектуры: YOLOv7 и YOLOv9.

Score Distillation Sampling в задаче text-to-3D

Диффузионные модели активно используются в задачах генерации 2D, будь то изображения или видео. Современные text-to-image модели обучались на огромном корпусе данных и в результате научились генерировать разнообразные картинки высокого качества. Однако как применить диффузионные модели в 3D?

Одно из возможных решений этой проблемы — метод, предложенный в работе DreamFusion — Score Distillation Sampling. Авторы предлагают использовать знания, которые есть в предобученной text-to-image модели для обучения 3D генератора.

В новом посте разберём основную идею метода, а также, в каких ещё задачах применяется такой подход. Рассмотрим интуицию, а также математику идеи и посмотрим, какие результаты можно получить.

Читайте по ссылке!

🪔 DeepSchool