Через 5 минут стартуем!🔥

Присоединяйтесь!

Адаптируем Visual-Language модель для детекции аномалий

Детекция аномалий на медицинских изображениях — задача, требующая высокой точности и гибкости за счёт разнообразных форматов данных и типов патологий. Сегодня мы рассмотрим решение, которое использует необычную адаптацию модели CLIP под новый домен и задачу.

А также узнаем:
- что такое «‎аномалия» и какие они бывают
- как обучить универсальный детектор аномалий для работы с различными модальностями и анатомическими областями
- и можно ли обобщить подход на немедицинские изображения

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/Visual-Language-d3c607cc974942a78f60ed418147a1dd?pvs=4

Сделай сам

Мы подготовили подборку полезных каналов на YouTube, где есть реализации архитектур с нуля, и, конечно, поделились ссылками на их примеры. Она поможет вам:
- детальнее погрузиться в тему архитектуры трансформеров для разных задач, именно этой архитектуре посвящена большая часть видео в нашей подборке
- попробовать применить трансформеры на практике для различных задач
- самостоятельно создать нужную для вас архитектуру с нуля с помощью представленных туториалов

Читайте новый пост по ссылке: https://deepschool-pro.notion.site/b1f197579cf648baa81c34a6005ad379?pvs=4

Дистилляция диффузии. Часть 1

Диффузионные модели очень круто генерируют изображения, но в «ванильном» исполнении они очень медленные. Поэтому нужны методы их ускорения. Недавно мы разобрали один из них — InstaFlow.
Сегодня мы рассмотрим ещё один вид ускорения — дистилляцию. Это процесс, при котором мы передаём знания от нашей большой модели-учителя к более быстрой модели-ученику.

В этой статье мы узнаем:
- что представляет собой дистилляция диффузионной модели
- каким образом проходит процесс progressive-дистилляции
- и как можно дистиллировать conditional модели

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/1-917a8a82ad2e450980a1ddb630b62956?pvs=4

Сопоставляем изображения с помощью ключевых точек

Поиск ключевых точек и сопоставление изображений — это начальный этап перехода от 2D задач к 3D. Сопоставив между собой множество изображений сцены, мы сможем восстановить трёхмерную структуру объектов в ней. Но для этого важно иметь «хорошие» ключевые точки.

В новой статье мы расскажем:
- что значит «хорошие» ключевые точки
- как работают классические алгоритмы на примере SiFT
- и какие есть нейросетевые подходы разной степени мощности и сложности

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/96ea7f72daa64c948baeec3b4ccc72f1?pvs=4

Учим беспилотную машину видеть

В мире 3D Computer Vision одна из основных задач — это ориентация роботов в пространстве. Это позволяет автоматизировать множество повседневных процессов от беспилотных такси до доставки еды. Для решения этой задачи требуется работа с различными сенсорами, понимание алгоритмов 3D-реконструкции и SLAM.

Всё это мы разберём на бесплатном мастер-классе, где научим беспилотную машину ориентироваться в пространстве. Каждая лекция сопровождается домашним заданием для того, чтобы опробовать новые навыки на практике.

Мастер-класс будет состоять из трёх лекций, они пройдут 17, 18 и 20 сентября (вт, ср и пт).

На лекциях вы:
— научитесь восстанавливать 3D-сцену по данным с камеры и лидара 
— узнаете, как ориентировать робота в пространстве
— освоите симулятор Carla для синтеза данных
— поймёте теорию, стоящую за SLAM-алгоритмами

А также мы представим программу курса 3DCV и подарим скидки!🔥

🔔 Первая лекция пройдёт 17 сентября в 19:00 МСК.

Изучайте подробнее программу мастер-класса и регистрируйтесь по ссылке!

Дистилляция диффузии. Часть 2

Сейчас диффузионные модели — лидеры по качеству и разнообразию генерации. Однако чаще всего они требуют большого количества шагов, что делает генерацию довольно медленной, например, в сравнении с GANs. Именно поэтому ускорение диффузионных моделей является важной задачей. Существует множество различных подходов для превращения 1000-шаговой диффузии в генератор, состоящий из нескольких шагов.

Недавно мы познакомились с понятием дистилляции диффузии и рассмотрели первые попытки её применения для ускорения. Однако эти работы не смогли добиться нужного качества и требовали значительных улучшений.

Сегодня мы рассмотрим несколько SOTA-работ, которые, в частности, использовались для ускорения известной SDXL Turbo. Познакомимся с основными методами и узнаем:
- что представляет собой Adversarial дистилляция с использованием GANs
- чем отличается Latent Adversarial Diffusion Distillation (LADD) от Adversarial Diffusion Distillation (ADD)
- и что такое Distribution Matching Distillation (DMD)

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/2-fa4241bac68749beafffa7ddffda41a0?pvs=4

CV-задачи над 3D-данными

Помимо 2D-изображений с камер всё чаще используются сенсоры, позволяющие получить трёхмерные данные. У таких сенсоров больше степеней свободы и они требуют других подходов к обработке.

В новой статье мы рассмотрим:
- какие бывают сенсоры и источники 3D-данных
- как можно представить эти данные для эффективной обработки сетями
- какие подходы можно применить для решения задач классификации, детекции, сегментации

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/CV-3D-0cfd8c893bc645dbbb324bf208a27af2?pvs=4

Tensorboard для Pytorch

Иногда в небольших проектах нам не очень хочется использовать слишком сложные инструменты для логирования метрик и артефактов. Здесь на помощь приходит Tensorboard — несложный инструмент для визуализации и мониторинга машинного обучения.

В новой статье мы познакомимся с ним поближе и узнаем, как можно:
- залогировать разные типы данных: видео, картинки, скаляры, распределения и графы
- создать красивую визуализацию эмбеддингов
- и сделать кастомные графики

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/Tensorboard-Pytorch-5a3a54c7844048d9b2bc53b39b6f5460?pvs=4

Blender для генерации данных

Не всегда получается найти достаточно данных, чтобы решить задачу. На помощь приходят синтетические данные, которые можно замешать с реальными, а то и вовсе попытаться обучиться только на них. Даже если у нас есть достаточное количество реальных данных, синтетика может упростить отладку решения на искусственных примерах с изолированной проблемой. Но как получить синтетику для 2D или 3D-данных? Один из вариантов — нарисовать в Blender.

В этой статье мы обсудим:
- как программировать в Blender и работать с библиотекой BPY
- где найти подходящие 3D-модели для генерации синтетики
- как сгенерировать 2D-датасет из 3D-сцены
- каким образом можно получить разметку для двумерной сегментации и детекции из Blender
- и как аугментировать получаемый датасет в Blender

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Blender-8311ac63114d4d1f82cebda4d5e0733f?pvs=4

Подкаст «Под капотом». Тимлидство и хакатоны

Мы приглашаем в подкаст экспертов, чтобы понять, как работают сложные системы изнутри. В этом выпуске к нам пришёл Валя Мамедов, LLM-инженер из SberDevices. В первой части мы поговорили про LLM, а во второй обсудили:

- что могут дать хакатоны опытным инженерам
- сложности перехода из бэкенда в машинное обучение
- внедрение практик разработки в мл (когда нужно, а когда нет)
- возвращение из тимлидов в инженеры и сложности карьерного роста

Смотрите выпуск по ссылке!
https://youtu.be/IM76-DPrh1s?si=md9H0sd3TCMG_xHU