​​CVAT serverless functions with nuclio

CVAT serverless functions with nuclio — инструмент, интегрированный в CVAT. С его помощью можно во много раз ускорять процесс разметки. Nuclio быстро разворачивает контейнерезированную модель для разметки и берет на себя всю поддержку этого решения.

В статье мы расскажем:
- Что такое serverless functions и nuclio
- Как развернуть CVAT с возможностью интегрирования моделей
- Что такое хендлеры и как их писать для добавления кастомных моделей
- Как интегрировать для разметки модель SAM

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/CVAT-serverless-functions-with-nuclio-a7d17d3b29894d3c82a3b8d60c6e57c8

​​Prepare your data

После DL-курсов новички часто думают, что на метрики сильнее всего влияют подбор архитектуры и гиперпараметров. Решая соревнования и игрушечные задания, инженеры привыкают перебирать модели, потому что другого не остается: датасет уже фиксирован.
Но на работе данные приходится собирать самим. И чем лучше мы постараемся, тем выше будут метрики.

Ничто не увеличит ваши метрики так, как чистка разметки и сбор данных!

В этой статье мы расскажем на что нужно обращать внимание при выборе и подготовке датасета, читайте по ссылке: https://deepschool-pro.notion.site/Prepare-your-data-e8be3fcec2d2411a836cb51a4b712601

​​Курс “3D Computer Vision”

Прошлый пост про 3D CV собрал много реакций, и мы лишний раз убедились, что это актуальное и интересное направление для CV-инженеров.
Студенты нашего курса “Ракета в CV” не раз просили создать программу по 3D, а подписчики спрашивали про это направления во время интервью.

И это не удивительно: в каждом биг-техе есть команды с экспертизой в 3D, расширяется область применения VR/AR, почти в каждой автомобильной компании есть команда self-drive car, разработчики игр и движков используют нейросети для рендеринга.
Только NVidia подала более 20 работ на конференцию по графике SIGGRAPH 2023 — и мы, кстати, готовим обзор нескольких работ оттуда.

Поэтому мы решили создать современный курс по 3D CV. Сейчас мы готовим программу вместе с инженерами и исследователями из этой области. Курс позволит любому CV-инженеру погрузиться в 3D и получить возможность устроиться в команды, работающие в этой сфере.

На курсе студенты изучат:
🔹математику, стоящую за алгоритмами
🔹как реконструировать 3D-объекты и сцены
🔹как анализировать данные с лидаров
🔹как строить карты глубин по rgb-картинкам
🔹и почти половину курса мы уделим современным технологиям: дифференцируемому рендерингу и, конечно же, NeRF

— все это мы закрепим на практике, решая реальные задачи.

Мы хотим учесть ваши пожелания, чтобы создать программу, которая будет совмещать в себе виденье инженеров и исследователей из этой области, требования рынка и желания нашей аудитории.

Если вам интересно это направление, заполните, пожалуйста, гугл-форму. Это займет 3-5 минут и поможет нам в разработке программы.

NeRF

NeRF — это подход, который позволяет получить 3D представление сцены по нескольким фотографиям.

В отличие от классической графики, такой подход позволяет получить неотличимое от фото изображение с нового ракурса без лишних усилий. С помощью нерфов, например, делают фотореалистичный рендеринг, симулируют различные эффекты освещения и добавляют сложные явления без необходимости явно описывать физический процесс, например, дым.

Сейчас про нерфы слышно из каждого утюга, и чтобы вам было легче разобраться в этом подходе, мы записали новое видео. Дима Чудаков, спикер DeepSchool, разберёт самый базовый NeRF и расскажет про Instant NGP — применимую на практике модификацию классического NeRF.

Смотрите новое видео и подписывайтесь на наш канал по ссылке: https://youtu.be/eGWpx_OeG7s

​​NeRV

В предыдущем посте мы рассказали про NeRF, сильный инструмент, который при этом имеет несколько ограничений. Одно из основных: в классическом NeRF нельзя изменять освещение. Если какая-то часть объекта попала в тень, то на всех картинках она будет темной. При этом для реалистичности в играх и фильмах возможность динамически менять освещение критична. И в NeRV как раз добавили эту возможность: способ позволяет рассчитывать реалистичные тени для новых вариантов освещения.

Рассказали подробнее про этот подход в новой статье, читайте по ссылке: https://deepschool-pro.notion.site/NeRV-Neural-Reflectance-and-Visibility-Fields-for-Relighting-and-View-Synthesis-7ae46ed75c5a4ae6b9414a18925ff266

​​🎙Онлайн-подкаст с Артемом, автором эйай ньюз

Завтра, 21 мая, в 12:00 МСК

Коротко об Артеме:
- Senior Research Scientist в Meta, подразделение GenAI
- PhD в области Computer Vision
- автор канала эйай ньюз с 34к подписчиками

На подкасте мы обсудим:
- историю авторства одного из самых крупных каналов про AI
- личный бренд ученого
- будни ресерчера в Meta
- и куда движется современный CV
- [а здесь может быть ваш вопрос Артему]

Приходите онлайн, чтобы задать свои вопросы Артему во время открытого микрофона. Запись будет! Выложим позднее в этом канале👍

Встречаемся здесь завтра, в воскресенье, в 12:00 МСК🔔

🎙Подкаст с Артемом через 1 час!

Подключайтесь онлайн, встречаемся здесь в 12:00 МСК🔔

🎙Чат для интервью в комментариях к этому посту

Подключайтесь, эфир уже начался

Знакомим с Kafka

Иногда для реализации ML сервисов приходится решать задачи, связанные с потоковой обработкой данных в реальном времени. Это могут быть действия пользователя, запросы на аукцион или входные потоки видео. Часто для выполнения таких задач разработчики прибегают к Apache Kafka.

Несмотря на распространенное мнение о том, что в задачи ДСа входит только обучение хайповых моделек, есть ситуации и проекты, где нужно уметь самостоятельно проектировать архитектуру будущего сервиса, настраивать хранилища данных, поднимать расчетные машины, обеспечивать связь между третье-сторонними клиентами и потом еще это все поддерживать…

Мы подготовили для вас статью, которая поможет познакомиться с таким инструментом. Вы узнаете:
- о возможностях применения Kafka на примере рекомендательного сервиса;
- об основных компонентах Kafka и ее отличии от других систем очередей;
- о том, как поднять кластер Kafka в облаке Confluent Cloud.

Не упускайте возможность познакомиться с Kafka и получить большую автономность в продовых задачах, читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/Kafka-Python-673d1e1dbb72422faedd6e6bac3e3586

​​SIGGRAPH

Летом состоится ежегодная конференция SIGGRAPH, посвященная инновациям в области 3D CV. Именно на SIGGRAPH каждый год формируется будущее трехмерной графики: крупнейшие компании показывают лучшие разработки и последние технологии в области. Одни только инженеры NVIDIA подали на конференцию больше 15 работ!

Многие участники уже поделились своими публикациями для конференции в соц. сетях, а в нашей статье мы коротко описали самые интересные из них.

Из статьи вы узнаете:
- какие задачи актуальны в области сейчас
- как нейросетевые технологии упрощают разработку видеоигр
- как NVIDIA моделируют волосы в играх
- как сгенерировать реалистичный 3D аватар по одной фотографии

Читайте нашу новую статью и знакомьтесь с инновациями в компьютерном зрении: https://deepschool-pro.notion.site/SIGGRAPH-3D-CV-d7ed7a991812485c8e85dae85af1822b

Сегодня опубликуем 2 записи интервью: с Мишей и Артемом. Спасибо, что ждали и поддерживали в комментариях!

PS Неудачно записали звук с Мишей, перепробовали разные варианты в надежде его улучшить. В итоге спас adobe podcast со своим voice enhancer — нейросети делают вещи🦾

PPS Кажется, это первое видео в интернете с Артемом — по крайней мере мы другого не нашли) Не пропустите сенсацию!

Как LLMs могут принимать сразу 100К токенов на вход?

Недавно несколько компаний объявили о возможности своих LLMs брать на вход аж до 100K токенов. Это промпт размером с книгу!
Для примера, OpenAI GPT-4 может брать 8-32K, а опен-сорсные модели всего 2K.

В новой статье Галя, выпускница нашего курса, разобрала техническую сторону вопроса и постаралась включить все основыне трюки, используемые MosaicML, Anthropic и Google.

В статье описаны:
- подробный вывод вычислительной сложности трансформера и ее влияние на стоимость обучения
- хитрые вычисления на GPU и Flash Attention, который недавно стал частью PyTorch
- нестандартный позиционный эмбеддинг ALiBi и почему нельзя было использовать оригинальный
- Multi-Query Attention, Sparse Attention и Условные вычисления

Читайте статью по ссылке и поддерживайте Галю 👏🏻 на Medium:
https://medium.com/gopenai/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c

Задавайте вопросы Гале в комментариях к этому посту 👇

​​🎧3D CV — разговор с экспертами

В индустрии все чаще встречаются термины из 3D. В двух последних интервью мы тоже затрагивали эту область CV: Миша рассказал как собеседовался в XR команду, а Артем упомянул 3D как одно из развивающихся направлений в computer vision.

Чтобы познакомить вас с этим направлением, мы пригласили двух гостей с ортогональным опытом в 3D и записали с ними подкаст.

Наши гости:
🙋‍♂ Давид Свитов, Research Scientist, Samsung AI Lab, PhD — создает цифровых аватаров
🙋 Дмитрий Раков, Head of ML Department, NIIAS — работает над беспилотными поездами

Ребята рассказали:
- какие задачи решают в 3D CV
- как будет развиваться это направление
- важно ли CV-инженеру уметь в 3D
- и как они погружались в область

В аудио ниже — ответы Давида и Дмитрия в виде сплошного рассказа. Вынесли самое важное из 3 часов разговора в 35 минут, которые можно прослушать на х1.5-2

Поделитесь в комментариях: как вам такой формат сжатых подкастов? Для нас он экспериментальный, будем рады обратной связи!

Приятного прослушивания!

Сложно ли погрузиться в 3D CV?

В подкасте выше Давид и Дмитрий рассуждали, почему задач в области 3D становится больше, и рассказали, как они погружались в эту область.

Если вы не слушали подкаст, то вот краткое содержание этой части:
- кол-во задач растет благодаря развитию DL, который стали активно применять в 3D
- но в плане deep learning, 3D CV гораздо менее развит, чем 2D
- и нет такого количества инструментов, гайдов и образовательных материалов по этой теме
- поэтому гости подкаста погружались в 3D через изучение статей на arxiv и решение рабочих задач

Недавно мы проводили интервью с подписчиками канала. Среди которых были и уже знакомые с 3D инженеры. И вот что мы узнали от них:
- знания приходится собирать по крупицам с разных источников
- часто не понятно, какая теория стоит за используемыми инструментами
- для современных решений может вообще не быть понятных статей и инструкций

Но скоро мы поможем в решении этих проблем и представим свой курс по 3D CV, который упростит погружение в эту область, объяснит теорию классических и современных алгоритмов и поможет закрепить знания на практике.
На днях расскажем о нем подробнее.

Ставьте реакции, если вам это интересно!🔥

Неполные наблюдения не беда. Восстанавливаем скрытые переменные для моделирования сложных динамических систем

При работе со сложными динамическими системами вроде роботов и финансового рынка мы сталкиваемся с проблемой: обучать модели приходится на основе неполных наблюдений. В таких случаях нам доступна только часть данных.

Пример: мы хотим по текущим результатам анализов предсказать результаты через пять месяцев. Тогда мы можем:
1) представить здоровье человека в виде скрытого состояния
2) восстановить его
3) распространить динамику здоровья на 5 месяцев вперед при помощи выбранной архитектуры
4) на основе полученных данных предсказать результаты анализов.

В новой статье мы расскажем про пример такой задачи из области робототехники. Из статьи вы также узнаете:
- с чего начать, если вы столкнулись с такой задачей
- 4 метода решения
- и практические советы

Читайте нашу статью по ссылке, чтобы узнать преимущества и недостатки каждого из методов: https://deepschool-pro.notion.site/cc6b0aab07714925adcde6a0637def4f