​​🎙Онлайн-подкаст с Мишей Моисеевым

В воскресенье, 7 мая, в 12:00 МСК

Помимо постов с теорией мы также проводим подкасты. Или интервью🤔 на самом деле просто болтаем на интересные темы с людьми из ML. Ранее у нас в гостях были Влад Лялин и Андрей Шадриков, теперь ждем Мишу

Коротко о Мише:
- работает Senior AI Engineer в AstraZeneca
- занимал должность Head Of AI в movavi.ru
- с нуля создавал CV-команду в Золотой Короне
- последний год жил в Юго-Восточной Азии, а теперь в Мюнхене

На подкасте мы обсудим:
- как Миша проходил собеседования в зарубежные компании
- какие задачи решает Head Of AI
- зачем нейросети в видеоредакторе
- найм и менеджмент в AI-командах
- возможно ли эффективно работать среди пальм вблизь океана🌴

Приходите онлайн и задайте любой вопрос Мише лично во время открытого микрофона. Или пишите вопросы в комментарии к этому посту

Запись будет! Выложим позднее в этом канале👍

Встречаемся здесь 7 мая в 12:00 МСК🔔

🎙Подкаст с Мишей через 1 час!

Подключайтесь онлайн, встречаемся здесь в 12:00 МСК🔔

​​CVAT serverless functions with nuclio

CVAT serverless functions with nuclio — инструмент, интегрированный в CVAT. С его помощью можно во много раз ускорять процесс разметки. Nuclio быстро разворачивает контейнерезированную модель для разметки и берет на себя всю поддержку этого решения.

В статье мы расскажем:
- Что такое serverless functions и nuclio
- Как развернуть CVAT с возможностью интегрирования моделей
- Что такое хендлеры и как их писать для добавления кастомных моделей
- Как интегрировать для разметки модель SAM

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/CVAT-serverless-functions-with-nuclio-a7d17d3b29894d3c82a3b8d60c6e57c8

​​Prepare your data

После DL-курсов новички часто думают, что на метрики сильнее всего влияют подбор архитектуры и гиперпараметров. Решая соревнования и игрушечные задания, инженеры привыкают перебирать модели, потому что другого не остается: датасет уже фиксирован.
Но на работе данные приходится собирать самим. И чем лучше мы постараемся, тем выше будут метрики.

Ничто не увеличит ваши метрики так, как чистка разметки и сбор данных!

В этой статье мы расскажем на что нужно обращать внимание при выборе и подготовке датасета, читайте по ссылке: https://deepschool-pro.notion.site/Prepare-your-data-e8be3fcec2d2411a836cb51a4b712601

​​Курс “3D Computer Vision”

Прошлый пост про 3D CV собрал много реакций, и мы лишний раз убедились, что это актуальное и интересное направление для CV-инженеров.
Студенты нашего курса “Ракета в CV” не раз просили создать программу по 3D, а подписчики спрашивали про это направления во время интервью.

И это не удивительно: в каждом биг-техе есть команды с экспертизой в 3D, расширяется область применения VR/AR, почти в каждой автомобильной компании есть команда self-drive car, разработчики игр и движков используют нейросети для рендеринга.
Только NVidia подала более 20 работ на конференцию по графике SIGGRAPH 2023 — и мы, кстати, готовим обзор нескольких работ оттуда.

Поэтому мы решили создать современный курс по 3D CV. Сейчас мы готовим программу вместе с инженерами и исследователями из этой области. Курс позволит любому CV-инженеру погрузиться в 3D и получить возможность устроиться в команды, работающие в этой сфере.

На курсе студенты изучат:
🔹математику, стоящую за алгоритмами
🔹как реконструировать 3D-объекты и сцены
🔹как анализировать данные с лидаров
🔹как строить карты глубин по rgb-картинкам
🔹и почти половину курса мы уделим современным технологиям: дифференцируемому рендерингу и, конечно же, NeRF

— все это мы закрепим на практике, решая реальные задачи.

Мы хотим учесть ваши пожелания, чтобы создать программу, которая будет совмещать в себе виденье инженеров и исследователей из этой области, требования рынка и желания нашей аудитории.

Если вам интересно это направление, заполните, пожалуйста, гугл-форму. Это займет 3-5 минут и поможет нам в разработке программы.

NeRF

NeRF — это подход, который позволяет получить 3D представление сцены по нескольким фотографиям.

В отличие от классической графики, такой подход позволяет получить неотличимое от фото изображение с нового ракурса без лишних усилий. С помощью нерфов, например, делают фотореалистичный рендеринг, симулируют различные эффекты освещения и добавляют сложные явления без необходимости явно описывать физический процесс, например, дым.

Сейчас про нерфы слышно из каждого утюга, и чтобы вам было легче разобраться в этом подходе, мы записали новое видео. Дима Чудаков, спикер DeepSchool, разберёт самый базовый NeRF и расскажет про Instant NGP — применимую на практике модификацию классического NeRF.

Смотрите новое видео и подписывайтесь на наш канал по ссылке: https://youtu.be/eGWpx_OeG7s

​​NeRV

В предыдущем посте мы рассказали про NeRF, сильный инструмент, который при этом имеет несколько ограничений. Одно из основных: в классическом NeRF нельзя изменять освещение. Если какая-то часть объекта попала в тень, то на всех картинках она будет темной. При этом для реалистичности в играх и фильмах возможность динамически менять освещение критична. И в NeRV как раз добавили эту возможность: способ позволяет рассчитывать реалистичные тени для новых вариантов освещения.

Рассказали подробнее про этот подход в новой статье, читайте по ссылке: https://deepschool-pro.notion.site/NeRV-Neural-Reflectance-and-Visibility-Fields-for-Relighting-and-View-Synthesis-7ae46ed75c5a4ae6b9414a18925ff266

​​🎙Онлайн-подкаст с Артемом, автором эйай ньюз

Завтра, 21 мая, в 12:00 МСК

Коротко об Артеме:
- Senior Research Scientist в Meta, подразделение GenAI
- PhD в области Computer Vision
- автор канала эйай ньюз с 34к подписчиками

На подкасте мы обсудим:
- историю авторства одного из самых крупных каналов про AI
- личный бренд ученого
- будни ресерчера в Meta
- и куда движется современный CV
- [а здесь может быть ваш вопрос Артему]

Приходите онлайн, чтобы задать свои вопросы Артему во время открытого микрофона. Запись будет! Выложим позднее в этом канале👍

Встречаемся здесь завтра, в воскресенье, в 12:00 МСК🔔

🎙Подкаст с Артемом через 1 час!

Подключайтесь онлайн, встречаемся здесь в 12:00 МСК🔔

🎙Чат для интервью в комментариях к этому посту

Подключайтесь, эфир уже начался

Знакомим с Kafka

Иногда для реализации ML сервисов приходится решать задачи, связанные с потоковой обработкой данных в реальном времени. Это могут быть действия пользователя, запросы на аукцион или входные потоки видео. Часто для выполнения таких задач разработчики прибегают к Apache Kafka.

Несмотря на распространенное мнение о том, что в задачи ДСа входит только обучение хайповых моделек, есть ситуации и проекты, где нужно уметь самостоятельно проектировать архитектуру будущего сервиса, настраивать хранилища данных, поднимать расчетные машины, обеспечивать связь между третье-сторонними клиентами и потом еще это все поддерживать…

Мы подготовили для вас статью, которая поможет познакомиться с таким инструментом. Вы узнаете:
- о возможностях применения Kafka на примере рекомендательного сервиса;
- об основных компонентах Kafka и ее отличии от других систем очередей;
- о том, как поднять кластер Kafka в облаке Confluent Cloud.

Не упускайте возможность познакомиться с Kafka и получить большую автономность в продовых задачах, читайте нашу новую статью по ссылке: https://deepschool-pro.notion.site/Kafka-Python-673d1e1dbb72422faedd6e6bac3e3586

​​SIGGRAPH

Летом состоится ежегодная конференция SIGGRAPH, посвященная инновациям в области 3D CV. Именно на SIGGRAPH каждый год формируется будущее трехмерной графики: крупнейшие компании показывают лучшие разработки и последние технологии в области. Одни только инженеры NVIDIA подали на конференцию больше 15 работ!

Многие участники уже поделились своими публикациями для конференции в соц. сетях, а в нашей статье мы коротко описали самые интересные из них.

Из статьи вы узнаете:
- какие задачи актуальны в области сейчас
- как нейросетевые технологии упрощают разработку видеоигр
- как NVIDIA моделируют волосы в играх
- как сгенерировать реалистичный 3D аватар по одной фотографии

Читайте нашу новую статью и знакомьтесь с инновациями в компьютерном зрении: https://deepschool-pro.notion.site/SIGGRAPH-3D-CV-d7ed7a991812485c8e85dae85af1822b

Сегодня опубликуем 2 записи интервью: с Мишей и Артемом. Спасибо, что ждали и поддерживали в комментариях!

PS Неудачно записали звук с Мишей, перепробовали разные варианты в надежде его улучшить. В итоге спас adobe podcast со своим voice enhancer — нейросети делают вещи🦾

PPS Кажется, это первое видео в интернете с Артемом — по крайней мере мы другого не нашли) Не пропустите сенсацию!