Привет, друзья исследователи метаверс эпохи!

Каждый день выходят сотни статей, постов, репозиториев с новыми моделями, фреймворками и пр. Иногда хочется остановить этот бешеный темп и прочитать/послушать/потыкать во что-то фундаментальное/вечное/доброе (желательно не китайские статьи).

В таком случае, самое время послушать отца основателя машинного обучения, лауреата премии Тьюринга, изобретателя сверточных нейронных сетей и со-изобретателя 3D ML - Яна Лекуна.

На канале Лекса Фридмана недавно вышел второй большой подкаст с Лекуном (первый подкаст), в котором были затронуты очень много интересных и актуальных топиков: Self-supervised learning, почему изображения и 3D сложнее текста для глубоких сетей, три вызова в ИИ, советы начинающим исследователям и многое другое.

Если вы не любитель длинных видео, то хотим посоветовать вам тик-ток аккаунт @artembondar03 - крутые и глубокие инсайды из мира глубокого обучения (и кеки про повседневность дата саентистов).

Делитесь вашими любимыми интервью в комментах

Привет, коллеги!

Тема творчества с помощью методов машинного обучения в последние годы стала очень актуальной. Любой уважающий себя creative coder имеет набор из минимум 10 нейронок, обернутых в коллаб (кстати про наш продукт, который ускорит процесс creative coding) с которыми непрерывно экспериментируют (здесь примеры наших экспериментов, а здесь целый канал про это направление).

Одной из самых красивых генеративных глубоких моделей последнего времени является Disco Diffusion (если вам интересна теоретическая подоплека диффузионных моделей, есть вот такая статья). Сообщество активно добавляет новый функционал к данной модели. Текущая версия - 4.1. способна выдавать анимации с псевдо-пролетом камеры сквозь сцену (пролет имитируется за счет кропов и сдвигов каждого кадра, который является основой для генерации дальнейшего кадра).

По сути, такой подход с псевдо-пролетом, является альтернативой к моделям, которые делают честный пролет по 3D сцене и используют семантические маски видимых в кадре объектов (например GANCRAFT или GAUGAN + Unity).

Вопрос к вам коллеги исследователи, как вы думаете, какой подход для генерации роликов с пролетом камеры может появится еще в ближайшее время?

Вакансия - Middle Machine Learning Engineer (project)

Всем привет!
Мы работаем в проекте, где используем технологии машинного обучения для работы с LiDAR-облаками точек. Сейчас мы ищем на проект разработчика, готового работать с передовыми технологиями.

О проекте и 3DML подходах

Описание вакансии

Кому интересно, пишите мне в личку

Вакансия - Backend Python Developer (part-time)

Всем привет!
Мы создаем AI инструмент, позволяющий креаторам создавать 2D & 3D контент с помощью Искусственного Интеллекта без кода. Сейчас мы ищем Python разработчика на парт тайм, который поможет нам быстрее дать супервозможности всем создателям цифрового контента и приблизить будущее метаверс)

Описание вакансии

Пишите мне в личку

Продолжение постов про генерацию из текста 3D мешей, Clipmatrix (тут коллаб) наконец-то стал доступен.

Всем быстро тестить, а кто хочет с потрясающим интерфейсом, то регистрируйтесь на Phygital+

А ещё напоминаю мы ищем разработчиков в команду (python backend, 3D ML engineer)

STATE OF THE ART NEURAL RENDERING

Ребята второй год собирают лучшие прорывы в области нейронного рендеринга в один пэпер)

Читаем, вдохновляемся, реализовываем.

Если будет интересно ставьте лайки, комментарии - сделаем наш Phygital Science для обсуждения статьи

Использование генератора синтетических данных для задачи дефектоскопии на основе DL подходов

Проект
Статья

Ну и где вы видели такой красивый Behance под промышленный проект?

Шазам для 3D-моделей
Blender-плагин для поиска 3D-моделей по вашей базе данных

Видео
Статья

Использование 3D и VR технологий в задачах по созданию рекомендательной системы маневрирования космического спутника на основе RL подходов

Проект реализовали совместно с ФГУП ЦНИИмаш, Корпоративная Академия Роскосмоса, Яндекс
Видео
Статья

Использование 3D виртуальной среды для создания синтетических данных для обучения RL-алгоритма по защите реальной критической кибер-физической инфраструктуры.

Проект для Лаборатории Касперского
Видео

Такой подход называется VizSim - визуализация и симуляция реальных физических процессов
Статья про VizSim

Сейчас алгоритм действительно защищает реальные заводы

Использование VR для разметки 3D-данных получаемых с лидара для последующей классификации и сегментации объектов сканирования на основе нейронных сетей

Статья
Про сам проект позже раскажем

Оптимизация, текстурирование и улучшение сканирования на основе получаемых данных от LiDAR Apple, автоматическое создание каркаса на основе облака точек, сегментация объектов и создание карты сети умных устройств

Проект для Лаборатории Касперского

Подобные проекты привели к созданию нами направления 3DML

Создание DeepFake в 4k на основе одной фотографии благодаря синтетическим датасетам

Видео
Статья

Наша статья про альтернативные подходы к оптимизации нейронных сетей (на основе эвристических алгоритмов)
Сайт

В будущем возможно вместо градиентного спуска в 3DML мы будем использовать метаэвристические алгоритмы

3D Scene Graph

На основе фото/видео материалов строится семантический граф сцены, на котором представлены объекты, их атрибуты и отношения между ними.

В контексте данного проекта мы исследовали возможности подхода по построению 3D Scene Graph для облака точек. Позже представим как мы это используем в нашем продукте

Видео