Поучаствовал вместе с Егором Ершовым в круглом столе “Peking University International Roundtable Dialogue on AI Governance” на Пекинском Форуме.

В нем также участвовали компания Baidu AI Cloud, которая поддерживает фреймворк для беспилотного вождения Apollo и разрабатывает собственные GPU, Bytedance, которые продвигают различные образовательные инициативы, а не только Tik-Tok, Concordia AI, которая разрабатывает платформу AI Governance и активно внедряет ее в Китае.

Были нешуточные баталии про конкуренцию в сфере ИИ между США и Китаем, что Китаю запрещают Nvidia GPU и отказывают в визах. И нескольким гостям форума из США, в целом нечего было сказать, кроме «давайте жить дружно» 😊

#Activities

Подсвечу характерный тренд в 3D-компьютерном зрении - активно появляются трансформерные методы реконструкции трехмерной карты с одновременной оценкой позы камеры и, в последнее время, с генерацией параметров гауссиан. Из наиболее характерных работ: в начале года появилась и впечатлила всех модель VGGT (University of Oxford, Meta AI), затем разработали более быструю модель Pi3 (Shanghai AI Lab), в прошлом месяце вышла модель HunyuanWorld-Mirror (Tencent).

На днях ByteDance представила модель Depth Anything 3 (статья)(проект)(код). Depth Anything 3 может предсказывать пространственно-согласованную геометрию по одному или нескольким изображениям, даже без известных параметров камеры. Эта модель обучена на 27 датасетах и демонстрирует state-of-the-art показатели качества, можете сами попробовать - ссылка на демо

Модель имеет трансформерную архитектуру с набором специализированных голов для генерации карт глубин, ray map, поз камеры. Одна модель решает целый спектр задач: от монокулярной оценки глубины и определения поз камеры до прямой генерации 3D гауссианов для синтеза новых ракурсов.

Отмечу разнообразие предобученных версий моделей, например, DA3-Small имеет 30 миллионов параметров и работает почти в пять раз быстрее чем популярная модель VGGT.

#References

Вчера прошел большой релиз фундаментальных моделей для компьютерного зрения от SuperIntelligence Labs:

Были выпущены:
1) SAM3 (код)(статья), который в отличие от SAM2 получил возможность сегментировать и отслеживать объекты по текстовым запросам
2) SAM 3D Body Model, 3DB (код)(статья) для реконструкции 3D модели тела человека по изображениям
3) SAM 3D Objects (код)(статья) для реконструкции 3D моделей произвольных объектов по изображениям и (опционально) облакам точек

#References