🔥3D Gaussian Splatting for Real-Time Radiance Field Rendering

На видео - результат работы алгоритма, использующего снимки с дрона для реконструкции 3D сцены. Можно летать в ней риал-тайм.

Это стало возможным благодаря тому, что недавно переизобрели новый "старый" метод нейронного рендеринга.

Используя видео с помощью Structure from Motion (COLMAP) извлекается облако точек, затем по облаку инизиализируется набор маленьких полупрозрачных гауссиан. Эти гауссианы затем оптимизируются чтобы после рендеринга максимально точно восстанавливать оригинальные кадры. Все, ваша 3д-сцена готова.

То есть это никакой не Nerual Radiance Field. Тут все гораздо проще. За счет простоты эта штука и обучается, и рендерится довольно быстро. А назвал я этот метод новым "старым", потому что это до боли напоминает работу 2019 года Neural Point-Based Graphics (я писал о нем тут), где похожим образом для каждой точки обучался небольшой плоский элипсоид.

Сайт проекта
Код (можно запустить на своих cценах)

@ai_newz

Phind продолжают тюнить CodeLlama.
Выложили Phind-CodeLlama-34B-v2,
которая умеет в Python, C/C++, TypeScript, Java и заявляет 73.8% pass@1 на HumanEval


Репо

Когда попросил переписать код без использования numpy:

###Instruction:
rewrite this code to use pytorch only, no numpy

def forward(self, frame1, frame2):
        # Convert the frames to numpy arrays for processing
        np_frame1 = cv2.cvtColor(frame1.cpu().numpy(), cv2.COLOR_RGB2HSV)
        np_frame2 = cv2.cvtColor(frame2.cpu().numpy(), cv2.COLOR_RGB2HSV)

###Response:

# def forward(self, frame1, frame2):
#     # Convert the frames to numpy arrays for processing
#     np_frame1 = cv2.cvtColor(torch.clone(frame1).detach().cpu(), cv2.COLOR_RGB2HSV)
#     np_frame2 = cv2.cvtColor(torch.clone(frame2).detach().cpu(), cv2.COLOR_RGB2HSV)

Ну, технически она права :D

Когда лень переписывать код руками

Phind оказался ленивее меня и написал скрипт для этого

Охуеть! Клонирование голоса всего по трем секундам эталонной записи. Плюс обещают, что не жрет кучу ресурсов и можно запускать чуть ли не на домашней пекарне.

Сам ещё не смотрел как оно работает, надеюсь ночью глянуть.

Исходники открыты и лежат тут

Qwen-VL: вероятно лучшая мультимодальная языковая модель (by Alibaba)

Мало того, что по текстовым метрикам Qwen-7b превосходит LlaMa2-13b, так ещё и картинки теперь понимает!

Правда архитектурно ничего нового тут нет:

ViT-G + однослойный Q-former + LLM

Изображения сжимаются в 256 эмбеддингов, которые идут прямо в контекст языковой модели (как во FROMAGe). Дополнительно Qwen-VL умеет в object detection — bbox'ы подаются и генерируются как обычный текст.

По точности она бьёт всё, что было до неё, причём с запасом (см. картинку). Модель обучается в 3 этапа: сначала размораживаются ViT и адаптер, затем размораживается LLM, а в конце тюнится одна только LLM (уже на самых чистых диалогах). Модель получилась мультиязычной, поэтому русский язык она тоже понимает.

Статья, GitHub

Комунити менеджеров есть у нас? Отзовитес!

Нужно вести дискорд на ~5к юзеров, онлайн ~1к, язык - английский. Тамада, баянист, услуги, организация праздников итд. В общем, держать сервер в тонусе в плане организации каналов, устраивать движухи и рулить толпой модераторов-добровольцев.