Пока качается TheBloke/Phind-CodeLlama-34B-Python-v1-GGUF (а говорили, щто умер :D), попросил масенький TheBloke/WizardCoder-Python-13B-V1.0-GGUF сгенерить мне змейку.

Удалось с 99% успехом (перепутаны направления и забыл запустить main()), но в остальном все работает.

Prompt:
I need you to write 1 piece of python code for a functioning game of snake. Make sure to fill every line of code completely, do not leave any place holders, as logic for the code must be thought of now and implemented in this generation.

Make sure the game have a window to play in, has proper working food for the snake to collect, has the ability for the snake to eat the food and grow from the eaten food, has the ability for the snake to die from running into itself or the border of the window, and has a restart button once the game is over to play the game over again.

Make sure the game has a simple visual graphical interface for the user to see when playing, you will have to code this yourself. Absolutely make sure everything mentioned in the code is written, do not leave a class that is mentioned somewhere but not written out properly elsewhere Please follow this format when writing the code:
FILENAME

CODE

🔥3D Gaussian Splatting for Real-Time Radiance Field Rendering

На видео - результат работы алгоритма, использующего снимки с дрона для реконструкции 3D сцены. Можно летать в ней риал-тайм.

Это стало возможным благодаря тому, что недавно переизобрели новый "старый" метод нейронного рендеринга.

Используя видео с помощью Structure from Motion (COLMAP) извлекается облако точек, затем по облаку инизиализируется набор маленьких полупрозрачных гауссиан. Эти гауссианы затем оптимизируются чтобы после рендеринга максимально точно восстанавливать оригинальные кадры. Все, ваша 3д-сцена готова.

То есть это никакой не Nerual Radiance Field. Тут все гораздо проще. За счет простоты эта штука и обучается, и рендерится довольно быстро. А назвал я этот метод новым "старым", потому что это до боли напоминает работу 2019 года Neural Point-Based Graphics (я писал о нем тут), где похожим образом для каждой точки обучался небольшой плоский элипсоид.

Сайт проекта
Код (можно запустить на своих cценах)

@ai_newz

Phind продолжают тюнить CodeLlama.
Выложили Phind-CodeLlama-34B-v2,
которая умеет в Python, C/C++, TypeScript, Java и заявляет 73.8% pass@1 на HumanEval


Репо

Когда попросил переписать код без использования numpy:

###Instruction:
rewrite this code to use pytorch only, no numpy

def forward(self, frame1, frame2):
        # Convert the frames to numpy arrays for processing
        np_frame1 = cv2.cvtColor(frame1.cpu().numpy(), cv2.COLOR_RGB2HSV)
        np_frame2 = cv2.cvtColor(frame2.cpu().numpy(), cv2.COLOR_RGB2HSV)

###Response:

# def forward(self, frame1, frame2):
#     # Convert the frames to numpy arrays for processing
#     np_frame1 = cv2.cvtColor(torch.clone(frame1).detach().cpu(), cv2.COLOR_RGB2HSV)
#     np_frame2 = cv2.cvtColor(torch.clone(frame2).detach().cpu(), cv2.COLOR_RGB2HSV)

Ну, технически она права :D

Когда лень переписывать код руками

Phind оказался ленивее меня и написал скрипт для этого

Охуеть! Клонирование голоса всего по трем секундам эталонной записи. Плюс обещают, что не жрет кучу ресурсов и можно запускать чуть ли не на домашней пекарне.

Сам ещё не смотрел как оно работает, надеюсь ночью глянуть.

Исходники открыты и лежат тут

Qwen-VL: вероятно лучшая мультимодальная языковая модель (by Alibaba)

Мало того, что по текстовым метрикам Qwen-7b превосходит LlaMa2-13b, так ещё и картинки теперь понимает!

Правда архитектурно ничего нового тут нет:

ViT-G + однослойный Q-former + LLM

Изображения сжимаются в 256 эмбеддингов, которые идут прямо в контекст языковой модели (как во FROMAGe). Дополнительно Qwen-VL умеет в object detection — bbox'ы подаются и генерируются как обычный текст.

По точности она бьёт всё, что было до неё, причём с запасом (см. картинку). Модель обучается в 3 этапа: сначала размораживаются ViT и адаптер, затем размораживается LLM, а в конце тюнится одна только LLM (уже на самых чистых диалогах). Модель получилась мультиязычной, поэтому русский язык она тоже понимает.

Статья, GitHub

Комунити менеджеров есть у нас? Отзовитес!

Нужно вести дискорд на ~5к юзеров, онлайн ~1к, язык - английский. Тамада, баянист, услуги, организация праздников итд. В общем, держать сервер в тонусе в плане организации каналов, устраивать движухи и рулить толпой модераторов-добровольцев.