Nunchaku v0.1.4

Инференсный движок для запуска 4-битных диффузных моделей по методу SVDQuant (там есть демо, среди авторов MIT, NVIDIA, Pika Labs)
Поддерживает лоры
Сокращает требование по VRAM для FLUX.1 до 4Гб, увеличивая скорость в 2-3 раза.
Протестирован с SDXL, PixArt-∑, FLUX.1б SANA 1.6B

Код
Демо
ComfyUI
https://huggingface.co/mit-han-lab/nunchaku/blob/main/nunchaku-0.1.4%2Btorch2.6-cp312-cp312-win_amd64.whl - может пригодиться для Windows

#text2image #optimization

Higgsfield AI

Сервис для создания длинных монтажных видеороликов от идеи до финального монтажа.

ИИ-ассистент Copilot проводит вас через

- Написание сценария

- Создание раскадровки. За картинки отвечает #Flux с выбором из нескольких стилей

- Генерация видео по картинке. Тут на выбор Minimax, Kling, Runway Gen-3 и своя модель Higgsfield (насколько своя - не знаю, сомневаюсь что с нуля делали)

- Монтаж. Есть простенький видеоредактор.

- Генерация речи/липсинк от Elevenlabs

Инпейнтинг для Flux обещают прикрутить на следующей неделе. Генератор музыки тоже планируют встроить.

Потренировался на кошках. С остальным звуком кроме речи помогли DiffRhythm, FoleyCrafter, TangoFlux

1 картинка стоит 1 кредит
1 видео MiniMax/Kling - 10 кредитов
1 видео Gen 3 - 5 кредитов

Бесплатных кредитов, увы, не дают. Но есть промокод на 100 кредитов:

HIGGS_DcU7s

#text2movie #noscript2movie #text2image #image2video

OpenAI представили на стриме 3 новых инструмента для разработчиков:
— WebSearch Tool (то же, что у ChatGPT под капотом, дообученная GPT-4o / GPT-4o-mini) для поиска информации в интернете и уменьшения галлюцинаций (нечто схожее есть у Google для Gemini)
— FileSearch Tool, чтобы делать поиск по документам (как в Ассистентах). Поддерживает фильтрацию по тэгам, которые вы присваиваете документам.
— Computer Use, или Operator (та же самая модель под капотом), но теперь как у Anthropic: можно запускать с доступом к своему компьютеру (а не только на виртуальном браузере на сервере OpenAI). На второй картинке метрики, ждём, пока сообщество доработает промпты итд и проведёт свои замеры.

Доступны в API вместе с новым SDK (библиотекой для взаимодействия с этими инструментами).

Буду обновлять пост по мере появления информации (в основном, интересны цены).

UPD:
— цены: Computer Use чуть дороже обычной GPT-4o (3 и 12 долларов на вход и выход за миллион токенов; а как уж формировать контекст, какие скриншоты экрана и текст закидывать — это уже на вас). Поиск по файлам $2.5 за 1000 запросов, и $0.1 за гигабайт загруженных файлов.

PE3R: Perception-Efficient 3D Reconstruction

Реконструкция 3D сцены по нескольким изображениям.
С поиском по сцене: пишем что нужно найти, и нам выделяют цветом заданный объект

Код
Демо

#image2scene #imageto3d