Старшая модель Mistral - Mistral Large доступна по API и в бете ассистента le Chat. Эта модель по характеристикам конкурирует с GPT-4 и Claude 2.

API (для России недоступно)
le Chat

#llm #assistant #chatbot

LoRA+

Вдвое быстрее чем LoRA

Гитхаб

#finetuning

Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.

Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.

Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.

Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.

P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.

Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.

P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится".

Короче, расслабляем булки, ИИ все поправит. За вас.

Автор обещает полный тутор тут:
https://twitter.com/8bit_e/status/1761111050420727895

Multi-LoRA Composition for Image Generation

Метод контроля генерации изображений позволяет обойти ограничение обычных LoRa, которые при слиянии спорят друг с другом и теряют детали.
Пишут, что работает без дообучения

Код

#conditioning #text2image #image2image

From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans

Биомеханически корректное восстановление позы, скелета, меша по видео.
Код там же, три ссылки внизу

#video2pose #videoto3D #image2pose

Инструкция по локальному запуску SUPIR на 10-11 GB VRAM

Подробнее на гитхабе

git clone https://github.com/Fanghua-Yu/SUPIR.git (Клонирование репозитория)

cd SUPIR (перейдите к каталогу)

установка pip -r requirements.txt (При этом будут установлены отсутствующие пакеты, но будьте осторожны, некоторые версии могут быть удалены, если они не совпадают, или используются conda или venv)

Загрузите SDXL CLIP Encoder-1 (Вам нужен полный каталог, вы можете выполнить git clone https://huggingface.co/openai/clip-vit-large-patch14)

Скачать https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k/blob/main/open_clip_pytorch_model.bin (только этот файл)

Загрузите модель SDXL, Juggernaut работает хорошо (https://civitai.com/models/133005?modelVersionId=348913) Без Lightning или LCM

Пропустите материалы LLaVA (они большие и требуют много памяти, она создает промт из вашего исходного изображения, но если ваше изображение сгенерировано, вы можете использовать тот же промт)

Скачать SUPIR-v0Q (https://drive.google.com/drive/folders/1yELzm5SvAi9e7kPcO_jPp2XkTs4vK6aR?usp=sharing)

Скачать SUPIR-v0F (https://drive.google.com/drive/folders/1yELzm5SvAi9e7kPcO_jPp2XkTs4vK6aR?usp=sharing)

Измените CKPT_PTH.py локальные пути для загруженных вами файлов SDXL CLIP (каталог для CLIP1 и файл .bin для CLIP2).

Измените SUPIR_v0.yaml в качестве локальных путей для других загруженных вами файлов, в конце файла SDXL_CKPT, SUPIR_CKPT_F, SUPIR_CKPT_Q (расположение файлов для всех 3-х)

Перейдите в каталог SUPIR в командной строке и запустите "python gradio_demo.py --use_tile_vae --no_llava --use_image_slider --loading_half_params"

#upscale

sd-forge-layerdiffusion

Поддержка layerdiffusion в Forge
Не забудьте обновить Forge командой

git pull

#text2image

Ideogram 1.0

Уже известный нам генератор картинок от гугла обновился до версии 1.0 и теперь доступен всем.

Фишки: хорошо справляется с генерацией текста на изображении, хорошо понимает промты, ну и Magic Prompt - улучшайзер промта

Генерим здесь, хвастаемся в коментах

#text2image

ловите воркфлоу SUPIR для ComfyUI

#upscale

AUTOMATIC1111 stable-diffusion-webui 1.8.0

Вышла обновка автоматика.
Если будете обновляться, сделайте бэкап сначала. У людей уже ломается отображение результатов

#news #text2image

ComfyUI-layerdiffusion

Поддержка Layerdiffusion для ComfyUI

#text2image

Самое важное о чем я не успел вам рассказать на прошлой неделе

Groq - самая быстрая альтернатива ChatGPT, быстый - 500 токенов/сек

Chateq - чатбот спорщик, поможет спорить в интернете

Pika научился делать липсинк. Загружаем запись речи и получаем видео с говорящим персонажем

Suno.ai V3 научился генерить музыку без вокала с отменным качеством, до 2 минут

Adobe анонсировали Project Music GenAI Control - генератор/редактор аудио с помощью текстовых указаний.

#llm #assistant #chatbot #news #lipsync #text2music #music2music #audio2aidio