Re-tell.ai

Сервис генерации речи NPC.
Фишка - эмоции можно прописывать текстовым промтом.
Запуск бета-тестирования через неделю.

реддит
Записаться в вейтлист

#text2speech #tts #text2voice #text2emotion #voice

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Генератор речи из текста по короткому заданному образцу. Воспроизводит не только индивидуальный голос, но и эмоции с интонациями.

Пока только английский язык, скоро сделают мультиязычную версию.

Код
Демо

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

ComfyUI Stable Diffusion Video

ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.

Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.

Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.

Если возникнет ошибка при генерации связанная с xformers, то при запуске добавить параметр:
--use-pytorch-cross-attention

В комментах скидываю два .json для ComfyUI.

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

LoRA на стероидах от Google Research. Метод, позволяющий эффективно объединять LoRa объектов и стилей чтобы генерировать любой объект в любом стиле.

Авторы не поделились кодом, но уже есть неофициальная версия от умельцев

Код (неофициальный)

#finetuning #text2image

Breathing Life Into Sketches UsingText-to-Video Priors

Нейронимация noscript по текстовому промту от NVIDIA.
Из ограничений: умеет анимироват ьтолько один объект. Кроме того, модель обучена на одном конкретном стиле эскизов, и в остальных стилях не стоит ожидать хороших результатов. В будущем собираются это починить.

Код обещают выложить

#sketch2video #image2video #vector2video