Kandinsky

Расширение для automatic1111 для поддержки Kandinsky

Работает через скрипт (после установки выберите скрипт Kandinsky в поле выбора скриптов).
не поддерживает ControlNet и прочие расширения.
Более полное описание возможностей и ограничений на гитхабе

Все говорят что это Gen-2.
Но это Gen-1, Elevenlabs & Reface

твиттер

Пол МакКартни объявил о выходе в этом году новой песни Beatles с голосом Джона Леннона. Голос восстановили при помощи ИИ с какой-то демо-записи

DeepFaceLabClient

Графический интерфейс для DeepFaceLab - той самой программы для изготовления дипфейков. Пока ещё сырой

#deepfake

Современное искусство выглядит так: на ПМЭФ-2023 Сбер показал своего робота-художника, который рисует крутые картины.

Внутри Kandinsky 2.1, который используется для создания изображения-основы. Затем набросок превращается в векторный рисунок, а другой ИИ превращает все это в команды для движения манипулятора.

Ждем выставку работ робо-художника.

Помянем профессию учителя: стартап Syntesis показал, как в будущем дети будут учить математику.

Никаких тебе криков, только терпеливый ИИ-учитель и крутые интерактивные задания, которые в игровой форме научат точной науке.

Можно записаться в бету или потыкать демо, оно очень крутое.

Вот это новость от AMD! Как долго я этого ждал.

AMD наконец вступила в Deep Learning игру и показывает серьезную заявку пошатнуть монополию NVIDIA на рынке AI чипов.

Сегодня они представили новую видеокарту для обучения и инференса нейронных сетей — AMD MI300X.

Эта крошка вполне может тягаться с Nvidia H100.

Вот её характеристики:
— 192 Gb VRAM на одном чипе, (против 80Gb у H100, NVL версия не в счёт)
— 5.2Tb пропускная способность памяти (против 3.35 y H100)
— Бенчмарков по скорости пока нет, но одна Mi300X легко тянет 40B языковую модель Falcon в риалтайме (см на видео). Это первая видеокарта, которая вмещает модель такого размера полность в своей памяти.

Ещё (это очень важно) AMD договорились с Pytorch Foundation о том, что их софтовый стэк ROCm и все обновления будет поддерживаться и сразу запиливаться в Pytorch 2.0. То есть теперь гонять сети на картах AMD станет также легко как и на гпу от Nvidia! Это чудесные новости!

@ai_newz

Colab MusicGen с простым интерфейсом, но без очереди как на HuggingFace

После появления Mubert мы все ждали новых инструментов с генерацией музыки в опенсорсе. MusicGen классный релиз, но к нему непросто добраться на HF и возможности были ограничены, вариант без интерфейса тоже нравится не всем.

Можно вставлять мелодии как референс, можно генерировать до двух минут музыки.

Сгенерировала без референта славянскую фольклорную песню о любви, по-моему здорово и достаточно качественно вышло!

Инструкция по запуску тут

За ссылку спасибо St Laurent Jr

RERENDER A VIDEO: ZERO-SHOT TEXT-GUIDED VIDEO-TO-VIDEO TRANSLATION

Недолго музыка Gen-1 играла.
Модель #video2video совместимая с ControlNet и LoRa!
Работает в два этапа: перевод ключевых кадров и полный перевод видео.

В первой части используется адаптированная диффузионная модель для генерации ключевых кадров с иерархическими межкадровыми ограничениями, применяемыми для обеспечения согласованности форм, текстур и цветов. Вторая часть распространяет ключевые кадры на другие кадры с учетом временного соответствия патчей и смешивания кадров. Наш фреймворк обеспечивает согласованность глобального стиля и локальной текстуры во времени при низких затратах (без повторного обучения или оптимизации).

Кода нет. Когда его опубликуют, станут ненужны Deforum, Warpfusion, Gen-1. Да и Gen-2 тоже. Впрочем, пророк из меня - так себе. Демо тоже нет. Но зайдите на сайт, там есть что посмотреть

#text2video #video2video

Neural Scene Chronology

Реконструкция 3D-модели изменяющихся во времени достопримечательностей по интернет-фотографиям. На выходе фотореалистичные изображения с независимым контролем ракурса, освещения и времени, крупномасштабных достопримечательностей.

Мы предлагаем новое представление сцены с временной пошаговой функцией, который может моделировать дискретные изменения содержимого на уровне сцены в виде постоянных функций по частям с течением времени. В частности, мы представляем сцену как пространственно-временное поле яркости с встраиванием подсветки для каждого изображения, где временные изменения сцены кодируются с использованием набора изученных пошаговых функций. Мы также собираем новый набор данных из четырех сцен, которые демонстрируют различные изменения с течением времени.

Код еще не выложили

#imageto3D #image2scene