Нейросети и Блендер записал новое видео-туториал по тому, как обращаться с колабом Stable Diffusion. Как всегда спокойное, четкое и информативное.

Подойдет всем начинающим, чтобы привыкнуть к колабу и слезть с иглы DreamStudio.

Text Inversion is the next big thing? 🤔

Относительно недавно вышла статья от NVIDIA – An Image is Worth One Word. В ней они показывают, как можно тот или иной концепт преобразовать в псевдо-слово, то есть создать в латентном пространстве эмбеддинг несуществующего токена, который будет максимально точно отражать заданный концепт, основываясь на примерах, которые вы предоставите

Так можно натренировать модель всегда генерить именно тот объект, который вы задумали, при чем в любом сеттинге, стиле и с любыми атрибутами. В пейпере авторы заставляют модель запомнить по нескольким фотографиям определенную фигурку полосатого котенка как некий объект S*, чтобы потом генерить “Banksy art of S∗”, “A S∗ themed lunchbox” и так далее

Подробно пр метод можно почитать в статье, в целом идея такова:
– Берем входное описание ‘A photo of zubabobr’. Здесь zubabobr – несуществующий токен. Параллельно заготавливаем несколько картинок с примерами zubabobr. Слово zubabobr получает эмбеддинг v*, его мы обучаем
– Прогоняем эмбеддинги через трансформер, с помощью них кондишеним генерацию Stable Diffusion из случайного шума. Плюс, на каждом этапе позволяем модели подсматривать примеры картинок с zubabobr
– ???
– Profit, теперь мы можем генерить zubabobr и знаем его эмбеддинг

Идея очень быстро была реализована:
✨На huggingface есть Concepts Library – там можно через их UI по нескольким примерам натренировать свои концепты, а также посмотреть концепты других юзеров в открытом доступе

Что самое прикольное, концепты могут обозначать еще и стиль, так что можно генерить что-то типа «A photo of <my_concepts/zubabobr> in a style of <sd-concepts-library/80s-anime-ai-being>»


✨Или можно по харду – не тюнить свой эмбеддинг, а тюнить всю модель с помощью DreamBooth (смысл тот же, это позволяет создать identifier вашего собственного класса). Более подробный пост про него есть у тоже моушн

Deforum Stable Diffusion обновился и теперь параметры движения камеры и, например, параметр strength можно довольно просто задавать функциями сокращенно, без множества числовых значений.

Краткое руководство о том, зачем вообще математика в колабе здесь

Сделала небольшой тест с новыми «волнами»

Stablediffusion, затюненный на Arcane с помощью Unfrozen Model Textual Inversion & Training with prior-preservation loss

Модель на 🤗

Принёс вам несколько результатов генерации видео с помощью Make-A-Video по запросу "two kangaroos busy cooking dinner in a kitchen" 😉.

@ai_newz

ИИ-изображения - новый клип-арт.

Microsoft добавляет DALL-E в свой пакет Office, таким образом картинки сгенерированные ИИ скоро появятся в каждой PowerPoint презентации.

Заметка на The Verge

🛼 Microsoft представили Designer — первый профессиональный Text-to-Image инструмент основанный на DALL•E2

Представьте, “ламантины группой плещутся на закате”. Или “старый слепой китаец красиво делает свое ушу.” Добавьте artstation и 4K, Выберите шрифты и стили, создавайте открытки, постеры, иллюстрации и слайды за мгновения!

Microsoft 🛼 Designer является частью пакета Office 365! То есть он находится в одном ряду с Microsoft Word, Microsoft Excel, и обладает тесной интеграцией с PowerPoint!

А еще вдумайтесь в то, насколько громкое это название — 🛼 Designer! AI революция наступила, это уже не будущее, это уже сейчас.

И изменения ландшафта рабочих мест — лишь одно проявление этой революции. Такие инструменты как 🛼 Designer привнесут AI в массы и сделают Text-to-Image новым стандартом, новой нормой создания визуального контента.

К тому же поговаривают, что скоро в открытом доступе появится нечто на голову превосходящее DALL•E 2, не говоря уже о стебле. Так что 🛼 Designer не будет единственным таким инструментом.

🛼 Designer (уже можно оставить заявку)

🤖🎓 м и ш и н л е р н и н г