ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

LoRA на стероидах от Google Research. Метод, позволяющий эффективно объединять LoRa объектов и стилей чтобы генерировать любой объект в любом стиле.

Авторы не поделились кодом, но уже есть неофициальная версия от умельцев

Код (неофициальный)

#finetuning #text2image

Breathing Life Into Sketches UsingText-to-Video Priors

Нейронимация noscript по текстовому промту от NVIDIA.
Из ограничений: умеет анимироват ьтолько один объект. Кроме того, модель обучена на одном конкретном стиле эскизов, и в остальных стилях не стоит ожидать хороших результатов. В будущем собираются это починить.

Код обещают выложить

#sketch2video #image2video #vector2video

Рисуем вместе с нейронкой - прямо в GitHub Codespaces

Бывает, нужно быстро сделать зарисовку идеи или просто хочется порисовать. К несчастью, в художественом плане у меня руки-крюки и вместо красивостей, обычно получается абстрактный экспрессионизм. Сегодня я обнаружил рабочий workflow, благодаря которому скетч не стыдно будет показать кому угодно.

Записал подробную инструкцию, как запустить рисовалку Draw-Fast на Github CodeSpaces. Кстати у них уже почти 500 звезд на гитхабе.

Открываем их гит, наводим на кнопку Code <> в правом верхнем углу и выбираем вкладку Codespaces.

Дальше создаем новый Space, копируем команды из верхнего окошка в нижнее (терминал) и нажимаем Open in Browser.

Ура - вы прекрасны и теперь можете насладиться процессом рисования вместе с нейросетью.

CollageRL. Neural Collage Transfer: Artistic Reconstruction via Material Manipulation

Генератор коллажей, собирает заданное изображение из газетных вырезок.

Код

#image2image #image2collage

На полках уже начали появляться товары с нейросетевым артом

Если раньше китайцы просто неправильный текст на английском писали, то теперь просто не будут проверять за нейронкой

Ты еще не научился делать ровную, аккуратную сетку, а Mesh GPT уже взяли на работу.

Что интересно, генерации происходят на базе LLM-модели, обученной на выборке с готовыми моделями. При разработке стремились добиться схожих результатов с тем, как обычно художники производят этап Lowpoly.

И тут я вижу проблему вот в чем. С одной стороны, цель благородная: облегчить, автоматизировать один из этапов производства. С другой, этот этап настолько заебистый, и столько входящих параметров нужно учитывать, чтобы действительно по требованиям сделать эту лоупольку, что, казалось бы, нет смысла это автоматизировать.

Т.к. помимо пайплайна Lowpoly+bake существуют и другие: мидполи, с фасками, без фасок, через USD с сабдивами, nanite и другие, которые, как я очень надеюсь, вытеснят со временем все остальные. Пока что я вижу, что так и происходит, проблема только в том, что не все движки нативно поддерживают эту технологию.

Пока алгоритм оптимизируют и доведут до потребностей реального продакшена, переход уже произойдет.

Если с самим принципом построения мы разобрались, то сама идея генерации через LLM дает куда более точные результаты, чем через те же поинтклауды. Грани мы имеем более четкие, что важно для хардсерфейс объектов. Тут под хардсерфейс я имею в виду любые твердотельные объекты, включая мебель, тоже туда же, не органические формы в целом. Вопрос только в том, может ли этот подход также эффективно работать с более органическими формами.

Читать подробнее
Видео

LittleTales.co

Генератор историй.
На вход нужно одно селфи, короткое описание и опционально сюжет.
Под капотом StableDiffusion

На старте дают 20 кредитов, чего не хватает даже закончить одну историю с картинками.

Впрочем, можете написать автору на реддите что кредитов мало. Если будет много таких коментов, может кредитов добавят.

Доктор Зло возрождает динозавров

#image2story #story

FlowZero:Zero-Shot Text-to-Video Synthesis withLLM-Driven Dynamic Scene Syntax

Очередной генератор видео по тексту. Но на согласованность во времени здесь работает большая языковая модель (#LLM), подробно синтаксически описывая объекты, движение, сцену, фон и т д.

Код обещают выложить

#text2video

SketchVideo

Переводит видео в анимированный эскиз. Авторы что-то пишут про открытие возможностей редактирования видео на основе эскизов.

Наконец можно сделать свой Take on me

Код

#video2video #video2sketch

Видеогенератор Pika обновился до версии 1.0.
Кому и как быстро будут выдавать доступ - пока непонятно.

Записаться в вейтлист
Блог

#text2video #image2video

Jacques - Absolve (источник, Youtube)

Лувр + VFX

Смотрите как надо

#VFX #aiart

а теперь брейкдаун

источник (Vimeo)

#VFX #aiart #breakdown

SDXL Turbo

Stability AI задистилировали SDXL, генерация картинок в реальном времени по тексту. Меняете что-то в промте - меняется результат

Попробовать на ClipDrop

#text2image #realtime