Forwarded from Psy Eyes (Andrey Bezryadin)
Простая игра на NeRF (Luma) + UE5
1) Cканируем стол с вещами на нём и создаём NeRF на сайте Luma. Дальше импортируем его в стартовый проект на Unreal Engine 5, инструкции там же.
2) Импортируем шаблон с видом от третьего лица.
3) Используем этот шаблон для перевода проекта в сайд-скроллер
4) Чтобы персонаж не проваливался сквозь вещи используем примитивные объекты (куб и прочие) и на глаз подставляем их в качестве опоры.
5) Выделяем опорные объекты, идём в панель Details и ставим галочку “Actor Hidden in Game”. Так они станут невидимыми, и в кадре будет только стол и вещи на нём.
Автор
1) Cканируем стол с вещами на нём и создаём NeRF на сайте Luma. Дальше импортируем его в стартовый проект на Unreal Engine 5, инструкции там же.
2) Импортируем шаблон с видом от третьего лица.
3) Используем этот шаблон для перевода проекта в сайд-скроллер
4) Чтобы персонаж не проваливался сквозь вещи используем примитивные объекты (куб и прочие) и на глаз подставляем их в качестве опоры.
5) Выделяем опорные объекты, идём в панель Details и ставим галочку “Actor Hidden in Game”. Так они станут невидимыми, и в кадре будет только стол и вещи на нём.
Автор
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Autodesk поднимает веки.
CG Channel также донес интересную весть.
Я прошел по ссылочкам и обнаружил прямо на сайте Автодеска такую информацию:
https://adsknews.autodesk.com/en-gb/news/new-content-creation-workflows/
Мы рады представить закрытую бета - версию Maya Assist на базе искусственного интеллекта, которая предлагает новый способ взаимодействия с данными сцены Maya с помощью службы Azure OpenAI от Microsoft (читай chatGPT с апи ключом). Это позволяет художникам автоматически управлять сценами, используя текстовые подсказки на естественном языке непосредственно в Maya. Например, вы можете попросить скопировать объект, увеличить его размер на 25 % или добавить камеру и направить ее куда угодно. Закрытая бета-версия стартует 5 апреля. Чтобы подать заявку шуруйте сюда: https://feedback.autodesk.com/key/MayaAssistFeedbackApplication
Я подался, благо в майской бете с ноября 1997.
CG Channel также донес интересную весть.
Я прошел по ссылочкам и обнаружил прямо на сайте Автодеска такую информацию:
https://adsknews.autodesk.com/en-gb/news/new-content-creation-workflows/
Мы рады представить закрытую бета - версию Maya Assist на базе искусственного интеллекта, которая предлагает новый способ взаимодействия с данными сцены Maya с помощью службы Azure OpenAI от Microsoft (читай chatGPT с апи ключом). Это позволяет художникам автоматически управлять сценами, используя текстовые подсказки на естественном языке непосредственно в Maya. Например, вы можете попросить скопировать объект, увеличить его размер на 25 % или добавить камеру и направить ее куда угодно. Закрытая бета-версия стартует 5 апреля. Чтобы подать заявку шуруйте сюда: https://feedback.autodesk.com/key/MayaAssistFeedbackApplication
Я подался, благо в майской бете с ноября 1997.
SEEM: Segment Everything Everywhere All at Once
SEEM позволяет пользователям легко сегментировать изображение, используя промпты различных типов: точки, грубые маски, рамки, языковые подсказки (текст и аудио) и т.д.
Говорят, что работает и с видео без дообучения.
Гитхаб (кода пока нет)
Демо
#image2mask, #video2mask, #segmentation #text2mask #audio2mask
SEEM позволяет пользователям легко сегментировать изображение, используя промпты различных типов: точки, грубые маски, рамки, языковые подсказки (текст и аудио) и т.д.
Говорят, что работает и с видео без дообучения.
Гитхаб (кода пока нет)
Демо
#image2mask, #video2mask, #segmentation #text2mask #audio2mask
В автоматик завезли Канву
А точнее, дизайн-конструктор Canvas Editor, похожий на Canva на основе polotno.com
А все для того чтобы можно было отправлять тексты и фигуры в Controlnet
Устанавливается из вкладки Available, появляется на отдельной вкладке. Накидываем их шаблонов нужные элементы, жмякаем Send to txt2img или Send to img2img - элементы отправляются в Controlnet. Далее как обычно
#image2image #tools
А точнее, дизайн-конструктор Canvas Editor, похожий на Canva на основе polotno.com
А все для того чтобы можно было отправлять тексты и фигуры в Controlnet
Устанавливается из вкладки Available, появляется на отдельной вкладке. Накидываем их шаблонов нужные элементы, жмякаем Send to txt2img или Send to img2img - элементы отправляются в Controlnet. Далее как обычно
#image2image #tools
🔥1
Forwarded from эйай ньюз
Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields
На днях барон всех нерфов, Джон Баррон, опубликовал еще одну статью, гдеразъебал сильно улучшил 3D реконструкцию и рендеринг больших сцен.
Серьезно, имя Джона Баррона нужно знать, если интересуетесь нейронным рендерингом. Чел работает Senior Staff Research Scientist в Google и опубликовал более 20 статей по теме за последние пару лет.
В новом методе он объединил
медленный, но мощный mip-NeRF 360, который решает проблему алиасинга при рендеринге объектов разного масштаба, и быструю модель Instant NGP, которая работает на воксельных гридах. Для вычисления цвета пикселя Mip-Nerf использует конусовидные фрустумы вместо трейсинга лучей, однако такой трюк не получится заюзать в лоб с методами, работающими на воксельных сетках. В Zip-Nerf барон изворачивается и эту проблему решает.
Качество рендеринга улучшилось на 8%–76%, а тренировка ускорена в 22 раза по сравнению с mip-NeRF 360.
Сайт проекта
Вот ещё ссылка на либу с GUI для разных нерфов
@ai_newz
На днях барон всех нерфов, Джон Баррон, опубликовал еще одну статью, где
Серьезно, имя Джона Баррона нужно знать, если интересуетесь нейронным рендерингом. Чел работает Senior Staff Research Scientist в Google и опубликовал более 20 статей по теме за последние пару лет.
В новом методе он объединил
медленный, но мощный mip-NeRF 360, который решает проблему алиасинга при рендеринге объектов разного масштаба, и быструю модель Instant NGP, которая работает на воксельных гридах. Для вычисления цвета пикселя Mip-Nerf использует конусовидные фрустумы вместо трейсинга лучей, однако такой трюк не получится заюзать в лоб с методами, работающими на воксельных сетках. В Zip-Nerf барон изворачивается и эту проблему решает.
Качество рендеринга улучшилось на 8%–76%, а тренировка ускорена в 22 раза по сравнению с mip-NeRF 360.
Сайт проекта
Вот ещё ссылка на либу с GUI для разных нерфов
@ai_newz
👍1
Forwarded from Stable Diffusion | Text2img
Ну что ж, момент настал! 😼 В основную ветку расширения КонтролНета для дистрибутива Автоматика добавили поддержку версии 1.1, о которой я писал на днях. Всё что там есть уже работает, экстенжин обновился без проблем. Веса и конфиги брать тут - https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Подробный пост с возможностями и работой будет позже (если я не заленюсь 🤷♂️).
Подробный пост с возможностями и работой будет позже (если я не заленюсь 🤷♂️).
Forwarded from Stable Diffusion | Text2img
Картинки к следующему посту.
1 - новый список препроцессоров и моделей.
2, 3, 4 - Работа нового режима ОпенПоз
5, 6, 7 - Работа ОпенПоз + lineart.
8, 9, 10 - Препроцессор lineart.
1 - новый список препроцессоров и моделей.
2, 3, 4 - Работа нового режима ОпенПоз
5, 6, 7 - Работа ОпенПоз + lineart.
8, 9, 10 - Препроцессор lineart.
👍2
Совершенно неочевидный способ генерировать многократно одного и того же персонажа в Automatic1111
Инструкция
Автор
Инструкция
Автор
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
Imagica — нейросеть создаёт другие нейронки по текстовому запросу
Кроме того, он мультимодальный: в приложении могут быть текст, изображения, видео и 3D-модели.
Пока что только в бете, лист ожидания по ссылке.
Кроме того, он мультимодальный: в приложении могут быть текст, изображения, видео и 3D-модели.
Пока что только в бете, лист ожидания по ссылке.
👍2🤯2
Forwarded from AbstractDL
🔥MiniGPT-4: почти как GPT-4, но всего 13B параметров
Оказалось, если соединить LLaMA (Vicuna) и FROMAGe, то получится не только на 90% приблизиться к GPT-4, но и даже воспроизвести её визуальные навыки! При том, что тут обучается всего лишь один единственный линейный слой.
По сравнению с FROMAGe тут добавили Q-former и файнтюнинг на своём чистейшем визуально-диалоговом сете (3.5к примеров).
С помощью этой модели можно даже сгенерировать код сайта по одному лишь наброску! Код и веса есть в открытом доступе.
Статья, GitHub, блог
Оказалось, если соединить LLaMA (Vicuna) и FROMAGe, то получится не только на 90% приблизиться к GPT-4, но и даже воспроизвести её визуальные навыки! При том, что тут обучается всего лишь один единственный линейный слой.
По сравнению с FROMAGe тут добавили Q-former и файнтюнинг на своём чистейшем визуально-диалоговом сете (3.5к примеров).
С помощью этой модели можно даже сгенерировать код сайта по одному лишь наброску! Код и веса есть в открытом доступе.
Статья, GitHub, блог
👏2