Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.46K photos
3.73K videos
41 files
4.76K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
PSLD: Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models

Новый метод использования диффузионных моделей для инпейнтинга без дообучения, апскейла, удаления шума, удаления моушенблюра, восстановления резкости. Выглядит впечатляюще

Код
Демо

#image2image #inpainting #deblur #denoise #upscale #superresulution
👍41
NIFTY: Neural Object Interaction Fieldsfor Guided Human Motion Synthesis

Модель взаимодействия 3D-человеков с 3D-объектами.
Собрались вместе Университет Мичигана, Стэнфорд, Google и NVIDIA. Это как Мстители, только в области 3D-технологий. Да и придумали назначить 3D-объектам так называемое поле взаимодействия. Это поле и управляет анимацией персонажа, взаимодействующего с объектом. А взаимодействия это отдельная попоболь в 3D. Видимо, там серьезные планы на AR гарнитуры, цифровые аватары и вот это все.

Код обещают выложить

#humananimation
ReVersion : Diffusion-BasedRelation Inversion from Images

А тут про взаимодействия в 2D.
По нескольким образцам нейросеть выучивает в каких отношениях состоят объекты на изображении (взаимное расположение, способ взаимодействия и т д.), после чего можно генерировать другие объекты в таких же отношениях.

Код
Демо

#image2image
👍1
BoostPixels

Занятный генератор flat-lay фотографий (не знаю как это называется у русских фотографов) по заданному логотипу

#image2image
🔥4
Немножко хвастовства.
Вчера пришел диплом от Deep Learning School за прохождение первого семестра. Все-таки не зря старался
👏183
INVE: Interactive Neural Video Editing
Редактор видео в реальном времени.
Трек плывет, но для тиктока сойдет.
Для блогеров бомба. Видимо, туда эту тулзу и интегрируют в будущем. Разработака Adobe research, так что ждем в мобильном Премьере или как там оно называется.

Кода нет

#video2video
This media is not supported in your browser
VIEW IN TELEGRAM
CoTracker: It is Better to Track Together

Трекер группы точек.
Обратите внимание как он продолжает отслеживать точки даже когда они уже перекрыты другими объектами.
Я бы нашел применение такому инструменту в композе.

Код
Колаб

#tracking #opticalflow
👍32
Forwarded from AI для Всех
🦙 Llama-2

Это очень важно: вышла Llama-v2 у которой открытый исходный код и лицензия, разрешающая коммерческое использование!

Это изменит ландшафт рынка LLM.
Llama-v2 доступна на Microsoft Azure и будет доступна на AWS, Hugging Face и других провайдерах.

Доступны предварительно обученные и зафайнтюненые модели с параметрами 7B, 13B и 70B.

Сайт Llama-2
Документ Llama-2
👍4
Появилось расширение AnimateDiff для Automatic1111 webui.
Для установки скопировать ссылку на гитхаб расширения и установить через вкладку установки по ссылке.

Гитхаб

#text2video #image2video
Media is too big
VIEW IN TELEGRAM
Neural Video Depth Stabilizer (NVDS)

Фреймворк для генерации согласованной во времени карты глубины для видео. Если вы когда-нибудь пробовали генерировать карты глубины для видео, вы знаете что модели, обученные предсказывать глубину для отдельно взятой картинки, просто неспособны выдать консистентную генерацию глубины для видео. От кадра к кадру у вас будет фликер и свистопляска. Вот эту проблему решает NVDS.

Вот бы нам еще видео-контролнетов для нормалей, кэнни, референс, позы и т д. Мечтаю уже.

В проекте замешан Adobe research, но моделью обещают поделиться для исследовательских целей.

[UPDATE]
Гитхаб

#depth #depth2video #video2depth
1
presize.io

Инструмент пакетной обработки изображение наподобие birme.net
Только тут можно еще индивидуально задавать масштаб.
Может быть полезен при подготовке датасетов для дообучения SD

реддит

#tools
👍2
Еще одна демка Llama-2 7B, 13B и 70B на lambdalabs. Русских там не любят, открывается через VPN.
Как переключать 7B, 13B и 70B модели - непонятно. Если разберетесь - пишите.

Демо

Твит автора
👍2