Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.44K photos
3.71K videos
41 files
4.75K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
Hermes 4

LLM на базе Llama-3.1-405B с гибридным режимом рассуждений от Nous Research

— избегает назидательности и подхалимства

— хорош в математике, программировании, STEM, логике, творческом письме и субъективных ответах

— обучен создавать валидный JSON по заданным схемам и исправлять некорректные объекты

— легче поддаётся управлению и выравниванию, имеет сниженные показатели отказа

— поддерживает вызовы функций и использование инструментов в рамках одного хода ассистента

— способен адаптироваться к дополнительным системным инструкциям, изменяя стиль, формат и подход к решению задач

— работает с разными форматами чата

— сохраняет воспоминания для использования в разных моделях

70B и 405B параметров. Есть полные и FP8 веса

Попробовать в чате - чат шикарный, с настройками, но GUI тормозной
HF

#assistant #chat
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Новая версия оживлятора от ByteDance, снова без кода

На вход подаем картинку и аудиозапись речи. На выходе - видео

Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.

— согласует анимацию с ритмом, просодией и семантическим содержанием речи

— Контроль генерации, движения камеры и конкретных действий через текстовые промпты

— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки

Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье 🤩

#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10
Поделюсь рефералками

Фигню рекламировать самому было бы зашквар, делюсь тем чем доволен.

Т-мобайл. Пересел на него несколько лет назад и ни разу не пожалел. Трачу на связь вдвое меньше чем было там. Если подключитесь по моей ссылке, обещают закинуть денег на счет. А когда пополните на 500р - еще закинут вам и мне.

С экономией на связи есть нюанс, она максимальная с подпиской Pro в Т-банке. Подписка стоит 199 рублей в месяц, которые обычно покрываются кэшбеком. Ну и если закажете карту Black по моей ссылке, то и вам и мне дадут немного денег.

Вдруг кто собирался стать их клиентом — вам полезно, мне приятно.
👍11👎93
Media is too big
VIEW IN TELEGRAM
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx
6👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Week #2: “Falling”

ComfyOrg проводит конкурс, уже вторая неделя пошла, второй челендж. А я как-то пропустил.

Приз
Денежный приз в размере 100 долларов США или эквивалентный бонус ComfyUI для 1 участника
Монтаж Spotlight для выбранных работ
Специальный подарок (в процессе разработки) для участников и победителей, начиная с 1-й недели.

Требования:

Должно начинается со сцены падения

Стиль, оформление и настроение - свободные

Отправка до 19:00 1 сентября по восточному времени

Рекомендуется использовать формат 1:1,< 20 секунд

Большая часть работы должна быть выполнена в ComfyUI

Избегайте водяных знаков и нелицензионных IP, а подписи должны быть небольшими
👍51
This media is not supported in your browser
VIEW IN TELEGRAM
ROSE: Remove Objects with Side Effects in Videos

Удаление объектов из видео (клинап, инпейнтинг) вместе с сопутствующими эффектами, такими как тени, отражения, изменения освещения и т д. Модель решает проблему, с которой сталкиваются существующие методы — сложность устранения побочных эффектов из-за нехватки парных видеоданных.

А откуда же у вас эти пары видеоданных которых ни у кого нет? А из синтетического датасета с 3D рендера.

Под капотом видеоинпейнтинг на основе Wan2.1

Код ждем
Демо

#cleanup #objectremoval #videoinpainting
🔥8👍1😱1
Media is too big
VIEW IN TELEGRAM
VoxHammer: Training-Free Precise and Coherent 3D Editing in Native 3D Space

Редактирование 3D-моделей без обучения в нативном латентном 3D пространстве по текстовым промптам и изображениям

Работает с геометрией, #Nerf и гауссианами

Код
Демо ждем

#3d #3dediting #gaussian
👍61
Тестирую тут ComfyUI-Copilot а заодно Qwen-Image-Edit (QIE)

У меня всего 16Gb VRAM, не разгуляешься.
Поэтому первой задачей было переписать стандартный воркфлоу из менюшки с темплейтами под GGUF модель - впихнуть невпихуемое.

С этим он справился успешно.

Следующее задание - переделать воркфлоу под два входных изображения.
Тут он сначала стал мне смешивать входные картинки и пришлось объяснить что надо их сшивать бок о бок, а не накладывать друг на друга полупрозрачно. Оказывается в комфи для этого есть специальная нода, а я и не знал. Короче, справился. Сам QIE при сборке по референсам теряет реализм, меняет лица и вообще путается. Полагаю, тут есть свои хитрости, которых я не знаю.

Удивительно, но QIE с малошаговой лорой Qwen-image-lightning-8steps справляется с заданием лучше чем без нее - см картинки со скамейкой. Монохромную голову выдал без лоры

Далее я замахнулся на Wan2.2-Fun-A14B-Control-GGUF
А то квантизованные модели есть, а воркфлоу только под fp8. А я ж не шарю за пресижны-квантизации, а они все между собой не дружат. Ну и вот после попыток десяти удалось собрать рабочий воркфлоу под GGUF. Да, вместо свидетеля нафантазировал свидетельницу, зато четко по позе ахах. Изначально располагайте персонажа по контролнету и уже потом пихайте в Fun-Control чтобы такого не было.

В общем для такого нуба как я Copilot оказался полезен. Хотя иногда выдает полную дичь. Токен дают бесплатно при активации. С моим количеством запросов я еще не сталкивался с ограничениями.

Кому надо, воркфлоу закину в коменты. Но сильно не радуйтесь, у меня они кривые и неупорядоченные.

#neuronaut_art #workflow #wan22 #qwenimage
9🔥4👍2
Pixie: Physics from Pixels

Модель добавляет физические свойства в 3D модели на #nerf и #gaussian
Мапит материалы с физическими свойствами на объекты на основе их внешнего вида за один форвард пасс, что позволяет проводить симуляции в реальном времени

Работает значительно быстрее (в 10³ раз) по сравнению с существующими методами

Код
Jupiter

#simulation #dymanics #material #physics
🔥11