Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.43K photos
3.71K videos
41 files
4.75K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Кожаные пытаются заставить робота перестать танцевать нижний брейк потому что он слишком невыносимо хорош

#humor #robot
😁17😱2
И напоследок

#humor
😁35👍5🍌3👎2🥴2
This media is not supported in your browser
VIEW IN TELEGRAM
Recraft Chat Mode

Recraft запустил бета-тестирование создания и редактирования картинок в чате.
У Reve есть, у Krea есть, значит у рекрафта тоже должно быть. скоро будет везде.

Записаться в вейтлист

#imageediting
👍7🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Vivid-VR: Distilling Concepts from Text-to-Video Diffusion Transformer for Photorealistic Video Restoration

Реставратор видео от Alibaba - Taobao, улучшает качество видео, сохраняя реалистичность текстур и временную согласованность

Для согласованности и контроля используют контролнет

Базовая модель CogVideoX1.5-5B

Для реставрации 121 кадра видео требуется примерно 43 ГБ VRAM
Если хотите уменьшить использование VRAM, замените "pipe.enable_model_cpu_offload" на "pipe.enable_sequential_cpu_offload" в ./VRDiT/inference.py - потребление сокращается до 25 ГБ за счет скорости

Код

Спасибо @m_franz

#videorestoration #video2video #upscale
🔥11👍7
MVSEP

Сервис для разделения музыки на стемы

Разделяет на вокал, бас, ударные, гитару, фортепиано и остальное - 6 стемов.
Недавно добавили в парк моделей BS-RoFormer, модели уже 2 года, но недавно была обновка. А вообще ее спонсировали Stability AI и HuggingFace, и на изоляции вокала там #SOTA (не знаю удержалил ли трон к настоящему времени)

Есть бесплатный тариф

#audioseparation #demix #unmix
👍8🔥3👎1
MiMo-Audio

Универсальная генеративная аудио-языковая модель, которая работает с текстовыми и аудиоданными.

Бьет Gemini-2.5-Flash на понимании аудио
Бьет GPT-4o-Audio на комплексном рассуждении

Всего 7B параметров, опенсорс

— понимает аудио и рассуждает

— ведёт диалоги и распознаёт эмоции

— описывает аудиоконтент

— работает с разными языками и диалектами - упоминается английский, есть пирмер приветствия на трех языках. Вангую что с русским у него пока неважно.

— продолжает речь в разных стилях

— обучается на основе инструкций

Гитхаб
HF - есть MiMo-Audio-Tokenizer, MiMo-Audio-7B-Base и MiMo-Audio-7B-Instruct
Демо - сейчас какие-то проблемы с соединением

#audio #audio2audio #reasoning #assistant #voicemode #speech2peech #audio2text #captioning
👍7🔥2👀1
ViewComfy

Cервис для запуска и развёртывания воркфлоу ComfyUI в облаке в виде веб-приложений и бессерверных API. Как я понял, выбираем воркфлоу, жмем кнопку - он устанавливается на сервер без необходимости предварительной настройки комфи

Блог
Гитхаб

#comfyui #tools #online
🔥7
ComfyAudio: ComfyUI for Audio

Форк #ComfyUI для работы со звуком

Не совсем понимаю зачем, не пробовал работать со звуком в комфи, там же есть ноды для звука

#audio
👍41🥴1
DreamCube: 3D Panorama Generation via Multi-plane Synchronization

Генератор 3D-панорам. Использует технологию Multi-plane Synchronization.
На выходе - куб с натянутыми текстурами, глубиной

Рработает с разными 2D моделями (SDXL, Marigold, VideoCrafter2)

Код
HF
Инструкция по установке (реддит)

#text2image #text2panorama #panorama #rgbd
🔥5👍2
This media is not supported in your browser
VIEW IN TELEGRAM
SpatialGen: Layout-guided 3D Indoor Scene Generation

По семантическому 3D-макету SpatialGen создает фотореалистичную 3D-сцену в помещении на основе текстовой или графической подсказки. Под капотом Flux с контролнетомй и гауссианы

Код

#gaussian #textto3d #text2scene #mask2scene
👍11👀2
This media is not supported in your browser
VIEW IN TELEGRAM
Test3R: Learning to Reconstruct 3D at Test Time

Реконструкция 3D сцен и предсказание глубины по нескольким ракурсам. Сравнивают себя с DUSt3R

Test Time - модель «учится» и настраивается на лету, в режиме обработки данных, а не только во время предварительного обучения. В прошлом году была статья по Test Time Training и такой подход использовала NVIDIA в video-dit. Когда-то давно, до хайпа нейросетей я думал что все нейросетки так работают. Неа

Код

#scenereconstruction #novelview #imageto3d #image2scene #video2scene #videoto3d #ttt
👍6
Qwen-Image-Edit-2509

Новая версия Qwen-Image-Edit

— поддерживает редактирование нескольких изображений одновременно, комбинируя их в различных сочетаниях, например, «человек + человек», «человек + продукт», «человек + сцена»

— улучшает согласованность при редактировании одиночных изображений: лучше сохраняет идентичность лица при изменении позы или стиля портрета, сохраняет идентичность продукта при редактировании постеров, позволяет редактировать текст, изменяя его шрифт, цвет и материал

— нативно поддерживает ControlNet, включая работу с картами глубины, контурными картами, картами ключевых точек и другими

— хорошо справляется с созданием мемов, восстановлением старых фотографий, генерацией постеров продуктов и простых логотипов, а также с редактированием текста в сочетании с изображением

В сентябре этого года мы рады представить Qwen-Image-Edit-2509, ежемесячную версию Qwen-Image-Edit

Похоже, будут каждый месяц обновлять. Какие же фичи можно еще добавить?

Спасибо @kuvshin8 @aledarx Gos

HF
GGUF
FP8
Qwen Chat

#imageediting #referencing #personalization #controlnet #colorize #QIE #imagerestoration
🔥16👍85
Media is too big
VIEW IN TELEGRAM
Qwen3-TTS-Flash: Multi-timbre & Multi-lingual & Multi-dialect Speech Synthesis

Флагманская говорилка текстов

— может генерировать естественную и выразительную речь

— поддерживает множество языков (китайский, английский, японский, корейский, немецкий, итальянский, португальский, испанский, французский, русский). Особенно стабилен на китайском и английском

— создает речь на разных диалектах

— высокие показатели стабильности речи и схожести тембра

— превосходит другие модели (ElevenLabs, SeedTTS, MiniMax, GPT-4o-Audio-Preview) по ряду параметров

— низкая задержка первого пакета и высокая скорость генерации речи

Демо
API

#tts #text2speech #voicecloning
🔥13👍5
Qwen3-Omni

первая полностью нативно омнимодальная (все типы информации) ИИ-модель, которая объединяет текст, изображения, аудио и видео в одной модели без компромиссов между модальностями

#SOTA в 22 из 36 аудио- и AV-бенчмарков

119 языков для текста, 19 — для входящего аудио, 10 — для исходящего аудио? в том числе русский

задержка 211 мс

способна понимать аудио длительностью до 30 минут

настраивается с помощью системных промтов

Встроена функция вызова инструментов

содержит открытую модель Captioner с низким уровнем галлюцинаций

Демо
Чат
HF
Гитхаб

#assistant #tts #stt #multimodal #omnimodal #russian
🔥15👍3🤔1😈1
Lynx: Towards High-Fidelity Personalized Video Generation

ByteDance никак не угомонятся.
Видеогенератор с фокусом на персонализации на базе Wan 2.1, может быть интегрирован в существующие экосистемы

Сохраняет идентичность человека, используя два лёгких адаптера: ID-адаптер преобразует лицевые эмбеддинги в токены идентичности, а Ref-адаптер внедряет детализированные особенности через кросс-внимание

Код ждем

#personalization #referenceing #text2video #imge2video
👍9🔥2