Скажу сразу что я не фанат аниме, очень выборочно смотрю его, а аниме генерации меня не интересуют в принципе (если только это не пейзажи/ситискейпы уровня Макото Синкай) .
Так что всякие новости про появивишиеся новые аниме-чекпойнты и аниме-модели для #text2video вроде свежей modelscope + amine я частенько игнорирую
Так что всякие новости про появивишиеся новые аниме-чекпойнты и аниме-модели для #text2video вроде свежей modelscope + amine я частенько игнорирую
huggingface.co
kabachuha/animov-0.1-modelscope-original-format · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
DINOv2: Learning Robust Visual Features without Supervision
Авторы из Meta AI обновили DINO.
DINOv2 умеет сегментировать, предсказывать глубину и находить инстансы указанного объекта.
Говорят что прекрасно работает на видео
Сайт проекта
Код
Демо (можно подгружать свои картинки)
#segmentation #image2depth #video2mask
Авторы из Meta AI обновили DINO.
DINOv2 умеет сегментировать, предсказывать глубину и находить инстансы указанного объекта.
Говорят что прекрасно работает на видео
Сайт проекта
Код
Демо (можно подгружать свои картинки)
#segmentation #image2depth #video2mask
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Помните проект ICON?
Довольно давно уже авторы на замену ему сотворили ECON - следующий шаг эволюции в восстановлении 3D модели человека по одному изображению.
Ну круто, и что?
А то что уже есть плагин для Блендера
Держите туториал
Надеюсь, поделитесь результатами
Код
Демо на hf
#imageto3D #videoavatar #image2avatar #image2pose
Довольно давно уже авторы на замену ему сотворили ECON - следующий шаг эволюции в восстановлении 3D модели человека по одному изображению.
Ну круто, и что?
А то что уже есть плагин для Блендера
Держите туториал
Надеюсь, поделитесь результатами
Код
Демо на hf
#imageto3D #videoavatar #image2avatar #image2pose
👍5🔥1
В расширении автоматика Unprompted появился BODYSNATCHER - фича полной замены персонажа. Впрочем, настройки позволяют сохранить оригинальные руки-ноги, использовать маску инпейнтинга и прочее.
Когда вы включаете шаблон и нажимаете кнопку Сгенерировать, запускается следующая цепочка событий:
- Bodysnatcher автоматически вычисляет размер холста, поэтому вам не нужно указывать ширину или высоту.
- Создает маску для рисования нужного объекта (т.е. "человека"), используя txt2mask.
- Запускает основную замену через img2img.
- Наконец, он улучшает детали лица на результирующем изображении с помощью zoom_enhance.
#image2image
Когда вы включаете шаблон и нажимаете кнопку Сгенерировать, запускается следующая цепочка событий:
- Bodysnatcher автоматически вычисляет размер холста, поэтому вам не нужно указывать ширину или высоту.
- Создает маску для рисования нужного объекта (т.е. "человека"), используя txt2mask.
- Запускает основную замену через img2img.
- Наконец, он улучшает детали лица на результирующем изображении с помощью zoom_enhance.
#image2image
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Media is too big
VIEW IN TELEGRAM
Адобченко поднимает веки и медленно спускается с горы.
Я вот читаю анонсы предстоящего NAB 2023 и вижу, что кроме Adobe, все крупные игроки (Максон, Автодеск, Сайды, Фаундри) сидят в танке по поводу генеративного ИИ. Просто молчат.
А вот Адобченко вчера пульнул протокол о намерениях встроить ИИ во все, что шевелится, то есть не только в статичные картинки, но и в монтаж, композ и все, что связано с видео, кино и анимацией.
Список фич впечатляет, и это не просто еще один способ генерить веселые пиксели, а именно видение проступающих из диффузионного шума пайплайнов.
1. Колоркоррекция видео голосом. Цитирую: «Сделайте эту сцену теплой и привлекательной». Не шутка, кнопка сделай красиво уже здесь.
2. Про логосы и шрифты я уже писал, когда тестировал FireFly. Теперь все это хозяйство можно будет анимировать. Не думаю, что это будет дефорумная покадровая анимация. Скорее псевдо-3Д в афтере.
3. Бомба: ИИ-преобразование сценария в текст для автоматического создания раскадровок и превизов! Без комментариев.
4. Автоматическая нарезка B-Roll-ов для чернового или окончательного монтажа! (это как бы визуальные перебивки, которые (тостуемый) монтажер вставляет поверх основного видеоряда).
5. Прошенный советчик. Который расскажет, что не надо отрезать ноги, и объяснит за "восьмерки". С ним можно будет поговорить за (цитирую) "процессы от первоначального видения до создания и редактирования".
6. Генерация музыки! Пользователи "могут легко создавать бесплатные пользовательские звуки и музыку, чтобы отразить определенное чувство или сцену как для временных, так и для финальных треков".
Когда? В конце года.
Огромная, жирная, красная кнопка.
"Сделать зашибись и в ТикТок!".
https://blog.adobe.com/en/publish/2023/04/17/reimagining-video-audio-adobe-firefly
RunwayML такой, задумчиво почесывая затылок: "за сколько будем продавацца?"
Я вот читаю анонсы предстоящего NAB 2023 и вижу, что кроме Adobe, все крупные игроки (Максон, Автодеск, Сайды, Фаундри) сидят в танке по поводу генеративного ИИ. Просто молчат.
А вот Адобченко вчера пульнул протокол о намерениях встроить ИИ во все, что шевелится, то есть не только в статичные картинки, но и в монтаж, композ и все, что связано с видео, кино и анимацией.
Список фич впечатляет, и это не просто еще один способ генерить веселые пиксели, а именно видение проступающих из диффузионного шума пайплайнов.
1. Колоркоррекция видео голосом. Цитирую: «Сделайте эту сцену теплой и привлекательной». Не шутка, кнопка сделай красиво уже здесь.
2. Про логосы и шрифты я уже писал, когда тестировал FireFly. Теперь все это хозяйство можно будет анимировать. Не думаю, что это будет дефорумная покадровая анимация. Скорее псевдо-3Д в афтере.
3. Бомба: ИИ-преобразование сценария в текст для автоматического создания раскадровок и превизов! Без комментариев.
4. Автоматическая нарезка B-Roll-ов для чернового или окончательного монтажа! (это как бы визуальные перебивки, которые (тостуемый) монтажер вставляет поверх основного видеоряда).
5. Прошенный советчик. Который расскажет, что не надо отрезать ноги, и объяснит за "восьмерки". С ним можно будет поговорить за (цитирую) "процессы от первоначального видения до создания и редактирования".
6. Генерация музыки! Пользователи "могут легко создавать бесплатные пользовательские звуки и музыку, чтобы отразить определенное чувство или сцену как для временных, так и для финальных треков".
Когда? В конце года.
Огромная, жирная, красная кнопка.
"Сделать зашибись и в ТикТок!".
https://blog.adobe.com/en/publish/2023/04/17/reimagining-video-audio-adobe-firefly
RunwayML такой, задумчиво почесывая затылок: "за сколько будем продавацца?"
🔥2🤔2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
DINOv2 сгенерировал карту высот крон деревьев в масштабе меньше метра
DINOv2 представляет собой модель компьютерного зрения, использующую самообучение для достижения результатов, которые превосходят стандартные подходы (судя по релизу).
Meta AI в сотрудничестве с The Global Restoration Initiative использовали DINOv2 для оценки высоты кроны деревьев по всему миру. Для этого ему скормили спутниковые данные и данные лидеров.
Картирование растительности имеет большое значение для понимания углеродного цикла. Структура леса может быть пространственно неоднородной, и оценка высоты и площади кроны позволяют наблюдать деградацию существующих лесов, естественное лесовосстановление, или внедрение устойчивых методов ведения сельского хозяйства.
Статья
DINOv2 представляет собой модель компьютерного зрения, использующую самообучение для достижения результатов, которые превосходят стандартные подходы (судя по релизу).
Meta AI в сотрудничестве с The Global Restoration Initiative использовали DINOv2 для оценки высоты кроны деревьев по всему миру. Для этого ему скормили спутниковые данные и данные лидеров.
Картирование растительности имеет большое значение для понимания углеродного цикла. Структура леса может быть пространственно неоднородной, и оценка высоты и площади кроны позволяют наблюдать деградацию существующих лесов, естественное лесовосстановление, или внедрение устойчивых методов ведения сельского хозяйства.
Статья
👏1
Свежее видео от VOX.
Заменит ли ИИ хромакей.
Простым языком, понятным обывателю. Для перевода на русский можете пользоваться Яндекс браузером
Заменит ли ИИ хромакей.
Простым языком, понятным обывателю. Для перевода на русский можете пользоваться Яндекс браузером
YouTube
Can AI kill the greenscreen?
Can a color really beat the AI revolution? For now, it looks like it can.
Subscribe and turn on notifications 🔔 so you don't miss any videos: http://goo.gl/0bsAjO
The greenscreen is a staple of visual effects — and it may stick around even in the age of…
Subscribe and turn on notifications 🔔 so you don't miss any videos: http://goo.gl/0bsAjO
The greenscreen is a staple of visual effects — and it may stick around even in the age of…
👍2😁1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Чистый, без примесей, text-to-3D!
Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана!
Мне написал Макс П. из Synthesis AI и пригнал вот такую новость.
Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок.
Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы".
Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши.
Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!)
Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов.
В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть).
Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д!
Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого.
В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы.
Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты".
Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние.
https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/
Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана!
Мне написал Макс П. из Synthesis AI и пригнал вот такую новость.
Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок.
Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы".
Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши.
Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!)
Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов.
В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть).
Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д!
Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого.
В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы.
Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты".
Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние.
https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/
VentureBeat
Synthesis AI debuts high-resolution text-to-3D capabilities with synthesis labs
Via text-to-3D, Synthesis AI has developed a new way to build digital humans at a high level of quality and detail.
FaceLit: Neural 3D Relightable Faces
А вот и Apple подтянулась.
FaceLit генерирует 3D-лица из обычных фото. А в этих готовых 3D-портретах можно играться с освещением, меняя источник света.
Код
#relighting #image2face #imageto3D #image2avatar #3Davatar
А вот и Apple подтянулась.
FaceLit генерирует 3D-лица из обычных фото. А в этих готовых 3D-портретах можно играться с освещением, меняя источник света.
Код
#relighting #image2face #imageto3D #image2avatar #3Davatar
🔥2
Align your Latents:High-Resolution Video Synthesis with Latent Diffusion Models
Новое более лучшее #text2video от NVIDIA
Разрешение 1280 x 2048, 24 fps, по 113 кадров в каждом образце сгенеренного видео, то есть 4.7с. Могут и и длиннее, см внизу страницы
В основе модели - StableDiffusion c 4.1 млрд параметров, из которых только 2.7 млрд обучены на видео. То бишь, сия модель компактнее многих конкурентов.
Кода нет, демки нет. Разве оно не должно быть OpenSource?
#text2video
Новое более лучшее #text2video от NVIDIA
Разрешение 1280 x 2048, 24 fps, по 113 кадров в каждом образце сгенеренного видео, то есть 4.7с. Могут и и длиннее, см внизу страницы
В основе модели - StableDiffusion c 4.1 млрд параметров, из которых только 2.7 млрд обучены на видео. То бишь, сия модель компактнее многих конкурентов.
Кода нет, демки нет. Разве оно не должно быть OpenSource?
#text2video
🔥2
Восхитительно. Теперь можно будет смотреть фильмы с Козловским (сам понимаю что сморозил ерунду, на амазоне кому он нужен)
Forwarded from Denis Sexy IT 🤖
Новые интересные фичи в онлайн-кинотеатрах появляются редко, но вот эта от Amazon Prime клевая:
Помните ситуации, когда смотришь кино и в какой-то момент главные герои начинают перешептываться на фоне музыки и почти непонятно, что они там говорят друг другу?
В общем, теперь с помощью фичи AI Dialogue Boost звук диалогов будет повышаться когда это необходимо, чтобы можно было все расслышать, а фоновые звуки останутся с прежней громкостью.
Мелочь, а приятно, жду во всех приложениях.
Помните ситуации, когда смотришь кино и в какой-то момент главные герои начинают перешептываться на фоне музыки и почти непонятно, что они там говорят друг другу?
В общем, теперь с помощью фичи AI Dialogue Boost звук диалогов будет повышаться когда это необходимо, чтобы можно было все расслышать, а фоновые звуки останутся с прежней громкостью.
Мелочь, а приятно, жду во всех приложениях.
US About Amazon
Prime Video launches a new accessibility feature that makes it easier to hear dialogue in your favorite movies and series
Dialogue Boost is an innovation that lets you self-select dialogue volume levels to suit your needs on any device with Prime Video.
👍3
Forwarded from ЭйАйЛера
This media is not supported in your browser
VIEW IN TELEGRAM
Довольно быстро приближаемся к разным инструментам для генерации последовательной анимации
Это тесты TomLikesRobots на Automatic1111 с расширением text2video, чистая генерация ИИ — никаких начальных изображений или видео.
Автор отмечает, что подсказки, которые хорошо работали в SD 1.5, похоже, хорошо работают с #modelscope например, в стиле артдеко, Альфонса Мухи.
Это тесты TomLikesRobots на Automatic1111 с расширением text2video, чистая генерация ИИ — никаких начальных изображений или видео.
Автор отмечает, что подсказки, которые хорошо работали в SD 1.5, похоже, хорошо работают с #modelscope например, в стиле артдеко, Альфонса Мухи.
❤2