Помните сервис нейродубляжа? Уже внедрено, уже работает! (я имею ввиду технологию, а не именно этот стартап)
Telegram
Зеленые роботы в резервации
Израильский стартап Deepdub разработал алгоритм дубляжа фильмов с использованием синтетических голосов. Инструменты компании позволяют скопировать оригинальный голос актера и сократить расходы на озвучивание.
Deepdub предоставляет услуги дубляжа для кино…
Deepdub предоставляет услуги дубляжа для кино…
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn)
Помните, как вы все заливисто смеялись, когда я писал, что скоро на съемочной площадке будут снимать актеров-дублеров, а потом клеить к ним лица знаменитостей?
Как мы тут упражнялись в остроумии по поводу новых профессиий типа мимы-дублеры, с подвижной пластикой лица..
Ну и что можно будет сначала отснять материал, а ПОТОМ делать кастинг..
И все такие ха-ха-ха..
Нуштош, ИИ пришел за вами, актеры... И кастинг директоры.
Польский фильм "Чемпион" - первый полный метр, переведенный на английский язык с помощью нейронного рендеринга. Весь материал был переделан, так что актеры не только озвучены на английском языке, но и их лица были заменены, так что актеры также ВИЗУАЛЬНО говорят по-английски. Попадают в звук новыми лицами.
Еще раз, заменили не только озвучку, но и нарисовали новые лица, точнее новую анимацию лиц. Как вы понимаете (после прочтения материала ниже), пришить им чужие лица - уже решенная задача.
Майк Сеймур бахнул материал на FX Guide, который я немного процитирую, переведя по дороге.
"Во всем фильме лица актеров заменены с помощью ИИ на вымышленные версии, визуально созданные на основе перезаписи диалогов актеров в студии звукозаписи.
Фильм имел успех в Польше, и компания Adapt Entertainment, получила права на выпуск фильма на различных английских рынках. Adapt собрала команду, в которую вошли специалисты компании Pinscreen Technology в Лос-Анджелесе, возглавляемые доктором Хао Ли, мировым специалистом по нейронному рендерингу. В команду также входил доктор Майк Сеймур из fxguide, эксперт по цифровым людям, который выступал в качестве VFX-супервайзера английской версии. Вместе команда разработала запатентованный компанией Adapt пайплайн Plato, на базе машинного обучения и нейронного рендеринга.
Чтобы перезаписать мимику актеров, оригинальный актерский состав был приглашен на озвучку в Европу, где их снимали пятью камерами с разных ракурсов, чтобы запечатлеть их мимику во время озвучивания фильма.
Plato - это пайплайна для facial animation на базе ML и нейрорендеринга.
Plato разработан с учетом необходимости сохранения игры актеров путем замены их оригинального языкового исполнения на достоверную высокоточную новую версию.
Это производственный конвейер, поэтому, в отличие от некоторых замечательных тестов и демонстрационных образцов, он работает с огромными объемами.
Ему нужны только ограниченные данные для обучения, это очень важно. Он использует только готовый фильм и не требуется никакой специальной доработки во время съемок оригинального фильма.
Он может работать с различными типами драматического освещения и для него не нужны ни специальный грим для актеров, ни специальный свет, ни маркеры лица, ни сложные технологии.
Он работает со всеми типами света, ракурсами головы и камеры, особенно с боковыми ракурсами головы, даже если на актера наложен грим со спецэффектами.
Уникальность Plato заключается в том, что он производит огромный объем материала и в то же время достаточно гибок, чтобы можно было контролировать процесс, если режиссер захочет скорректировать диалог. Это не просто еще один "черный ящик", это сложная серия тщательно разработанных технологий и конкретных реализаций.
Перезапись актеров контролировалась с помощью zoom в Польше, монтаж VFX осуществлялся в Австралии, а нейронный рендеринг - в Лос-Анджелесе и Сиднее, продюсеры находились в Израиле, и команда в значительной степени полагалась на frame.io для работы с огромным количеством клипов и данных для обучения."
В общем, скоро в титрах будут стоять дублеры, которые снимались, а потом актеры, которые "натягивались на дублеров". Причем (возможно) для разных стран - разные.
Держите название для агентства - DeepCast.
Ниже ссылка на статью и предыдущие посты по теме.
https://www.fxguide.com/fxfeatured/the-neural-rendering-of-the-champion/
https://news.1rj.ru/str/cgevent/2319
https://news.1rj.ru/str/cgevent/1970
https://news.1rj.ru/str/cgevent/2762
https://news.1rj.ru/str/cgevent/1522
Как мы тут упражнялись в остроумии по поводу новых профессиий типа мимы-дублеры, с подвижной пластикой лица..
Ну и что можно будет сначала отснять материал, а ПОТОМ делать кастинг..
И все такие ха-ха-ха..
Нуштош, ИИ пришел за вами, актеры... И кастинг директоры.
Польский фильм "Чемпион" - первый полный метр, переведенный на английский язык с помощью нейронного рендеринга. Весь материал был переделан, так что актеры не только озвучены на английском языке, но и их лица были заменены, так что актеры также ВИЗУАЛЬНО говорят по-английски. Попадают в звук новыми лицами.
Еще раз, заменили не только озвучку, но и нарисовали новые лица, точнее новую анимацию лиц. Как вы понимаете (после прочтения материала ниже), пришить им чужие лица - уже решенная задача.
Майк Сеймур бахнул материал на FX Guide, который я немного процитирую, переведя по дороге.
"Во всем фильме лица актеров заменены с помощью ИИ на вымышленные версии, визуально созданные на основе перезаписи диалогов актеров в студии звукозаписи.
Фильм имел успех в Польше, и компания Adapt Entertainment, получила права на выпуск фильма на различных английских рынках. Adapt собрала команду, в которую вошли специалисты компании Pinscreen Technology в Лос-Анджелесе, возглавляемые доктором Хао Ли, мировым специалистом по нейронному рендерингу. В команду также входил доктор Майк Сеймур из fxguide, эксперт по цифровым людям, который выступал в качестве VFX-супервайзера английской версии. Вместе команда разработала запатентованный компанией Adapt пайплайн Plato, на базе машинного обучения и нейронного рендеринга.
Чтобы перезаписать мимику актеров, оригинальный актерский состав был приглашен на озвучку в Европу, где их снимали пятью камерами с разных ракурсов, чтобы запечатлеть их мимику во время озвучивания фильма.
Plato - это пайплайна для facial animation на базе ML и нейрорендеринга.
Plato разработан с учетом необходимости сохранения игры актеров путем замены их оригинального языкового исполнения на достоверную высокоточную новую версию.
Это производственный конвейер, поэтому, в отличие от некоторых замечательных тестов и демонстрационных образцов, он работает с огромными объемами.
Ему нужны только ограниченные данные для обучения, это очень важно. Он использует только готовый фильм и не требуется никакой специальной доработки во время съемок оригинального фильма.
Он может работать с различными типами драматического освещения и для него не нужны ни специальный грим для актеров, ни специальный свет, ни маркеры лица, ни сложные технологии.
Он работает со всеми типами света, ракурсами головы и камеры, особенно с боковыми ракурсами головы, даже если на актера наложен грим со спецэффектами.
Уникальность Plato заключается в том, что он производит огромный объем материала и в то же время достаточно гибок, чтобы можно было контролировать процесс, если режиссер захочет скорректировать диалог. Это не просто еще один "черный ящик", это сложная серия тщательно разработанных технологий и конкретных реализаций.
Перезапись актеров контролировалась с помощью zoom в Польше, монтаж VFX осуществлялся в Австралии, а нейронный рендеринг - в Лос-Анджелесе и Сиднее, продюсеры находились в Израиле, и команда в значительной степени полагалась на frame.io для работы с огромным количеством клипов и данных для обучения."
В общем, скоро в титрах будут стоять дублеры, которые снимались, а потом актеры, которые "натягивались на дублеров". Причем (возможно) для разных стран - разные.
Держите название для агентства - DeepCast.
Ниже ссылка на статью и предыдущие посты по теме.
https://www.fxguide.com/fxfeatured/the-neural-rendering-of-the-champion/
https://news.1rj.ru/str/cgevent/2319
https://news.1rj.ru/str/cgevent/1970
https://news.1rj.ru/str/cgevent/2762
https://news.1rj.ru/str/cgevent/1522
fxguide
The neural rendering of The Champion - fxguide
The world's first full neural rendered dialogue replacement full feature film.
Forwarded from Denis Sexy IT 🤖
Для тех кому интересно как работают нейросети генерирующие картинки, музыку и т д. Простым языком с небольшим количеством специальных терминов
https://youtu.be/EDWITqZBCMY
https://youtu.be/EDWITqZBCMY
YouTube
Искусственный интеллект в искусстве: как работает ruDalle и Style Transfer?
Можно ли обучить ИИ искусству?
Оказывается да, благодаря последним технологиям - это стало возможно.
В этом выпуске Денис Димитров расскажет нам про нейросети ruDall-e и Style Transfer, Juke box и Music composer, которые могут писать музыку, создавать картины…
Оказывается да, благодаря последним технологиям - это стало возможно.
В этом выпуске Денис Димитров расскажет нам про нейросети ruDall-e и Style Transfer, Juke box и Music composer, которые могут писать музыку, создавать картины…
Forwarded from Derp Learning
Media is too big
VIEW IN TELEGRAM
Там подвезли новый стайл трансфер от Adobe под лицензией MIT (sic!)
Как ведет себя в дикой природе, мы еще будем посмотреть, но видосы впечатляют.
Код
За наводку спасибо @too_motion
Как ведет себя в дикой природе, мы еще будем посмотреть, но видосы впечатляют.
Код
За наводку спасибо @too_motion
канадский дизайнер создал артбук из 1000 изображений роботов, которые сгенерировала нейросеть DALL-E 2. Посмотреть весь альбом можно у дипфейка
Telegram
DeepfakerHub