엔비디아 대만 국립대학 기조 연설 정리

NVIDIA Releases Digital Human Microservices, Paving Way for Future of Generative AI Avatars
엔비디아, 디지털 휴먼 마이크로서비스 출시, Gen AI 아바타의 미래를 위한 발판 마련

- 엔비디아는 오늘 디지털 휴먼의 차세대 물결을 가속화하기 위한 엔비디아 에이스 제너레이티브 AI 마이크로서비스와 플랫폼에 곧 출시될 새로운 제너레이티브 AI의 일반 출시를 발표
- 고객 서비스, 게임 및 의료 분야의 기업들은 고객 서비스, 원격 의료, 게임 및 엔터테인먼트 전반에 걸쳐 실제와 같은 디지털 휴먼의 제작, 애니메이션화 및 운영을 간소화하기 위해 ACE 기술을 최초로 도입
- 현재 일반적으로 사용 가능한 엔비디아 ACE 디지털 휴먼 생성 AI 기술 제품군에는 다음이 포함된다

자동 음성 인식, 텍스트 음성 변환 및 번역을 위한 엔비디아 리바 ASR, TTS 및 NMT
- 음성 인식, 텍스트 음성 변환 및 번역용

엔비디아 네모트론 LLM
- 언어 이해 및 상황별 반응 생성용

NVIDIA Audio2Face
- 오디오 트랙을 기반으로 사실적인 얼굴 애니메이션 구현

NVIDIA Omniverse RTX
- 실시간 경로 추적을 통한 사실적인 피부 및 헤어를 구현

새롭게 발표된 기술은 다음과 같다

1. 엔비디아 오디오2제스처
- 오디오 트랙을 기반으로 신체 제스처를 생성하는 기술, 곧 출시 예정

2. 엔비디아 네모트론-3 4.5B
- 저지연, 온디바이스 RTX AI PC 추론을 위해 특별히 제작된 새로운 SLM(Small Language Model, 소형 언어 모델)

젠슨 갓
- 디지털 휴먼은 산업에 혁명을 일으킬 것이다
- 멀티모달 대규모 언어 모델과 뉴럴 그래픽의 혁신은 NVIDIA ACE가 개발자 에코시스템에 제공함으로써 컴퓨터와 상호작용하는 것이 인간과 상호작용하는 것처럼 자연스러운 인텐트 중심 컴퓨팅의 미래에 더 가까워지고 있다.

디지털 휴먼, 1억 대의 RTX AI PC를 만나다
- 지금까지 NVIDIA는 개발자가 데이터센터에서 운영할 수 있는 NIM 마이크로서비스로 ACE를 제공해 왔다. 이제 엔비디아는 1억 대의 RTX AI PC 및 노트북 설치 기반에 배포할 수 있는 ACE PC NIM 마이크로서비스를 구축하고 있다.

- 여기에는 클라우드에서 실행되는 대규모 언어 모델(LLM)과 유사한 수준의 정밀도와 정확도로 디바이스에서 실행되도록 특별히 설계된 엔비디아의 첫 번째 SLM인 Nemotron-3 4.5B가 포함된다.
- Nemotron-3 4.5B SLM은 현재 얼리 액세스 중이다. 엔비디아 오디오2페이스 및 엔비디아 리바 ASR 온디바이스 모델은 곧 얼리 액세스로 제공될 예정이다.

- 새로운 NVIDIA AI 추론 매니저 소프트웨어 개발 키트는 PC에 ACE를 배포하는 과정을 간소화한다. 이 키트는 필요한 AI 모델, 엔진 및 종속성으로 PC를 사전 구성하는 동시에 PC와 클라우드 전반에서 AI 추론을 원활하게 오케스트레이션한다.

- Inworld AI와 협력하여 개발한 코버트 프로토콜 기술 데모의 업데이트 버전이 컴퓨텍스 전시회에서 공개된다.
- 이 데모에서는 GeForce RTX PC에서 로컬로 실행되는 Audio2Face와 Riva ASR을 사용하여 플레이어가 대화형 언어로 디지털 휴먼 NPC(비플레이어블 캐릭터)와 상호작용하고 영향을 주며 임무를 완수할 수 있다.

최신 ACE 기술로 확장되는 디지털 휴먼 생태계
- ACE는 Aww Inc., 델 테크놀로지스, 검션, 히포크라테스 AI, 인벤텍, 아워팜, 퍼펙트 월드 게임즈, 리얼루전, 서비스나우, 소울보틱스, 소울쉘, 유니큐 등의 회사에서 다양한 애플리케이션을 개발하며 큰 반향을 일으키고 있다.

- 일본에 본사를 둔 선구적인 가상 인간 회사인 Aww Inc.는 2018년에 첫 번째 가상 셀러브리티인 Imma를 출시했다. 이후 Imma는 50개 이상의 국가에서 주요 글로벌 브랜드의 얼굴이 되었다. 이제 Aww는 실시간 애니메이션에 에이스 오디오투페이스 마이크로서비스를 활용하여 사용자와의 고도의 인터랙티브 커뮤니케이션 경험을 제공할 계획이다.

- 게임 개발사이자 퍼블리셔인 Perfect World Games는 새로운 신화 속 황야 기술 데모 게임인 Legends에 ACE를 도입한다.
- 플레이어는 영어와 중국어로 완벽히 인터랙티브하고 사실적인 다국어 AI NPC와 상호작용할 수 있다. 캐릭터의 오디오 반응에 따라 실시간으로 사실적인 얼굴 애니메이션이 생성되는 NVIDIA Audio2Face NIM을 사용한다.

- AI에 막대한 투자를 하고 있는 주요 기술 기업인 인벤텍은 NVIDIA Audio2Face NIM을 사용하여 VRSTATE 플랫폼 내 의료용 AI 에이전트를 개선하고 있다. 이 통합은 더욱 몰입감 있고 편안한 가상 상담 경험을 제공한다. 컴퓨텍스에서 인벤텍은 환자가 자신의 건강에 관한 정보에 액세스할 수 있도록 돕는 AI 에이전트를 선보이고 있다.

- 비즈니스 혁신을 위한 AI 플랫폼인 ServiceNow는 최근 나우 어시스트 젠 AI 경험의 생성형 AI 서비스 에이전트 데모에서 에이스 님을 선보이며 디지털 아바타가 소매, 여행 등 여러 산업에서 고객과 직원 간의 상호 작용을 향상시킬 수 있는 잠재력을 강조했다.

- Dell Technologies는 지난달 Dell Technologies World에서 디지털 어시스턴트를 위한 최첨단 Dell 제너레이티브 AI 솔루션을 공개했다. 이 솔루션을 통해 기업은 소매업, 의료, 고객 서비스 등 다양한 산업 분야에서 자연스러운 대화를 통해 고객의 참여를 유도하는 지능형 디지털 비서를 활용할 수 있다.

NVIDIA, 컴퓨텍스 2024에서 디지털 휴먼 스타트업을 기념
- 엔비디아 아트 팀은 신테시아(Synthesia) 및 아워 원(Hour One)을 포함한 ACE 기반의 생성형 AI 툴을 사용하여 텍스트로부터 비디오로 생성된 "디지털 젠슨" 아바타를 제작했다.

- 이 다국어 아바타는 중국어와 영어로 된 황의 독특한 목소리와 스타일을 ElevenLabs의 독점적인 AI 음성 및 음성 기술로 생성했다. 또한 엔비디아는 황의 기조연설의 엔딩 테마곡을 작곡하기 위해 AI 음성 기술을 전문으로 하는 엔비디아 인셉션 멤버인 보이스모드(Voicemod)와 협력했다.

ACE NIM 출시
- 개발자가 엔터프라이즈급 지원을 받을 수 있는 NVIDIA AI 엔터프라이즈 소프트웨어를 추가하여 Riva 및 Audio2Face를 포함한 서버 배포용 NVIDIA ACE NIM 마이크로서비스가 현재 출시되었다.


[자료 출처]

https://news.1rj.ru/str/TNBfolio

#슈트 님

언제나 큰 가르침 주시는 슈트님의 10가지 사고방식

https://blog.naver.com/whaazz/223466925554