Forwarded from BK Tech Insight - 바바리안 리서치
[ 온디바이스 AI 야심 드러내는 Nvidia, 결국 CPU 출시로까지 이어질 확률 높아보여 ]
- 오늘 Nvidia가 자사 소비자용 GPU 인 RTX 30 이상 시리즈 (그래픽 메모리 8기가 이상) 에서 구동 가능한 "Chat with RTX" 를 선보였습니다
- Chat with RTX 는 온디바이스용 챗봇이며 Windows에서 생성 AI 기능을 지원합니다
- Nvidia RTX 를 사용하는 윈도우 PC에서 사용가능합니다
- 우선은 인터넷 검색은 아니고 윈도우 PC에 있는 텍스트 파일, PDF, 워드 파일, XML 등에 있는 내용을 기반으로 검색해서 답변을 줍니다.
- 단순히 RTX GPU 만 활용하는 것은 아니고 TensorRT-LLM, 검색 증강 생성 기능도 활용합니다
TensorRT-LLM 이 궁금하시면 바바리안의 지난 글 참고 부탁드립니다
- 소프트웨어 그게 돈이 됩니까? 2편 : TensorRT-LLM
https://contents.premium.naver.com/barbarian/stockideas/contents/230911105743331sn
함의점
- 이번 기사는 엔비디아가 온디바이스에 진심이고
Cuda 처럼 하드웨어와 소프트웨어를 동시에 활용하여 경쟁력을 갖추려고 한다는 것을 알 수 있습니다
1) 결국 CPU는 출시할 가능성 높음
- 지금 온디바이스 시장은 CPU 기업들이 CPU에 GPU와 NPU를 붙이는 방식으로 먹어가려고 하고 있습니다
> 이렇게 흘러가면 엔비디아는 온디바이스 시장에서는 입지가 좁아질 수 밖에 없는데요
이를 타개하기 위해 게이밍 GPU를 우선적으로 활용하려는 것으로 보입니다.
> 다만, 점점 더 소비장 시장에서는 애플과 같은 CPU+GPU+NPU 통합 구조가 대세가 되고 있기 때문에
당장은 GPU를 통해 필요한 생태계를 구축하고 내년에 루머로만 있는 ARM 기반의 PC 용 CPU와
지금의 GPU를 소형화 하여 결합한 뒤 출시할 가능성이 높아보입니다
> 온디바이스 시장에 대응하기 위해 Nvidia의 CPU 출시는 필연적일 것으로 보입니다
2) 하드웨어- 소프트웨어 수직계열화를 통한 경쟁력 확보
- 이번 발표를 보면 특이점이 TensorRT-LLM 기술을 기반으로 AI 애플리케이션이 제작되도록 하는 것입니다.
- 동일한 하드웨어에서도 더 빠르게 LLM 기반의 AI 모델이 실행될 수 있게 하는 TensorRT-LLM 기술은 엔비디아 하드웨어에서만 지원됩니다
> 이를 통해 같은 온디바이스 AI 라더라도 엔비디아가 가장 빠를 것이고 이에 따라 생태계도 구축되는 것을 노릴 것으로 보입니다.
3) 온디바이스 AI에서 중요한 것은 램
- 이번 발표에서 특이한 점 중 하나는 RTX 30 이상 시리즈 중 램 8기가 이상인데요
- 온디바이스 AI 추론 작업이 이루어질 때 컴퓨팅 보다 중요한 것은 램이고 꽤 많이 필요하다는 것을 알 수 있습니다
- 온디바이스 AI 추론 작업이 보편화되면 PC / 스마트폰이 기본적으로 요구하는 디램 용량이 크게 증가할 것으로 예상됩니다
결론
> 온디바이스 AI 시장에서는 별다른 모습을 보여주고 있지 않은 엔비디아가 역시나 칼을 갈고 준비하고 있는 모습인데요
> 결국 내년 온디바이스 AI 시장에서 엔비디아가 시장에 영향을 줄만한 제품을 내놓을 가능성이 높아보이고 이번 소프트웨어 발표는 그를 위한 한 수라고 생각됩니다
> 온디바이스 AI 시장도 결국 내년부터 기존 CPU, AP 기업들에 엔비디아까지 참여하며 시장 확장과 경쟁 심화가 일어날 가능성이 높아보입니다
관련 기사 : 무엇을 말하세요? 챗 위드 RTX, NVIDIA RTX AI PC에 맞춤형 챗봇 제공
https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
BK TechInsight 텔레그램 채널 : https://news.1rj.ru/str/Barbarian_Global_Tech
바바리안 리서치 네이버 프리미엄 콘텐츠 : https://contents.premium.naver.com/barbarian/stockideas
- 오늘 Nvidia가 자사 소비자용 GPU 인 RTX 30 이상 시리즈 (그래픽 메모리 8기가 이상) 에서 구동 가능한 "Chat with RTX" 를 선보였습니다
- Chat with RTX 는 온디바이스용 챗봇이며 Windows에서 생성 AI 기능을 지원합니다
- Nvidia RTX 를 사용하는 윈도우 PC에서 사용가능합니다
- 우선은 인터넷 검색은 아니고 윈도우 PC에 있는 텍스트 파일, PDF, 워드 파일, XML 등에 있는 내용을 기반으로 검색해서 답변을 줍니다.
- 단순히 RTX GPU 만 활용하는 것은 아니고 TensorRT-LLM, 검색 증강 생성 기능도 활용합니다
TensorRT-LLM 이 궁금하시면 바바리안의 지난 글 참고 부탁드립니다
- 소프트웨어 그게 돈이 됩니까? 2편 : TensorRT-LLM
https://contents.premium.naver.com/barbarian/stockideas/contents/230911105743331sn
함의점
- 이번 기사는 엔비디아가 온디바이스에 진심이고
Cuda 처럼 하드웨어와 소프트웨어를 동시에 활용하여 경쟁력을 갖추려고 한다는 것을 알 수 있습니다
1) 결국 CPU는 출시할 가능성 높음
- 지금 온디바이스 시장은 CPU 기업들이 CPU에 GPU와 NPU를 붙이는 방식으로 먹어가려고 하고 있습니다
> 이렇게 흘러가면 엔비디아는 온디바이스 시장에서는 입지가 좁아질 수 밖에 없는데요
이를 타개하기 위해 게이밍 GPU를 우선적으로 활용하려는 것으로 보입니다.
> 다만, 점점 더 소비장 시장에서는 애플과 같은 CPU+GPU+NPU 통합 구조가 대세가 되고 있기 때문에
당장은 GPU를 통해 필요한 생태계를 구축하고 내년에 루머로만 있는 ARM 기반의 PC 용 CPU와
지금의 GPU를 소형화 하여 결합한 뒤 출시할 가능성이 높아보입니다
> 온디바이스 시장에 대응하기 위해 Nvidia의 CPU 출시는 필연적일 것으로 보입니다
2) 하드웨어- 소프트웨어 수직계열화를 통한 경쟁력 확보
- 이번 발표를 보면 특이점이 TensorRT-LLM 기술을 기반으로 AI 애플리케이션이 제작되도록 하는 것입니다.
- 동일한 하드웨어에서도 더 빠르게 LLM 기반의 AI 모델이 실행될 수 있게 하는 TensorRT-LLM 기술은 엔비디아 하드웨어에서만 지원됩니다
> 이를 통해 같은 온디바이스 AI 라더라도 엔비디아가 가장 빠를 것이고 이에 따라 생태계도 구축되는 것을 노릴 것으로 보입니다.
3) 온디바이스 AI에서 중요한 것은 램
- 이번 발표에서 특이한 점 중 하나는 RTX 30 이상 시리즈 중 램 8기가 이상인데요
- 온디바이스 AI 추론 작업이 이루어질 때 컴퓨팅 보다 중요한 것은 램이고 꽤 많이 필요하다는 것을 알 수 있습니다
- 온디바이스 AI 추론 작업이 보편화되면 PC / 스마트폰이 기본적으로 요구하는 디램 용량이 크게 증가할 것으로 예상됩니다
결론
> 온디바이스 AI 시장에서는 별다른 모습을 보여주고 있지 않은 엔비디아가 역시나 칼을 갈고 준비하고 있는 모습인데요
> 결국 내년 온디바이스 AI 시장에서 엔비디아가 시장에 영향을 줄만한 제품을 내놓을 가능성이 높아보이고 이번 소프트웨어 발표는 그를 위한 한 수라고 생각됩니다
> 온디바이스 AI 시장도 결국 내년부터 기존 CPU, AP 기업들에 엔비디아까지 참여하며 시장 확장과 경쟁 심화가 일어날 가능성이 높아보입니다
관련 기사 : 무엇을 말하세요? 챗 위드 RTX, NVIDIA RTX AI PC에 맞춤형 챗봇 제공
https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
BK TechInsight 텔레그램 채널 : https://news.1rj.ru/str/Barbarian_Global_Tech
바바리안 리서치 네이버 프리미엄 콘텐츠 : https://contents.premium.naver.com/barbarian/stockideas
Naver
Nvidia, 소프트웨어 그게 돈이 됩니까 2편 : TensorRT-LLM
안녕하세요 바바리안 리서치 김병건 연구원입니다. 최근 엔비디아의 소프트웨어 사업이 과연 돈이 될지에 관한 글을 올려드렸습니다. https://contents.premium.naver.com/barbarian/stockideas/contents/2309061628258
👍4