엔비디아 머신러닝 인터페이스 프로그램 쿠다(CUDA)의 연간 누적 다운로드 수와 개발자 증가 추이

부사장 : "가속 컴퓨팅 분야에서 지금까지 20년의 여정이 있었습니다. 그리고 그것은 GPU의 프로그래밍 가능성을 높이는 것부터 시작되었으며, 2006년에 CUDA를 출시하고 그 이후로 해당 생태계에 투자했습니다."

VP: "it's been a 20-year journey so far in accelerated computing as a whole.And the -- it started with making our GPUs more programmable, launching CUDA in 2006 and investing in that ecosystem since then"

엔비디아보다 뛰어난 AI 가속기가 나올지언정 개발자가 생태계에서 빠져나올 수 없는 이유 - CUDA 베이스로 머신러닝 개발을 해왔기 때문

Q2'23 어닝자료 중 GH 칩 코멘트

- HBM3 탑재한 슈퍼칩 GH200 1세대 2023년 3분기 출하 예정

- HBM3e가 탑재된 2세대 버전은 2024년 2분기에 출시 예정

※ GH 칩 설명

- 대규모 AI 훈련 및 추론 그리고 HPC 구축을 위해 설계된 CPU+GPU

- PCIe Gen5보다 7배 빠른 새로운 900GB/s 일관된 인터페이스

- HBM3 및 HBM3e GPU 메모리로 가속 컴퓨팅 및 생성 AI 강화

- NVIDIA AI Enterprise, HPC SDK 및 Omniverse™를 포함한 모든 NVIDIA 소프트웨어 스택 및 플랫폼을 실행 가능

AI 분야는 이재용 삼성전자 회장이 직접 챙기는 미래 성장 동력 중 하나다. 최근 삼성 내부에서도 꾸준히 생성형AI 분야의 주도권을 잡아야 한다는 목소리가 커지고 있다. 세계적인 AI 석학인 세바스찬 승(승현준) 삼성리서치 글로벌 연구개발(R&D) 협력담당 사장은 지난 14일 사내 지식 공유 플랫폼 모자이크에 “퍼스널 AI 혁명은 인터넷과 휴대전화가 가져왔던 변화만큼 중대할 것”이라며 “삼성은 이 생태계 내에서 어떠한 방식으로 전략적 우위를 차지할 수 있을 것인지 확인해야 한다”고 말했다. https://www.joongang.co.kr/article/25186838#home

평소 즐겨보는 서병수 전 애널리스트의 블로그 입니다.

엔비디아 실적에 대해서 매우 공감가는 글입니다.

https://blog.naver.com/hardark/223192021379

NVIDIA CEO SAYS HE EXPECTS AI BOOM WILL LAST WELL INTO NEXT YEAR: RTRS thought it was going to last 10 years

- Fxhedgers

https://m.blog.naver.com/ryankim1106/223192125160

#라이언K님 #글로벌텍스프리

[메가테크 성장포인트 = AI]
(feat. 모두의 AI = 모두의 Nvidia)

☑️글로벌하게 한자리하는 named 테크기업들 중 AI투자에 공격적이지 않은 기업이 있다면 둘중 하나

1)아래 AI에 집중 투자하는 메가테크가 모두 틀리고 자신들이 맞아서, 시간이 흘러 메가테크들을 모두 제치고 세계최고의 테크기업이 되거나

2)판세를 잘 못 읽은 대가로, 시간이 흐르며 점점 도태되어 소멸 되거나

<메가테크의 투자 = AI>
•Nvidia : H100
아래 모든 기업에 H100 판매

•Apple : Vision Pro(VR) + ?
VR(가상현실) + 관련 컨텐츠(핵심은 AI)

•Microsoft : chat GPT + Azure
AI서비스 + AI개발운영 위한 클라우드

•Google : Bard + Goole Cloud
AI서비스 + AI개발운영 위한 클라우드

•Amazon : AI(Alexa 등) + AWS
AI서비스 + AI개발운영 위한 클라우드
*AI투자비용 확대를 위해 물류투자비용 축소(효율화 진행중)

•meta : Oculus(VR) + AI
VR(가상현실) + 관련 컨텐츠(핵심은 AI)

•Tesla : FSD 상용화
FSD의 핵심은 결국 Data수집과 분석(=AI)

SMART한 주식투자

• 폭스콘, 엔비디아의 차세대 AI 칩 GH200 모듈과 L40S GPU 그래픽카드 주문 독점 수주 소식 (대만경제일보)

> 传鸿海独家承接英伟达GH200模组和L40S推理卡大单
市场传出英伟达扩大与鸿海合作，由鸿海独家承接英伟达最新的AI芯片GH200的芯片模组订单以及搭载英伟达L40S绘图处理器（GPU）的推理卡订单。(台湾经济日报)

Digitimes: '24년 AI 서버 출하량이 337,000개를 기록할 것으로 예상. 올해 출하량은 167,000개로 추정. 2030년까지 생성형 AI 시장은 CAGR 35%의 성장률을 보일 것으로 전망.

뉴스: https://www.digitimes.com/news/a20230823PD213/advanced-packaging-ai-server-cowos-digitimes-research-hbm3-server-shipments.html

☀️채널: https://news.1rj.ru/str/kiwoom_semibat

.

독일이 AI 연구를 위한 공적 자금을 향후 2년간 10억 유로 수준까지 늘릴 계획. 대학 연구소 설립과 데이터센터 확장에 쓰일 예정

뉴스: https://www.reuters.com/technology/germany-plans-double-ai-funding-race-with-china-us-2023-08-23/

☀️채널: https://news.1rj.ru/str/kiwoom_semibat

.

엔비디아 Q2'23 컨퍼런스콜 中 핵심 내용 요약

t.me/seokd_platform

1. CPU와 GPU를 합친 슈퍼칩 GH200 출시 예정

» CPU 그레이스(Grace) 아키텍처와 GPU 호퍼(Hopper) 아키텍처를 합친 GH200은 HBM3 및 HBM3e과 결합해 AI 가속화에 특화된 칩

» 1세대 GH100 DGX(서버제품)의 경우 NVLink를 통해 8개의 GPU만 연결했던 반면 GH200 기반 DGX에서는 256개 GPU를 연결해 하나로 작동하도록 지원.

※ NVLink = 근거리 반도체 통신을 위한 유선 기반 통신 프로토콜로 GPU 간 병목현상을 해결하는 데 사용하는 기술

» HBM3 탑재한 슈퍼칩 GH200 1세대 2023년 3분기 출하 예정, HBM3e가 탑재된 2세대 버전은 2024년 2분기에 출시 예정

2. 범용 데이터센터 GPU L40S

» 최근 8월에 발표한 L40S는 서버용 GPU로 AI 언어모델 훈련 및 추론, 3D 그래픽 및 렌더링에 이르기까지 차세대 데이터센터 워크로드를 지원

» H100은 대규모 언어 모델과 매우 큰 모델 및 대량의 데이터 처리를 위해 설계된 반면 L40S는 사전 학습된 모델을 미세조정(파인튜닝)하는 데 중점을 두고 있음

» 기존 하이퍼스케일 데이터센터에 L40S 서버를 쉽게 설치할 수 있음 표준 랙, 표준 서버로 제공되며 모든 것이 표준으로 제공돼 설치 용이

3. 게이밍 분야의 생성 AI 툴

» 맞춤형 AI 모델 파운드리 서비스인 게임용 NVIDIA 아바타 클라우드 엔진(ACE)를 발표

» 게임 개발자는 ACE를 통해 게임 내 NPC에 지능을 부여할 수 있습니다.

4. 가속 컴퓨팅은 AI 개발 뿐만 아니라 에너지 효율의 목적도 존재

» 가속 컴퓨팅은 현재 컴퓨팅을 수행하는 가장 비용 효율적이고, 가장 에너지 효율적이며, 가장 성능이 뛰어난 방법

» 기존 범용 컴퓨팅을 대규모로 사용하는 것은 더 이상 최선의 방법이 아님. 에너지 비용이 너무 많이 들고, 비용이 너무 비싸며, 애플리케이션의 성능이 너무 느리기 때문.

» 주요 IT 기업들 대부분은 기존 범용 컴퓨팅에서 가속 컴퓨팅으로 전환하고 있음. 매년 약 1조 달러 규모의 데이터센터 시장은 가속 컴퓨팅에 0.25조 달러의 자본지출을 할 것으로 예상.

5. 엔비디아 데이터센터와 깊이 연관된 VMware

» 데이터센터 관리 시스템, 운영 체제, 보안 및 소프트웨어 지원은 VMware가 제공.

» VMware는 CPU 가상화뿐만 아니라 GPU의 분산 컴퓨팅 기능을 지원할 수 있도록 협력해 왔으며 고성능 네트워킹을 위한 BlueField(데이터 처리 장치, DPU)를 지원.

» 엔비디아의 모든 생성 AI 라이브러리는 전 세계 약 수십만 명의 VMware 고객에게 도달할 수 있음. 이는 VMware Private AI Foundation라는 이름의 서비스로 제공

6. 중국 수출 제재에도 불구하고 강력한 중국의 수요

» 중국 수요는 컴퓨팅 및 네트워킹 솔루션을 포함해 데이터센터 매출의 20~25%에 해당

» 중국 수출에 대한 추가 제재가 있더라도 수익에 중대한 영향을 미치진 않을 것이다.

7. 젠슨 황이 언급한 엔비디아를 특별하게 만드는 3가지

» 첫 번째는 아키텍처. 데이터 처리, AI 모델 훈련 및 추론, 실시간 음성처리, 컴퓨터 비전에 이르기까지 모든 컴퓨팅 기능을 가속화합니다.

» 두 번째는 설치 기반. 엔비디아는 전 세계에 수억 개의 CUDA 호환 GPU를 보유하고 있으며 이는 개발자가 최종 사용자에게 도달하고 비즈니스를 성장시키기 위한 대규모 설치 기반이 되고 있음.

» 세 번째는 산업 도달 범위. 클라우드, 엔터프라이즈 데이터센터, 산업용 엣지, PC, 워크스테이션, 계측기 및 로봇까지 이름. 액센츄어, 어도비, 게티, 허깅 페이스, 스노우플레이크, 서비스나우, VMware, WPP 등 글로벌 IT 기업과 델, HPE, 레노버과 같은 엔터프라이즈 시스템 파트너와 함께 전 세계 기업에 생성 AI를 도입 중

※ 3줄 요약

① AI 칩이 잘 팔리는 것은 AI 모델 개발 뿐만 아니라 데이터센터 에너지 효율성 향상을 위한 대형 트렌드

② GH200 기반 DGX 플랫폼과 서버용 GPU L40S는 H100 이상 중욯나 제품이 될 것

③ 엔비디아 가속 컴퓨팅 솔루션의 산업 도달 범위를 확대하기 위해 VMware 외 여러 회사와 파트너십을 형성 중.

- 글로벌 하이퍼스케일러 업체들의 capex는 2025년까지 지속 우상향

출처: CLSA

- HBM의 매출규모와 전체 DRAM내 비중은 2027년까지 우상향

출처: TrendForce, CLSA