엔비디아의 크리스마스 선물: GB300 & B300

Nvidia의 GB300 & B300 GPU 출시
Nvidia는 크리스마스를 맞아 Blackwell GPU의 차세대 제품인 GB300과 B300을 발표했습니다.

이 GPU는 TSMC의 4NP 공정을 사용해 기존 B200 대비 50% 높은 FLOPS를 제공하며, HBM3E 메모리 업그레이드로 GPU당 288GB 용량을 제공합니다. 이는 특히 추론 모델(Reasoning Inference) 및 대규모 언어 모델(LLM) 훈련에서 성능을 크게 향상시킵니다.


성능 및 경제적 변화

1. 더 높은 처리 성능:

기존 GB200 대비 50% 더 높은 FLOPS 제공.

CPU와 GPU 간 전력 분배 최적화로 효율성 증가.

2. 메모리 업그레이드:

HBM3E 메모리로 용량 증가(8-Hi → 12-Hi).

추론 모델에서 더 긴 시퀀스 길이와 더 큰 배치 크기 지원.

3. 경제적 이점:

배치 크기 증가로 3배 더 낮은 비용으로 추론 처리 가능.

더 짧은 응답 시간으로 사용자 경험 및 서비스 수익성 개선.



-공급망 변화와 제조업체 영향

Nvidia는 B300 GPU의 생산 방식에 큰 변화를 도입했습니다.

SXM Puck 모듈 기반 설계 도입으로 ODM 및 OEM 참여 확대.

메모리 및 VRM(전압 조절 모듈) 구성 요소를 고객사가 직접 조달하게 하여 비용 구조 변경.

Nvidia는 GB300 플랫폼에서 구성 요소 조달 방식을 변경하여, Micron, SK Hynix와 같은 메모리 제조사가 주요 역할을 하게 했습니다.

Samsung은 공급망에서 배제되었으며, Wistron은 제조 비중이 감소했습니다


-GB300의 하이퍼스케일러 영향

GB300은 하이퍼스케일러(예: 아마존, 구글, 메타)에게 맞춤형 설계와 냉각 솔루션 선택권을 제공합니다.

NVLink-72(NVL72) 기술로 GPU 간 메모리 공유 및 고성능 추론 가능.

Amazon은 GB200의 하드웨어 한계로 인해 최적화된 구성을 구축하지 못했으나, GB300으로 이를 개선할 계획.


-결론
GB300과 B300은 Nvidia의 기존 제품 대비 추론 성능, 유연성, 경제성에서 큰 혁신을 제공하며, AI 및 데이터 센터 시장에서 중요한 전환점이 될 것입니다.

https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/