BofA, Why did memory prices spike late in the year? A technical deep dive (25.11.25)

✅ AI 수요 폭발 + CUDA 진화 + 컨텍스트 대형화가 복합적으로 만든 ‘비정상적 메모리 슈퍼사이클’
‒ 최근 2개월간 DRAM과 NAND 모두 전례 없이 강한 상승세를 보였는데(특히 NAND는 Q4에 15~20% 계약가격 상승), 핵심 요인은 AI 인프라 수요가 기존 인프라 설계를 압도했기 때문’
‒ 단순히 GPU 늘리기 때문이 아니라 CUDA 12.8~13.0으로 GPU가 직접 접근·활용 가능한 메모리 총량이 폭증한 점이 가장 큰 구조적 변화로 지목됨.
‒ Unified Memory(UVM) 확장, Host Memory Integration, GPUDirect·DirectStorage 강화, Tile-based programming 등은 GPU가 VRAM을 넘어 DRAM·NAND까지 사실상 하나의 메모리 풀처럼 활용하게 만드는 기반이 됨.
‒ 여기에 LLM 컨텍스트 윈도우가 2K → 32K → 100K → 400K → 최대 1M tokens까지 확대되며, AI 시스템의 병목이 compute에서 memory·I/O로 이동.
‒ 동시에 PC·폰 수요 회복까지 겹쳐 기존 DDR·NAND 재고가 빠르게 축소되며 “AI + 일반 IT 수요 동시 회복”이라는 드문 조합이 발생함 → 실질적 메모리 공급 타이트닝이 심화됨.

✅ CUDA 12.8~13.0: GPU의 메모리 사용량을 구조적으로 키워버린 핵심 트리거
‒ CUDA 12.8 주요 변화:
» UVM 기반 Extended GPU Memory 지원 → 대규모 메모리 풀을 하나의 주소 공간처럼 사용 가능.
» Batch Async Copy API로 다양한 버퍼 이동을 병렬화 → GPU에 선적재되는 데이터 규모가 커짐.
» Checkpoint/Restore 기능으로 긴 LLM 파인튜닝 시 메모리 스냅샷 저장이 증가 → 메모리 사용량 추가 확대.
» LM Studio 등 로컬 inference 앱의 긴 프롬프트 로딩 속도가 개선되며 대형 모델·길어진 입력 처리 트렌드 가속.
‒ CUDA 13.0 주요 변화:
» Host Memory Integration(예: cuMemCreate)으로 CPU DRAM을 GPU 주소 공간에 직접 매핑 → GPU 메모리 초과 할당(Oversubnoscription)이 사실상 기본값이 됨.
» UVM 일관성(coherence) 향상으로 CPU+GPU 메모리를 하나의 공동 풀처럼 인식 → 더 큰 워킹셋을 부담 없이 구성.
» Tile-based programming·CUDA Graph Memory Node는 성능 최적화를 위해 초기부터 거대한 연속 버퍼를 예약하도록 요구 → 대형 모델·대용량 context 채택을 가속.
» 이 조합은 “GPU가 더 많은 데이터를 읽고 쓸 수 있어지고, 더 큰 모델·더 긴 context를 쓸 수 있게 됨” → 결과적으로 메모리/스토리지 총수요가 훨씬 커지는 방향으로 작동함.

✅ LLM 컨텍스트 윈도우 대형화가 메모리·스토리지 병목을 직접적으로 유발
‒ 컨텍스트 윈도우는 모델이 한 번에 처리할 수 있는 입력 길이로, 100K token은 75k 단어(200페이지 분량 책 1권)와 유사한 규모.
‒ Transformer self-attention은 context 길이가 2배 늘면 메모리 사용량이 최대 4배 필요해 VRAM 한계를 매우 빠르게 초과함.
‒ BofA는 예시로 12B 모델 + 128K context inference 시 attention cache만 약 20GB, 모델 weight 14GB, 오버헤드 포함 총 VRAM 37GB가 소모된다고 제시 → 단일 GPU로는 감당 불가.
‒ 이런 구조적 한계 때문에 GPU VRAM 부족 시 데이터는 자동으로 DRAM 또는 NVMe SSD로 spill-over됨.
‒ 최신 엔진(vLLM, ZeRO-Infinity)은 KV-cache, 모델 파라미터, 액티베이션을 NVMe에 저장하고 GPU는 현재 필요한 부분만 가져오도록 설계됨 → 실질적으로 SSD가 ‘확장 메모리’ 역할을 수행.

✅ NAND 플래시 가격 폭등: AI 인프라 구축이 스토리지 계층을 ‘총체적으로’ 바꿔버림
‒ Q4∙2025 NAND 계약가격이 오히려 비수기임에도 15~20% 상승했으며, 하이퍼스케일러의 aggressive한 NVMe 조달이 직접 원인.
‒ GPU oversubnoscription과 paging이 많아지면서 서버당 NVMe SSD 탑재량은 8TB → 16~32TB로 증가하는 추세.
‒ AI inference는 random read가 매우 많아 HDD는 아예 맞지 않고, SSD는 수백 배의 IOPS·마이크로초 단위 지연시간으로 적합 → hyperscaler는 flash pool로 빠르게 전환 중.
‒ DirectStorage·GPUDirect Storage 활용이 늘어나면서 GPU→SSD DMA 경로가 강화됨 → SSD에 더 낮은 레이턴시·더 큰 DRAM cache가 요구되며 NAND BOM 증가가 필수적.

✅ 멀티-GPU 아키텍처(NVLink·NVSwitch·MIG)가 메모리 수요를 기하급수적으로 키우는 방식
‒ NVSwitch 기반 NVL72·GB200 구조는 여러 GPU가 한 몸처럼 동작해 단일 super-GPU 형태로 모델+컨텍스트를 분산 적재함 → 전체 메모리 필요량은 단순 합산보다 더 큼.
‒ MIG(Multi-Instance GPU)는 한 GPU를 7개 VM처럼 쪼개 다수 유저 요청 등을 병렬 처리 → 컨텍스트·KV cache가 GPU당 7배 가까이 적재될 수 있음.
‒ 스케일업·스케일아웃 환경 모두 SSD·DRAM 대역폭 요구가 폭발하며 NAND/DRAM 조달 압력이 커짐.

✅ Flash가 메모리 계층으로 직접 편입되는 기술 혁신: High Bandwidth Flash(HBF)
‒ 2025년 SanDisk의 High Bandwidth Flash(HBF)는 “수 TB의 NAND를 HBM 보조 메모리처럼 쓰는” 새로운 구조를 제안.
‒ HBF 기반 GPU는 ‘unlimited HBF vs unlimited HBM’ 비교에서 읽기 기반 inference 워크로드 기준 성능 차이가 3% 이내라고 발표 → 읽기 위주 AI에는 매우 매력적.
‒ NAND는 HBM 대비 훨씬 저렴하고 훨씬 더 고밀도를 구성할 수 있어, 대규모 AI inference 인프라에서 사실상 ‘확장형 메모리 계층’으로 변모할 가능성이 높음.
‒ 이는 AI 인프라가 DRAM/HBM 중심 구조 → DRAM+NAND+플래시 캐시가 결합된 다층 구조로 전환되는 흐름을 의미.

💡 정리: 이번 메모리 가격 급등은 단순 수요 증가가 아니라 ‘AI 아키텍처 전반의 대전환’이 만든 기술 기반 수요 쇼크
» CUDA 진화로 GPU의 메모리 활용 범위가 확대되며 시스템 전체 메모리 요구치가 레벨업됨.
» LLM 컨텍스트 대형화가 DRAM·HBM·SSD 모두의 사용량을 구조적으로 끌어올리는 핵심 트리거.
» NVMe SSD는 이제 GPU의 사실상 필수 메모리 계층으로 편입되며 NAND 가격 탄력성은 과거 대비 훨씬 커짐.
» PC·폰·DC 일반 수요 회복까지 겹치며 DRAM/NAND 공급 타이트닝이 심각해졌고, 이번 가격 상승은 ‘AI + 전통 IT 회복’의 결합효과로 설명됨.
» 장단기적으로 메모리 수요는 구조적 체력 상승 국면에 진입했으며, 미래 AI 인프라에서는 NAND가 ‘메모리’로 재정의될 가능성이 높음.

Robinhood의 파생거래소 수직통합 전략에 대한 주요 기관 뷰 정리

- - - - -

➤ Goldman Sachs – “Prediction Markets 수직통합을 통한 단가·통제력·스케일 확보”, TP $175

✅ 핵심 메시지
‒ HOOD가 SIG(서스퀘하나 인터내셔널)와 JV를 만들어 MIAXdx(DCM+DCO+SEF) 지분 90%를 인수하면서, 예측시장 전용 파생상품 거래소·청산소를 직접 보유하는 구조로 진화.
‒ 이는 HOOD의 예측시장 비즈니스가 1년 만에 9bn 계약·100만 고객·연환산 매출 3억 달러로 급성장한 데 대한 수직 통합형 대응으로 평가.

✅ GS가 본 전략적 의미
‒ ① 계약(Product) 통제권 강화: 기존 Kalshi 같은 외부 DCM을 통하던 구조 → 이제 HOOD 스스로 어떤 Prediction·Event Contract를 만들지 결정 가능.
‒ ② SIG의 유동성(시장조성) 투입: 예측시장은 종목 수가 많고 이벤트 생성 주기가 빠르기 때문에 원래 유동성이 낮은 시장. SIG가 JV 참여함으로써 초기부터 안정적인 유동성 확보 가능.
‒ ③ Value Chain 양방향 Monetization: 현재 HOOD는 브로커/FCM 수수료로 건당 1센트만 벌지만, JV 거래소도 1센트 수준 수수료 구조이므로 브로커 + 거래소 양측에서 동시 수익화 가능.
‒ ④ Investment 부담은 제한적: MIAXdx가 이미 규제 라이선스·인프라를 갖고 있어 신규 구축비용은 낮을 것으로 판단.

✅ GS 결론
‒ Prediction markets의 폭발적 확장 속에서 HOOD가 완전한 파생상품 인프라(DCM+DCO+SEF) 를 가진 플랫폼으로 진화하는 과정으로 평가.
‒ 과거 crypto도 브로커→Bitstamp 인수로 거래소까지 확장한 전례와 동일한 전략적 패턴.

- - - - -

➤ Barclays – “예측시장·스포츠베팅 영역까지 적극 확장, 규제 리스크는 여전히 핵심 변수”, TP $168

✅ 핵심 메시지
‒ Robinhood는 이번 JV를 통해 자체 Futures/Derivatives 거래소를 인수, Prediction·Sports 경기를 포함한 Event Contracts를 직접 상장·관리하는 방향으로 더 깊숙이 들어가는 전략.
‒ 빠르게 폭증 중인 Prediction 거래량(0.5bn → 1bn → 2.3bn → 2.5bn)을 감안하면 자연스러운 확장.

✅ Barclays가 본 전략적 효과
‒ ① Contract Launch 속도 개선: Futures 거래소는 CEA(Self-Certification)로 제품 출시 제한이 약해 신규 이벤트 계약 상장 속도가 증권/옵션 대비 훨씬 빠름.
‒ ② Kalshi 대비 경쟁력 강화: 지금은 Kalshi의 상품이 먼저 Kalshi 플랫폼에서 나오고 나중에 HOOD에 붙는 구조.
→ 향후에는 HOOD가 직접 원하는 계약을 원하는 시점에 출시 가능.
‒ ③ Economics 개선: 브로커 수익 + 거래소 수익 동시에 확보, 마진 구조가 크게 개선될 수 있다고 평가.

✅ 하지만 Barclays가 강조한 리스크
‒ Sports Contracts 규제 리스크가 매우 큼:
» Nevada 판결에서 Kalshi가 gaming regulation 적용 대상이라고 판단됨.
» Crypto.com도 유사 판결.
» MA/OH/MD/NV/NJ/NY 등 다수 주에서 스포츠 이벤트 계약 규제 이슈 진행 중.
→ 스포츠 영역은 불확실성이 매우 높고, 케이스별로 결과가 갈릴 가능성.
‒ CME가 수년간 이벤트 계약을 운영해왔지만 스포츠는 별개의 규제 영역이라 위험도 다름.

✅ Barclays 결론
‒ HOOD는 예측시장·스포츠·파생상품을 포함한 차세대 이벤트 트레이딩 Exchange로 포지션 강화 중.
‒ 단, 규제 리스크가 단기 밸류에이션 디스카운트 요인으로 지속될 전망.

- - - - -

➤ Cantor – “HOOD의 제품 확장 속도·분배력 자체가 진짜 경쟁력”, TP $155

✅ 핵심 메시지
‒ Prediction markets는 HOOD 역사상 가장 빠르게 성장한 신규 제품군이며, 런칭 1년 만에 9bn 계약·100만 고객 확보.
‒ 이번 JV는 HOOD가 Institutional-grade 거래소로 확장하면서, 기존 Kalshi 중심 구조에서 라이선스 기반 독립 플랫폼으로 이동하는 과정.

✅ Cantor가 주목한 포인트
‒ ① DCM/DCO/SEF 풀스택 인프라 확보:
» Futures 및 Options on Futures
» Swaps(금리·크레딧 등)
→ Prediction을 넘어 광범위한 파생상품 인프라 소유.
‒ ② SIG가 Day-1 유동성 공급자 역할: 유동성 부족이 예측시장의 병목이었는데 이를 단번에 해결하는 구조.
‒ ③ Kalshi와의 관계 불투명: Kalshi와 계속 협업할지, 혹은 경쟁 구조로 갈지는 아직 명확하지 않음.
‒ ④ HOOD의 고유 경쟁력 = Product Velocity + Distribution Power:
» HOOD는 신규 상품을 출시하면 즉시 수백만 유저에게 배포 가능.
» 예측시장·파생·Advisory·암호화폐 등 신사업에서 계속 시장 점유율 높이는 핵심 요인으로 평가.

- - - - -

💡 세 기관 비교 핵심 정리

① 전략적 해석
‒ GS: 수직 통합을 통한 Value Chain 확보에 초점.
‒ Barclays: 예측시장·스포츠·이벤트 거래소로의 확장을 강조, 다만 규제가 최대 이슈.
‒ Cantor: HOOD의 ‘제품 개발 속도 + 유저베이스 분배력’을 핵심 경쟁력으로 분석.

② 핵심 모멘텀
‒ 예측시장은 HOOD 역사상 가장 빠른 성장 → 9bn 계약, 100만 유저
‒ SIG 참여로 유동성 문제 해결
‒ MIAXdx 인수로 DCM+DCO+SEF 풀스택 확보
‒ 기존 Kalshi 구조를 벗어나 HOOD 자체 거래소 시대 개막

③ 리스크 포인트
‒ 규제(특히 스포츠): Barclays가 가장 강도 높게 강조
‒ 기관향 유동성·스왑 시장 진입 성공 여부(Cantor)
‒ 투자 규모 및 실행력/제품화 속도(GS는 상대적으로 우려 낮게 봄)

#HOOD