#AI

AI 컴퓨팅 밸류체인

250929_AI Infrastructure. Compute is the New Oil - RAISE Summit 2025

https://www.youtube.com/watch?v=n3QdWygAzXg

[Implication]

(1) Neo-Cloud의 공통적인 핵심 성장 동력은 1) AI 인프라 건설 속도, 2) 특정 AI 워크로드에 대한 전문성, 3) 클라우드 계층[스택]의 복잡성을 해결[스택 내 전문 업체와의 협력을 통한 편리한 UI/UX 제공]하는 것
*다만, 패널들은 각자의 비즈니스 모델 및 스택에서의 포지셔닝에 따라 세부적인 부분에서는 서로 다른 견해를 보임

(2) 또한 기존 CSP[AMZN/MSFT/GOOGL] 업체들과 경쟁하기 위해서는 위의 3가지 요소와 함께 4) 소버린 AI 및 엔터프라이즈 타겟 전략, 5) 상대적으로 낮은 가격이 돌파구가 될 전망

(3) 한편 NVIDIA의 추론 라이브러리, 마켓 플레이스 확대 등은 Neo-Cloud 업체들에게 큰 위협이 될 수 있도 있어 보임

-

[Contents]

(1) AI 인프라는 새로운 석유. 20세기 성장이 에너지 기반이었다면, 21세기 성장은 명백히 AI가 주도

(2) AI는 막대한 양의 에너지를 소비하며 인프라의 중요성을 더욱 더 부각 시킴

(3) 과거 클라우드 시대에는 저렴한 CPU 서버의 Multi-tenancy와 가상화가 핵심

(4) 당시 하이퍼스케일러들은 이 목적에 맞는 맞춤형 CPU와 네트워크 칩을 개발

(5) 그러나 현재는 모든 것이 GPU와 AI 인프라를 중심으로 재편되는 중

(6) GPU는 가격이 매우 비쌈. GPU 리소스를 잘게 쪼개서 "필요할 때만 쓰세요"라고 팔면, 유휴 시간이 발생 했을 때 손실을 감당할 수 없는 구조

(7) 이런 구조는 장기 계약으로의 변화, 즉 비즈니스 모델의 구조적 변화를 야기

(8) AI는 관련 기업의 자금조달, 데이터센터 계약 구조, 클라우드 업체들의 S/W 운영 방식 등 모든 것에 근본적인 변화를 요구

(9) 오늘 이 자리에는 해당 변화를 주도하는 다양한 배경의 Neo-Cloud 업체들이 모임

(10) Neo Cloud가 기존 CSP 업체를 상대로 경쟁할 수 있는 가장 큰 무기는 1) 속도, 2) 전문화

(11) 기존 CSP는 모든 고객에게 모든 것을 제공하는 아웃소싱 IT 솔루션에 가까움

(12) 반면 우리는 오직 '특정 AI 워크로드'에만 집중

(13) 이러한 극도의 집중/전문화가 기존 CSP를 능가하는 경쟁력의 원천

(14) AI 컴퓨팅 아키텍처는 극적으로 변화하고 있으며 전력, 냉각 시스템, 데이터센터 설계 등 물리 인프라의 모든 것이 바뀌고 있음

(15) 대기업 의사 결정 구조는 본질적으로 느릴 수밖에 없으며, 수많은 승인 절차가 많은 PJT의 지연을 유발

(16) Crousoe는 100MW급 데이터센터를 300일 만에 구축. 이제는 200일로 단축 중

(17) *Lambda는 최종 사용자가 GPU에 접근하는 속도에 집중
*SK그룹과 협력하고 있음

(18) 복잡한 클러스터를 원클릭으로 쉽게 생성, 15분 단위로 리소스를 빌려 쓸 수 있게 해서 접근성을 극대화

(19) 반면 기술적 과제도 존재. 바로 복잡성과의 싸움

(20) 대규모 GPU 클러스터를 구축/운영하기 위해서는 가상화부터 쿠버네티스, 다중 네트워크까지 모든 복잡성을 해결해야 함

(21) 특히 엄격한 멀티테넌시를 계층의 가장 낮은 단계부터 구현해야 하는 것이 어려움

(22) 즉, 하나의 GPU 클러스터를 A/B 기업이 동시에 공유해서 사용할 때 서로의 자원이 절대로 섞이지 않도록 강력하게 격리해야 함

(23) 클라우드 스택은 1) H/W 계층[GPU/CPU/메모리], 2) 가상화 계층[쿠버네티스/하이퍼바이저], 3) 플랫폼 계층[AI 프레임워크/개발 환경], 4) 서비스 계층[API]으로 구성

(24) 멀티테넌시를 상위 계층[서비스]에서만 처리하면 보안/성능의 문제가 생김

(25) 따라서 H/W나 펌웨어 레벨부터 리소스를 강력하게 분리해야 함

(26) GPU/네트워크는 원래 단일 사용자에 최적화된 경우가 많은데, 이를 강제로 나누면 성능 저하/드라이버 충돌 등이 발생

(27) Lambda는 NVDA의 인피니밴드를 포함한 3개의 네트워크 패브릭을 동시 분할하는 가상화 S/W를 자체 개발

(28) 이 기술 덕분에 8,000개의 GPU 클러스터를 다양한 크기의 하위 클러스터로 동적으로 분할하여 제공할 수 있게 됨

(29) *Mirantis는 이러한 복잡한 환경 설정을 '템플릿화'하여, 인프라에 대한 고난이도 기술 없이도 Neo-Cloud가 빠르게 서비스를 시작할 수 있도록 도와 주는 역할
*Mirantis는 클라우드 네이티브 인프라 관리 회사. 쿠버네티스/OpenStack/컨테이너 플랫폼 구축 자동화를 도와줌. 네오클라우드 업체에게 자동화된 설정 패키지를 제공
■ GPU 클러스터 템플릿→GPU + 네트워크+스케줄러 세팅 자동화
■ 보안/멀티테넌시 템플릿→테넌트 격리 정책 자동 반영
■ 모니터링 템플릿→Prometheus+Grafana 대시보드 자동 구축

(30) 결국 AI 인프라는 RDMA 패브릭/가상화/멀티테넌시 등 모든 것을 관리해야 함

(31) 또한 개별 GPU/트랜시버/네트워크 등 클라우드 스택 전반에서 발생할 수 있는 문제에 대비도 필수

(32) 한편, 소버린 AI는 이제 마케팅이 아니라 현실

(33) 특히 유럽에서는 에너지 생산~데이터 주권에 이르기까지 모든 밸류체인에서 주권에 대한 인식이 커지고 있음

(34) Sesterce의 임무는 유럽이 자체 인프라/데이터센터/컴퓨팅/에너지를 소유할 수 있게 하는 것
*글로벌 컴퓨팅 파워의 60% 미국, 5% 유럽

(35) 이 격차를 메우기 위해 Sesterce는 프랑스에 GW급 AI 팩토리 건설을 추진. Nebius 역시 소버린 AI 흐름에서 유사한 역할

(36) Neo Cloud 주요 시장은 엔터프라이즈향이 될 것

(37) 현재 대부분의 기업은 '혼란스럽다/쓰던게 아니다'라는 이유로 2~3배 비싼 CSP를 이용

(38) 우리는 엔터프라이즈 시장으로 진출하기 위해 단순히 인프라를 판매하는 것에서 벗어나야 함

(39) 추론, 플랫폼 서비스와 같은 상위 솔루션을 판매가 절실

(40) 기존 CSP 업체들이 강력한 이유는 기술에 필요한 모든 것을 서비스로 제공하는 거대한 생태계를 구축했기 때문

(41) 기업 입장에서 CSP에서 Neo Cloud로 전환하는 비용은 매우 높기도 함

(42) Neo Cloud가 엔터프라이즈 시장을 공략하기 위해서는 스택 위로 올라가는 것 외에 선택의 여지가 없음

(43) 추론 플랫폼이 그 첫 단계가 될 것. 이후 ML 오케스트레이션, 엔터프라이즈 AI 플랫폼으로 확장 전망

(44) Nebius는 자체 개발과 더불어 전문 솔루션 기업과의 파트너십을 중요한 전략으로 보고 있음

(45) Ford가 정제 시설이나 정유소를 운영하지 않는 것처럼, 각 계층에는 전문화된 승자가 존재할 것

(46) 즉, 스택의 모든 단일 계층에서 수천억 달러 규모의 비즈니스가 탄생 전망

(47) 또한 시장 구조는 각 계층에 존재하는 해자의 형태에 따라 결정 될 것

(48) 네트워크 효과가 강한 분야에서는 승자 독식이, 규모의 경제가 중요한 분야는 과점 형태가 될 것

(49) Sesterce는 오히려 컴퓨팅에서 에너지로, 즉 밸류체인 아래로 내려가는 전략을 취함

(50) 미래에는 S/W 개발 주기가 극도로 짧아져 프롬프트 입력만으로 서비스가 생성될 수 있기 때문

(51) 그럴 경우 진정한 해자는 에너지, 고품질의 물리적 인프라 운영 능력이 될 것

(52) Crusoe의 경우 반도체부터 데이터센터, 토큰까지 수직 통합을 통해 모든 계층 솔루션 제공을 목표

-

[Panelists]
■ Roman Chermin: Co-founder & CBO, Nebius
■ Youssef El Manssouri: Co-founder & CEO, Sesterce
■ Shaun O'Meara: CTO, Mirantis
■ Stephen Balaban: Co-founder & CEO, Lambda
■ Chase Lochmiller: Co-founder & CEO, Crusoe
■ Dylan Patel: Founder & CEO, Semianalysis

#AI

연휴때 읽어보면 좋은 AI 리포트

#PLTR

Ethicrithm가 말하는 팔란티어 도입 성과: Chaos에서 명확성으로

» Ethicrithm는 건설사의 데이터, 운영 혁신을 지원하는 기업

공급망 및 조달 문제 최적화

- 프로젝트 지연 최대 30% 감소
- 재고 비용 15% 절감
- 벤더 관련 이슈 25% 감소
- 자재 품질 10% 개선
- 온보딩 속도 20% 향상
- 예산 초과율 40%까지 감소

https://ethicrithm.com/from-data-chaos-to-clarity-enhancing-enterprise-operations-with-palantir-in-the-construction-industry/

#PLTR

팔란티어는 미국을 방문한 벨기에 국방부 대표단의 일환으로, 테오 프랑켄 벨기에 국방부 장관과 프레데릭 반시나 국방총장을 맞이하게 되어 영광이라고 밝혔습니다.

벨기에 국방부 장관 테오 프랑켄
은 “팔란티어는 유럽 방위의 최전선에 있으며, NATO 모든 회원국의 중요한 파트너”라고 말했습니다.

영국과 똑같은 흐름.. 벨기에도 큰거 하나 터지겠네요. 유럽쪽도 점점 팔란티어가 장악해나가는 중

도이치뱅크, 비트코인, 금처럼 ‘국가 단위 보유 자산’ 될 가능성

새로운 보고서 "금의 지배, 비트코인의 부상"에서 이 은행은 달러 약세와 지정학적 리스크 증가로 인해 글로벌 준비금이 재편되고 있다고 분석

👉원문

#BTC

삼성은 갤럭시 기기에서 이더리움 스테이킹을 직접 활성화했습니다.

2억 명 이상의 사용자가 이제 탭 한 번으로 스테이킹에 참여할 수 있습니다 $ETH

#삼성 #이더리움 #스케이킹

비트에 이더까지..

#AI #에너지

8년뒤 OpenAI가 단독으로 필요한 에너지는 25년도의 125배 (= 인도 전체 발전량)

#AI #에너지

10년뒤 AI 데이터 센터발 전력 수요는 4배가 될 예정

» Morgan Stanley는 향후 3년간(2025~2028년) 미국 데이터센터 전력 수요 급증으로 약 36GW 규모의 전력 부족(Power Shortfall)이 발생할 것으로 예상

» 예상 전력 수요: 약 57GW
» 현재 건설 중인 데이터센터 전력공급분: 약 6GW
» 미국 전력망(그리드) 가용용량: 약 15GW
➡️ 잠재 전력 부족분: 약 36GW

» Morgan Stanley의 추정대로라면 필요 전력의 60% 이상이 부족할 것으로 보이며, 이는 AI와 클라우드 인프라 확충 속도보다 전력 인프라 투자가 뒤처지고 있음을 의미

» AI 학습 및 추론용 GPU 서버가 폭발적으로 늘어나는 가운데, 발전설비·저장장치·송전 인프라 확충이 지연되면 AI 산업 성장 자체가 병목에 직면할 수 있음을 시사. AI 중심의 시장 강세 국면에서 꾸준히 함께 살펴봐야 할 영역

에너지는 쭉 홀딩하는걸로

#AI

오라클 사태를 따져보면 사실 굉장히 단순함

1️⃣ AI 시대에 컴퓨팅 파워 수요가 폭발적으로 증가하고 있음

2️⃣ 클라우드 서비스 공급자(CSP)들은 엔비디아 칩만 확보하면 고객들이 몰려드는 구조임

3️⃣ 하지만 문제는 엔비디아 칩 공급이 절대적으로 부족하다는 점임

4️⃣ 게다가 프리미엄이 과도하게 붙고, 젠슨황이 친분이 있는 업체들을 우선적으로 챙기면서 시장이 왜곡되고 있음

5️⃣ 그 결과 코어위브(CoreWeave)가 급부상했고, 네비우스(Neuvus) 같은 신흥 네오 클라우드들도 높은 프리미엄을 지불하며 물량을 확보 중임
젠슨황은 전략적으로 전통 하이퍼스케일러 대신 이러한 신흥 클라우드 사업자들을 밀어주는 상황임

6️⃣ 기존 하이퍼스케일러(Azure, AWS, GCP, Meta, Oracle 등)는 이미 대규모로 엔비디아 칩을 확보했음에도 폭발적인 고객 수요를 감당하지 못하는 중임
특히 AWS와 GCP는 자사 칩(Trainium, TPU) 중심 전략으로 엔비디아의 신뢰를 잃어 우선 공급에서도 밀리고 있음
여기에 네오 클라우드 우대 정책까지 겹치며 공급 상황이 더욱 불리해지고 있음

7️⃣ 하이퍼스케일러들은 자사 칩으로 고객을 유인하려 하지만, 고객들은 오직 엔비디아 칩만을 원함
이로 인해 AMD 칩은 시장 수요가 거의 없고, CSP들도 구매를 주저하면서 악순환이 이어지고 있음

8️⃣ 최근 하이퍼스케일러들은 엔비디아 칩을 대량으로 확보한 네오 클라우드로부터 서버를 임대해 서비스를 운영하고 있음
그러나 임대 구조로는 마진이 거의 남지 않으며, 경쟁 관계에 있는 네오 클라우드들이 할인은커녕 오히려 높은 가격을 요구한다는 이야기도 있음

9️⃣ 이번 The Information이 보도한 오라클 사례가 그 전형임
오라클은 마이크로소프트처럼 자금 여유가 풍부하지도, 구글·아마존처럼 자사 칩으로 버틸 체력도 없음
하지만 지금 고객을 선점하지 못하면 하이퍼스케일러 경쟁에서 밀릴 수밖에 없기 때문에, 손해를 감수하고 네오 클라우드의 엔비디아 서버를 임대해 고객 서비스에 투입 중임
그 결과 마진율이 급락했고, 특히 가장 인기 있고 고가인 블랙웰(Blackwell) 칩에서는 적자까지 발생하고 있음

🔟 이 모든 문제의 근본 원인은 결국 TSMC임
증산을 이어가고 있으나 수요를 전혀 따라가지 못하는 상황이며, 트럼프 행정부 시절부터 이어진 지정학적 압박으로 대만 내 생산시설 확장도 쉽지 않음
미국 내 공장은 적자를 감수하며 가동 중이지만, 인텔이나 삼성전자가 이를 대체할 생산 능력을 보유하지 못해 병목 현상이 지속되고 있음

이런 배경을 알면 왜 컨퍼런스콜 때마다 젠슨황이 “공정하게 칩을 배분하고 있다”고 강조하는지 이해할 수 있음
실제로는 전혀 공정하지 않기 때문임

참고로, 오라클의 래리 엘리슨은 이미 작년부터 젠슨황에게 “제발 물량을 더 달라”며 돈다발을 들고 찾아갔지만, 결국 거절당했다고 공개적으로 언급했음
( “Please take our money”: Larry Ellison on begging Nvidia CEO Jensen Huang for AI chips )

Source: 반도체갤러리

[단독]엔비디아 GB300에 삼성 HBM 탑재 확정…젠슨 황 서신보냈다

젠슨 황 CEO, 이재용 회장에 "삼성 HBM 탑재할 것" 서신
'젠슨 황 승인' 서명 1.7년만 퀄 통과…"이재용 세일즈 통했다"

엔비디아가 최신 인공지능(AI) 가속기인 GB300에 삼성전자(005930)의 5세대 고대역폭메모리(HBM3E)를 탑재하기로 확정했다. 삼성전자가 칠전팔기 끝에 엔비디아 공급망에 공식 진입하면서, 글로벌 HBM 시장에 지각변동이 예상된다.

9일 뉴스1 취재를 종합하면, 젠슨 황 엔비디아 최고경영자(CEO)는 최근 이재용 삼성전자 회장에게 서신을 보내 GB300 시스템에 삼성전자의 HBM3E 12단을 탑재하겠다는 뜻을 전했다.

젠슨 황 CEO가 직접 삼성전자의 HBM3E 퀄 테스트(품질 검사) 통과 소식과 함께 HBM3E 주문 의사를 통보한 셈이다. 양사는 구체적인 공급 물량과 가격, 일정 등을 놓고 막바지 조율 중인 것으로 알려졌다.

삼성전자가 '엔비디아 공급망'에 진입한 것은 1년7개월여 만이다. 황 CEO가 지난해 3월 미국 반도체 콘퍼런스 GTC 2024에서 삼성전자 HBM3E 12단 제품에 '젠슨이 승인했다(Jensen Approved)'는 서명을 남기면서 삼성전자 납품설이 시장을 달궜다.

하지만 삼성전자는 번번이 고배를 마셨다. 급기야 황 CEO가 올해 1월 CES2025에서 'HBM 설계를 다시 해야 한다'고 언급하면서 체면을 구기기도 했다. 이재용 회장의 '독한 삼성' 주문이 나온 것도 비슷한 시기로, 삼성전자는 올 상반기에 재설계한 샘플을 다시 전달했다.

물론 주류가 6세대인 HBM4로 이동하는 시점인 만큼, 삼성전자의 GB300향(向) HBM3E 12단 물량 자체는 많지 않을 것으로 예상된다. 하지만 삼성전자가 내내 애를 먹었던 '기술적 한계'를 돌파했다는 의미는 작지 않다. 현재 퀄 테스트가 진행 중인 HBM4의 통과 소식도 앞당겨질 수 있다.

업계에선 '이재용 세일즈'가 통했다는 평가가 나온다. 이 회장은 대법원 무죄 확정판결을 받은 직후인 8월 대부분을 미국에 체류하며 비즈니스 미팅을 소화했다. 그는 현지에서 황 CEO와도 만난 것으로 알려졌다. 지난 8월15일 1차 미국 출장을 마친 뒤 귀국한 자리에서 "내년도 사업을 준비하고 왔다"고 언급하기도 했다.

한편 이 회장은 황 CEO와 서신을 주고받으면서 엔비디아의 그래픽처리장치(GPU) 5만 장을 구매하겠다는 의사도 밝힌 것으로 전해졌다. 구체적인 용처는 알려지지 않았지만, 삼성전자 내부 AX(인공지능 전환)와 사업 확대에 쓰일 것으로 관측된다.

노태문 디바이스경험(DX) 부문장 직무대행 사장은 지난달 독일 베를린 IFA2025 기자간담회에서 "2030년까지 업무 영역의 90%에 AI를 적용하겠다"고 밝힌 바 있다. 오픈AI와 삼성전자가 공동 구축하는 포항 AI 데이터센터 서버에 이 GPU가 들어갈 가능성도 있다.

https://n.news.naver.com/mnews/article/421/0008528469

#PLTR

팔란티어 골든돔 계약 떡밥?

어제 나온 팔란티어 채용 공고를 보면, 해당 키워드들이 골든돔을 연상시킴

area defense = 영역 방어 (=골든돔)
sensor = 위성 센서
effectors = 미사일 요격 체계
external autonomous platforms = 스페이스X, 안두릴의 위성 네트워크 및 드론과 통합

그리고 Role을 보면,

» 다양한 센서와 데이터를 통합
» 드론 스웜(drone swarm) 같은 effectors를 통해 실시간으로 대응하는 자율 시스템 개발
» 복잡한 지역 방어 시나리오를 현실에서 새롭게 정의할 솔루션 설계

빠르면 올해말 or 내년 초에 골든돔 계약 소식이 있을지도?