ChatGPT의 개별 쿼리당 전력 소모량이 3Wh라는 기존 추정이 과장되었다고 판단함. 최신 데이터와 합리적인 가정을 기반으로 다시 계산해본 결과, GPT-4o 기준 일반적인 쿼리는 약 0.3Wh의 전력을 소모하는 것으로 추정됨. 이는 이전 추정치보다 10배 낮은 수준이며, 더 효율적인 모델과 하드웨어 덕분이라고 봄.
기본적으로 대화형 AI 모델(LLM)은 연산량(FLOP)에 비례해 전력을 소모함. GPT-4o의 활성 파라미터 수를 1000억 개로 가정하고, 출력 토큰 수를 평균 500개로 설정해 계산함. 결과적으로 한 쿼리에 약 1e14 FLOP이 필요하다고 추산됨.
이 연산을 수행하는 데 NVIDIA H100 GPU를 기준으로 분석함. H100의 최대 성능은 9.89e14 FLOP/s이고, 서버 오버헤드까지 감안해 GPU당 소비전력을 1500W로 가정함. 하지만 실제 GPU 활용률이 10% 정도에 불과하므로, 평균적으로 쿼리당 약 1초의 GPU 사용 시간이 필요함. 이를 바탕으로 계산하면, 한 쿼리당 1050J(=0.3Wh)의 전력이 소모된다고 도출됨.
기존 3Wh 추정이 과장된 이유는 ① 불필요하게 긴 출력 토큰 수(2000개)를 가정했으며, ② 상대적으로 비효율적인 A100 GPU를 기준으로 했고, ③ 서버 전력 소비를 최대치로 적용하는 등 보수적인 가정을 다수 포함했기 때문임. 반면, 실제 사용자들이 요청하는 평균 출력은 500개 토큰 수준이고, 최신 GPU인 H100이 사용됨에 따라 더 적은 에너지가 소모됨.
다만, 입력 토큰이 매우 긴 경우 전력 소비량이 급격히 증가할 수 있음. 예를 들어, 1만 개 입력 토큰을 처리하는 경우 2.5Wh, 10만 개 입력 토큰을 처리하는 경우 40Wh에 달할 것으로 추산됨. 하지만 이는 한 번의 문서 입력에 대한 비용이며, 후속 대화에서는 추가적인 입력 전력 소비가 크지 않음.
향후 AI 모델의 에너지 효율성이 개선될 가능성이 높음. 하드웨어와 알고리즘 최적화가 지속적으로 이루어지고 있으며, 멀티토큰 예측 등 연산 최적화 기법도 개발되고 있음. 반면, 더 복잡한 연산이 필요한 AI 모델(예: 고급 추론 모델 o1, o3 등)이 점점 더 사용될 경우 평균적인 전력 소비는 증가할 수도 있음.
훈련 비용도 고려해야 하지만, 훈련 과정에서 소모되는 전력은 AI 모델이 배포된 후 수백만 명이 사용하는 과정에서 분산됨. GPT-4o 수준 모델을 훈련하는 데 20~25MW의 전력을 약 3개월 동안 사용하지만, 전체 ChatGPT 사용자의 하루 전력 소비량(12.5MW)과 비교하면 크지 않음. 또한 GPU 제조 과정에서 발생하는 ‘내재 에너지 비용’도 있지만, 전체적인 추정으로 보면 직접적인 연산 비용보다는 적을 가능성이 큼.
source: EPOCH AI
#AI #전력
기본적으로 대화형 AI 모델(LLM)은 연산량(FLOP)에 비례해 전력을 소모함. GPT-4o의 활성 파라미터 수를 1000억 개로 가정하고, 출력 토큰 수를 평균 500개로 설정해 계산함. 결과적으로 한 쿼리에 약 1e14 FLOP이 필요하다고 추산됨.
이 연산을 수행하는 데 NVIDIA H100 GPU를 기준으로 분석함. H100의 최대 성능은 9.89e14 FLOP/s이고, 서버 오버헤드까지 감안해 GPU당 소비전력을 1500W로 가정함. 하지만 실제 GPU 활용률이 10% 정도에 불과하므로, 평균적으로 쿼리당 약 1초의 GPU 사용 시간이 필요함. 이를 바탕으로 계산하면, 한 쿼리당 1050J(=0.3Wh)의 전력이 소모된다고 도출됨.
기존 3Wh 추정이 과장된 이유는 ① 불필요하게 긴 출력 토큰 수(2000개)를 가정했으며, ② 상대적으로 비효율적인 A100 GPU를 기준으로 했고, ③ 서버 전력 소비를 최대치로 적용하는 등 보수적인 가정을 다수 포함했기 때문임. 반면, 실제 사용자들이 요청하는 평균 출력은 500개 토큰 수준이고, 최신 GPU인 H100이 사용됨에 따라 더 적은 에너지가 소모됨.
다만, 입력 토큰이 매우 긴 경우 전력 소비량이 급격히 증가할 수 있음. 예를 들어, 1만 개 입력 토큰을 처리하는 경우 2.5Wh, 10만 개 입력 토큰을 처리하는 경우 40Wh에 달할 것으로 추산됨. 하지만 이는 한 번의 문서 입력에 대한 비용이며, 후속 대화에서는 추가적인 입력 전력 소비가 크지 않음.
향후 AI 모델의 에너지 효율성이 개선될 가능성이 높음. 하드웨어와 알고리즘 최적화가 지속적으로 이루어지고 있으며, 멀티토큰 예측 등 연산 최적화 기법도 개발되고 있음. 반면, 더 복잡한 연산이 필요한 AI 모델(예: 고급 추론 모델 o1, o3 등)이 점점 더 사용될 경우 평균적인 전력 소비는 증가할 수도 있음.
훈련 비용도 고려해야 하지만, 훈련 과정에서 소모되는 전력은 AI 모델이 배포된 후 수백만 명이 사용하는 과정에서 분산됨. GPT-4o 수준 모델을 훈련하는 데 20~25MW의 전력을 약 3개월 동안 사용하지만, 전체 ChatGPT 사용자의 하루 전력 소비량(12.5MW)과 비교하면 크지 않음. 또한 GPU 제조 과정에서 발생하는 ‘내재 에너지 비용’도 있지만, 전체적인 추정으로 보면 직접적인 연산 비용보다는 적을 가능성이 큼.
source: EPOCH AI
#AI #전력
Epoch AI
How much energy does ChatGPT use?
This Gradient Updates issue explores how much energy ChatGPT uses per query, revealing it’s 10x less than common estimates.
[미래에셋증권 전기전자/IT하드웨어 박준서]
Photo
#이수페타시스 4Q 실적
매출액: 2,261억(예상치: 2,193억)
영업익: 278억(예상치: 295억)
순이익: 221억(예상치: 263억)
위스퍼는 쇼크로 돌았다는데 그런 거 배제하고 일단 컨센 추이만 고려해도 사실상 어닝 비트가 맞지 않나 하는 생각.
4Q24 이수 어닝 추정치 추이 보면 (애초에 커버리지가 많지 않기도) 최근 2/11에 DS 이수림 위원님 OP 260억까지 내려불렀음. 더 과거 순으로 보면 키움 김소원 위원님 11/20 338억, SK 박형우 위원님 11/29 338억 → 1/24 279억, 한투 박상현 위원님 1/24 310억, 메리츠 양승수 위원님 1/24 275억.
4Q 내용도 좋고. 물론 로봇, 조선, 방산이 날뛰는 지금 국장에서 AI 가속기/네트워크 장비가 신선하고 섹시한 띰인가에 대해서는 의문 들긴 하나, 그냥 좋은 건 좋은 거니까 좋아보임.
매출액: 2,261억(예상치: 2,193억)
영업익: 278억(예상치: 295억)
순이익: 221억(예상치: 263억)
위스퍼는 쇼크로 돌았다는데 그런 거 배제하고 일단 컨센 추이만 고려해도 사실상 어닝 비트가 맞지 않나 하는 생각.
4Q24 이수 어닝 추정치 추이 보면 (애초에 커버리지가 많지 않기도) 최근 2/11에 DS 이수림 위원님 OP 260억까지 내려불렀음. 더 과거 순으로 보면 키움 김소원 위원님 11/20 338억, SK 박형우 위원님 11/29 338억 → 1/24 279억, 한투 박상현 위원님 1/24 310억, 메리츠 양승수 위원님 1/24 275억.
4Q 내용도 좋고. 물론 로봇, 조선, 방산이 날뛰는 지금 국장에서 AI 가속기/네트워크 장비가 신선하고 섹시한 띰인가에 대해서는 의문 들긴 하나, 그냥 좋은 건 좋은 거니까 좋아보임.
Forwarded from 중국주식반점(饭店)
휴먼노이드 한대가격이 2000만원~1억3천정도네요
2월 12일, 위수 테크놀로지의 Unitree H1과 G1 휴머노이드 로봇이 징둥 온라인에서 정식으로 출시되어 판매를 시작했습니다. 우수 공식 플래그십 스토어에 따르면, Unitree G1 휴머노이드 로봇의 가격은 99,000위안이며, 약 45일 내에 배송될 것으로 예상됩니다. Unitree H1 휴머노이드 로봇의 가격은 650,000위안이고, 60일 내에 배송될 예정입니다.
宇树人形机器人京东首发即售罄?真相来了
21世纪经济报道
昨天 20:20
导语 客服表示,下架没有什么(特别)原因,系正常下架,H1只上架了一台。
点击上方图片开户
2月12日,宇树科技的Unitree H1和G1人形机器人正式在京东线上首发开售。宇树官方旗舰店显示,Unitree G1人形机器人的售价为99000元,预计45天可交货。Unitree H1人形机器人售价为650000元,预计60天可交货。
2월 12일, 위수 테크놀로지의 Unitree H1과 G1 휴머노이드 로봇이 징둥 온라인에서 정식으로 출시되어 판매를 시작했습니다. 우수 공식 플래그십 스토어에 따르면, Unitree G1 휴머노이드 로봇의 가격은 99,000위안이며, 약 45일 내에 배송될 것으로 예상됩니다. Unitree H1 휴머노이드 로봇의 가격은 650,000위안이고, 60일 내에 배송될 예정입니다.
宇树人形机器人京东首发即售罄?真相来了
21世纪经济报道
昨天 20:20
导语 客服表示,下架没有什么(特别)原因,系正常下架,H1只上架了一台。
点击上方图片开户
2月12日,宇树科技的Unitree H1和G1人形机器人正式在京东线上首发开售。宇树官方旗舰店显示,Unitree G1人形机器人的售价为99000元,预计45天可交货。Unitree H1人形机器人售价为650000元,预计60天可交货。
Gromit 공부방
ha 이런 도파민 터지는 알빠노장 최고야
부정적인 매크로 지표와 금리에도 불구하고 오르고자 하는 시장의 강력한 힘과 의지
Risk On
Risk On
Forwarded from BK Tech Insight - 바바리안 리서치
[ Cisco, AI 로 수요 호조가 이어지며 어닝 서프라이즈 발표. 장후 시장에서 6% 넘게 상승 ]
2분기 2025년 주요 실적:
- 매출: 전년 동기 대비 9% 증가한 $140억
- Non-GAAP 순이익: $38억으로, 전년 동기 대비 6% 증가
- Non-GAAP 주당순이익(EPS): $0.94로, 전년 동기 대비 8% 증가
- 제품 주문량: 전년 동기 대비 29% 증가했으며, Splunk를 제외하면 11% 증가했습니다.
- AI 인프라 주문량: 이번 분기에 $3.5억을 기록하여, 2025 회계연도 상반기 총 $7억을 달성했습니다.
3분기 2025년 가이던스:
- 매출: $139억에서 $141억 사이로 예상됩니다.
- Non-GAAP 주당순이익(EPS): $0.90에서 $0.92 사이로 예상
2025 회계연도 전체 가이던스:
- 매출: $560억에서 $565억 사이로 예상
- 이전 예상치인 $553억에서 $563억보다 상향 조정
- Non-GAAP 주당순이익(EPS): $3.68에서 $3.74 사이로 예상
추가 사항:
- 배당금 인상: 분기별 배당금을 주당 $0.41로 3% 인상
- 자사주 매입 프로그램: 추가로 $150억을 승인하여, 총 승인된 자사주 매입 규모를 약 $170억으로 확대
CEO인 척 로빈스 코멘트
- AI가 더욱 보편화됨에 따라, 우리는 고객들이 네트워크 인프라를 확장하고 데이터 용량 요구를 증가시키며, 최고 수준의 AI 보안을 채택할 수 있도록 지원할 준비가 되어 있습니다!
소결론
- 전일 Vertiv 까지 아쉬운 실적을 발표하며 IT 하드웨어 기업들이 이제는 쉽게 돈을 벌 수 없다는 사례가 계속 많아지고 있음
- 이제 AI 하드웨어 파이가 줄어서보다 다수의 영역에서 경쟁이 치열해지고 있기 때문
- 그럼에도 불구하고 네트워크 섹터는 기본적으로 가장 어닝 서프라이즈가 많이 나오고 있음
- AI 로 요구되는 네트워크 스펙이 계속 상향되고 있는 가운데 상대적으로 아시아 기업들과의 경쟁이 자유로운 덕분으로 추정됨
- 800G 사이클은 이제 시작이며 1.6T 싸이클도 바로 올 것으로 예상됨에 따라 네트워크 밸류체인들에 대한 팔로우업 지속 필요
2분기 2025년 주요 실적:
- 매출: 전년 동기 대비 9% 증가한 $140억
- Non-GAAP 순이익: $38억으로, 전년 동기 대비 6% 증가
- Non-GAAP 주당순이익(EPS): $0.94로, 전년 동기 대비 8% 증가
- 제품 주문량: 전년 동기 대비 29% 증가했으며, Splunk를 제외하면 11% 증가했습니다.
- AI 인프라 주문량: 이번 분기에 $3.5억을 기록하여, 2025 회계연도 상반기 총 $7억을 달성했습니다.
3분기 2025년 가이던스:
- 매출: $139억에서 $141억 사이로 예상됩니다.
- Non-GAAP 주당순이익(EPS): $0.90에서 $0.92 사이로 예상
2025 회계연도 전체 가이던스:
- 매출: $560억에서 $565억 사이로 예상
- 이전 예상치인 $553억에서 $563억보다 상향 조정
- Non-GAAP 주당순이익(EPS): $3.68에서 $3.74 사이로 예상
추가 사항:
- 배당금 인상: 분기별 배당금을 주당 $0.41로 3% 인상
- 자사주 매입 프로그램: 추가로 $150억을 승인하여, 총 승인된 자사주 매입 규모를 약 $170억으로 확대
CEO인 척 로빈스 코멘트
- AI가 더욱 보편화됨에 따라, 우리는 고객들이 네트워크 인프라를 확장하고 데이터 용량 요구를 증가시키며, 최고 수준의 AI 보안을 채택할 수 있도록 지원할 준비가 되어 있습니다!
소결론
- 전일 Vertiv 까지 아쉬운 실적을 발표하며 IT 하드웨어 기업들이 이제는 쉽게 돈을 벌 수 없다는 사례가 계속 많아지고 있음
- 이제 AI 하드웨어 파이가 줄어서보다 다수의 영역에서 경쟁이 치열해지고 있기 때문
- 그럼에도 불구하고 네트워크 섹터는 기본적으로 가장 어닝 서프라이즈가 많이 나오고 있음
- AI 로 요구되는 네트워크 스펙이 계속 상향되고 있는 가운데 상대적으로 아시아 기업들과의 경쟁이 자유로운 덕분으로 추정됨
- 800G 사이클은 이제 시작이며 1.6T 싸이클도 바로 올 것으로 예상됨에 따라 네트워크 밸류체인들에 대한 팔로우업 지속 필요
Gromit 공부방
ha 이런 도파민 터지는 알빠노장 최고야
국장도 비슷한 컬러로 뉴스플로우 터지는 섹터랑 수급 따라 천하제일 단타 대회 열리는 중인데, 방향성 보고 찍어산 뒤 스윙하는 게 윗꼬리 뿅망치 당하지 않는 길일 듯