Forwarded from BK Tech Insight - 바바리안 리서치
[ 온디바이스 AI 야심 드러내는 Nvidia, 결국 CPU 출시로까지 이어질 확률 높아보여 ]
- 오늘 Nvidia가 자사 소비자용 GPU 인 RTX 30 이상 시리즈 (그래픽 메모리 8기가 이상) 에서 구동 가능한 "Chat with RTX" 를 선보였습니다
- Chat with RTX 는 온디바이스용 챗봇이며 Windows에서 생성 AI 기능을 지원합니다
- Nvidia RTX 를 사용하는 윈도우 PC에서 사용가능합니다
- 우선은 인터넷 검색은 아니고 윈도우 PC에 있는 텍스트 파일, PDF, 워드 파일, XML 등에 있는 내용을 기반으로 검색해서 답변을 줍니다.
- 단순히 RTX GPU 만 활용하는 것은 아니고 TensorRT-LLM, 검색 증강 생성 기능도 활용합니다
TensorRT-LLM 이 궁금하시면 바바리안의 지난 글 참고 부탁드립니다
- 소프트웨어 그게 돈이 됩니까? 2편 : TensorRT-LLM
https://contents.premium.naver.com/barbarian/stockideas/contents/230911105743331sn
함의점
- 이번 기사는 엔비디아가 온디바이스에 진심이고
Cuda 처럼 하드웨어와 소프트웨어를 동시에 활용하여 경쟁력을 갖추려고 한다는 것을 알 수 있습니다
1) 결국 CPU는 출시할 가능성 높음
- 지금 온디바이스 시장은 CPU 기업들이 CPU에 GPU와 NPU를 붙이는 방식으로 먹어가려고 하고 있습니다
> 이렇게 흘러가면 엔비디아는 온디바이스 시장에서는 입지가 좁아질 수 밖에 없는데요
이를 타개하기 위해 게이밍 GPU를 우선적으로 활용하려는 것으로 보입니다.
> 다만, 점점 더 소비장 시장에서는 애플과 같은 CPU+GPU+NPU 통합 구조가 대세가 되고 있기 때문에
당장은 GPU를 통해 필요한 생태계를 구축하고 내년에 루머로만 있는 ARM 기반의 PC 용 CPU와
지금의 GPU를 소형화 하여 결합한 뒤 출시할 가능성이 높아보입니다
> 온디바이스 시장에 대응하기 위해 Nvidia의 CPU 출시는 필연적일 것으로 보입니다
2) 하드웨어- 소프트웨어 수직계열화를 통한 경쟁력 확보
- 이번 발표를 보면 특이점이 TensorRT-LLM 기술을 기반으로 AI 애플리케이션이 제작되도록 하는 것입니다.
- 동일한 하드웨어에서도 더 빠르게 LLM 기반의 AI 모델이 실행될 수 있게 하는 TensorRT-LLM 기술은 엔비디아 하드웨어에서만 지원됩니다
> 이를 통해 같은 온디바이스 AI 라더라도 엔비디아가 가장 빠를 것이고 이에 따라 생태계도 구축되는 것을 노릴 것으로 보입니다.
3) 온디바이스 AI에서 중요한 것은 램
- 이번 발표에서 특이한 점 중 하나는 RTX 30 이상 시리즈 중 램 8기가 이상인데요
- 온디바이스 AI 추론 작업이 이루어질 때 컴퓨팅 보다 중요한 것은 램이고 꽤 많이 필요하다는 것을 알 수 있습니다
- 온디바이스 AI 추론 작업이 보편화되면 PC / 스마트폰이 기본적으로 요구하는 디램 용량이 크게 증가할 것으로 예상됩니다
결론
> 온디바이스 AI 시장에서는 별다른 모습을 보여주고 있지 않은 엔비디아가 역시나 칼을 갈고 준비하고 있는 모습인데요
> 결국 내년 온디바이스 AI 시장에서 엔비디아가 시장에 영향을 줄만한 제품을 내놓을 가능성이 높아보이고 이번 소프트웨어 발표는 그를 위한 한 수라고 생각됩니다
> 온디바이스 AI 시장도 결국 내년부터 기존 CPU, AP 기업들에 엔비디아까지 참여하며 시장 확장과 경쟁 심화가 일어날 가능성이 높아보입니다
관련 기사 : 무엇을 말하세요? 챗 위드 RTX, NVIDIA RTX AI PC에 맞춤형 챗봇 제공
https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
BK TechInsight 텔레그램 채널 : https://news.1rj.ru/str/Barbarian_Global_Tech
바바리안 리서치 네이버 프리미엄 콘텐츠 : https://contents.premium.naver.com/barbarian/stockideas
- 오늘 Nvidia가 자사 소비자용 GPU 인 RTX 30 이상 시리즈 (그래픽 메모리 8기가 이상) 에서 구동 가능한 "Chat with RTX" 를 선보였습니다
- Chat with RTX 는 온디바이스용 챗봇이며 Windows에서 생성 AI 기능을 지원합니다
- Nvidia RTX 를 사용하는 윈도우 PC에서 사용가능합니다
- 우선은 인터넷 검색은 아니고 윈도우 PC에 있는 텍스트 파일, PDF, 워드 파일, XML 등에 있는 내용을 기반으로 검색해서 답변을 줍니다.
- 단순히 RTX GPU 만 활용하는 것은 아니고 TensorRT-LLM, 검색 증강 생성 기능도 활용합니다
TensorRT-LLM 이 궁금하시면 바바리안의 지난 글 참고 부탁드립니다
- 소프트웨어 그게 돈이 됩니까? 2편 : TensorRT-LLM
https://contents.premium.naver.com/barbarian/stockideas/contents/230911105743331sn
함의점
- 이번 기사는 엔비디아가 온디바이스에 진심이고
Cuda 처럼 하드웨어와 소프트웨어를 동시에 활용하여 경쟁력을 갖추려고 한다는 것을 알 수 있습니다
1) 결국 CPU는 출시할 가능성 높음
- 지금 온디바이스 시장은 CPU 기업들이 CPU에 GPU와 NPU를 붙이는 방식으로 먹어가려고 하고 있습니다
> 이렇게 흘러가면 엔비디아는 온디바이스 시장에서는 입지가 좁아질 수 밖에 없는데요
이를 타개하기 위해 게이밍 GPU를 우선적으로 활용하려는 것으로 보입니다.
> 다만, 점점 더 소비장 시장에서는 애플과 같은 CPU+GPU+NPU 통합 구조가 대세가 되고 있기 때문에
당장은 GPU를 통해 필요한 생태계를 구축하고 내년에 루머로만 있는 ARM 기반의 PC 용 CPU와
지금의 GPU를 소형화 하여 결합한 뒤 출시할 가능성이 높아보입니다
> 온디바이스 시장에 대응하기 위해 Nvidia의 CPU 출시는 필연적일 것으로 보입니다
2) 하드웨어- 소프트웨어 수직계열화를 통한 경쟁력 확보
- 이번 발표를 보면 특이점이 TensorRT-LLM 기술을 기반으로 AI 애플리케이션이 제작되도록 하는 것입니다.
- 동일한 하드웨어에서도 더 빠르게 LLM 기반의 AI 모델이 실행될 수 있게 하는 TensorRT-LLM 기술은 엔비디아 하드웨어에서만 지원됩니다
> 이를 통해 같은 온디바이스 AI 라더라도 엔비디아가 가장 빠를 것이고 이에 따라 생태계도 구축되는 것을 노릴 것으로 보입니다.
3) 온디바이스 AI에서 중요한 것은 램
- 이번 발표에서 특이한 점 중 하나는 RTX 30 이상 시리즈 중 램 8기가 이상인데요
- 온디바이스 AI 추론 작업이 이루어질 때 컴퓨팅 보다 중요한 것은 램이고 꽤 많이 필요하다는 것을 알 수 있습니다
- 온디바이스 AI 추론 작업이 보편화되면 PC / 스마트폰이 기본적으로 요구하는 디램 용량이 크게 증가할 것으로 예상됩니다
결론
> 온디바이스 AI 시장에서는 별다른 모습을 보여주고 있지 않은 엔비디아가 역시나 칼을 갈고 준비하고 있는 모습인데요
> 결국 내년 온디바이스 AI 시장에서 엔비디아가 시장에 영향을 줄만한 제품을 내놓을 가능성이 높아보이고 이번 소프트웨어 발표는 그를 위한 한 수라고 생각됩니다
> 온디바이스 AI 시장도 결국 내년부터 기존 CPU, AP 기업들에 엔비디아까지 참여하며 시장 확장과 경쟁 심화가 일어날 가능성이 높아보입니다
관련 기사 : 무엇을 말하세요? 챗 위드 RTX, NVIDIA RTX AI PC에 맞춤형 챗봇 제공
https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
BK TechInsight 텔레그램 채널 : https://news.1rj.ru/str/Barbarian_Global_Tech
바바리안 리서치 네이버 프리미엄 콘텐츠 : https://contents.premium.naver.com/barbarian/stockideas
Naver
Nvidia, 소프트웨어 그게 돈이 됩니까 2편 : TensorRT-LLM
안녕하세요 바바리안 리서치 김병건 연구원입니다. 최근 엔비디아의 소프트웨어 사업이 과연 돈이 될지에 관한 글을 올려드렸습니다. https://contents.premium.naver.com/barbarian/stockideas/contents/2309061628258
👍4
Forwarded from 퀀텀 알고리즘
✅ [액침 냉각 관련주]
GST: 수랭식 열교환 시스템인 이머전 쿨링 시스템(Immersion Cooling System) 개발 중
케이엔솔: 액침냉각 글로벌 1위 Submer와 파트너쉽
인성정보 : 자회사 아이넷뱅크가 Vertiv 한국 파트너
< 과거 기사 참고>
‘AI서버’를 액체에 담가 ‘액침냉각’… 전력사용량 37% 감축
https://naver.me/G7ZWVgjR
대기업도 군침…‘액침냉각’이 뭐길래 [BUSINESS]
https://naver.me/5pHLfDwj
반도체 장비사 GST, IDC 액침냉각 시장 진출
https://www.thelec.kr/news/articleView.html?idxno=21012
[특징주]케이엔솔, 삼성·SK AI데이터센터 필수 액침냉각 진출… 글로벌 1위 협력↑
https://naver.me/xVA0eKq4
[인터뷰] ‘대세는 공랭식’ 데이터 센터 겨냥한 버티브의 냉각 솔루션
https://www.hellot.net/news/article.html?no=80853
GST: 수랭식 열교환 시스템인 이머전 쿨링 시스템(Immersion Cooling System) 개발 중
케이엔솔: 액침냉각 글로벌 1위 Submer와 파트너쉽
인성정보 : 자회사 아이넷뱅크가 Vertiv 한국 파트너
< 과거 기사 참고>
‘AI서버’를 액체에 담가 ‘액침냉각’… 전력사용량 37% 감축
https://naver.me/G7ZWVgjR
대기업도 군침…‘액침냉각’이 뭐길래 [BUSINESS]
https://naver.me/5pHLfDwj
반도체 장비사 GST, IDC 액침냉각 시장 진출
https://www.thelec.kr/news/articleView.html?idxno=21012
[특징주]케이엔솔, 삼성·SK AI데이터센터 필수 액침냉각 진출… 글로벌 1위 협력↑
https://naver.me/xVA0eKq4
[인터뷰] ‘대세는 공랭식’ 데이터 센터 겨냥한 버티브의 냉각 솔루션
https://www.hellot.net/news/article.html?no=80853
Naver
‘AI서버’를 액체에 담가 ‘액침냉각’… 전력사용량 37% 감축
SKT, 최대 과제 전력난 해결 인천=이승주 기자 sj@munhwa.com SK그룹이 전 세계를 강타한 인공지능(AI) 혁명의 그림자인 데이터센터의 과도한 전력 사용 문제를 해결하는 데 앞장서고 있다. 특히 전력 사
👍4❤1
Forwarded from [대신증권 류형근] 반도체
Tech News Update (2024.02.15)
[삼성증권 반도체 소부장/류형근]
■ SK하이닉스, 16단 HBM3e 기술 첫 공개
- 20일 ISSCC 2024 컨퍼런스에서 16단 HBM3e 기술을 세계 최초로 공개할 예정. 단일 스택에서 1280GB/s를 처리할 수 있는 제품.
- HBM3e 12단 제품: 2023년 샘플을 고객사에 공급하고, 올해 상반기 본격 양산할 계획.
■ 2023년 글로벌 웨이퍼 출하량 14.3% 감소
- 14일 SEMI에 따르면, 2023년 글로벌 실리콘 웨이퍼 출하량은 전년대비 14.3% 감소.
- 재고조정과 반도체 수요 둔화 영향. 2023년 하반기 출하량이 상반기 대비 9% 감소했다는 설명.
■ SK하이닉스, 낸드 인원 이동 잠정 중단
- 업계에 따르면, SK하이닉스는 작년 하반기부터 추진해오던 이천 낸드 생산 조직을 청주로 이동하는 방안을 잠정 중단.
- HBM 생산에 역량을 총 동원할 필요성이 증가. 현재 M15 P3에서 TSV 라인이 셋업.
■ LPCAMM
- On Device AI가 부상하며, LPCAMM이 차세대 DRAM으로 부상. 모바일용 DRAM 규격으로 전력 소모가 적은 LPDDR5 칩을 여러 개를 묶어 고용량을 구현한 제품.
- 삼성전자: 2023년 9월 전력효율을 70% 이상 높인 LPCAMM 제품을 공개 (초당 7.5Gb를 전송). 기존 규격인 SO-DIMM 대비 얇고, 작아 보다 얇고 가벼운 노트북 설계와 더 큰 배터리 탑재 공간 확보 가능. 인텔 플랫폼에서 동작 검증을 마친 가운데 올해 상용화에 나설 전망.
- SK하이닉스: 2023년 11월 초당 9.6Gb를 전송하는 LPCAMM2를 개발. 전력 소비량을 50% 축소.
- 마이크론: 초당 9.6Gb를 전송하며, 크기와 전력 소비가 60% 넘게 작은 LPCAMM2 제품을 발표. 올해 상반기 출시 예상.
■ Tokyo Electron, 신규 식각 장비 2025년 출하 전망
- Tokyo Electron이 차세대 식각 장비를 2025년부터 고객사에 공급할 것이라고 발표. 400단 급 이상 3D NAND Channel Hole Etching을 타겟으로 개발된 장비. 현재 Channel Hole Etching 시장은 램리서치가 100% 점유율을 차지.
- 차세대 장비의 특징은 극저온에서 고속으로 식각이 진행된다는 점. 아르곤 가스, 불화탄소 (CF) 계열 가스, 새로운 Recipe 가스가 사용될 예정.
■ 하이브리드 본딩
- 14일 업계에 따르면 하이브리드 본딩 기술 확보를 위한 전략적 협력이 추진.
- 대표 협업 사례: Applied Materials와 BE Semiconductor, ASMPT와 EV그룹(EVG)이 있으며, Tokyo Electron과 시바우라 메카트로닉스, 한화정밀기계과 제우스 등도 협력을 진행 중.
감사합니다.
[삼성증권 반도체 소부장/류형근]
■ SK하이닉스, 16단 HBM3e 기술 첫 공개
- 20일 ISSCC 2024 컨퍼런스에서 16단 HBM3e 기술을 세계 최초로 공개할 예정. 단일 스택에서 1280GB/s를 처리할 수 있는 제품.
- HBM3e 12단 제품: 2023년 샘플을 고객사에 공급하고, 올해 상반기 본격 양산할 계획.
■ 2023년 글로벌 웨이퍼 출하량 14.3% 감소
- 14일 SEMI에 따르면, 2023년 글로벌 실리콘 웨이퍼 출하량은 전년대비 14.3% 감소.
- 재고조정과 반도체 수요 둔화 영향. 2023년 하반기 출하량이 상반기 대비 9% 감소했다는 설명.
■ SK하이닉스, 낸드 인원 이동 잠정 중단
- 업계에 따르면, SK하이닉스는 작년 하반기부터 추진해오던 이천 낸드 생산 조직을 청주로 이동하는 방안을 잠정 중단.
- HBM 생산에 역량을 총 동원할 필요성이 증가. 현재 M15 P3에서 TSV 라인이 셋업.
■ LPCAMM
- On Device AI가 부상하며, LPCAMM이 차세대 DRAM으로 부상. 모바일용 DRAM 규격으로 전력 소모가 적은 LPDDR5 칩을 여러 개를 묶어 고용량을 구현한 제품.
- 삼성전자: 2023년 9월 전력효율을 70% 이상 높인 LPCAMM 제품을 공개 (초당 7.5Gb를 전송). 기존 규격인 SO-DIMM 대비 얇고, 작아 보다 얇고 가벼운 노트북 설계와 더 큰 배터리 탑재 공간 확보 가능. 인텔 플랫폼에서 동작 검증을 마친 가운데 올해 상용화에 나설 전망.
- SK하이닉스: 2023년 11월 초당 9.6Gb를 전송하는 LPCAMM2를 개발. 전력 소비량을 50% 축소.
- 마이크론: 초당 9.6Gb를 전송하며, 크기와 전력 소비가 60% 넘게 작은 LPCAMM2 제품을 발표. 올해 상반기 출시 예상.
■ Tokyo Electron, 신규 식각 장비 2025년 출하 전망
- Tokyo Electron이 차세대 식각 장비를 2025년부터 고객사에 공급할 것이라고 발표. 400단 급 이상 3D NAND Channel Hole Etching을 타겟으로 개발된 장비. 현재 Channel Hole Etching 시장은 램리서치가 100% 점유율을 차지.
- 차세대 장비의 특징은 극저온에서 고속으로 식각이 진행된다는 점. 아르곤 가스, 불화탄소 (CF) 계열 가스, 새로운 Recipe 가스가 사용될 예정.
■ 하이브리드 본딩
- 14일 업계에 따르면 하이브리드 본딩 기술 확보를 위한 전략적 협력이 추진.
- 대표 협업 사례: Applied Materials와 BE Semiconductor, ASMPT와 EV그룹(EVG)이 있으며, Tokyo Electron과 시바우라 메카트로닉스, 한화정밀기계과 제우스 등도 협력을 진행 중.
감사합니다.
👍4❤1
Forwarded from 루팡
ASML, 반도체 시장 반등 조짐 확인
CFO Dassen은 회사의 연례 보고서에서 '회복은 초기 단계'라고 밝혔습니다.
ASML 제품에 대한 수요는 칩 산업의 지표입니다.
ASML Holding는 반도체 시장이 최악의 상황에 도달했으며 이제 반등 조짐이 나타나고 있다고 말했습니다.
ASML 최고재무책임자(CFO) 로저 다센(Roger Dassen) 은 수요일에 발표된 회사의 2023년 연례 보고서에서 “우리는 시장이 이제 최저점에 도달했다고 믿는다”고 말했다. "앞으로의 경사의 정확한 성격을 예측할 수는 없지만 회복은 초기 단계입니다."
https://www.bloomberg.com/news/articles/2024-02-14/asml-sees-signs-of-rebound-with-semiconductor-market-at-nadir
CFO Dassen은 회사의 연례 보고서에서 '회복은 초기 단계'라고 밝혔습니다.
ASML 제품에 대한 수요는 칩 산업의 지표입니다.
ASML Holding는 반도체 시장이 최악의 상황에 도달했으며 이제 반등 조짐이 나타나고 있다고 말했습니다.
ASML 최고재무책임자(CFO) 로저 다센(Roger Dassen) 은 수요일에 발표된 회사의 2023년 연례 보고서에서 “우리는 시장이 이제 최저점에 도달했다고 믿는다”고 말했다. "앞으로의 경사의 정확한 성격을 예측할 수는 없지만 회복은 초기 단계입니다."
https://www.bloomberg.com/news/articles/2024-02-14/asml-sees-signs-of-rebound-with-semiconductor-market-at-nadir
Bloomberg.com
ASML Sees Signs of Rebound With Semiconductor Market at Nadir
ASML Holding NV said the semiconductor market has reached its nadir and there are now are signs of a rebound.
👍1