Forwarded from 올바른
엔비디아, 10월부터 H100 GPU LLM 추론속도 2배 빨라질 것 (자료: NVDA IR)
→ "H100 두 배 빨리 사용하고 싶다면 소프트웨어도 구독하시오"와 비슷. 가격은 비싸져도 가격대비 컴퓨팅은 좋아지기에 엔비디아에겐 더 비싸게 받지만, 고객인 기업 입장에선 더 '저렴한 옵션'을 만든셈
- 10월에 TensorRT-LLM 소프트웨어 출시 시, 주요 LLM의 추론실행성능 2배 늘릴 것. LLM 추론 성능을 가속시키기 위해 Databricks, Cohere, Mistral AI, mosaicML 등 주요 스타트업과 긴밀히 협력 중
- H100만 사용 시 A100보다 4배 빨라지지만(in inference), TensorRT-LLM 전용 SW 사용 시 8배 빨라질 것. 사용하기도 쉬움. API를 통해 적용 (TensorRT-LLM Python API)
- 또한 TensorRT-LLM 사용 시 모델 가중치를 기존의 대부분 16비트(FP16)가 아닌 FP8로 쉽게 변환할 수 있는 기능 제공. 코드 변환할 필요없이, 모델 정확도 해치지 않으며 양자화시켜 메모리 소비 줄이기 가능. H100의 등급을 A100에 비해 압도적으로 한 번 더 올린 셈
- 일단 얼리액세스기 때문에 NVIDIA AI Enterprise 라인업 중 NeMo 프레임워크에 통합될 예정. 이제 엔비디아는 소프트웨어로도 해자 창출하기 시작. "H100 두 배 더 빨리 사용하고 싶다면 소프트웨어도 구독하시오"
→ "H100 두 배 빨리 사용하고 싶다면 소프트웨어도 구독하시오"와 비슷. 가격은 비싸져도 가격대비 컴퓨팅은 좋아지기에 엔비디아에겐 더 비싸게 받지만, 고객인 기업 입장에선 더 '저렴한 옵션'을 만든셈
- 10월에 TensorRT-LLM 소프트웨어 출시 시, 주요 LLM의 추론실행성능 2배 늘릴 것. LLM 추론 성능을 가속시키기 위해 Databricks, Cohere, Mistral AI, mosaicML 등 주요 스타트업과 긴밀히 협력 중
- H100만 사용 시 A100보다 4배 빨라지지만(in inference), TensorRT-LLM 전용 SW 사용 시 8배 빨라질 것. 사용하기도 쉬움. API를 통해 적용 (TensorRT-LLM Python API)
- 또한 TensorRT-LLM 사용 시 모델 가중치를 기존의 대부분 16비트(FP16)가 아닌 FP8로 쉽게 변환할 수 있는 기능 제공. 코드 변환할 필요없이, 모델 정확도 해치지 않으며 양자화시켜 메모리 소비 줄이기 가능. H100의 등급을 A100에 비해 압도적으로 한 번 더 올린 셈
- 일단 얼리액세스기 때문에 NVIDIA AI Enterprise 라인업 중 NeMo 프레임워크에 통합될 예정. 이제 엔비디아는 소프트웨어로도 해자 창출하기 시작. "H100 두 배 더 빨리 사용하고 싶다면 소프트웨어도 구독하시오"
Forwarded from 한투증권 중국/신흥국 정정영
* 1선도시 중 광저우시가 가장 열심히히 부동산 지원책 추진 중. 다른 도시들도 자극받기 시작하겠군요
=========================
• 첫주택대출 구매 선수금 비율 30% & 대출금리 하한 LPR-10bp 등 1선도시 중 처음으로 부동산 대출금리를 LPR 이하로 설정. 2주택자 구매 선수금 비율 40% & 대출금리 하한 LPR+30bp. 9/8부터 시행
广州首套房贷突破LPR下限，成为首个突破下限的一线城市 广州日报报道，9月9日，从多家中介机构了解到，在广州首套住房商业性个人住房贷款最低首付比例为不低于30%，利率下限为LPR-10BP；二套住房商业性个人住房贷款最低首付比例为不低于40%，利率下限为LPR+30BP；在广州有2套房及2套以上，暂停发放。新政从9月8日起执行，9月8号之前（不含9月8号）已完成买卖合同或房地产买卖合同网签的，按原规定执行。
=========================
• 첫주택대출 구매 선수금 비율 30% & 대출금리 하한 LPR-10bp 등 1선도시 중 처음으로 부동산 대출금리를 LPR 이하로 설정. 2주택자 구매 선수금 비율 40% & 대출금리 하한 LPR+30bp. 9/8부터 시행
广州首套房贷突破LPR下限，成为首个突破下限的一线城市 广州日报报道，9月9日，从多家中介机构了解到，在广州首套住房商业性个人住房贷款最低首付比例为不低于30%，利率下限为LPR-10BP；二套住房商业性个人住房贷款最低首付比例为不低于40%，利率下限为LPR+30BP；在广州有2套房及2套以上，暂停发放。新政从9月8日起执行，9月8号之前（不含9月8号）已完成买卖合同或房地产买卖合同网签的，按原规定执行。
Forwarded from 한국경제 (@The Korea Economic Daily)
KT, 초거대 AI 확장…AI 스타트업 200억 투자
https://www.hankyung.com/article/202309106912i
https://www.hankyung.com/article/202309106912i
한국경제
KT, 초거대 AI 확장…AI 스타트업 200억 투자
KT, 초거대 AI 확장…AI 스타트업 200억 투자, 올 하반기 들어 두 번째 투자 AI B2B·B2C ‘두 마리 토끼’ 노린다 김영섭 대표 “속도전에서 협업 필수”
Forwarded from 한투증권 중국/신흥국 정정영
* 중국에서도 반도체 재고조정 마무리 & 회복 사이클 진입 예상
=========================
~ 하지만 장기 전망은 여전히 긍정적이다. 안루커지 CFO는 "재고가 점차 줄고 통신과 신흥 산업 등에서 수요가 성장하며 반도체 시장은 바닥을 찍고 회복한다"고 예상했다
~ 중국 크리스탈그로우스·에너지 장비(Crystal Growth&Energy Equipment Co Ltd)의 리후이 동사장도 "최근 일부 고객으로부터 프로젝트 업데이트 계획을 받았다"며 "이를 보면 국내 시장은 최저점을 통과해 (재고) 조정 기간을 점차 벗어날 것으로 전망된다"고 말했다
https://www.theguru.co.kr/mobile/article.html?no=59729
=========================
~ 하지만 장기 전망은 여전히 긍정적이다. 안루커지 CFO는 "재고가 점차 줄고 통신과 신흥 산업 등에서 수요가 성장하며 반도체 시장은 바닥을 찍고 회복한다"고 예상했다
~ 중국 크리스탈그로우스·에너지 장비(Crystal Growth&Energy Equipment Co Ltd)의 리후이 동사장도 "최근 일부 고객으로부터 프로젝트 업데이트 계획을 받았다"며 "이를 보면 국내 시장은 최저점을 통과해 (재고) 조정 기간을 점차 벗어날 것으로 전망된다"고 말했다
https://www.theguru.co.kr/mobile/article.html?no=59729
www.theguru.co.kr
[더구루] 반도체 회복 신호 뚜렷…장기 전망 여전히 좋아
[더구루=오소영 기자] 반도체 시장이 최저점을 지나고 있다고 분석이 나왔다. 상반기 바닥을 찍은 후 반등해 내년부터 본격 회복세에 접어들 전망이다. 10일 중국 국영 매체 증권시보(STCN) 등 외신에 따르면 안루커지 차이나리소시스마이크로일렉트로닉스(China Resources Microelectronics) 최고재무책임자(CFO)는 4일(현지시간) '20
Forwarded from 엄브렐라리서치 Anakin의 투자노트
엄브렐라리서치 Anakin의 투자노트
https://wccftech.com/nvidia-ai-gpu-shortage-could-last-till-2025-due-to-supply-constraints-says-tsmc/
TSMC의 CoWoS capa가 8월을 기점으로 mom 상승하는 추세입니다. 그럼에도 불구하고, 수요가 폭증하고 있기 때문에 무려 2025년까지 GPU 숏티지는 지속될 것이라는 전망입니다. 원래는 2024년말이었는데, 그 사이에 기간이 늘었습니다.
공급이 늘어나고 있는건 분명한데, (장비 발주가 나오고 있기 때문) 숏티지 기간이 더 증가했다는 의미는 수요의 증가세가 더 강하다는 것을 의미합니다. AI GPU의 숏티지 증가가 심각할수록 CoWoS 및 2.5D 패키징의 전반적인 수요 증가세는 더욱 빨라질 것이며, 마찬가지로 HBM 수요는 더 좋아질 것입니다.
특히 내년부터는 HBM3E가 나오면서 DRAM 적층수가 더 높아지는 효과가 발생되고, 동시에 엔비디아의 GH200이 나오면서 HBM의 용량도 대폭 상향됩니다. 즉, 대당 HBM 탑재량과 HBM내 DRAM 적층수가 증가하는 시기가 도래합니다.
공급이 늘어나고 있는건 분명한데, (장비 발주가 나오고 있기 때문) 숏티지 기간이 더 증가했다는 의미는 수요의 증가세가 더 강하다는 것을 의미합니다. AI GPU의 숏티지 증가가 심각할수록 CoWoS 및 2.5D 패키징의 전반적인 수요 증가세는 더욱 빨라질 것이며, 마찬가지로 HBM 수요는 더 좋아질 것입니다.
특히 내년부터는 HBM3E가 나오면서 DRAM 적층수가 더 높아지는 효과가 발생되고, 동시에 엔비디아의 GH200이 나오면서 HBM의 용량도 대폭 상향됩니다. 즉, 대당 HBM 탑재량과 HBM내 DRAM 적층수가 증가하는 시기가 도래합니다.
Forwarded from 엄브렐라리서치 Anakin의 투자노트
예전에 DRAM과 HBM의 차이에 대한 글을 올려드린 적이 있는데, 이때 생각과 여전히 동일합니다.
가장 근본적인 차이는 HBM은 1) 범용제품이 아니고 주문제작 형식이기 때문에 가격이 메모리처럼 지속 하향할 수 없으며, 2) AI GPU가 신제품이 매년 나오듯이 HBM도 신제품이 매년 나온다는 점입니다.
신제품이 매년 나온다는 점은 아주 중요합니다. 새로운 버젼이 등장하면서 가격을 계속 유지할 수 있게 되고, 성능이 계속 발전하면서 당연히 ASP 프리미엄도 유지할 수 있게 됩니다. DRAM은 거의 7~8년 주기로 DDR 사이클이 변화하는데 HBM은 매년 탑재 단수가 계속 높아지면서 HBM3E, HBM3E advanced, HBM4 등으로 계속 새로운 버젼이 등장하게 됩니다.
가장 근본적인 차이는 HBM은 1) 범용제품이 아니고 주문제작 형식이기 때문에 가격이 메모리처럼 지속 하향할 수 없으며, 2) AI GPU가 신제품이 매년 나오듯이 HBM도 신제품이 매년 나온다는 점입니다.
신제품이 매년 나온다는 점은 아주 중요합니다. 새로운 버젼이 등장하면서 가격을 계속 유지할 수 있게 되고, 성능이 계속 발전하면서 당연히 ASP 프리미엄도 유지할 수 있게 됩니다. DRAM은 거의 7~8년 주기로 DDR 사이클이 변화하는데 HBM은 매년 탑재 단수가 계속 높아지면서 HBM3E, HBM3E advanced, HBM4 등으로 계속 새로운 버젼이 등장하게 됩니다.
Forwarded from 엄브렐라리서치 Anakin의 투자노트
https://www.epnc.co.kr/news/articleView.html?idxno=236383
내년 D램 37%, 낸드 32% 상승
재고감소로 회복세 보여
▶️가파른 회복 예상돼
메모리 등 현물 가격이 지난 2년간 가파른 하락세를 보이다 최근 안정세를 보이고 있다. 메모리 분야는 생산과 지출 삭감으로 올해 4분기부터 재고 감소를 발판삼아 2024년엔 회복세를 보일 것으로 전망된다. 2023년 메모리 분야 설비 투자는 27% 감소해 2019년과 동일한 수준이다.
내년 D램 37%, 낸드 32% 상승
재고감소로 회복세 보여
▶️가파른 회복 예상돼
메모리 등 현물 가격이 지난 2년간 가파른 하락세를 보이다 최근 안정세를 보이고 있다. 메모리 분야는 생산과 지출 삭감으로 올해 4분기부터 재고 감소를 발판삼아 2024년엔 회복세를 보일 것으로 전망된다. 2023년 메모리 분야 설비 투자는 27% 감소해 2019년과 동일한 수준이다.
www.epnc.co.kr
메모리 반도체 시장 회복 소식에 국내 기업 웃음 되찾을까 - 테크월드뉴스
[테크월드뉴스=박예송 기자] 올해 1분기 이후로 메모리 반도체 D램과 낸드 매출이 반등하는 모습을 보이며 메모리 반도체 시장의 회복이 전망된다. 계속되는 한파로 부진하던 메모리 업계에 훈풍이 불지 기대를 ...