[서울 신세계백화점 본점 면세점 MLB, 디스커버리 매장 근황]

by BRILLER(t.me/BRILLER_Research)

지난 9월 1일 서울 신세계백화점 본점 면세점에서 몸 좋고 잘생긴 동생이 직접 찍어서 보내준 사진👍🏻

9월 들어와서 박스도 쌓이기 시작하고 기사로 접해도 유커들의 mlb 사랑이 다시 시작된 듯 합니다.

엔비디아, 10월부터 H100 GPU LLM 추론속도 2배 빨라질 것 (자료: NVDA IR)

→ "H100 두 배 빨리 사용하고 싶다면 소프트웨어도 구독하시오"와 비슷. 가격은 비싸져도 가격대비 컴퓨팅은 좋아지기에 엔비디아에겐 더 비싸게 받지만, 고객인 기업 입장에선 더 '저렴한 옵션'을 만든셈

- 10월에 TensorRT-LLM 소프트웨어 출시 시, 주요 LLM의 추론실행성능 2배 늘릴 것. LLM 추론 성능을 가속시키기 위해 Databricks, Cohere, Mistral AI, mosaicML 등 주요 스타트업과 긴밀히 협력 중

- H100만 사용 시 A100보다 4배 빨라지지만(in inference), TensorRT-LLM 전용 SW 사용 시 8배 빨라질 것. 사용하기도 쉬움. API를 통해 적용 (TensorRT-LLM Python API)

- 또한 TensorRT-LLM 사용 시 모델 가중치를 기존의 대부분 16비트(FP16)가 아닌 FP8로 쉽게 변환할 수 있는 기능 제공. 코드 변환할 필요없이, 모델 정확도 해치지 않으며 양자화시켜 메모리 소비 줄이기 가능. H100의 등급을 A100에 비해 압도적으로 한 번 더 올린 셈

- 일단 얼리액세스기 때문에 NVIDIA AI Enterprise 라인업 중 NeMo 프레임워크에 통합될 예정. 이제 엔비디아는 소프트웨어로도 해자 창출하기 시작. "H100 두 배 더 빨리 사용하고 싶다면 소프트웨어도 구독하시오"

미용 의료기기 하반기 이벤트