Forwarded from 프리라이프
#HBF #김정호 교수님
https://m.edaily.co.kr/News/Read?mediaCodeNo=257&newsId=06163126645346912
김정호 KAIST 전기및전자공학부 교수는 3일 열린 ‘KAIST 테라랩(TERALAB) HBF(고대역폭 플래시) 기술개발 성과·로드맵·상품화 전략 발표회’에서 연구실 대학원생들이 수행한 속도·워크로드 분석 결과를 공개하며 “AI 성능을 결정하는 핵심 병목은 이제 GPU가 아니라 메모리 구조”라고 강조했다. 그는 “이론이나 감이 아니라 학생들이 직접 모델링과 시뮬레이션으로 검증한 결과”라고 말했다.
김 교수는 같은 조건에서 HBF를 제외하고 HBM만 쓰는 경우를 가정하면 “첫 토큰이 나오는데 10분 정도 걸리고, 토큰 생성 속도도 10분의 1 수준으로 떨어진다”고 덧붙였다.
왜 HBF가 필요한가…KV 캐시의 폭증
학생들의 모델 분석에 따르면 문제는 연산량이 아니라 메모리에 쌓이는 데이터의 성격이다. AI 모델 가중치(웨이트)는 수십 GB 수준으로 HBM에 수용 가능하지만, 문맥을 유지하기 위한 KV 캐시는 수백 GB에서 수 TB까지 급증한다.
김 교수는 4000억 파라미터급 대형 모델을 예로 들며 “어텐션 관련 데이터만 약 270GB, KV 캐시는 최대 2TB 이상이 필요하다”며 “이 정도 규모에서는 HBM만으로는 아무 일도 할 수 없다. MoE 구조가 확산되는 이유도 결국 메모리 때문”이라고 말했다.
동시 사용자 늘릴수록 ‘HBM 한계’는 더 빨리 온다
학생들은 동시 사용자 수와 컨텍스트 길이에 따른 메모리 요구량도 분석했다. 그 결과 동시 사용자 64명, 컨텍스트 길이 1만 토큰 수준까지는 HBM으로 대응 가능하지만, 컨텍스트 길이가 10만 토큰을 넘어서면 HBF 없이는 불가능하다는 결론이 제시됐다.
김 교수는 “AI 서비스를 키우려면 사용자를 늘려야 하는데, 사용자를 늘릴수록 메모리 요구량은 기하급수적으로 커진다”며 “GPU를 늘리는 것만으로는 해결되지 않는다”고 설명했다.
김 교수는 트랜스포머 모델이 한 번에 대량의 데이터를 불러와 처리하고, 폰 노이만 구조는 메모리와 연산 장치가 분리돼 있다는 점을 들어 “이 조합이 유지되는 한 병목은 필연적으로 메모리에서 발생한다”고 말했다.
https://m.edaily.co.kr/News/Read?mediaCodeNo=257&newsId=06163126645346912
김정호 KAIST 전기및전자공학부 교수는 3일 열린 ‘KAIST 테라랩(TERALAB) HBF(고대역폭 플래시) 기술개발 성과·로드맵·상품화 전략 발표회’에서 연구실 대학원생들이 수행한 속도·워크로드 분석 결과를 공개하며 “AI 성능을 결정하는 핵심 병목은 이제 GPU가 아니라 메모리 구조”라고 강조했다. 그는 “이론이나 감이 아니라 학생들이 직접 모델링과 시뮬레이션으로 검증한 결과”라고 말했다.
김 교수는 같은 조건에서 HBF를 제외하고 HBM만 쓰는 경우를 가정하면 “첫 토큰이 나오는데 10분 정도 걸리고, 토큰 생성 속도도 10분의 1 수준으로 떨어진다”고 덧붙였다.
왜 HBF가 필요한가…KV 캐시의 폭증
학생들의 모델 분석에 따르면 문제는 연산량이 아니라 메모리에 쌓이는 데이터의 성격이다. AI 모델 가중치(웨이트)는 수십 GB 수준으로 HBM에 수용 가능하지만, 문맥을 유지하기 위한 KV 캐시는 수백 GB에서 수 TB까지 급증한다.
김 교수는 4000억 파라미터급 대형 모델을 예로 들며 “어텐션 관련 데이터만 약 270GB, KV 캐시는 최대 2TB 이상이 필요하다”며 “이 정도 규모에서는 HBM만으로는 아무 일도 할 수 없다. MoE 구조가 확산되는 이유도 결국 메모리 때문”이라고 말했다.
동시 사용자 늘릴수록 ‘HBM 한계’는 더 빨리 온다
학생들은 동시 사용자 수와 컨텍스트 길이에 따른 메모리 요구량도 분석했다. 그 결과 동시 사용자 64명, 컨텍스트 길이 1만 토큰 수준까지는 HBM으로 대응 가능하지만, 컨텍스트 길이가 10만 토큰을 넘어서면 HBF 없이는 불가능하다는 결론이 제시됐다.
김 교수는 “AI 서비스를 키우려면 사용자를 늘려야 하는데, 사용자를 늘릴수록 메모리 요구량은 기하급수적으로 커진다”며 “GPU를 늘리는 것만으로는 해결되지 않는다”고 설명했다.
김 교수는 트랜스포머 모델이 한 번에 대량의 데이터를 불러와 처리하고, 폰 노이만 구조는 메모리와 연산 장치가 분리돼 있다는 점을 들어 “이 조합이 유지되는 한 병목은 필연적으로 메모리에서 발생한다”고 말했다.
이데일리
김정호 KAIST 교수의 AI 전망② “HBM만으로는 10분, HBF를 붙이자 43초”
AI 컴퓨팅의 병목이 연산(GPU)이 아니라 메모리라는 주장이 실험·분석 데이터로 제시됐다. 김정호 KAIST 전기및전자공학부 교수는 3일 열린 ‘KAIST 테라랩(TERALAB) HBF(고대역폭 플래시) 기술개발 성과·로드맵·상품화 전략 발표회’에서 연구실 대학...
❤6
Forwarded from 돼지바
AI 데이터센터를 우주로…뉴스페이스 시대, K전자 새 성장판 열린다
https://www.newsis.com/view/NISX20260212_0003513386
https://www.newsis.com/view/NISX20260212_0003513386
뉴시스
AI 데이터센터를 우주로…뉴스페이스 시대, K전자 새 성장판 열린다
[서울=뉴시스]이인준 기자 = 민간 주도의 뉴스페이스(New Space) 시대가 본격화하면서 국내 전자 업계의 우주를 향한 행보가 빨라지고 있다.우주 산업은 반도체와 전력, 소재, 통신 등 첨단 기술이 집약된 산업이다. 막대한 수요를 창출하는 차세대 거대 시장으로 부상할 것이라는 기대가 커진다.14일 업계에 따르면 일론 머스크가 이끄는 미국 우주기업 스페이..
❤1
Forwarded from 우산 X NNN의 아이디어
■ 지엔씨에너지_오픈AI 데이터센터의 비상용 발전기는 누구 몫?
* 다양한 차트는 첨부된 블로그 링크에서 확인 가능합니다.
** 포스팅한 관심섹터와 관심종목에 대해 매수/매도 의견을 제안하지 않습니다.
*** 포스팅 작성 시점 관련 종목 보유여부를 확인해 드릴 수 없습니다.
지난 화요일(26.02.11) 언론기사 보면 배경훈 과기부 장관이 오픈AI가 삼성/SK 등과 국내 데이터센터 건설을 추진중이고 26.03월 목표로 한다고 합니다. 이 곳의 비상용 발전기는 누구 몫일까 생각하면 유력한 후보로 지엔씨에너지이지 않을까 싶습니다. 제 추측입니다.
우리나라 언론도 외신을 가져온 것인데 해당 프로젝트는 오픈AI/삼성SDS/SK텔레콤 합작 법인형태로 진행되며 전남과 경북 포항에 20MW 데이터센터 2곳을 지을 것이라는 예상입니다. 단순 수전용량 보면 규모 큰 것이 아닌데 아마 단계를 나눠 진행해서 그럴 것입니다.
기사 헤드라인들은 26.03월 데이터센터 착공을 못 박은 것처럼 표현하였으나 오픈AI 관계자는 논의 단계이고 또 착공 시점 확인하기 어렵다고 합니다. 스케쥴 분명하게 정해진 것이 아닌가 봅니다. 그런데 국가 차원에서 보면 보통 프로젝트 아닐테니 인허가등 행정적인 부분 적극적으로 지원 받을 수 있지 않을까 생각합니다.
지엔씨에너지 작년 SK아마존 울산 데이터센터 포함하여 네이버, LG CNS 등 국내 대기업 뿐만 아니라 글로벌 기업들과도 문제 없이 일 잘 해왔습니다. 오픈AI 데이터센터 비상용 발전기 누구 몫일까 생각해보면 머리에 한 곳이 저는 떠오릅니다. 관련 내용 계속 추적해보겠습니다.
https://blog.naver.com/beatthemkt/224183709450
* 다양한 차트는 첨부된 블로그 링크에서 확인 가능합니다.
** 포스팅한 관심섹터와 관심종목에 대해 매수/매도 의견을 제안하지 않습니다.
*** 포스팅 작성 시점 관련 종목 보유여부를 확인해 드릴 수 없습니다.
지난 화요일(26.02.11) 언론기사 보면 배경훈 과기부 장관이 오픈AI가 삼성/SK 등과 국내 데이터센터 건설을 추진중이고 26.03월 목표로 한다고 합니다. 이 곳의 비상용 발전기는 누구 몫일까 생각하면 유력한 후보로 지엔씨에너지이지 않을까 싶습니다. 제 추측입니다.
우리나라 언론도 외신을 가져온 것인데 해당 프로젝트는 오픈AI/삼성SDS/SK텔레콤 합작 법인형태로 진행되며 전남과 경북 포항에 20MW 데이터센터 2곳을 지을 것이라는 예상입니다. 단순 수전용량 보면 규모 큰 것이 아닌데 아마 단계를 나눠 진행해서 그럴 것입니다.
기사 헤드라인들은 26.03월 데이터센터 착공을 못 박은 것처럼 표현하였으나 오픈AI 관계자는 논의 단계이고 또 착공 시점 확인하기 어렵다고 합니다. 스케쥴 분명하게 정해진 것이 아닌가 봅니다. 그런데 국가 차원에서 보면 보통 프로젝트 아닐테니 인허가등 행정적인 부분 적극적으로 지원 받을 수 있지 않을까 생각합니다.
지엔씨에너지 작년 SK아마존 울산 데이터센터 포함하여 네이버, LG CNS 등 국내 대기업 뿐만 아니라 글로벌 기업들과도 문제 없이 일 잘 해왔습니다. 오픈AI 데이터센터 비상용 발전기 누구 몫일까 생각해보면 머리에 한 곳이 저는 떠오릅니다. 관련 내용 계속 추적해보겠습니다.
https://blog.naver.com/beatthemkt/224183709450
❤2