https://youtu.be/IPDAFffVsv0

이전의 성공이 이후에도 반복될거라는 보장은 없습니다. 여러분이 직면하게 될 미래는 과거의 데이터로 예측하기 어렵거든요.

명확한 비전 -> 실행 -> 실패/배움 -> 재도전, 명확한 비전이 없다면 술취한 사람과 같다.

이제껏 보지 못한 문제를 해결하려면 분야를 따지지 않고 모든 지식을 활용해야한다. 과목이나 분야로 지식을 나누는 대신에 목적을 이루는 데에 집중해야한다.

컴퓨터는 과학과 공학을 지배할 것입니다. (AI...)
- Economic: Cheaper than people
- Speed: Far faster
- Accuracy
- Reliability(Predictability)

기계는 연금을 받지도 개인적인 다툼을 하지도 않습니다.

인간의 장점은 여러분이 앞으로 풀어갈 것입니다.

좋은 인생을 만들려면 노력해야합니다.

많은 사람들이 목표를 이루면 행복할 거라고 믿죠. 하지만 오랜시간동안 많은 걸 공부하고 사람들과 대화를 나누면서 깨달은 것은 사람들은 그 목표를 이루는 순간이 아닌 목표에 다다를 때까지의 고난과 갈등을 통해 스스로를 이해하고 완성시킵니다.

언젠가 나이를 먹고 완성된 나를 인정해야할 때가 올 거에요. 여러분이 나이를 먹었을 때 어떤 모습으로 살아갈지 상상하세요.

그 미래를 위해 당장 움직이세요.

이 메세지가 수업의 핵심입니다. 물론 제 말이 항상 맞는 것은 아닙니다. 하지만 제가 이제껏 만난 수많은 사람들은 어려움 속에서 분투하며 탁월한 가치를 찾았죠.

저는 어렸을 때 영화를 자주 봤습니다. 토요일 친구와 하루종일 웃으며 영화를 봤습니다. 친구가 저에게 그렇게 웃긴 영화는 아니던데? 라고 말했고 친구말에 공감했습니다. 웃긴 장면이 많은 영화라고 웃긴 영화는 아니죠.

인생도 똑같습니다. 행복한 순간만 있다고 행복한 삶은 아닙니다. 진짜 행복한 삶은 그렇게 단조롭지 않아요. 기쁨만 있다고 좋은 삶이 아닙니다. 매일 아침이 항상 행복할 순없죠. 좋은 삶은 잔잔하게 다가옵니다.

진정으로 행복한 삶을 만들고 싶다면 목표를 정하고 그걸 이루기 위해서 노력하세요. 술취한 선원들처럼 멍하니 표류하지 말고요.

소크라테스는 되돌아보지 않는 삶은 가치가 없다고 했습니다.

[Multi-head attention의 본질은 무엇인가?]

제 본업인 최적화/경량화를 수행하기 위해서는 AI 모델이 구동하는 근본 원리와 이유에 대한 깊은 이해를 동반합니다. AI 반도체를 만들때에도 이러한 본질에 대한 이해는, 차별화된 반도체를 만들 수 있는 근거와 무기가 됩니다.
AI에 대한 교과서를 볼일이 거의 없다보니 최근 기본 개념에 대해 다른 사람들은 어떻게 설명하나, 강의는 어떻게 하나에 대해 관심을 가질때가 가끔 생기는데, Transformer에 대해 잘 설명하는 강의를 찾기가 쉽지 않더라고요.. (Transformer가 이렇게 중요해졌는데도..??) 언제 한번 기회되면 강의도 제 나름 다시 만들어보고 싶다는 생각도 가끔 하게 되는데 정말 시간이 없어서 그게 참 아쉽네요.

그 중에서 multi-head attention은, 어떤 분들에게는 처음 Transformer를 공부하게 될 때 고개를 갸우뚱 거리게 하는 동작들이 많을 수 있다는 생각을 합니다.. 왜 하필 multi-head attention 구조는 이렇게 만들었지? 왜 이런식으로 동작을 하는거지? 하는 부분이 많을 수 있을 것 같은데요, 저는 어떤 원리를 이해할 때, ‘아~ 나라도 이렇게 만들었겠다’ 싶을 때, 저는 어느정도 내 기준으로 이해를 했다고 만족을 하게 됩니다. 그렇지 않으면 꼭 나중에 제대로 이해를 못한 문제가 연구던 개발이던 발생을 하더라고요.. Transformer에 대해 전부 다 강의를 해볼 수 있으면 참 좋겠으나 오늘은 그중에서, multi-head attention에 대해 제 방식대로 설명을 해보려고 합니다 (저희팀은 이런식으로 AI 원리를 이해한다는 예로 봐주셔도 좋겠습니다)

1. 딥러닝의 놀라움은 random initialization 개념으로 부터 시작

Multi-head attention의 본질은 여기서부터 시작됩니다. 우리가 ResNet이나 BERT같은 모델들을 구동할 때 정말 놀라운 것은 아무 숫자나 (물론 Gaussian Distribution같은 모형은 가정하고) random하게 시작을 해도 학습을 통해서 최종 accuracy는 그렇게 크기 바뀌지 않는다는 사실입니다. 생각할수록 놀라운 결과입니다. 왜냐하면 맨 처음 시작점과 끝점을 연결해서 물리적인 distance같은 개념을 가져오더라도 어마어마하게 시작점부터 멀리가는 것도 아니기 때문입니다. 또한 많은 해가 존재할 수는 있지만 어떻게 그 많은 최종 결과들의 성능이 비슷비슷해질 수 있는지 놀라운 점도 있습니다. 이에 대한 연구결과도 무수히 많았는데 특히 Lottery Ticker Hypothesis는 이를 설명할 수 있는 매우 강력한 이론이기도 합니다.

2. Attention에서는 random하게 출발해도 괜찮은가?

전체 weight을 random하게 시작을 해도 feed-forward network (즉, 단순 linear layer) 같은 경우에는 학습 뒤 비슷한 좋은 결과를 얻을 가능성이 있습니다. 그런데 하필 attention에 해당하는 weight들은 이게 그렇게 쉽지가 않습니다. 그러니까 어떻게 random initilization을 하냐에 따라 최종 결과가 꽤 달라집니다. 그러면 어떻게 이 문제를 해결할까 라고 보면 마치 우리가 주식시장에서 분산 투자를 하듯이 여러개의 random initliazation을 만들어보고 그 중에 좋은 녀석이 나타날 확률을 높여보는 겁니다. 그래서 header가 만약 10개가 있다고 한다면 그것은 10종목의 주식을 사놓고 좋은 주식이 그중에서 한두개 나타나기를 기다리는 것과 비슷합니다 (마치 ETF 투자를 하듯이요). 이에 대한 관련 연구는 매우 많습니다. 예를 들면 header단위로 pruning을 해본 연구들도 많고 header마다 weight의 특징이 매우 다르다는 연구도 많습니다. 그만큼 attention weight의 경우에는 ‘금수저’와 ‘흙수저’의 차이가 큽니다 (좋은 예인지는 모르겠으나 굳이 비유를 하자면요…)

3. Attention결과물은 summation을 하지 않고 concatenation을 한다.. 왜?

header의 개수가 늘어날수록 각 header가 만들어내는 dimension은 줄입니다. 왜냐하면 header의 결과를 나중에는 결국 concatenation하고 전체 output dimention은 유지를 하기 때문입니다. 이 때 (꼭 항상 그런것은 아니지만) 만약 어떤 output들을 합칠 때, 각각의 녀석들이 대동소이하거나 성능이 비슷비슷하면 summation을 하고, 만일 차이가 크다면 concatenation을 하는 경우가 딥러닝에 많습니다. 굳이 또 비유를 하자면, 안좋은 녀석들과 좋은 녀석들을 한번에 다 섞어버리지 말고, 매우 뛰어난 인재가 있다고 하면 독립적으로 살려두는 방식 이라고 생각할수도 있습니다. 즉, 태생적으로 header들은 확률적으로 매우 좋거나 매우 나쁠 수 있다는 점이 여기저기 structure 구조 고민에 녹아져 있습니다.

4. Header 개수는 결국 trade-off의 산물

Header 개수가 많아지면 좋은 header를 찾을 확률이 높아집니다. 반면 하나의 header가 기여하는 dimension은 작아집니다. 이렇기 떄문에 header의 개수를 점점 늘이다보면 성능이 올라갔다가 다시 내려가는 현상을 보입니다. 따라서 header의 개수가 얼마나 필요한지는 전적으로 empirical한 결과라고 볼 수 있고, 통상적으로 모델이 커질수록 최적의 header 개수는 증가를 합니다. 참고로 header의 (이제까지 말씀드린 random initialization 관점에서) 독특한 현상들 때문에 최적화나 경량화를 할 때도 header 관련 만큼은 특별히 다른 방식들을 취해야할 때가 많습니다.
최근 GQA라는 방식이 유행하고 있는데 (라마2 70B모델, PaLM등등에 채택) 이게 무슨 말이냐면, 사실 알고보니 header개수가 K와 V에는 그리 많을 필요까지는 없고 대신 Q에는 많이 필요하더라 라는 얘기가 됩니다. 즉, 타고난 금수저와 흙수저의 큰 차이는 사실 알고보면 Q에 해당하는 weight에서 더 크게 발생하더라 라고 볼수가 있습니다.

아마 처음 Transformer를 만들었을 때도 저자들은 마찬가지 시행착오를 했을 거라고 생각합니다. Header라는 애는 random initilization 조건에 따라 최종 성능이 너무 다르네? 그럼 위험 분산을 어떻게 할 수 있지? 아 header 개수를 늘여보고 결과를 concatenation해야겠구나 하는 논리가 됩니다.

이미 자세히 알고 있을 분들에게는 당연한 얘기들을 길게 쓴 것일수도 있는데, 위와 같이 설명하는 분들을 찾아보지를 못해서 한번 저만의 해석은 이렇다는 것도 공유드릴 겸, 그리고 저희팀에서는 이런식으로 새로나오는 알고리즘들을 이해하고 넘어간다는 점 공유드리고 싶었습니다. 딥러닝에 대한 깊은 insight들은 많은 실험을 해보고 직접 경험해보고, 관련된 연구들도 광범위하게 이해하면서 폭넓은 시야를 가지도록 나름 노력한다는 점, 그리고 위와 같은 이해방식을 가지고 있어야 새로운 연구들도 가능하지 않을까 생각한다는 점 공유드려봅니다.

초기 투자 집중하는 펀드에서 받은 내용중 일부...

Software multiples have come down a bit in the past quarter to a median of 5.4x forward revenue, with 8x for the top quartile.
(ImageSource: BVP Cloud Index as of 10/3/23) 즉...소프트웨어 회사들 기업가치는 미래 12개월 매출의 5.4배... 아주 톱 회사들은 8배 정도로 내려왔다. 얼마전 100X 이상까지 올라가던 시절은 잊는게 좋다.

2021년 Q4부터 투자는 계속 줄고 있다. 지난분기 (Q3, 2024) 에는 $73B 이 투자되었는데 그것은 Q4 2019 이후 제일 낮은 금액이였고 또 10,095 회사가 투자 받았는데 Q3 2020 년 이후 제일 낮았다.

시드에서 Series A 받는게 무지 어려워졌다. 이젠 A 라운드 받으려면 약 월매출 5천만원 이상 넘으면서 이익을 내기 시작하던지... 가까워야된다.

---

이게 지금 미국 초기 기업들 사정이다. 좀 더 큰 기업들은 여기서 선을 이어서 이해하면 얼만큼 어려운지 알기 쉽다.

그래서...

1) 계속 추가 펀딩이 되겠지 생각하고 사업을 하면 안된다. 무조건 가지고 있는 자금으로 이익을 내면서 커야된다. 그러면 펀딩이 된다.

2) 높은 밸류에션 시절이 돌아오겠지 기대감은 저버려라.

3) 좋은시절에 높은 밸류에션 받았는데 추가 투자금이 꼭 필요하면 절반이상 밸류에션 내려야된다는 각오가 있어야된다.

4) 그러나 늘 예외는 있다. 그 예외가 되면 감사하라. 대신 될거라 생각은 하지 말자.

찰리 멍거가 팟캐스트와 한 인터뷰가 올라왔습니다. 팟캐스트와 인터뷰한 건 처음이라고 하는데요. BYD 이야기, 일본상사 투자 이유, 지금 다시 시작하면 버크셔 같은 기업을 다시 만들 수 있을까 등 재밌는 내용들이 많습니다.

관심있으신 분들은 한번 들어보시길 권합니다(주소는 댓글에, 스크립트도 있습니다)
_____________________
찰리 멍거의 고백... "제2의 버크셔? 어렵다"[김재현의 투자대가 읽기]
[편집자주] 대가들의 투자를 통해 올바른 투자방법을 탐색해 봅니다.

억만장자 투자자이자 '버핏의 오른팔'로 불리는 찰리 멍거(99) 버크셔 해서웨이 부회장은 전 세계 투자자들이 주목하는 인물입니다. 내년 1월 1일이면 만 100세가 되는 멍거의 인생 지혜에 관심을 기울이는 미국인도 많습니다.

재산이 25억달러(3조3500억원)에 달하는 찰리 멍거는 마음 씀씀이도 넉넉합니다. 지난 10월 초에는 캘리포니아주 산 마리노에 있는 헌팅턴 미술관에 버크셔 해서웨이 A클래스 77주를 기부했습니다. 주식 수는 몇 주 안되지만, 금액은 4000만달러(536억원)가 넘습니다.

지난 10월 29일 미국 팟캐스트 어콰이어드(Acquired)가 멍거의 로스앤젤레스 자택에서 진행한 1시간 분량의 인터뷰를 공개했습니다. 멍거는 왕촨푸 BYD 설립자와 일론 머스크 테슬라 설립자를 비교하고, 버핏의 일본 상사 투자 이유를 설명하는 등 버크셔 해서웨이 투자의 비하인드 스토리도 공개했습니다.

만일 지금 버핏과 다시 시작하고 둘 다 30세라면 오늘날의 버크셔 해서웨이 같은 기업을 다시 만들 수 있느냐는 질문에는 "어려울 것 같다"는 솔직한 대답을 내놓기도 했습니다. 멍거의 이야기를 살펴보겠습니다.

1. 중국 전기차 업체 BYD는 기적

이날 자주 언급된 기업은 BYD, 코스트코, 에르메스입니다. 중국 전기차 1위업체 BYD는 테슬라를 제치고 세계 전기차 판매 1위를 차지했고 코스트코는 창고형 할인매장으로 승승장구하고 있습니다. 에르메스(Hermes)는 강력한 럭셔리 브랜드를 구축했죠. 기업을 높이 평가했다고 해서 그 주식을 사라고 추천한 건 아닙니다. 멍거는 '가격이 싸야 한다'고 거듭 강조했습니다.

가장 많이 언급된 BYD부터 볼까요. 멍거는 "BYD는 기적!"이라고 말할 정도로 BYD를 격찬하면서 왕촨푸 BYD 회장은 지능지수(IQ)가 높은 데다 주당 70시간 일할 정도로 일에 미쳤다고 말했습니다. 그리고 엔지니어링 박사인 왕 회장이 타사 자동차 부품을 보고 그대로 만들어 낼 수 있을 정도로 능력이 뛰어나다고 덧붙였습니다. 한 마디로 왕 회장은 타고난 엔지니어이자 일을 맡으면 끝까지 완료하는 타입의 경영자인데, 이 두 가지를 동시에 갖추는 건 대단히 어렵다는 얘기입니다.

'일론 머스크와 테슬라 vs 왕촨푸와 BYD'를 비교해달라는 질문에 대해, 멍거는 "그(머스크)는 필요하다면 실제로 무언가를 만들어 낼 수 있는 방법을 아는 광적인 사람"이라며 "머스크가 출발점(그라운드 제로·ground zero)에 더 가깝다면 BYD의 그(왕촨푸)는 일론보다 실제 물건을 만드는 데 더 능숙하다"고 답했습니다. 그러나 멍거는 "BYD의 빅 팬이지만, BYD가 너무 공격적이라 나를 불안하게 만들었다"고 덧붙였습니다.

버크셔 해서웨이는 2008년 BYD H주 2억2500만주를 8홍콩달러에 매수했으며 지난해 약 30배 오른 250~270홍콩달러에서 BYD 주식을 매도하기 시작해 보유 수량을 60% 정도 줄였습니다. 지난 2일 홍콩에 상장된 BYD H주는 232홍콩달러에 거래됐습니다.

2. 日종합상사 투자, "100년에 2~3번 나올까 말까 한 아이디어"

멍거는 일본 종합상사 투자는 투자자가 버핏처럼 영리하더라도 100년에 많아야 2~3번 생각할 수 있을 법한 좋은 아이디어라고 평가했습니다. 일본의 10년 만기 채권 금리가 0.5%에 불과한 데다 일본의 종합상사들은 경제적 해자를 갖춘 오래된 기업으로서, 값싼 구리 광산과 고무농장도 가지고 있었기 때문입니다. 멍거는 일본에서 0.5%의 금리로 돈을 빌려서 5% 배당을 주는 이들 회사에 투자했기 때문에 생각할 필요도 없는 쉬운 투자라고 설명했습니다.

버크셔 해서웨이는 2020년 8월 미쓰비시·이토추·마루베니·미쓰이·스미토모 등 일본 5대 종합상사 지분을 각 5% 이상 취득했다고 공시한 바 있습니다. 지난 4월 버핏이 일본을 방문했을 때 5대 종합상사 지분을 늘렸으며 일본 주식에 추가 투자할 의향이 있다고 밝히자 일본 증시가 들썩였습니다. 버핏의 일본 방문 이후 일본 증시는 글로벌 투자자금이 몰리며 니케이225지수가 32년 만에 최고치를 경신하는 등 함박웃음을 지었습니다.

나이키(Nike)에 대한 질문도 이어졌습니다. 멍거는 나이키를 살펴본 적이 있지만, 나이키는 패션 회사(style company)라며 패션 회사는 좋아하지 않는다고 답했습니다. 이어 "에르메스를 충분히 싼 가격에 사라고 제안한다면 사겠지만, 그게 아니라면 패션 회사는 안 살 것"이라고 덧붙였습니다.

멍거는 세탁세제 타이드(Tide), 코스트코의 자체브랜드(PB) 커클랜드(Kirkland)도 브랜드이지만, 에르메스는 '완전히 다른' 종류의 브랜드라며 에르메스를 높이 평가했습니다.

3. 다시 시작한다면… 제2의 버크셔 해서웨이 가능할까

워런 버핏이 1964년 인수한 방직업체 버크셔 해서웨이는 시가총액 7500억달러가 넘는 초대형 기업으로 성장했습니다. 이 같은 대성공은 운일까요? 능력일까요? 팟캐스트 진행자는 멍거에게 "만약 오늘 버핏과 다시 시작하고, 둘 다 30세라면 오늘날의 버크셔에 가까운 기업을 만들 수 있겠느냐"고 질문을 던졌습니다.

멍거는 단호하게 "노!"(No)라고 답하며 대개 사람들이 성공하기 위해 3가지가 필요하다고 말했습니다. 매우 영리해야 하고 열심히 일해야 하며 행운이 따라야 한다는 건데요. 엄청난 성공(Super successful)을 위해서는 3가지 모두 갖춰져야 하지만, 그러기는 정말 어렵다고 지적했습니다. 멍거는 정답은 "일찍 시작해서 오랫동안 계속 노력하는 것"이라며 그러면 "한두 가지는 갖출 수 있을 것"이라고 말했습니다.

멍거는 두 가지 종류의 기업만 분석합니다. '가치투자의 아버지' 벤저민 그레이엄의 추종자인 만큼 어떤 종목이 정말 싸다면 아무리 형편없는 기업이라도 매수를 고려할 수 있습니다. 이른바 별 볼일 없는 회사를 싼값에 사는 '담배꽁초 투자'(Cigar Butt Investing)입니다.

다른 한 가지는 훌륭한 브랜드를 보유한 회사입니다. 멍거는 이번에도 가격을 강조하면서 "정말 주가가 저렴해진, 드문 경우에 매수하는 게 중요한 비결"이라고 설명했습니다. 또 "코스트코를 현 주가에 매수하는 것은 괜찮을 수도 있으나 (좋은 결과가 안 나올 가능성도 있다)"고 말했습니다.

이제 투자 얘기는 뒤로 하고 가족을 얘기해볼까요. 멍거가 보는 좋은 가족을 만드는 비법은 뭘까요. 대답은 의미심장합니다. 그는 "당연히 모든 가족과 잘 지내야 한다. 미국의 결혼 커플 중 절반은 꽤 잘 지낸다"며 "그런데 이들 커플은 둘 다 다른 사람과 결혼했더라도 똑같이 잘 지냈을 것"이라고 말했습니다.

어려운 멍거식 유머인데요. 멍거는 "좋은 배우자를 얻는 최고의 방법은 좋은 배우자를 가질 자격을 갖추는 것"이라며 "왜냐하면 좋은 배우자도 당연히 제정신이기 때문"이라고 말한 바 있습니다. 좋은 배우자를 가지기 위해서는 결국 스스로 좋은 배우자가 돼야 한다는 걸 양쪽이 깨달아야 한다는 뜻입니다.

https://youtu.be/w6qRb171cog?si=a5_y1tGjBKaGnghD

한국 시간으로 화요일 새벽 2시 OpenAI 컨퍼런스에서, GPT Magic Creator라는 것을 발표한다고 합니다.

특정한 페르소나로 특정한 태스크를 수행하는 에이전트를 다양한 플러그인을 섞어서 쉽게 만들 수 있도록 하고, 그것을 다른 사람이 쓰거나 판매 할 수 있도록 하는 플랫폼일 것이라고 합니다.

당연히 예견되었던 것이긴 합니다만, 역시나 상당히 빠르게 나온다는 것이 놀랍습니다. 이 루머가 맞다면 다시 한 번 지각변동이 있지 않을까 싶네요.

더불어 구글 드라이브나 MS 365 등의 데이터 커넥터도 지원한다고 하는데요. 이 역시 굉장히 큰 임팩트를 만들 것으로 생각됩니다.

그리고 분명 이보다 더 재미난 발표도 있지 않을까 싶은데요. 개발자 행사가 기대되는 건 정말 오랜만인 것 같네요. 😎🍿🥤

인공지능 전문가 Simon Prince 교수님이 MIT 출판부에서 12월 출간 예정인 “딥러닝 이해하기“ 책 전문을 온라인에 공개하셨어요.

딥러닝을 알고 싶은 분은 얼른 받아가세요!

udlbook.github.io/udlbook/

“Understanding Deep Learning”
by Simon Prince
To be published by MIT Press (5 Dec 2023)

So far this year, 17 nonprofits have announced they’ve received unrestricted donations from Scott through her Yield Giving fund, according to a Chronicle of Philanthropy tally. The gifts total $97 million and range from $1 million to $15 million. Nearly half went to charities focused on early-childhood education and early-childhood development. Scott has now given more than $14.1 billion to at least 1,621 charities since 2020.

https://fortune.com/2023/08/21/mackenzie-scott-one-of-worlds-richest-women-has-given-away-14-billion-nearly-half-her-fortune-in-just-3-years/?utm_source=facebook.com&utm_campaign=fortunemagazine&xid=soc_socialflow_facebook_FORTUNE&utm_medium=social&fbclid=IwAR1ebMqXrcbIwyWMYbBmFStnfcM8XI328ZHI2oIodXLsOAsCXkBsQuMx4s4_aem_AcAftcn02cTeMTX2jjSjoWv1HrWtysmYLclCxigALSksHWQM_kKhQx0tw485CAG6ZCY

Named Andromeda Cluster, this system comprises 2,512 H100 GPUs and can train a 65 billion parameter AI model in approximately 10 days, as stated by the venture capitalists. While it may not be the largest model available, it is undoubtedly a significant achievement.
"Individual investors are doing more to support compute-intensive startups than most governments. (Very cool project!)," tweeted Jack Clark, a co-founder of AI startup Anthropic.
Friedman and Gross's actions demonstrate their commitment to assisting AI startups facing GPU shortages and resource limitations. By providing GPU resources through the Andromeda Cluster, they offer a lifeline to startups striving to compete in the AI landscape. This collaborative approach underscores the collective efforts being made to address the challenges encountered by AI startups in acquiring critical hardware resources.

1. ResNet같은 표준 모델, ImageNet같은 표준 데이터셋이 따로 없습니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.

최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..

2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.

3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.

4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)

여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.

NAVER CLOUD Hyperscale AI Efficiency 팀 (구 Efficient AI) 팀은 네이버의 AI 서비스의 비용 최적화 미션을 담당하고 있습니다. 이는 AI 모델과 Computing System에 대한 종합적인 이해를 바탕으로 이뤄집니다. AI 모델을 적극 경량화하여 현재 CPU/GPU에 맞게 최적화하기도 하고, 이를 위한 새로운 시스템이나 하드웨어를 제안하기도 합니다. 연구적으로는 CVPR/EMNLP/ICLR/ICML/Neurips/SC/DAC/MLSys/MICRO 등 AI부터 하드웨어에 이르기까지 다양한 학회에 논문 실적을 내고 있으며, 동시에 CLOVA Note, HyperCLOVA, CLOVA-X 등의 네이버 서비스의 경량화/최적화에도 기여하고 있습니다.
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)

(Hiring - MosaicML/Databricks GenAI Inference)

1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.

We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).

My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).

Why I think you will be excited to join us?

1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.

Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…