찰리 멍거가 팟캐스트와 한 인터뷰가 올라왔습니다. 팟캐스트와 인터뷰한 건 처음이라고 하는데요. BYD 이야기, 일본상사 투자 이유, 지금 다시 시작하면 버크셔 같은 기업을 다시 만들 수 있을까 등 재밌는 내용들이 많습니다.
관심있으신 분들은 한번 들어보시길 권합니다(주소는 댓글에, 스크립트도 있습니다)
_____________________
찰리 멍거의 고백... "제2의 버크셔? 어렵다"[김재현의 투자대가 읽기]
[편집자주] 대가들의 투자를 통해 올바른 투자방법을 탐색해 봅니다.
억만장자 투자자이자 '버핏의 오른팔'로 불리는 찰리 멍거(99) 버크셔 해서웨이 부회장은 전 세계 투자자들이 주목하는 인물입니다. 내년 1월 1일이면 만 100세가 되는 멍거의 인생 지혜에 관심을 기울이는 미국인도 많습니다.
재산이 25억달러(3조3500억원)에 달하는 찰리 멍거는 마음 씀씀이도 넉넉합니다. 지난 10월 초에는 캘리포니아주 산 마리노에 있는 헌팅턴 미술관에 버크셔 해서웨이 A클래스 77주를 기부했습니다. 주식 수는 몇 주 안되지만, 금액은 4000만달러(536억원)가 넘습니다.
지난 10월 29일 미국 팟캐스트 어콰이어드(Acquired)가 멍거의 로스앤젤레스 자택에서 진행한 1시간 분량의 인터뷰를 공개했습니다. 멍거는 왕촨푸 BYD 설립자와 일론 머스크 테슬라 설립자를 비교하고, 버핏의 일본 상사 투자 이유를 설명하는 등 버크셔 해서웨이 투자의 비하인드 스토리도 공개했습니다.
만일 지금 버핏과 다시 시작하고 둘 다 30세라면 오늘날의 버크셔 해서웨이 같은 기업을 다시 만들 수 있느냐는 질문에는 "어려울 것 같다"는 솔직한 대답을 내놓기도 했습니다. 멍거의 이야기를 살펴보겠습니다.
1. 중국 전기차 업체 BYD는 기적
이날 자주 언급된 기업은 BYD, 코스트코, 에르메스입니다. 중국 전기차 1위업체 BYD는 테슬라를 제치고 세계 전기차 판매 1위를 차지했고 코스트코는 창고형 할인매장으로 승승장구하고 있습니다. 에르메스(Hermes)는 강력한 럭셔리 브랜드를 구축했죠. 기업을 높이 평가했다고 해서 그 주식을 사라고 추천한 건 아닙니다. 멍거는 '가격이 싸야 한다'고 거듭 강조했습니다.
가장 많이 언급된 BYD부터 볼까요. 멍거는 "BYD는 기적!"이라고 말할 정도로 BYD를 격찬하면서 왕촨푸 BYD 회장은 지능지수(IQ)가 높은 데다 주당 70시간 일할 정도로 일에 미쳤다고 말했습니다. 그리고 엔지니어링 박사인 왕 회장이 타사 자동차 부품을 보고 그대로 만들어 낼 수 있을 정도로 능력이 뛰어나다고 덧붙였습니다. 한 마디로 왕 회장은 타고난 엔지니어이자 일을 맡으면 끝까지 완료하는 타입의 경영자인데, 이 두 가지를 동시에 갖추는 건 대단히 어렵다는 얘기입니다.
'일론 머스크와 테슬라 vs 왕촨푸와 BYD'를 비교해달라는 질문에 대해, 멍거는 "그(머스크)는 필요하다면 실제로 무언가를 만들어 낼 수 있는 방법을 아는 광적인 사람"이라며 "머스크가 출발점(그라운드 제로·ground zero)에 더 가깝다면 BYD의 그(왕촨푸)는 일론보다 실제 물건을 만드는 데 더 능숙하다"고 답했습니다. 그러나 멍거는 "BYD의 빅 팬이지만, BYD가 너무 공격적이라 나를 불안하게 만들었다"고 덧붙였습니다.
버크셔 해서웨이는 2008년 BYD H주 2억2500만주를 8홍콩달러에 매수했으며 지난해 약 30배 오른 250~270홍콩달러에서 BYD 주식을 매도하기 시작해 보유 수량을 60% 정도 줄였습니다. 지난 2일 홍콩에 상장된 BYD H주는 232홍콩달러에 거래됐습니다.
2. 日종합상사 투자, "100년에 2~3번 나올까 말까 한 아이디어"
멍거는 일본 종합상사 투자는 투자자가 버핏처럼 영리하더라도 100년에 많아야 2~3번 생각할 수 있을 법한 좋은 아이디어라고 평가했습니다. 일본의 10년 만기 채권 금리가 0.5%에 불과한 데다 일본의 종합상사들은 경제적 해자를 갖춘 오래된 기업으로서, 값싼 구리 광산과 고무농장도 가지고 있었기 때문입니다. 멍거는 일본에서 0.5%의 금리로 돈을 빌려서 5% 배당을 주는 이들 회사에 투자했기 때문에 생각할 필요도 없는 쉬운 투자라고 설명했습니다.
버크셔 해서웨이는 2020년 8월 미쓰비시·이토추·마루베니·미쓰이·스미토모 등 일본 5대 종합상사 지분을 각 5% 이상 취득했다고 공시한 바 있습니다. 지난 4월 버핏이 일본을 방문했을 때 5대 종합상사 지분을 늘렸으며 일본 주식에 추가 투자할 의향이 있다고 밝히자 일본 증시가 들썩였습니다. 버핏의 일본 방문 이후 일본 증시는 글로벌 투자자금이 몰리며 니케이225지수가 32년 만에 최고치를 경신하는 등 함박웃음을 지었습니다.
나이키(Nike)에 대한 질문도 이어졌습니다. 멍거는 나이키를 살펴본 적이 있지만, 나이키는 패션 회사(style company)라며 패션 회사는 좋아하지 않는다고 답했습니다. 이어 "에르메스를 충분히 싼 가격에 사라고 제안한다면 사겠지만, 그게 아니라면 패션 회사는 안 살 것"이라고 덧붙였습니다.
멍거는 세탁세제 타이드(Tide), 코스트코의 자체브랜드(PB) 커클랜드(Kirkland)도 브랜드이지만, 에르메스는 '완전히 다른' 종류의 브랜드라며 에르메스를 높이 평가했습니다.
3. 다시 시작한다면… 제2의 버크셔 해서웨이 가능할까
워런 버핏이 1964년 인수한 방직업체 버크셔 해서웨이는 시가총액 7500억달러가 넘는 초대형 기업으로 성장했습니다. 이 같은 대성공은 운일까요? 능력일까요? 팟캐스트 진행자는 멍거에게 "만약 오늘 버핏과 다시 시작하고, 둘 다 30세라면 오늘날의 버크셔에 가까운 기업을 만들 수 있겠느냐"고 질문을 던졌습니다.
멍거는 단호하게 "노!"(No)라고 답하며 대개 사람들이 성공하기 위해 3가지가 필요하다고 말했습니다. 매우 영리해야 하고 열심히 일해야 하며 행운이 따라야 한다는 건데요. 엄청난 성공(Super successful)을 위해서는 3가지 모두 갖춰져야 하지만, 그러기는 정말 어렵다고 지적했습니다. 멍거는 정답은 "일찍 시작해서 오랫동안 계속 노력하는 것"이라며 그러면 "한두 가지는 갖출 수 있을 것"이라고 말했습니다.
멍거는 두 가지 종류의 기업만 분석합니다. '가치투자의 아버지' 벤저민 그레이엄의 추종자인 만큼 어떤 종목이 정말 싸다면 아무리 형편없는 기업이라도 매수를 고려할 수 있습니다. 이른바 별 볼일 없는 회사를 싼값에 사는 '담배꽁초 투자'(Cigar Butt Investing)입니다.
다른 한 가지는 훌륭한 브랜드를 보유한 회사입니다. 멍거는 이번에도 가격을 강조하면서 "정말 주가가 저렴해진, 드문 경우에 매수하는 게 중요한 비결"이라고 설명했습니다. 또 "코스트코를 현 주가에 매수하는 것은 괜찮을 수도 있으나 (좋은 결과가 안 나올 가능성도 있다)"고 말했습니다.
이제 투자 얘기는 뒤로 하고 가족을 얘기해볼까요. 멍거가 보는 좋은 가족을 만드는 비법은 뭘까요. 대답은 의미심장합니다. 그는 "당연히 모든 가족과 잘 지내야 한다. 미국의 결혼 커플 중 절반은 꽤 잘 지낸다"며 "그런데 이들 커플은 둘 다 다른 사람과 결혼했더라도 똑같이 잘 지냈을 것"이라고 말했습니다.
어려운 멍거식 유머인데요. 멍거는 "좋은 배우자를 얻는 최고의 방법은 좋은 배우자를 가질 자격을 갖추는 것"이라며 "왜냐하면 좋은 배우자도 당연히 제정신이기 때문"이라고 말한 바 있습니다. 좋은 배우자를 가지기 위해서는 결국 스스로 좋은 배우자가 돼야 한다는 걸 양쪽이 깨달아야 한다는 뜻입니다.
https://youtu.be/w6qRb171cog?si=a5_y1tGjBKaGnghD
관심있으신 분들은 한번 들어보시길 권합니다(주소는 댓글에, 스크립트도 있습니다)
_____________________
찰리 멍거의 고백... "제2의 버크셔? 어렵다"[김재현의 투자대가 읽기]
[편집자주] 대가들의 투자를 통해 올바른 투자방법을 탐색해 봅니다.
억만장자 투자자이자 '버핏의 오른팔'로 불리는 찰리 멍거(99) 버크셔 해서웨이 부회장은 전 세계 투자자들이 주목하는 인물입니다. 내년 1월 1일이면 만 100세가 되는 멍거의 인생 지혜에 관심을 기울이는 미국인도 많습니다.
재산이 25억달러(3조3500억원)에 달하는 찰리 멍거는 마음 씀씀이도 넉넉합니다. 지난 10월 초에는 캘리포니아주 산 마리노에 있는 헌팅턴 미술관에 버크셔 해서웨이 A클래스 77주를 기부했습니다. 주식 수는 몇 주 안되지만, 금액은 4000만달러(536억원)가 넘습니다.
지난 10월 29일 미국 팟캐스트 어콰이어드(Acquired)가 멍거의 로스앤젤레스 자택에서 진행한 1시간 분량의 인터뷰를 공개했습니다. 멍거는 왕촨푸 BYD 설립자와 일론 머스크 테슬라 설립자를 비교하고, 버핏의 일본 상사 투자 이유를 설명하는 등 버크셔 해서웨이 투자의 비하인드 스토리도 공개했습니다.
만일 지금 버핏과 다시 시작하고 둘 다 30세라면 오늘날의 버크셔 해서웨이 같은 기업을 다시 만들 수 있느냐는 질문에는 "어려울 것 같다"는 솔직한 대답을 내놓기도 했습니다. 멍거의 이야기를 살펴보겠습니다.
1. 중국 전기차 업체 BYD는 기적
이날 자주 언급된 기업은 BYD, 코스트코, 에르메스입니다. 중국 전기차 1위업체 BYD는 테슬라를 제치고 세계 전기차 판매 1위를 차지했고 코스트코는 창고형 할인매장으로 승승장구하고 있습니다. 에르메스(Hermes)는 강력한 럭셔리 브랜드를 구축했죠. 기업을 높이 평가했다고 해서 그 주식을 사라고 추천한 건 아닙니다. 멍거는 '가격이 싸야 한다'고 거듭 강조했습니다.
가장 많이 언급된 BYD부터 볼까요. 멍거는 "BYD는 기적!"이라고 말할 정도로 BYD를 격찬하면서 왕촨푸 BYD 회장은 지능지수(IQ)가 높은 데다 주당 70시간 일할 정도로 일에 미쳤다고 말했습니다. 그리고 엔지니어링 박사인 왕 회장이 타사 자동차 부품을 보고 그대로 만들어 낼 수 있을 정도로 능력이 뛰어나다고 덧붙였습니다. 한 마디로 왕 회장은 타고난 엔지니어이자 일을 맡으면 끝까지 완료하는 타입의 경영자인데, 이 두 가지를 동시에 갖추는 건 대단히 어렵다는 얘기입니다.
'일론 머스크와 테슬라 vs 왕촨푸와 BYD'를 비교해달라는 질문에 대해, 멍거는 "그(머스크)는 필요하다면 실제로 무언가를 만들어 낼 수 있는 방법을 아는 광적인 사람"이라며 "머스크가 출발점(그라운드 제로·ground zero)에 더 가깝다면 BYD의 그(왕촨푸)는 일론보다 실제 물건을 만드는 데 더 능숙하다"고 답했습니다. 그러나 멍거는 "BYD의 빅 팬이지만, BYD가 너무 공격적이라 나를 불안하게 만들었다"고 덧붙였습니다.
버크셔 해서웨이는 2008년 BYD H주 2억2500만주를 8홍콩달러에 매수했으며 지난해 약 30배 오른 250~270홍콩달러에서 BYD 주식을 매도하기 시작해 보유 수량을 60% 정도 줄였습니다. 지난 2일 홍콩에 상장된 BYD H주는 232홍콩달러에 거래됐습니다.
2. 日종합상사 투자, "100년에 2~3번 나올까 말까 한 아이디어"
멍거는 일본 종합상사 투자는 투자자가 버핏처럼 영리하더라도 100년에 많아야 2~3번 생각할 수 있을 법한 좋은 아이디어라고 평가했습니다. 일본의 10년 만기 채권 금리가 0.5%에 불과한 데다 일본의 종합상사들은 경제적 해자를 갖춘 오래된 기업으로서, 값싼 구리 광산과 고무농장도 가지고 있었기 때문입니다. 멍거는 일본에서 0.5%의 금리로 돈을 빌려서 5% 배당을 주는 이들 회사에 투자했기 때문에 생각할 필요도 없는 쉬운 투자라고 설명했습니다.
버크셔 해서웨이는 2020년 8월 미쓰비시·이토추·마루베니·미쓰이·스미토모 등 일본 5대 종합상사 지분을 각 5% 이상 취득했다고 공시한 바 있습니다. 지난 4월 버핏이 일본을 방문했을 때 5대 종합상사 지분을 늘렸으며 일본 주식에 추가 투자할 의향이 있다고 밝히자 일본 증시가 들썩였습니다. 버핏의 일본 방문 이후 일본 증시는 글로벌 투자자금이 몰리며 니케이225지수가 32년 만에 최고치를 경신하는 등 함박웃음을 지었습니다.
나이키(Nike)에 대한 질문도 이어졌습니다. 멍거는 나이키를 살펴본 적이 있지만, 나이키는 패션 회사(style company)라며 패션 회사는 좋아하지 않는다고 답했습니다. 이어 "에르메스를 충분히 싼 가격에 사라고 제안한다면 사겠지만, 그게 아니라면 패션 회사는 안 살 것"이라고 덧붙였습니다.
멍거는 세탁세제 타이드(Tide), 코스트코의 자체브랜드(PB) 커클랜드(Kirkland)도 브랜드이지만, 에르메스는 '완전히 다른' 종류의 브랜드라며 에르메스를 높이 평가했습니다.
3. 다시 시작한다면… 제2의 버크셔 해서웨이 가능할까
워런 버핏이 1964년 인수한 방직업체 버크셔 해서웨이는 시가총액 7500억달러가 넘는 초대형 기업으로 성장했습니다. 이 같은 대성공은 운일까요? 능력일까요? 팟캐스트 진행자는 멍거에게 "만약 오늘 버핏과 다시 시작하고, 둘 다 30세라면 오늘날의 버크셔에 가까운 기업을 만들 수 있겠느냐"고 질문을 던졌습니다.
멍거는 단호하게 "노!"(No)라고 답하며 대개 사람들이 성공하기 위해 3가지가 필요하다고 말했습니다. 매우 영리해야 하고 열심히 일해야 하며 행운이 따라야 한다는 건데요. 엄청난 성공(Super successful)을 위해서는 3가지 모두 갖춰져야 하지만, 그러기는 정말 어렵다고 지적했습니다. 멍거는 정답은 "일찍 시작해서 오랫동안 계속 노력하는 것"이라며 그러면 "한두 가지는 갖출 수 있을 것"이라고 말했습니다.
멍거는 두 가지 종류의 기업만 분석합니다. '가치투자의 아버지' 벤저민 그레이엄의 추종자인 만큼 어떤 종목이 정말 싸다면 아무리 형편없는 기업이라도 매수를 고려할 수 있습니다. 이른바 별 볼일 없는 회사를 싼값에 사는 '담배꽁초 투자'(Cigar Butt Investing)입니다.
다른 한 가지는 훌륭한 브랜드를 보유한 회사입니다. 멍거는 이번에도 가격을 강조하면서 "정말 주가가 저렴해진, 드문 경우에 매수하는 게 중요한 비결"이라고 설명했습니다. 또 "코스트코를 현 주가에 매수하는 것은 괜찮을 수도 있으나 (좋은 결과가 안 나올 가능성도 있다)"고 말했습니다.
이제 투자 얘기는 뒤로 하고 가족을 얘기해볼까요. 멍거가 보는 좋은 가족을 만드는 비법은 뭘까요. 대답은 의미심장합니다. 그는 "당연히 모든 가족과 잘 지내야 한다. 미국의 결혼 커플 중 절반은 꽤 잘 지낸다"며 "그런데 이들 커플은 둘 다 다른 사람과 결혼했더라도 똑같이 잘 지냈을 것"이라고 말했습니다.
어려운 멍거식 유머인데요. 멍거는 "좋은 배우자를 얻는 최고의 방법은 좋은 배우자를 가질 자격을 갖추는 것"이라며 "왜냐하면 좋은 배우자도 당연히 제정신이기 때문"이라고 말한 바 있습니다. 좋은 배우자를 가지기 위해서는 결국 스스로 좋은 배우자가 돼야 한다는 걸 양쪽이 깨달아야 한다는 뜻입니다.
https://youtu.be/w6qRb171cog?si=a5_y1tGjBKaGnghD
YouTube
Charlie Munger (Audio)
We sit down with the legendary Charlie Munger in the only dedicated longform podcast interview that he has done in his 99 years on Earth. We’ve gotten to have some special conversations on Acquired over the years, but this one truly takes the cake. Over dinner…
❤5
한국 시간으로 화요일 새벽 2시 OpenAI 컨퍼런스에서, GPT Magic Creator라는 것을 발표한다고 합니다.
특정한 페르소나로 특정한 태스크를 수행하는 에이전트를 다양한 플러그인을 섞어서 쉽게 만들 수 있도록 하고, 그것을 다른 사람이 쓰거나 판매 할 수 있도록 하는 플랫폼일 것이라고 합니다.
당연히 예견되었던 것이긴 합니다만, 역시나 상당히 빠르게 나온다는 것이 놀랍습니다. 이 루머가 맞다면 다시 한 번 지각변동이 있지 않을까 싶네요.
더불어 구글 드라이브나 MS 365 등의 데이터 커넥터도 지원한다고 하는데요. 이 역시 굉장히 큰 임팩트를 만들 것으로 생각됩니다.
그리고 분명 이보다 더 재미난 발표도 있지 않을까 싶은데요. 개발자 행사가 기대되는 건 정말 오랜만인 것 같네요. 😎🍿🥤
특정한 페르소나로 특정한 태스크를 수행하는 에이전트를 다양한 플러그인을 섞어서 쉽게 만들 수 있도록 하고, 그것을 다른 사람이 쓰거나 판매 할 수 있도록 하는 플랫폼일 것이라고 합니다.
당연히 예견되었던 것이긴 합니다만, 역시나 상당히 빠르게 나온다는 것이 놀랍습니다. 이 루머가 맞다면 다시 한 번 지각변동이 있지 않을까 싶네요.
더불어 구글 드라이브나 MS 365 등의 데이터 커넥터도 지원한다고 하는데요. 이 역시 굉장히 큰 임팩트를 만들 것으로 생각됩니다.
그리고 분명 이보다 더 재미난 발표도 있지 않을까 싶은데요. 개발자 행사가 기대되는 건 정말 오랜만인 것 같네요. 😎🍿🥤
인공지능 전문가 Simon Prince 교수님이 MIT 출판부에서 12월 출간 예정인 “딥러닝 이해하기“ 책 전문을 온라인에 공개하셨어요.
딥러닝을 알고 싶은 분은 얼른 받아가세요!
udlbook.github.io/udlbook/
“Understanding Deep Learning”
by Simon Prince
To be published by MIT Press (5 Dec 2023)
딥러닝을 알고 싶은 분은 얼른 받아가세요!
udlbook.github.io/udlbook/
“Understanding Deep Learning”
by Simon Prince
To be published by MIT Press (5 Dec 2023)
So far this year, 17 nonprofits have announced they’ve received unrestricted donations from Scott through her Yield Giving fund, according to a Chronicle of Philanthropy tally. The gifts total $97 million and range from $1 million to $15 million. Nearly half went to charities focused on early-childhood education and early-childhood development. Scott has now given more than $14.1 billion to at least 1,621 charities since 2020.
https://fortune.com/2023/08/21/mackenzie-scott-one-of-worlds-richest-women-has-given-away-14-billion-nearly-half-her-fortune-in-just-3-years/?utm_source=facebook.com&utm_campaign=fortunemagazine&xid=soc_socialflow_facebook_FORTUNE&utm_medium=social&fbclid=IwAR1ebMqXrcbIwyWMYbBmFStnfcM8XI328ZHI2oIodXLsOAsCXkBsQuMx4s4_aem_AcAftcn02cTeMTX2jjSjoWv1HrWtysmYLclCxigALSksHWQM_kKhQx0tw485CAG6ZCY
https://fortune.com/2023/08/21/mackenzie-scott-one-of-worlds-richest-women-has-given-away-14-billion-nearly-half-her-fortune-in-just-3-years/?utm_source=facebook.com&utm_campaign=fortunemagazine&xid=soc_socialflow_facebook_FORTUNE&utm_medium=social&fbclid=IwAR1ebMqXrcbIwyWMYbBmFStnfcM8XI328ZHI2oIodXLsOAsCXkBsQuMx4s4_aem_AcAftcn02cTeMTX2jjSjoWv1HrWtysmYLclCxigALSksHWQM_kKhQx0tw485CAG6ZCY
Fortune
Mackenzie Scott, one of the world's richest women, has given away $14 billion, nearly half her fortune, in just 3 years
The billionaire philanthropist gave away $97 million in just the first half of this year alone.
Named Andromeda Cluster, this system comprises 2,512 H100 GPUs and can train a 65 billion parameter AI model in approximately 10 days, as stated by the venture capitalists. While it may not be the largest model available, it is undoubtedly a significant achievement.
"Individual investors are doing more to support compute-intensive startups than most governments. (Very cool project!)," tweeted Jack Clark, a co-founder of AI startup Anthropic.
Friedman and Gross's actions demonstrate their commitment to assisting AI startups facing GPU shortages and resource limitations. By providing GPU resources through the Andromeda Cluster, they offer a lifeline to startups striving to compete in the AI landscape. This collaborative approach underscores the collective efforts being made to address the challenges encountered by AI startups in acquiring critical hardware resources.
"Individual investors are doing more to support compute-intensive startups than most governments. (Very cool project!)," tweeted Jack Clark, a co-founder of AI startup Anthropic.
Friedman and Gross's actions demonstrate their commitment to assisting AI startups facing GPU shortages and resource limitations. By providing GPU resources through the Andromeda Cluster, they offer a lifeline to startups striving to compete in the AI landscape. This collaborative approach underscores the collective efforts being made to address the challenges encountered by AI startups in acquiring critical hardware resources.
1. ResNet같은 표준 모델, ImageNet같은 표준 데이터셋이 따로 없습니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.
최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..
2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.
3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.
4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)
여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.
최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..
2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.
3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.
4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)
여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.
❤1
NAVER CLOUD Hyperscale AI Efficiency 팀 (구 Efficient AI) 팀은 네이버의 AI 서비스의 비용 최적화 미션을 담당하고 있습니다. 이는 AI 모델과 Computing System에 대한 종합적인 이해를 바탕으로 이뤄집니다. AI 모델을 적극 경량화하여 현재 CPU/GPU에 맞게 최적화하기도 하고, 이를 위한 새로운 시스템이나 하드웨어를 제안하기도 합니다. 연구적으로는 CVPR/EMNLP/ICLR/ICML/Neurips/SC/DAC/MLSys/MICRO 등 AI부터 하드웨어에 이르기까지 다양한 학회에 논문 실적을 내고 있으며, 동시에 CLOVA Note, HyperCLOVA, CLOVA-X 등의 네이버 서비스의 경량화/최적화에도 기여하고 있습니다.
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)
arXiv.org
Memory-Efficient Fine-Tuning of Compressed Large Language Models...
Large language models (LLMs) face the challenges in fine-tuning and deployment due to their high memory demands and computational costs. While parameter-efficient fine-tuning (PEFT) methods aim to...
❤1
(Hiring - MosaicML/Databricks GenAI Inference)
1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.
We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).
My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).
Why I think you will be excited to join us?
1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.
Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…
1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.
We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).
My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).
Why I think you will be excited to join us?
1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.
Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…
ElevenLabs now had over 2M registered users and is growing fast. It took half the time to to get the second million of users than the first. Users cumulatively uploaded over 10 years of audio content. Initially geared towards creators and publishers, ElevenLabs is now adapting to a large range of use-cases from AI agents, companion, entertainment, and gaming.
Uizard, a product design company powered by AI tools, said it recorded $3.2M ARR up to July ’23, which is 13x YoY. The company had crossed $1M ARR in April, and went from $1M to $3M in 3 months.
Uizard, a product design company powered by AI tools, said it recorded $3.2M ARR up to July ’23, which is 13x YoY. The company had crossed $1M ARR in April, and went from $1M to $3M in 3 months.