한국 시간으로 화요일 새벽 2시 OpenAI 컨퍼런스에서, GPT Magic Creator라는 것을 발표한다고 합니다.
특정한 페르소나로 특정한 태스크를 수행하는 에이전트를 다양한 플러그인을 섞어서 쉽게 만들 수 있도록 하고, 그것을 다른 사람이 쓰거나 판매 할 수 있도록 하는 플랫폼일 것이라고 합니다.
당연히 예견되었던 것이긴 합니다만, 역시나 상당히 빠르게 나온다는 것이 놀랍습니다. 이 루머가 맞다면 다시 한 번 지각변동이 있지 않을까 싶네요.
더불어 구글 드라이브나 MS 365 등의 데이터 커넥터도 지원한다고 하는데요. 이 역시 굉장히 큰 임팩트를 만들 것으로 생각됩니다.
그리고 분명 이보다 더 재미난 발표도 있지 않을까 싶은데요. 개발자 행사가 기대되는 건 정말 오랜만인 것 같네요. 😎🍿🥤
특정한 페르소나로 특정한 태스크를 수행하는 에이전트를 다양한 플러그인을 섞어서 쉽게 만들 수 있도록 하고, 그것을 다른 사람이 쓰거나 판매 할 수 있도록 하는 플랫폼일 것이라고 합니다.
당연히 예견되었던 것이긴 합니다만, 역시나 상당히 빠르게 나온다는 것이 놀랍습니다. 이 루머가 맞다면 다시 한 번 지각변동이 있지 않을까 싶네요.
더불어 구글 드라이브나 MS 365 등의 데이터 커넥터도 지원한다고 하는데요. 이 역시 굉장히 큰 임팩트를 만들 것으로 생각됩니다.
그리고 분명 이보다 더 재미난 발표도 있지 않을까 싶은데요. 개발자 행사가 기대되는 건 정말 오랜만인 것 같네요. 😎🍿🥤
인공지능 전문가 Simon Prince 교수님이 MIT 출판부에서 12월 출간 예정인 “딥러닝 이해하기“ 책 전문을 온라인에 공개하셨어요.
딥러닝을 알고 싶은 분은 얼른 받아가세요!
udlbook.github.io/udlbook/
“Understanding Deep Learning”
by Simon Prince
To be published by MIT Press (5 Dec 2023)
딥러닝을 알고 싶은 분은 얼른 받아가세요!
udlbook.github.io/udlbook/
“Understanding Deep Learning”
by Simon Prince
To be published by MIT Press (5 Dec 2023)
So far this year, 17 nonprofits have announced they’ve received unrestricted donations from Scott through her Yield Giving fund, according to a Chronicle of Philanthropy tally. The gifts total $97 million and range from $1 million to $15 million. Nearly half went to charities focused on early-childhood education and early-childhood development. Scott has now given more than $14.1 billion to at least 1,621 charities since 2020.
https://fortune.com/2023/08/21/mackenzie-scott-one-of-worlds-richest-women-has-given-away-14-billion-nearly-half-her-fortune-in-just-3-years/?utm_source=facebook.com&utm_campaign=fortunemagazine&xid=soc_socialflow_facebook_FORTUNE&utm_medium=social&fbclid=IwAR1ebMqXrcbIwyWMYbBmFStnfcM8XI328ZHI2oIodXLsOAsCXkBsQuMx4s4_aem_AcAftcn02cTeMTX2jjSjoWv1HrWtysmYLclCxigALSksHWQM_kKhQx0tw485CAG6ZCY
https://fortune.com/2023/08/21/mackenzie-scott-one-of-worlds-richest-women-has-given-away-14-billion-nearly-half-her-fortune-in-just-3-years/?utm_source=facebook.com&utm_campaign=fortunemagazine&xid=soc_socialflow_facebook_FORTUNE&utm_medium=social&fbclid=IwAR1ebMqXrcbIwyWMYbBmFStnfcM8XI328ZHI2oIodXLsOAsCXkBsQuMx4s4_aem_AcAftcn02cTeMTX2jjSjoWv1HrWtysmYLclCxigALSksHWQM_kKhQx0tw485CAG6ZCY
Fortune
Mackenzie Scott, one of the world's richest women, has given away $14 billion, nearly half her fortune, in just 3 years
The billionaire philanthropist gave away $97 million in just the first half of this year alone.
Named Andromeda Cluster, this system comprises 2,512 H100 GPUs and can train a 65 billion parameter AI model in approximately 10 days, as stated by the venture capitalists. While it may not be the largest model available, it is undoubtedly a significant achievement.
"Individual investors are doing more to support compute-intensive startups than most governments. (Very cool project!)," tweeted Jack Clark, a co-founder of AI startup Anthropic.
Friedman and Gross's actions demonstrate their commitment to assisting AI startups facing GPU shortages and resource limitations. By providing GPU resources through the Andromeda Cluster, they offer a lifeline to startups striving to compete in the AI landscape. This collaborative approach underscores the collective efforts being made to address the challenges encountered by AI startups in acquiring critical hardware resources.
"Individual investors are doing more to support compute-intensive startups than most governments. (Very cool project!)," tweeted Jack Clark, a co-founder of AI startup Anthropic.
Friedman and Gross's actions demonstrate their commitment to assisting AI startups facing GPU shortages and resource limitations. By providing GPU resources through the Andromeda Cluster, they offer a lifeline to startups striving to compete in the AI landscape. This collaborative approach underscores the collective efforts being made to address the challenges encountered by AI startups in acquiring critical hardware resources.
1. ResNet같은 표준 모델, ImageNet같은 표준 데이터셋이 따로 없습니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.
최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..
2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.
3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.
4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)
여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.
최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..
2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.
3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.
4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)
여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.
❤1
NAVER CLOUD Hyperscale AI Efficiency 팀 (구 Efficient AI) 팀은 네이버의 AI 서비스의 비용 최적화 미션을 담당하고 있습니다. 이는 AI 모델과 Computing System에 대한 종합적인 이해를 바탕으로 이뤄집니다. AI 모델을 적극 경량화하여 현재 CPU/GPU에 맞게 최적화하기도 하고, 이를 위한 새로운 시스템이나 하드웨어를 제안하기도 합니다. 연구적으로는 CVPR/EMNLP/ICLR/ICML/Neurips/SC/DAC/MLSys/MICRO 등 AI부터 하드웨어에 이르기까지 다양한 학회에 논문 실적을 내고 있으며, 동시에 CLOVA Note, HyperCLOVA, CLOVA-X 등의 네이버 서비스의 경량화/최적화에도 기여하고 있습니다.
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)
arXiv.org
Memory-Efficient Fine-Tuning of Compressed Large Language Models...
Large language models (LLMs) face the challenges in fine-tuning and deployment due to their high memory demands and computational costs. While parameter-efficient fine-tuning (PEFT) methods aim to...
❤1
(Hiring - MosaicML/Databricks GenAI Inference)
1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.
We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).
My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).
Why I think you will be excited to join us?
1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.
Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…
1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.
We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).
My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).
Why I think you will be excited to join us?
1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.
Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…
ElevenLabs now had over 2M registered users and is growing fast. It took half the time to to get the second million of users than the first. Users cumulatively uploaded over 10 years of audio content. Initially geared towards creators and publishers, ElevenLabs is now adapting to a large range of use-cases from AI agents, companion, entertainment, and gaming.
Uizard, a product design company powered by AI tools, said it recorded $3.2M ARR up to July ’23, which is 13x YoY. The company had crossed $1M ARR in April, and went from $1M to $3M in 3 months.
Uizard, a product design company powered by AI tools, said it recorded $3.2M ARR up to July ’23, which is 13x YoY. The company had crossed $1M ARR in April, and went from $1M to $3M in 3 months.