1. ResNet같은 표준 모델, ImageNet같은 표준 데이터셋이 따로 없습니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.
최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..
2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.
3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.
4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)
여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.
LLM 이전에는 ResNet 같은 사실상의 표준 모델들이 다수 있었기 때문에 기술 개발에 대한 목표가 상대적으로 명확할 수 있었고, 기존 AI 반도체 기술들과의 비교도 용이한 편이었다고 할 수 있습니다. 그러나 LLM시대가 오면 LLM 모델 공개부터 진행이 대부분 안되지만 dataset은 더더욱 공개를 하지 않습니다. 다행스럽게도 라마와 같은 굉장히 고품질의 오픈소스 모델이 있기는 하지만 이 또한 tuning은 어떻게 해야할지, 평가는 어떤 식으로 진행해야하는 지, 실제 서비스에서 유의해야하는 LLM 서비스 관련 configuration은 무엇으로 하면 좋은지 등등에 대해 딱히 주어진 답이 없고 회사 혹은 학교마다 제각각인 경우가 많습니다. 주어진 ‘답’이 없기 때문에 문제 정의부터 스스로 해나가야하는 경우가 많아졌고 이에 따라 어떤 개발 목표를 가져야할 지에 대한 어려움부터 AI 반도체 회사들이 가지고 있습니다.
최근 AI 반도체 회사들이 보여주는 LLM 데모 시나리오들을 보면, 실제 사용 시나리오와 너무나 거리가 먼 경우를 ‘매우 자주’ 보기도 합니다. Sequence length는 얼마로 하는것이 좋은지, batch size나 latency 기준은 무엇으로 해야하는지, 서비스 framework은 무엇을 baseline으로 가져갈 지 등등에 대해 알지 못하면 AI 반도체를 잘 만들더라도 평가 자체에서 불이익을 받는 경우가 많습니다. 따라서 AI 반도체 회사들은 이제 ‘반드시’ LLM 서비스 회사들의 가이드를 받아서 연구/개발을 진행해야하는 상황이라고 볼 수 있습니다.
—> MLPerf같은 표준화된 테스트는 이제 정말 버려야할 유물이 되었습니다. 생성 AI 시대에 적합하지 않은 부분들도 많을 뿐더러 MLPerf에서 제시하는 configuration과 데이터셋은 점점 더 실제 시장상황과 맞지 않을 뿐더러, LLM 서비스 회사들이 모델도 공개하지 않는 시점에 MLPerf에 요구사항을 전달할 리는 더더욱 없다고 봐야하지 않을까 싶네요..
2. 서비스관련 SW가 대단히 복잡해졌습니다.
nvidia의 TensorRT-LLM (TRT-LLM)의 로드맵을 보면 한달에도 정말 어마어마한 업데이트를 진행했거나 진행할 예정이라는 것을 볼 수 있습니다. LLM의 서비스 형태가 매우 다양하기도 하고 복잡하면서 최적화/경량화 등등에서 급격한 변화를 겪고 있기 때문인데요, 이 흐름을 모두 따라잡지 않으면 AI 반도체가 아무리 좋더라도 성능 자체에서 너무나 큰 격차가 발생할 수 밖에 없는 환경입니다. 반도체 하드웨어에서 30% 성능 향상은 어마어마한 일이지만 LLM 서비스 최적화는 2배 3배 성능향상이 자주 일어날 수 있는 환경이기 때문입니다. 그런데 LLM 최적화는 trade-off를 기본으로 해야하는 경우가 많은데, 어떤 부분의 중요성은 희생하더라도 어떤 부분만큼은 값어치나 중요성을 올려야하는 지에 대해 알기가 매우 어렵습니다. 이 부분들 때문에 LLM 서비스 회사들과 굉장히 많은 의사소통을 하는 nvidia의 차별성은 LLM 시대에 있어서 더더욱 부각되고 있는 것 같습니다. AI 반도체 회사들을 평가할 때, 반도체 기술보다는 LLM 회사들과 얼마나 많은 interaction을 하는 지에 대한 평가를 더 높이 줄 수 밖에 없는 시대라고 할 수 있습니다.
3. 큰 것이 아름다운 LLM 시대
아직까지도 가끔 논문 심사를 하다보면 ResNet 계열이나 심지어 CIFAR-10같은 모델도 심사를 하는데, nvidia가 왜이리 시장을 폭등하고 특히 H100이나 내년도 B100에 관심이 많을까요? 시장이 필요로 하는 모델 사이즈가 점점 더 어마어마하기 때문입니다. 물론 서비스 비용측면때문에 모델이 꼭 큰 것이 좋다고 할수는 없겠으나 모델이 커질수록 발생하는 문제점들에 대한 insight가 없다면 곤란합니다. 예를 들어 precision이나 경량화/최적화 알고리즘을 선택함에 있어서, 그 알고리즘이 작은 모델일 때만 가능한 것인지 혹은 모델이 커질수록 오히려 그 값어치가 더 커지는 것인지 (장점이 더 부각되는 것인지) 반드시 확인하고 넘어가야합니다. 즉, 최적화/경량화에 있어서도 scaling law가 적용되는지에 대한 insight는 더더욱 필요합니다. 예전에 매우 각광을 받았던 기술들이 초거대 AI 시대로 오면서 별로 소용이 없거나 완전히 망가지는 것들이 비일비재 합니다. 이에 대한 이유나 insight는 많은 큰 모델을 구동할 때만 알아낼 수 있다는 점이 더 큰 어려움일 것 같다는 생각을 합니다 (예를 들면 에전 INT8같은 경량화 기술이나 FP8에 기반한 학습은… 모델이 커지면…..) LLM뿐 아니라 vision도 vision Transformer의 크기가 결코 작지 않을 뿐더러 multi-modality에서도 각종 foundation model에 대한 needs가 커지면서 모든 분야에 있어서 모델의 크기는 앞으로 압도적으로 더 키우고 싶어하는 욕구가 터져나오는 상황입니다.
4. 반도체 저널/학회 vs AI 알고리즘 학회
제가 반도체 업종에 오래 근무하면서 각종 IEEE 저널이나 학회는, 정말 교과서처럼 읽고 따르고 했던 기억이 있습니다. 그런데… 최근 한 6,7년간 IEEE 논문을 본적이 있나 싶을 정도로 볼일이 없었다는 생각이 듭니다. 최근들어서 반도체 개발/연구를 시작하면서 일부러라도 관련 논문을 보긴했지만.. 심지어 ISCA, HPCA 같은 논문들에서 AI 관련 연구를 보더라도… 왜 이런 가정을 했지? 요즘 AI 알고리즘은 이런 접근 안하는데? 최근 ICLR,ICML에서 나온 혁신에 대해 모르나? 등등의 놀라움과 안타까움을 동시에 가지게 됩니다. 이 부분이 사실 어쩔 수 없다고 생각하는 부분들도 있는게, AI 특히 LLM 변화가 워낙 빠르다보니 상대적으로 IEEE에서는 약 2,3년 이상의 격차가 있다는 생각이 저의 매우 주관적인 견해입니다. 저는 그래서 굳이 따져보자면 AI 탑급의 몇개 학회 논문만 보더라도 된다는 생각을 최근 가지고 있습니다 (사실 LLM만 따지면 ICML, ICLR, NeurIPS, 그리고 유명 arxiv 논문만 봐도 너무 바쁘기도 하고 거기까지가 제가 물리적으로 시간내어서 볼 수 있는 논문 범위의 한계라고 보입니다. 다시 말하면 제가 게을러서 IEEE 논문들을 안본것일수도 ^^) 물론 HPCA, ISCA, ISSCC 같은 학회들을 절대 평가 절하하는 것은 아니고, 다만 그 학회들까지 관심이 가지 않게 되더라 하는게 제가 봐도 신기한 저의 요즘 경험입니다 (사실 일부러 읽어도 도움되는 논문을.. 본적이 없습니다.. nvidia가 어느 학회에 논문을 내는지를 보면 알수 있는 부분들도 있고요) 최근에 저희는 반도체 관련 논문도 ICLR에 제출해서 채택되기도 했는데 review 품질이 훨씬 좋을 뿐더러, AI 사람들에게 직접적인 홍보도 되기 때문에 앞으로도 가능하다면 딥러닝 학회들에 반도체 아이디어들을 출판 계속 할 것 같습니다 (물론 당연하게도 ISSCC, ISCA 같은 학회들에도 논문 낼 생각입니다)
여러가지 길고 잡스러운 이야기를 썼습니다만, 왜 특정 AI 반도체 회사들이 독점을 하고 있고 수많은 기존 반도체 회사들이 고전을 하고 있는지, 빅테크 회사들이 왜 스스로 LLM 서비스를 하면서 칩까지 만들려고 하는지에 대한 이해에 도움이 조금이라도 되었으면 합니다.
❤1
NAVER CLOUD Hyperscale AI Efficiency 팀 (구 Efficient AI) 팀은 네이버의 AI 서비스의 비용 최적화 미션을 담당하고 있습니다. 이는 AI 모델과 Computing System에 대한 종합적인 이해를 바탕으로 이뤄집니다. AI 모델을 적극 경량화하여 현재 CPU/GPU에 맞게 최적화하기도 하고, 이를 위한 새로운 시스템이나 하드웨어를 제안하기도 합니다. 연구적으로는 CVPR/EMNLP/ICLR/ICML/Neurips/SC/DAC/MLSys/MICRO 등 AI부터 하드웨어에 이르기까지 다양한 학회에 논문 실적을 내고 있으며, 동시에 CLOVA Note, HyperCLOVA, CLOVA-X 등의 네이버 서비스의 경량화/최적화에도 기여하고 있습니다.
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)
최근에는 삼성전자와 함께 Large Langauge Model (LLM) Inference를 위한 새로운 반도체 솔루션을 개발하기 위해 협업하고 있습니다. 이 과정에서도 단순히 Workload나 압축 알고리즘을 제공하고 하드웨어 구현 결과를 받아오는 것이 아니라 모델과 하드웨어에 대한 깊은 이해를 바탕으로 적극적으로 하드웨어 설계에 개입하여 AI 서비스 솔루션의 새로운 장을 열기 위해 노력하고 있습니다. 약 1년간의 협업의 결과로 FPGA로 LLM end-to-end 결과 검증을 마쳤으며, 기존의 GPU 시스템과 동일한 성능을 가지면서도 8배 이상 전력효율을 달성한 솔루션을 곧 양산할 계획입니다. 이를 위한 AI 모델부터 S/W, H/W까지 다양한 분야의 인재가 필요하며, 신입부터 리더급에 이르기까지 다양한 포지션의 인재를 찾고 있습니다 (내년 2월 졸업 예정이신 분들의 많은 관심 부탁드립니다.)
<모집 분야>
1) AI 모델 경량화 기법 연구/개발
ex. FlexRound (ICML 2023, https://arxiv.org/abs/2306.00317), PEQA (Neurips 2023, https://arxiv.org/abs/2305.14152)
2) Training/Inference Framework S/W 연구/개발/최적화
ex. LUT-GEMM (https://arxiv.org/abs/2206.09557)
3) 새로운 AI 반도체를 위한 하드웨어 연구/개발
ex. Unstructured Pruning (ICLR 2022, https://openreview.net/forum?id=Vs5NK44aP9P), Weight-only Quant. (ICLR 2023, https://openreview.net/forum?id=z92lBy1ehjI)
arXiv.org
Memory-Efficient Fine-Tuning of Compressed Large Language Models...
Large language models (LLMs) face the challenges in fine-tuning and deployment due to their high memory demands and computational costs. While parameter-efficient fine-tuning (PEFT) methods aim to...
❤1
(Hiring - MosaicML/Databricks GenAI Inference)
1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.
We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).
My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).
Why I think you will be excited to join us?
1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.
Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…
1/ Foundational Models (FMs) will change the way Human-Software, Software-Software, Human-Human interactions work.
2/ Open Source Software (OSS) (models and tools) is going to be critical component for truly democratizing adoption of FMs in the Enterprises.
3/ OSS models and tools are useful in Enterprises, only when there are enterprise grade software (secure, reliable, scalable, performant and well integrated with ecosystem) suite offerings that enable adoption of OSS.
We at MosaicML (DataBricks) are working towards building the enterprise ready software ecosystem (FMs, model training, fine-tuning, serving products, and more).
My team (MosaicML/DataBricks foundational model serving) is hiring. If you are passionate about innovating model serving (inference) software stack - hardware optimization, model optimization, model server, scaling serving infrastructure with Kubernetes, this would be a fantastic opportunity to join our ambitious, innovative, fast moving team at MosaicML (DataBricks).
Why I think you will be excited to join us?
1/ We believe in the power of OSS. We believe enterprise grade software ecosystem is critical for the success of OSS in GenAI. We are looking forward you joining our hands in this mission.
2/ We don’t just build infrastructure. We are neck deep in the core fundamentals - our teams at MosaicML builds MPT model (Mosaic Pre-Trained Models). Our MPT model, Composer Library are all open source too!
3/ DataBricks Datal Lake (overall data infrastructure) will enable us to deliver the power and value of GenAI to Enterprises, where Enterprises are today with their data.
4/ Broadly, model training (pre-training, fine-tuning) and model serving are two pillars of GenAI. As GenAI will continue to have massive adoption across products, you will be developing state-of-the-art (SOTA) technology and expertise for model serving, making you as a critical person in the field.
5/ You will be working with researchers and engineers at Mosaic, as well as collaborate with OSS community, building SOTA techniques in the space;
6/ As one of the founding engineer in the team, you will experience and play critical role in idea to scale growth of team/culture/product/strategy/technology.
Some of the problems we are working are:
1/ Which accelerator to use for a given model? Can we abstract away this from the user?
2/ How to efficiently serve multiple models?
3/ How to efficiently serve Mixture of Experts(MoE) models, Adapter based fine-tuned models - fast, cheap and easy.
4/ Improve hardware utilization - continuous batching, optimized kernels etc.
Server - vLLM, TRT-LLM optimizations
5/ How to serve vision foundational models (ex: stable diffusion) efficiently?
6/ Scaling K8s infrastructure - security, scalability and cost efficiency
And many more…
ElevenLabs now had over 2M registered users and is growing fast. It took half the time to to get the second million of users than the first. Users cumulatively uploaded over 10 years of audio content. Initially geared towards creators and publishers, ElevenLabs is now adapting to a large range of use-cases from AI agents, companion, entertainment, and gaming.
Uizard, a product design company powered by AI tools, said it recorded $3.2M ARR up to July ’23, which is 13x YoY. The company had crossed $1M ARR in April, and went from $1M to $3M in 3 months.
Uizard, a product design company powered by AI tools, said it recorded $3.2M ARR up to July ’23, which is 13x YoY. The company had crossed $1M ARR in April, and went from $1M to $3M in 3 months.
Seek to ~1hr mark.
With the newly announced GPTs, I think we’re seeing a new (still a bit primordial) layer of abstraction in computing. There will be a lot more developers, and a lot more GPTs. GPTs that can read, write, hear, speak, see, paint, think, use existing computing as tools, become experts in focus areas, reference custom data, take actions in the digital world, speak or act in custom ways, and collaborate together. Strap in.
With the newly announced GPTs, I think we’re seeing a new (still a bit primordial) layer of abstraction in computing. There will be a lot more developers, and a lot more GPTs. GPTs that can read, write, hear, speak, see, paint, think, use existing computing as tools, become experts in focus areas, reference custom data, take actions in the digital world, speak or act in custom ways, and collaborate together. Strap in.
Forwarded from BZCF | 비즈까페
최근 정주영 창업경진대회에서 토스의 창업자이자 대표이신 이승건 대표님이 한 강연을 촬영한 영상입니다. 내용이 너무 좋네요. 이러한 한국의 창업자들이 자신들의 이야기를 후배 창업자들에게, 그리고 사회에게 공유해주는 것이 큰 자산이 된다고 생각합니다. 정말로 많은 생각들 할 수 있게 되었네요. 아직 조회수가 높지는 않지만... 그것과 무관하게 정말로 가치가 있는 영상이네요. 시간 되실 때, 한번 보시면 좋지 않을까 합니다. 추천합니다.
https://www.youtube.com/watch?v=jARKSXogEE0
https://www.youtube.com/watch?v=jARKSXogEE0
YouTube
이승건 토스 대표의 뼈 때리는 조언(to. 창업가)
“창업가의 길에 들어서면 회사가 여러분의 가족보다 중요해져요. 가족들의 대소사를 챙길 수 없고, 자녀들에게 굿나잇 키스를 할 수 없게 될 거예요. 또 현금 자산이 필요해 좋은 집과 좋은 차는 포기해야할 거고요. 친구나 지인들은 여러분을 이해하지 못하고, 인생에서 길을 잃고 방황한다고 생각할 거예요. 부디 방황이 짧아야할 텐데 하겠죠.”
전체 기사 보기: https://zdnet.co.kr/view/?no=20231031161456
전체 기사 보기: https://zdnet.co.kr/view/?no=20231031161456
❤3
BZCF | 비즈까페
최근 정주영 창업경진대회에서 토스의 창업자이자 대표이신 이승건 대표님이 한 강연을 촬영한 영상입니다. 내용이 너무 좋네요. 이러한 한국의 창업자들이 자신들의 이야기를 후배 창업자들에게, 그리고 사회에게 공유해주는 것이 큰 자산이 된다고 생각합니다. 정말로 많은 생각들 할 수 있게 되었네요. 아직 조회수가 높지는 않지만... 그것과 무관하게 정말로 가치가 있는 영상이네요. 시간 되실 때, 한번 보시면 좋지 않을까 합니다. 추천합니다. https://w…
될 때까지 할 거 잖아요.
정주영
아직 해보지 않아서 모르는 부분은 배우며 하면되고, 길이 없으면 만들며 해결하면 돼. 사막이 뜨겁다고 하지만 밤에는 서늘하다고 하니 일하는 사람들을 낮에는 에어컨 켜놓은 데서 재우고 밤에 불 켜놓고 일하게 하면 되잖아. 또 물이 부족하다고 하는데 차로 길어오면 되고, 어차피 건설장비는 임대해서 쓰는 거니까 문제없어. 자금도 현대신용가지고 빌려서 해결하면 되.
주한 미대사: 정 회장님, 자동차 독자개발을 포기하십시오.
나는 이렇게 생각합니다. 한나라를 인체에 비교한다면 그 국토에 퍼져있는 도로는 인체의 혈관과 같은 것이고 자동차는 그 혈관을 돌아다니는 피와 같은 것이라고 생각합니다. 도로가 발달하고 그 위를 자동차가 원활하게 다니면 피가 몸에서 원활하게 흐를 때 인체가 성장하고 활력을 갖게되듯이 그나라의 경제가 생동력을 가지고 발달할 수 있게 됩니다. 좋은 자동차를 만들어 값싸게 공급하는 것은 인체에 좋은 피를 공급하는 것과 마찬가지입니다. 우리나라 경제는 이제 막 성장하기 시작하는 소년기에 비교할 수 있기 때문에 자동차 공업의 발전은 그만큼 더 중요한 의미를 갖습니다. 자동차 산업은 기계, 전자, 철강, 화학 등 전 산업에 미치는 연관 효과나 기술 발전과 고용창출 효과가 대단히 큰 현대 산업의 꽃이라고 할 수 있습니다. 한국이 선진 공업국 대열에 진입하기 위해서는 반드시 필요한 분입니다.
그렇기 때문에 대사님께서 염려하는 대로 내가 건설사업을 해서 돈을 모두 쏟아붓고 실패한다 해도 나는 결코 후회하지 않을 것 입니다. 왜냐하면 그것이 밑거름이 되어 우리 후대에 가서라도 한국의 자동차산업이 성공하는데 필요한 디딤돌을 놓을 수 있는 일이라면 나는 그것으로 보람을 삼을 것이기 때문입니다.
https://blog.naver.com/kkjj1948/220188452892
정주영
아직 해보지 않아서 모르는 부분은 배우며 하면되고, 길이 없으면 만들며 해결하면 돼. 사막이 뜨겁다고 하지만 밤에는 서늘하다고 하니 일하는 사람들을 낮에는 에어컨 켜놓은 데서 재우고 밤에 불 켜놓고 일하게 하면 되잖아. 또 물이 부족하다고 하는데 차로 길어오면 되고, 어차피 건설장비는 임대해서 쓰는 거니까 문제없어. 자금도 현대신용가지고 빌려서 해결하면 되.
주한 미대사: 정 회장님, 자동차 독자개발을 포기하십시오.
나는 이렇게 생각합니다. 한나라를 인체에 비교한다면 그 국토에 퍼져있는 도로는 인체의 혈관과 같은 것이고 자동차는 그 혈관을 돌아다니는 피와 같은 것이라고 생각합니다. 도로가 발달하고 그 위를 자동차가 원활하게 다니면 피가 몸에서 원활하게 흐를 때 인체가 성장하고 활력을 갖게되듯이 그나라의 경제가 생동력을 가지고 발달할 수 있게 됩니다. 좋은 자동차를 만들어 값싸게 공급하는 것은 인체에 좋은 피를 공급하는 것과 마찬가지입니다. 우리나라 경제는 이제 막 성장하기 시작하는 소년기에 비교할 수 있기 때문에 자동차 공업의 발전은 그만큼 더 중요한 의미를 갖습니다. 자동차 산업은 기계, 전자, 철강, 화학 등 전 산업에 미치는 연관 효과나 기술 발전과 고용창출 효과가 대단히 큰 현대 산업의 꽃이라고 할 수 있습니다. 한국이 선진 공업국 대열에 진입하기 위해서는 반드시 필요한 분입니다.
그렇기 때문에 대사님께서 염려하는 대로 내가 건설사업을 해서 돈을 모두 쏟아붓고 실패한다 해도 나는 결코 후회하지 않을 것 입니다. 왜냐하면 그것이 밑거름이 되어 우리 후대에 가서라도 한국의 자동차산업이 성공하는데 필요한 디딤돌을 놓을 수 있는 일이라면 나는 그것으로 보람을 삼을 것이기 때문입니다.
https://blog.naver.com/kkjj1948/220188452892
🤩3❤1
Could AMD be another option for NVDIA?
https://www.databricks.com/blog/training-llms-scale-amd-mi250-gpus
https://www.mosaicml.com/blog/amd-mi250
https://docs.google.com/presentation/d/1O-zbXIj103FxOHm9bWs9pjR8N8B47YAM/edit#slide=id.p1
https://www.lamini.ai/blog/lamini-amd-paving-the-road-to-gpu-rich-enterprise-llms
https://www.databricks.com/blog/training-llms-scale-amd-mi250-gpus
https://www.mosaicml.com/blog/amd-mi250
https://docs.google.com/presentation/d/1O-zbXIj103FxOHm9bWs9pjR8N8B47YAM/edit#slide=id.p1
https://www.lamini.ai/blog/lamini-amd-paving-the-road-to-gpu-rich-enterprise-llms
Databricks
Training LLMs at Scale with AMD MI250 GPUs | Databricks Blog
We benchmarked LLM training on a multi-node AMD MI250 cluster and found near-linear scaling on up to 128 GPUs, demonstrating a compelling option for multi-node LLM training.
AI had brain, eyes and ears.
https://x.com/rcweston/status/1706893312588746943?s=46&t=h5Byg6Wosg8MJb4pbPSDow
https://x.com/rcweston/status/1706893312588746943?s=46&t=h5Byg6Wosg8MJb4pbPSDow
Self reflection https://github.com/EGCap/awesome-gpt4-vision/blob/main/data/2309.17421-gpt4vision/self-reflection-image-gen.png
GitHub
awesome-gpt4-vision/data/2309.17421-gpt4vision/self-reflection-image-gen.png at main · EGCap/awesome-gpt4-vision
A collection of awesome GPT4 vision use cases. Contribute to EGCap/awesome-gpt4-vision development by creating an account on GitHub.
https://huyenchip.com/2023/10/10/multimodal.html
Multimodality in the context of AI refers to systems that can process and interpret various types of data, such as text and images, simultaneously. It is crucial as it mirrors human sensory experience and increases the robustness and versatility of AI systems. Different data modalities and tasks require systems to not only analyze but also generate or understand multimodal outputs, such as image captioning or visual question answering.
The fundamentals involve components like encoders for each data modality, alignment of different modalities into a joint embedding space, and for generative models, a language model to generate text responses.
CLIP (Contrastive Language-Image Pre-training) maps text and images into a shared space, enhancing tasks like image classification and retrieval. Flamingo is a large multimodal model that generates open-ended responses and is considered a significant leap in multimodal domains. CLIP is known for zero-shot learning capabilities, while Flamingo excels in generating responses based on visual and textual inputs.
Recent advances in multimodal research focus on systems like BLIP-2, LLaVA, LLaMA-Adapter V2, and LAVIN, which push forward the capabilities of multimodal output generation and efficient training adapters, thus refining the interaction between AI and various data modalities1.
Multimodality in the context of AI refers to systems that can process and interpret various types of data, such as text and images, simultaneously. It is crucial as it mirrors human sensory experience and increases the robustness and versatility of AI systems. Different data modalities and tasks require systems to not only analyze but also generate or understand multimodal outputs, such as image captioning or visual question answering.
The fundamentals involve components like encoders for each data modality, alignment of different modalities into a joint embedding space, and for generative models, a language model to generate text responses.
CLIP (Contrastive Language-Image Pre-training) maps text and images into a shared space, enhancing tasks like image classification and retrieval. Flamingo is a large multimodal model that generates open-ended responses and is considered a significant leap in multimodal domains. CLIP is known for zero-shot learning capabilities, while Flamingo excels in generating responses based on visual and textual inputs.
Recent advances in multimodal research focus on systems like BLIP-2, LLaVA, LLaMA-Adapter V2, and LAVIN, which push forward the capabilities of multimodal output generation and efficient training adapters, thus refining the interaction between AI and various data modalities1.
Chip Huyen
Multimodality and Large Multimodal Models (LMMs)
For a long time, each ML model operated in one data mode – text (translation, language modeling), image (object detection, image classification), or audio (speech recognition).