Forwarded from BZCF | 비즈까페
최근 정주영 창업경진대회에서 토스의 창업자이자 대표이신 이승건 대표님이 한 강연을 촬영한 영상입니다. 내용이 너무 좋네요. 이러한 한국의 창업자들이 자신들의 이야기를 후배 창업자들에게, 그리고 사회에게 공유해주는 것이 큰 자산이 된다고 생각합니다. 정말로 많은 생각들 할 수 있게 되었네요. 아직 조회수가 높지는 않지만... 그것과 무관하게 정말로 가치가 있는 영상이네요. 시간 되실 때, 한번 보시면 좋지 않을까 합니다. 추천합니다.
https://www.youtube.com/watch?v=jARKSXogEE0
https://www.youtube.com/watch?v=jARKSXogEE0
YouTube
이승건 토스 대표의 뼈 때리는 조언(to. 창업가)
“창업가의 길에 들어서면 회사가 여러분의 가족보다 중요해져요. 가족들의 대소사를 챙길 수 없고, 자녀들에게 굿나잇 키스를 할 수 없게 될 거예요. 또 현금 자산이 필요해 좋은 집과 좋은 차는 포기해야할 거고요. 친구나 지인들은 여러분을 이해하지 못하고, 인생에서 길을 잃고 방황한다고 생각할 거예요. 부디 방황이 짧아야할 텐데 하겠죠.”
전체 기사 보기: https://zdnet.co.kr/view/?no=20231031161456
전체 기사 보기: https://zdnet.co.kr/view/?no=20231031161456
❤3
BZCF | 비즈까페
최근 정주영 창업경진대회에서 토스의 창업자이자 대표이신 이승건 대표님이 한 강연을 촬영한 영상입니다. 내용이 너무 좋네요. 이러한 한국의 창업자들이 자신들의 이야기를 후배 창업자들에게, 그리고 사회에게 공유해주는 것이 큰 자산이 된다고 생각합니다. 정말로 많은 생각들 할 수 있게 되었네요. 아직 조회수가 높지는 않지만... 그것과 무관하게 정말로 가치가 있는 영상이네요. 시간 되실 때, 한번 보시면 좋지 않을까 합니다. 추천합니다. https://w…
될 때까지 할 거 잖아요.
정주영
아직 해보지 않아서 모르는 부분은 배우며 하면되고, 길이 없으면 만들며 해결하면 돼. 사막이 뜨겁다고 하지만 밤에는 서늘하다고 하니 일하는 사람들을 낮에는 에어컨 켜놓은 데서 재우고 밤에 불 켜놓고 일하게 하면 되잖아. 또 물이 부족하다고 하는데 차로 길어오면 되고, 어차피 건설장비는 임대해서 쓰는 거니까 문제없어. 자금도 현대신용가지고 빌려서 해결하면 되.
주한 미대사: 정 회장님, 자동차 독자개발을 포기하십시오.
나는 이렇게 생각합니다. 한나라를 인체에 비교한다면 그 국토에 퍼져있는 도로는 인체의 혈관과 같은 것이고 자동차는 그 혈관을 돌아다니는 피와 같은 것이라고 생각합니다. 도로가 발달하고 그 위를 자동차가 원활하게 다니면 피가 몸에서 원활하게 흐를 때 인체가 성장하고 활력을 갖게되듯이 그나라의 경제가 생동력을 가지고 발달할 수 있게 됩니다. 좋은 자동차를 만들어 값싸게 공급하는 것은 인체에 좋은 피를 공급하는 것과 마찬가지입니다. 우리나라 경제는 이제 막 성장하기 시작하는 소년기에 비교할 수 있기 때문에 자동차 공업의 발전은 그만큼 더 중요한 의미를 갖습니다. 자동차 산업은 기계, 전자, 철강, 화학 등 전 산업에 미치는 연관 효과나 기술 발전과 고용창출 효과가 대단히 큰 현대 산업의 꽃이라고 할 수 있습니다. 한국이 선진 공업국 대열에 진입하기 위해서는 반드시 필요한 분입니다.
그렇기 때문에 대사님께서 염려하는 대로 내가 건설사업을 해서 돈을 모두 쏟아붓고 실패한다 해도 나는 결코 후회하지 않을 것 입니다. 왜냐하면 그것이 밑거름이 되어 우리 후대에 가서라도 한국의 자동차산업이 성공하는데 필요한 디딤돌을 놓을 수 있는 일이라면 나는 그것으로 보람을 삼을 것이기 때문입니다.
https://blog.naver.com/kkjj1948/220188452892
정주영
아직 해보지 않아서 모르는 부분은 배우며 하면되고, 길이 없으면 만들며 해결하면 돼. 사막이 뜨겁다고 하지만 밤에는 서늘하다고 하니 일하는 사람들을 낮에는 에어컨 켜놓은 데서 재우고 밤에 불 켜놓고 일하게 하면 되잖아. 또 물이 부족하다고 하는데 차로 길어오면 되고, 어차피 건설장비는 임대해서 쓰는 거니까 문제없어. 자금도 현대신용가지고 빌려서 해결하면 되.
주한 미대사: 정 회장님, 자동차 독자개발을 포기하십시오.
나는 이렇게 생각합니다. 한나라를 인체에 비교한다면 그 국토에 퍼져있는 도로는 인체의 혈관과 같은 것이고 자동차는 그 혈관을 돌아다니는 피와 같은 것이라고 생각합니다. 도로가 발달하고 그 위를 자동차가 원활하게 다니면 피가 몸에서 원활하게 흐를 때 인체가 성장하고 활력을 갖게되듯이 그나라의 경제가 생동력을 가지고 발달할 수 있게 됩니다. 좋은 자동차를 만들어 값싸게 공급하는 것은 인체에 좋은 피를 공급하는 것과 마찬가지입니다. 우리나라 경제는 이제 막 성장하기 시작하는 소년기에 비교할 수 있기 때문에 자동차 공업의 발전은 그만큼 더 중요한 의미를 갖습니다. 자동차 산업은 기계, 전자, 철강, 화학 등 전 산업에 미치는 연관 효과나 기술 발전과 고용창출 효과가 대단히 큰 현대 산업의 꽃이라고 할 수 있습니다. 한국이 선진 공업국 대열에 진입하기 위해서는 반드시 필요한 분입니다.
그렇기 때문에 대사님께서 염려하는 대로 내가 건설사업을 해서 돈을 모두 쏟아붓고 실패한다 해도 나는 결코 후회하지 않을 것 입니다. 왜냐하면 그것이 밑거름이 되어 우리 후대에 가서라도 한국의 자동차산업이 성공하는데 필요한 디딤돌을 놓을 수 있는 일이라면 나는 그것으로 보람을 삼을 것이기 때문입니다.
https://blog.naver.com/kkjj1948/220188452892
🤩3❤1
Could AMD be another option for NVDIA?
https://www.databricks.com/blog/training-llms-scale-amd-mi250-gpus
https://www.mosaicml.com/blog/amd-mi250
https://docs.google.com/presentation/d/1O-zbXIj103FxOHm9bWs9pjR8N8B47YAM/edit#slide=id.p1
https://www.lamini.ai/blog/lamini-amd-paving-the-road-to-gpu-rich-enterprise-llms
https://www.databricks.com/blog/training-llms-scale-amd-mi250-gpus
https://www.mosaicml.com/blog/amd-mi250
https://docs.google.com/presentation/d/1O-zbXIj103FxOHm9bWs9pjR8N8B47YAM/edit#slide=id.p1
https://www.lamini.ai/blog/lamini-amd-paving-the-road-to-gpu-rich-enterprise-llms
Databricks
Training LLMs at Scale with AMD MI250 GPUs | Databricks Blog
We benchmarked LLM training on a multi-node AMD MI250 cluster and found near-linear scaling on up to 128 GPUs, demonstrating a compelling option for multi-node LLM training.
AI had brain, eyes and ears.
https://x.com/rcweston/status/1706893312588746943?s=46&t=h5Byg6Wosg8MJb4pbPSDow
https://x.com/rcweston/status/1706893312588746943?s=46&t=h5Byg6Wosg8MJb4pbPSDow
Self reflection https://github.com/EGCap/awesome-gpt4-vision/blob/main/data/2309.17421-gpt4vision/self-reflection-image-gen.png
GitHub
awesome-gpt4-vision/data/2309.17421-gpt4vision/self-reflection-image-gen.png at main · EGCap/awesome-gpt4-vision
A collection of awesome GPT4 vision use cases. Contribute to EGCap/awesome-gpt4-vision development by creating an account on GitHub.
https://huyenchip.com/2023/10/10/multimodal.html
Multimodality in the context of AI refers to systems that can process and interpret various types of data, such as text and images, simultaneously. It is crucial as it mirrors human sensory experience and increases the robustness and versatility of AI systems. Different data modalities and tasks require systems to not only analyze but also generate or understand multimodal outputs, such as image captioning or visual question answering.
The fundamentals involve components like encoders for each data modality, alignment of different modalities into a joint embedding space, and for generative models, a language model to generate text responses.
CLIP (Contrastive Language-Image Pre-training) maps text and images into a shared space, enhancing tasks like image classification and retrieval. Flamingo is a large multimodal model that generates open-ended responses and is considered a significant leap in multimodal domains. CLIP is known for zero-shot learning capabilities, while Flamingo excels in generating responses based on visual and textual inputs.
Recent advances in multimodal research focus on systems like BLIP-2, LLaVA, LLaMA-Adapter V2, and LAVIN, which push forward the capabilities of multimodal output generation and efficient training adapters, thus refining the interaction between AI and various data modalities1.
Multimodality in the context of AI refers to systems that can process and interpret various types of data, such as text and images, simultaneously. It is crucial as it mirrors human sensory experience and increases the robustness and versatility of AI systems. Different data modalities and tasks require systems to not only analyze but also generate or understand multimodal outputs, such as image captioning or visual question answering.
The fundamentals involve components like encoders for each data modality, alignment of different modalities into a joint embedding space, and for generative models, a language model to generate text responses.
CLIP (Contrastive Language-Image Pre-training) maps text and images into a shared space, enhancing tasks like image classification and retrieval. Flamingo is a large multimodal model that generates open-ended responses and is considered a significant leap in multimodal domains. CLIP is known for zero-shot learning capabilities, while Flamingo excels in generating responses based on visual and textual inputs.
Recent advances in multimodal research focus on systems like BLIP-2, LLaVA, LLaMA-Adapter V2, and LAVIN, which push forward the capabilities of multimodal output generation and efficient training adapters, thus refining the interaction between AI and various data modalities1.
Chip Huyen
Multimodality and Large Multimodal Models (LMMs)
For a long time, each ML model operated in one data mode – text (translation, language modeling), image (object detection, image classification), or audio (speech recognition).
Multimodality in the context of AI refers to systems that can process and interpret various types of data, such as text and images, simultaneously. It is crucial as it mirrors human sensory experience and increases the robustness and versatility of AI systems. Different data modalities and tasks require systems to not only analyze but also generate or understand multimodal outputs, such as image captioning or visual question answering.
The fundamentals involve components like encoders for each data modality, alignment of different modalities into a joint embedding space, and for generative models, a language model to generate text responses.
CLIP (Contrastive Language-Image Pre-training) maps text and images into a shared space, enhancing tasks like image classification and retrieval. Flamingo is a large multimodal model that generates open-ended responses and is considered a significant leap in multimodal domains. CLIP is known for zero-shot learning capabilities, while Flamingo excels in generating responses based on visual and textual inputs.
Recent advances in multimodal research focus on systems like BLIP-2, LLaVA, LLaMA-Adapter V2, and LAVIN, which push forward the capabilities of multimodal output generation and efficient training adapters, thus refining the interaction between AI and various data modalities1.
https://huyenchip.com/2023/10/10/multimodal.html
The fundamentals involve components like encoders for each data modality, alignment of different modalities into a joint embedding space, and for generative models, a language model to generate text responses.
CLIP (Contrastive Language-Image Pre-training) maps text and images into a shared space, enhancing tasks like image classification and retrieval. Flamingo is a large multimodal model that generates open-ended responses and is considered a significant leap in multimodal domains. CLIP is known for zero-shot learning capabilities, while Flamingo excels in generating responses based on visual and textual inputs.
Recent advances in multimodal research focus on systems like BLIP-2, LLaVA, LLaMA-Adapter V2, and LAVIN, which push forward the capabilities of multimodal output generation and efficient training adapters, thus refining the interaction between AI and various data modalities1.
https://huyenchip.com/2023/10/10/multimodal.html
Chip Huyen
Multimodality and Large Multimodal Models (LMMs)
For a long time, each ML model operated in one data mode – text (translation, language modeling), image (object detection, image classification), or audio (speech recognition).
Continuous Learning_Startup & Investment
Could AMD be another option for NVDIA? https://www.databricks.com/blog/training-llms-scale-amd-mi250-gpus https://www.mosaicml.com/blog/amd-mi250 https://docs.google.com/presentation/d/1O-zbXIj103FxOHm9bWs9pjR8N8B47YAM/edit#slide=id.p1 https://www.lam…
6. Develop GPU alternatives
GPU has been the dominating hardware for deep learning ever since AlexNet in 2012. In fact, one commonly acknowledged reason for AlexNet’s popularity is that it was the first paper to successfully use GPUs to train neural networks. Before GPUs, if you wanted to train a model at AlexNet’s scale, you’d have to use thousands of CPUs, like the one Google released just a few months before AlexNet. Compared to thousands of CPUs, a couple of GPUs were a lot more accessible to Ph.D. students and researchers, setting off the deep learning research boom.
In the last decade, many, many companies, both big corporations, and startups, have attempted to create new hardware for AI. The most notable attempts are Google’s TPUs, Graphcore’s IPUs (what’s happening with IPUs?), and Cerebras. SambaNova raised over a billion dollars to develop new AI chips but seems to have pivoted to being a generative AI platform.
For a while, there has been a lot of anticipation around quantum computing, with key players being:
IBM’s QPU
Google’s Quantum computer reported a major milestone in quantum error reduction earlier this year in Nature. Its quantum virtual machine is publicly accessible via Google Colab
Research labs such as MIT Center for Quantum Engineering, Max Planck Institute of Quantum Optics, Chicago Quantum Exchange, Oak Ridge National Laboratory, etc.
Another direction that is also super exciting is photonic chips. This is the direciton I know the least about – so please correct me if I’m wrong. Existing chips today use electricity to move data, which consumes a lot of power and also incurs latency. Photonic chips use photons to move data, harnessing the speed of light for faster and more efficient compute. Various startups in this space have raised hundreds of millions of dollars, including Lightmatter ($270M), Ayar Labs ($220M), Lightelligence ($200M+), and Luminous Computing ($115M).
Below is the timeline of advances of the three major methods in photonic matrix computation, from the paper Photonic matrix multiplication lights up photonic accelerator and beyond (Zhou et al., Nature 2022). The three different methods are plane light conversion (PLC), Mach–Zehnder interferometer (MZI), and wavelength division multiplexing (WDM).
GPU has been the dominating hardware for deep learning ever since AlexNet in 2012. In fact, one commonly acknowledged reason for AlexNet’s popularity is that it was the first paper to successfully use GPUs to train neural networks. Before GPUs, if you wanted to train a model at AlexNet’s scale, you’d have to use thousands of CPUs, like the one Google released just a few months before AlexNet. Compared to thousands of CPUs, a couple of GPUs were a lot more accessible to Ph.D. students and researchers, setting off the deep learning research boom.
In the last decade, many, many companies, both big corporations, and startups, have attempted to create new hardware for AI. The most notable attempts are Google’s TPUs, Graphcore’s IPUs (what’s happening with IPUs?), and Cerebras. SambaNova raised over a billion dollars to develop new AI chips but seems to have pivoted to being a generative AI platform.
For a while, there has been a lot of anticipation around quantum computing, with key players being:
IBM’s QPU
Google’s Quantum computer reported a major milestone in quantum error reduction earlier this year in Nature. Its quantum virtual machine is publicly accessible via Google Colab
Research labs such as MIT Center for Quantum Engineering, Max Planck Institute of Quantum Optics, Chicago Quantum Exchange, Oak Ridge National Laboratory, etc.
Another direction that is also super exciting is photonic chips. This is the direciton I know the least about – so please correct me if I’m wrong. Existing chips today use electricity to move data, which consumes a lot of power and also incurs latency. Photonic chips use photons to move data, harnessing the speed of light for faster and more efficient compute. Various startups in this space have raised hundreds of millions of dollars, including Lightmatter ($270M), Ayar Labs ($220M), Lightelligence ($200M+), and Luminous Computing ($115M).
Below is the timeline of advances of the three major methods in photonic matrix computation, from the paper Photonic matrix multiplication lights up photonic accelerator and beyond (Zhou et al., Nature 2022). The three different methods are plane light conversion (PLC), Mach–Zehnder interferometer (MZI), and wavelength division multiplexing (WDM).
As a founder, writing investor updates was a helpful forcing function to step back from the day-to-day and reflect on the trajectory of my business. Now, as an investor, I deeply appreciate working with founders who are disciplined about regular written communication.
I know that it can be daunting to write an effective investor update if you don’t have a template to work off of. So if this idea resonates, but you don’t currently have a great structure for your written investor updates, I recommend this email template from Mathilde Collin—it’s the same one she sends to Front’s investors every month. Here’s why I love this format:
🍫 / It’s short but context rich. For investors, it’s disconcerting when a founder disappears for six months then comes back with tanking KPIs. We want to help, but if we have no context on what’s been going on, it’s difficult to provide meaningful guidance. Written, consistent updates like these, even if they’re only a few bullet points, help us maintain a mental snapshot of your company. These emails are also a great way to refresh ourselves on the latest before jumping on a call with you.
🙈 / There’s no way to hide. With this format, everything—from your monthly burn to the number of customers—is front and center. Keep the same KPIs every month to avoid cherry-picking. There’s even a section dedicated entirely to what’s NOT going well (as all founders know, there’s always something!) This type of structured update keeps you honest and shows investors that they’re getting the full picture vs. a carefully curated highlight reel.
👯♀️ / Opens up a two-way dialogue. Many people view these types of updates as transactional, but I actually think they can create space for more meaningful engagement between founders and investors. For example, as a founder, you can use this monthly touch point to ask us for what you need—whether that’s a referral or a sounding board. As an investor, I love having the opportunity to ask follow-up questions or to just reply with a word of encouragement. These micro-moments can lead to stronger relationships.
Curious if anyone structures their investor updates in a different way? Also, if you’re interested, Mathilde offers several more templates in this Review article: https://bit.ly/40zGoqn
I know that it can be daunting to write an effective investor update if you don’t have a template to work off of. So if this idea resonates, but you don’t currently have a great structure for your written investor updates, I recommend this email template from Mathilde Collin—it’s the same one she sends to Front’s investors every month. Here’s why I love this format:
🍫 / It’s short but context rich. For investors, it’s disconcerting when a founder disappears for six months then comes back with tanking KPIs. We want to help, but if we have no context on what’s been going on, it’s difficult to provide meaningful guidance. Written, consistent updates like these, even if they’re only a few bullet points, help us maintain a mental snapshot of your company. These emails are also a great way to refresh ourselves on the latest before jumping on a call with you.
🙈 / There’s no way to hide. With this format, everything—from your monthly burn to the number of customers—is front and center. Keep the same KPIs every month to avoid cherry-picking. There’s even a section dedicated entirely to what’s NOT going well (as all founders know, there’s always something!) This type of structured update keeps you honest and shows investors that they’re getting the full picture vs. a carefully curated highlight reel.
👯♀️ / Opens up a two-way dialogue. Many people view these types of updates as transactional, but I actually think they can create space for more meaningful engagement between founders and investors. For example, as a founder, you can use this monthly touch point to ask us for what you need—whether that’s a referral or a sounding board. As an investor, I love having the opportunity to ask follow-up questions or to just reply with a word of encouragement. These micro-moments can lead to stronger relationships.
Curious if anyone structures their investor updates in a different way? Also, if you’re interested, Mathilde offers several more templates in this Review article: https://bit.ly/40zGoqn
First Round Review
The Founder’s Guide to Discipline: Lessons from Front’s Mathilde Collin
Front's CEO and co-founder Mathilde Collin shares why a founder’s discipline matters more than vision, unveiling her own best practices and templates for communication, time management, fundraising and team building.
최근 OpenAI Dev Day이후 스타트업은 어떻게 해야하나라는 자조섞인 의견들이 있는데 오늘 Nat Friedman(Builder of Github Copilot)이 이것과 관련된 이야기를 해서 메모.
Q: OpenAI, Google같은 기업이 다 해먹으면 스타트업이 어떤 시장의 문제를 풀어야하나?
GPT Wrapper냐 아니냐가 중요한 질문이 아니라 유저를 잘 확보해서 좋은 비즈니스냐 아니냐라는 고민을 해야한다. 원래 Salesforce도 Oracle DB + HTML 쓴 웹 Wrapper였는데 워낙 유저에게 주는 가치가 크다보니 지금은 엄청 커졌다.
Google 초창기에 MS가 데이터도 많고, 고객도 많아서 구글 없앨 수 있다는 이야기 정말 많이 있었다. 그런데 지금 봐라 ㅎㅎ.
물론 경쟁이 덜 치열한 곳에서 시작하는 게 스타트업에게 맞는 말이지만 Perplexity는 구글이랑 바로 경쟁하는데 지금 너무 잘해주고 있다. 그런거 보면 꼭 경쟁이 치열하다고 해서 무조건 다 죽는건 아닌것 같기도하다.
Q: GPU Cluster는 왜 만든거냐?
MS에 있으면서도 스타트업 투자도 하고 도와주기도 했는데 대부분 GPU가 없다고 해서 MS에서 가장 큰 GPU Broker역할을 했었다?! ㅎㅎ. 그리고 Coreweave라는 데이터 센터 투자가 들어와서 소프트웨어만 투자한다고 거절했더니 그래도 한번 보라고 해서 봤다. 그런데 마진과 성장이 미쳤더라.
앞으로 AI관련 회사에 투자할 건데 대부분 투자를 받은 회사들이 투자금을 GPU를 사용하거나 사는데에 사용한다면 내가 미리 사는게 좋겠다고 생각이 들어서 클러스터를 구축하게 되었다. 무려 2,512 H100로 전세계 5위정도..
Named Andromeda Cluster, this system comprises 2,512 H100 GPUs and can train a 65 billion parameter AI model in approximately 10 days, as stated by the venture capitalists. While it may not be the largest model available, it is undoubtedly a significant achievement.
Q: Github Copilot 어떻게 만들었냐?
처음에 GPT를 썼을 땐 꽤 재밌는 장난감 이었는데, 코딩을 시켜보니 이걸 잘하더라. 근데 이걸 제품화시키는건 다른이야기였다. 고객이 좋아하는지도 모르는 제품/기능을 만들어가면서 고객을 만족시켜야하는게 Product Market Fit을 찾는 과정이었다. 우리가 고객이라 다행이었다.
Q: Scroll 왜하냐?
줄리우스 시저의 할아버지가 과거에 지었던 별장이 화산에 묻혀서 그 유적이 나중에 발굴되었는데 아무도 관련 연구를 하지 않고 있더라. 그 연구를 하는 사람을 우연히 발견해서 너무 신나서 주변에 Billionaires들과 캠핑갈 때 그 사람을 데려갔는데 아무도 관심이 없더라. 그래서 내가 먼저 투자하고 인류의 역사를 넓히는 일에 동참하라고 열심히 주변에 피치하고 트위터에 홍보하다보니 $2m 짜리 프로젝트(관련 연구에서 가장 펀딩을 잘받은 연구)가 되버렸다고 한다..
---
아직도 산업에 일어날 일은 많고 풀어야할 문제는 많다. 창업자, 투자자들에겐 앞으로 5-10년이 정말로 재밌는 시기일듯. 이미 여러 산업을 경험하고 성공과 실패가 많은 사람들이 굉장히 Casual하게 여러 스테이지 창업자들과 교류하고 돕는 생태계는 Bay의 엄청난 장점인듯.
Multimodal의 시대가 되면서 코딩 이외에 다양한 분야에서 변화가 기대된다. 지금은 Copilot으로 코딩하는게 당연한데 1-3년뒤 우리는 무엇을 당연하게 생각할까?
할 수 있는 게 너무 많은 세상이다. 다들 화이팅.
Q: OpenAI, Google같은 기업이 다 해먹으면 스타트업이 어떤 시장의 문제를 풀어야하나?
GPT Wrapper냐 아니냐가 중요한 질문이 아니라 유저를 잘 확보해서 좋은 비즈니스냐 아니냐라는 고민을 해야한다. 원래 Salesforce도 Oracle DB + HTML 쓴 웹 Wrapper였는데 워낙 유저에게 주는 가치가 크다보니 지금은 엄청 커졌다.
Google 초창기에 MS가 데이터도 많고, 고객도 많아서 구글 없앨 수 있다는 이야기 정말 많이 있었다. 그런데 지금 봐라 ㅎㅎ.
물론 경쟁이 덜 치열한 곳에서 시작하는 게 스타트업에게 맞는 말이지만 Perplexity는 구글이랑 바로 경쟁하는데 지금 너무 잘해주고 있다. 그런거 보면 꼭 경쟁이 치열하다고 해서 무조건 다 죽는건 아닌것 같기도하다.
Q: GPU Cluster는 왜 만든거냐?
MS에 있으면서도 스타트업 투자도 하고 도와주기도 했는데 대부분 GPU가 없다고 해서 MS에서 가장 큰 GPU Broker역할을 했었다?! ㅎㅎ. 그리고 Coreweave라는 데이터 센터 투자가 들어와서 소프트웨어만 투자한다고 거절했더니 그래도 한번 보라고 해서 봤다. 그런데 마진과 성장이 미쳤더라.
앞으로 AI관련 회사에 투자할 건데 대부분 투자를 받은 회사들이 투자금을 GPU를 사용하거나 사는데에 사용한다면 내가 미리 사는게 좋겠다고 생각이 들어서 클러스터를 구축하게 되었다. 무려 2,512 H100로 전세계 5위정도..
Named Andromeda Cluster, this system comprises 2,512 H100 GPUs and can train a 65 billion parameter AI model in approximately 10 days, as stated by the venture capitalists. While it may not be the largest model available, it is undoubtedly a significant achievement.
Q: Github Copilot 어떻게 만들었냐?
처음에 GPT를 썼을 땐 꽤 재밌는 장난감 이었는데, 코딩을 시켜보니 이걸 잘하더라. 근데 이걸 제품화시키는건 다른이야기였다. 고객이 좋아하는지도 모르는 제품/기능을 만들어가면서 고객을 만족시켜야하는게 Product Market Fit을 찾는 과정이었다. 우리가 고객이라 다행이었다.
Q: Scroll 왜하냐?
줄리우스 시저의 할아버지가 과거에 지었던 별장이 화산에 묻혀서 그 유적이 나중에 발굴되었는데 아무도 관련 연구를 하지 않고 있더라. 그 연구를 하는 사람을 우연히 발견해서 너무 신나서 주변에 Billionaires들과 캠핑갈 때 그 사람을 데려갔는데 아무도 관심이 없더라. 그래서 내가 먼저 투자하고 인류의 역사를 넓히는 일에 동참하라고 열심히 주변에 피치하고 트위터에 홍보하다보니 $2m 짜리 프로젝트(관련 연구에서 가장 펀딩을 잘받은 연구)가 되버렸다고 한다..
---
아직도 산업에 일어날 일은 많고 풀어야할 문제는 많다. 창업자, 투자자들에겐 앞으로 5-10년이 정말로 재밌는 시기일듯. 이미 여러 산업을 경험하고 성공과 실패가 많은 사람들이 굉장히 Casual하게 여러 스테이지 창업자들과 교류하고 돕는 생태계는 Bay의 엄청난 장점인듯.
Multimodal의 시대가 되면서 코딩 이외에 다양한 분야에서 변화가 기대된다. 지금은 Copilot으로 코딩하는게 당연한데 1-3년뒤 우리는 무엇을 당연하게 생각할까?
할 수 있는 게 너무 많은 세상이다. 다들 화이팅.