프론티어 모델은 트레이닝 비용이 점점 더 비싸지는 반면, 커머셜 모델은 성능이 향상됨에 따라 매년 가격이 하락합니다(예: 2년 전보다 현재 GPT-3.5 동급을 트레이닝하는 데 약 5배 저렴함).

모델 규모가 커짐에 따라 자금은 주로 클라우드 제공업체/대형 기술 업체에서 점점 더 많이 조달되고 있습니다. 예를 들어, Microsoft는 OpenAI에 100억 달러 이상을 투자했고, Anthropic은 Amazon과 Google 사이에서 70억 달러를 모금했습니다. NVIDIA는 또한 다양한 유형의 재단 모델 회사에 큰 투자를 하고 있습니다. 이에 비해 이러한 기업에 대한 벤처 자금은 매우 미미한 수준입니다.

예를 들어 Microsoft의 Azure는 분기당 250억 달러의 수익을 창출합니다. Microsoft가 OpenAI에 투자한 약 100억 달러는 Azure 매출의 약 6주에 해당하는 금액입니다. AI는 Azure 수익에 지속적으로 큰 영향을 미치고 있습니다. 실제로 Azure는 2024년 2분기에 AI로 인해 6% 포인트 성장했으며, 이는 연간 50~60억 달러(또는 연간 OpenAI 투자의 50%!)의 증가율에 해당합니다. 물론 수익이 순이익은 아니지만, 그럼에도 불구하고 이는 놀라운 수치이며 대형 클라우드가 시간이 지남에 따라 더 큰 규모의 모델에 투자할 경제적 이유가 있음을 시사합니다.

이것이 장기적으로 LLM의 경제성과 시장 구조에 어떤 영향을 미칠까요? 이는 신규 진입자를 위한 충분한 자본과 인재 부족으로 인해 곧 새로운 프런티어 LLM 기업의 종말을 보게 될 것임을 의미할까요? 아니면 일부가 클라우드에서 수익으로 전환되기를 바라며 대형 모델에 계속 자금을 지원할까요?

정부는 지역 AI 챔피언을 지원(또는 직접 구매)할까요? 각국 정부는 항공우주 분야의 보잉과 에어버스처럼 지역 모델에 차등적으로 지출할 것인가? 정부는 현지의 가치, 언어 등을 반영하는 모델을 지원하길 원하나요? 클라우드 제공업체와 글로벌 대기업(예: 알리바바, 라쿠텐 등) 외에 잠재적 자본의 또 다른 큰 원천은 국가입니다. 현재 유럽(예: 미스트랄), 일본, 인도, UAE, 중국 및 기타 국가에 훌륭한 모델 기업이 있습니다. 그렇다면 정부 수입만으로 수십억 달러 규모의 AI 기반 모델 지역 기업이 몇 개 탄생할 수도 있습니다.

이들 중 상당수는 실존적인 질문(예: RLHF가 얼마나 RLAIF로 전환되는지 등)을 가지고 있습니다.

제한된 GPU/GPU arb로 전환할 수 있을까요? 주요 클라우드 제공업체에 GPU가 없는 상황에서 기업들은 필요에 맞는 충분한 GPU를 찾기 위해 노력하고 있으며, 자체 GPU 클라우드를 갖춘 새로운 스타트업의 채택을 가속화하고 있습니다. NVIDIA가 취할 수 있는 한 가지 잠재적인 전략은 이러한 신규 공급업체에 GPU를 우선적으로 할당하여 하이퍼스케일러의 협상력을 낮추고 시장을 세분화하는 동시에 스타트업을 통해 업계를 가속화하는 것입니다. GPU 병목 현상은 언제 끝나며, 이는 새로운 AI 클라우드 제공업체에 어떤 영향을 미치나요? 메인 클라우드에서 GPU 부족 현상이 종료되면 GPU 클라우드가 유일한 사업인 기업에게는 부정적일 수 있지만, 더 많은 도구와 서비스를 보유한 기업에게는 전환이 더 쉬울 것으로 보입니다.

AI 클라우드로 통합되는 또 다른 항목은 무엇인가요? 임베딩과 RAG를 교차 판매하나요? 지속적인 업데이트? 미세 조정? 다른 서비스? 데이터 라벨러나 중복되는 서비스를 제공하는 다른 업체에는 어떤 영향이 있나요? 모델 제공업체에 직접 통합되는 것과 클라우드를 통해 통합되는 것은 무엇인가요?

AI 클라우드에서 어떤 기업이 어떤 비즈니스 모델을 추구할 것인가?
AI 클라우드 세계에는 (a) 스타트업 (b) 미드마켓 및 엔터프라이즈 두 가지 시장 세그먼트가 존재한다는 점에 주목할 필요가 있습니다. 클라우드에 대한 요구가 적은 스타트업 부문에서는 "GPU 전용" 비즈니스 모델이 기본으로 적용될 가능성이 높지만, 대기업의 경우 주요 플랫폼의 GPU 클라우드 제약으로 인해 도입이 더 많이 이루어질 수 있습니다. 개발자 도구, API 엔드포인트 및/또는 특수 하드웨어 등을 제공하는 회사는 (a) "Snowflake/Databricks for AI" 모델 또는 (b) "Cloudflare for AI"라는 두 가지 유사한 모델로 변모하나요? 그렇다면 어떤 모델이 어떤 모델을 채택하나요?

새로운 AI 클라우드는 얼마나 큰 규모인가요? Heroku, Digital Ocean, Snowflake 또는 AWS만큼 큰 규모인가요? 이 등급의 회사의 성과 및 활용 규모는 어느 정도인가요?

# automating software engineering

In my mind, automating software engineering will look similar to automating driving. E.g. in self-driving the progression of increasing autonomy and higher abstraction looks something like:

1. first the human performs all driving actions manually
2. then the AI helps keep the lane
3. then it slows for the car ahead
4. then it also does lane changes and takes forks
5. then it also stops at signs/lights and takes turns
6. eventually you take a feature complete solution and grind on the quality until you achieve full self-driving.

There is a progression of the AI doing more and the human doing less, but still providing oversight. In Software engineering, the progression is shaping up similar:

1. first the human writes the code manually
2. then GitHub Copilot autocompletes a few lines
3. then ChatGPT writes chunks of code
4. then you move to larger and larger code diffs (e.g. Cursor copilot++ style, nice demo here https://youtube.com/watch?v=Smklr44N8QU)
5....
Devin is an impressive demo of what perhaps follows next: coordinating a number of tools that a developer needs to string together to write code: a Terminal, a Browser, a Code editor, etc., and human oversight that moves to increasingly higher level of abstraction.

There is a lot of work not just on the AI part but also the UI/UX part. How does a human provide oversight? What are they looking at? How do they nudge the AI down a different path? How do they debug what went wrong? It is very likely that we will have to change up the code editor, substantially.

In any case, software engineering is on track to change substantially. And it will look a lot more like supervising the automation, while pitching in high-level commands, ideas or progression strategies, in English.

Good luck to the team!

최근에 SWE-bench에서 우수한 결과를 도출했다고 발표하고 & Founders Fund 등으로부터 $21m 투자를 유치해서 화제가 된 Devin 개발사 Cognition. 내가 개발자도 아니고 직접 서비스를 써본 것도 아니라서 정확한 평가를 내리기는 어려우나, 소프트웨어 개발이 AI로 대체되어가는건 분명하다는걸 다시 한번 일깨워준 프로덕트임에는 틀림 없다.

안드레 카파시는 Devin 데모를 보면서 자율주행의 발전과 비슷하다고 느꼈다고 한다. 두 영역의 발전으로부터 다른 영역 또한 어떻게 발전할지 큰 힌트를 얻을 수 있는듯.

https://www.cognition-labs.com/introducing-devin

https://twitter.com/karpathy/status/1767598414945292695?s=20&utm_source=substack&utm_medium=email

지난주 작년에 첫 회사를 엑싯하신 한 대표님과 이야기를 나눴는데 창업이 육아와 정말 비슷한 점이 많다고 하셨다. 첫 아이를 기를때는 아이가 성장하는 과정에서 어떤 것을 기대해야 되는지 몰라 실수를 하고 생각했던 것보다 육아하는 것이 너무 힘들어 그 고통이 큰데 두번째 아이 부터는 아이가 성장하면서 어떤 문제들이 생기는지 알기 때문에 좀 더 수월하다고 하셨다.

나는 이 말이 너무 공감되었다. 창업하면서 가장 힘든 부분은 사람과 관련된 문제들이라는 이야기를 듣기는 했지만 작년을 돌이켜보면 구체적으로 어떤 것을 기대해야 되는지 몰라 고통이 정말 컸던 것 같다. 작년에 팀이 한번 리빌딩 되면서 팀원들 간의 갈등을 겪게 되었는데 이때 매니저로써 나의 역량에 한계를 느끼면서 번아웃이 왔다.

최근 인간에게 발달단계가 있듯이 팀에도 발달단계가 있다는 것을 알게 되었다. 팀의 발달단계에서 어떤 현상이 발생하게 되는지 미리 알았더라면 내 스스로의 역량이 부족해서 문제가 발생했다는 생각보다는 원래 자연스럽게 발생하는 생리 현상임을 인지하고 이에 적절한 대응을 했을 것 같다.

모든 팀은 Forming → Storming → Norming → Performing의 4단계를 거치게 된다.

1) Forming
나타나는 현상
• 팀원들이 롤, 목표, 프로세스에 대한 이해가 부족한 상태. 매니저에게 의존도가 가장 높은 상태. 심리적으로 불안한 상태이며 이해하고 적응하는 것에 우선순위를 두고 리스크 지는 행동이나 사람들과 논쟁하는 것을 기피함.

이전 실수
• 팀원들에게 자율성 부여하고 자기 주도성을 요구해야 된다는 막연한 생각으로 디스콰이엇에서 어떤 것을 하고 싶은지와 같은 open-ended question을 물어보고 지표와 해결해야 되는 문제만 던져준 후 주체적으로 해결책을 가져올 것을 요구함.
• 1-on-1, 회의때 질문을 많이 하고 의견을 많이 낼 것을 요구함.

올바른 가이드
• 각 롤, 목표, 프로세스에 대해서 커뮤니케이션을 자주 하고 태스크 수행을 통해 이에 대한 이해가 생기는 것을 목표로 훨씬 세부적으로 태스크를 지정해줘야 됨.
• 심리적 안정감을 느끼기 전까지는 질문이나 의견내는 것이 없을 것이라는 것을 기대하고 롤, 목표, 프로세스에 대해서 설명하는 시간을 훨씬 많이 갖고 먼저 적극적으로 이해가 안되는 부분이 있는지, 설명이 필요한 부분이 있는지를 체킹. 심리적 안정감을 만들기 위한 활동들, 유대감을 쌓기 위한 활동들을 의도적으로 많이 해야 됨.

2) Storming
나타나는 현상
• 롤, 목표, 프로세스에 대한 경계가 아직 모호한 상태. 이때문에 서로 일하는 영역에 침범하는 것이 발생.
• 심리적 안정감이 생기면서 일하는 스타일이나 성격 차이로 인해 생기는 갈등을 표출하기 시작함. 조금씩 자신감을 얻으면서 매니저의 가이드를 거부하기 시작함.
개개인이 자기의 정체성에 대해서 고민을 많이 하고 팀보다는 이를 표현하는 것을 더 우선시함. 위계 질서에 대한 걱정을 하기 시작함

이전 실수
• 일하는 상황에서 기대치를 충족하지 못하는 결과물이나 생각의 부족함이 보였을때 이를 바로 잡기위해서 즉각적으로 행동함. 이로 인해 자신감이 떨어지는 상황이 발생하고 방어적인 태도를 보이는 경우가 잦아짐. 심리적 안정감이 없어짐.
• 갈등상황이 있을때 개인의 성향, 스타일에 대한 메타 인지로 넘어가는데 시간이 너무 오래 걸림.

올바른 가이드
• 각자 성향, 장단점, 일하는 스타일에 대해서 메타 인지를 할 수 있도록 가이드를 주고 롤, 목표, 프로세스를 명료하게 하는데 시간을 써야됨. 심리적 안정감을 느낄 수 있는 환경을 조성하는데 노력을 기울여야 됨.
• 마찰이 나는 것이 좋은 현상이라는 것을 인지 시키고 발전을 위해서 꼭 필요한 것이라는 것을 강조.

3) Norming
나타나는 현상
• 목표, 롤, 프로세스의 경계가 생기기 시작함. 서로의 성향 차이를 이해하기 시작하고 어떻게 하면 상호보완적으로 일할 수 있는지 이해를 하기 시작함.
• 개인의 정체성보다는 팀에 대해서 고민을 더 많이 하기 시작하고 일을 잘하기 위한 프로세스를 잡아나가기 시작함.

이전 실수
• 팀 내부에서 일부는 Norming 단계에 와있고 일부는 그렇지 않은 경우가 있었는데 그렇지 않은 팀원들에게 개인이 아닌 팀과 고객을 고민할 것을 더 명확히 요구하지 못했음. 요구했는데도 개선되지 않은 팀원들과 더 빨리 헤어졌어야 됐는데 그러지 못했음.
• 위임을 못하고 모든 일을 내가 해야된다는 생각을 했음.
• 심리적 안정감, 팀웍을 쌓기 위한 활동을 적극적으로 고민하고 장려하지 않았음.

올바른 가이드
• Storming 단계를 넘어선 것을 축하하고 심리적 안정감, 팀웍을 쌓을 수 있는 환경을 만드는데 더 적극적으로 관여
• 목표 설정하고 이를 소통하는 것에 더 집중하고 팀에게 높은 기준을 요구
• 지시자가 아닌 질문자로써 코칭

4) Performing
나타나는 현상
• 팀에 대한 고민이 줄고 일을 수행하는 것에 대한 고민만 하게 되는 몰입 상태에 이름. 소통 비용이 낮고 팀으로써 문제 해결 역량이 올라감.
• 결정의 속도가 빨라지고 갈등 상황을 건강하게 잘 해결함.

내가 했던 실수
• 여기까지 잘가보지 못함.

올바른 가이드
• 리더쉽 양성에 신경쓰고 리더에게 완벽한 위임.
• 비전에 신경쓰고 이를 달성하기 위한 챌린지들을 제시하고 적절한 보상과 구조를 통해 챌린지들이 해결되는 속도를 높임.
• Performing 단계가 영원하지 않다는 것을 인지하고 다시 회귀할 것을 대비.

1) Inflection will likely be the first of many VC-backed Foundation Model companies to fail.

Foundation models without proprietary, real-time data AND massive distribution for RLHF are the fastest depreciating assets in history.

2) Irony is that while models are commodities today, the ultimate future is likely one where there are only a few truly massive models with proprietary real time data and vast distribution.

Only a few will make it. And they will be super valuable.

3) Smaller open source models will be used for most vertical tasks to save on inference costs.

As ever, there are no barriers to entry on the internet, only barriers to scale. And once at scale, the returns are very high.

Foundation models are becoming a “Game of Emperors” and the empires on the other side of this winnowing are really large.

4) Also respect to the Inflection team for trying. They built a great model - just wasn’t valuable enough without proprietary real-time data and massive internet distribution.

And yes, technically it hasn’t entirely failed yet but I think fair to say has effectively failed.

Inflection Deal

> too much capital and talent needed for next generation
> no real way to exit
> Reid Hoffmann looking to engineer an acquihire
> MSFT unwilling to bite at $4 bil
> so they engineered an earn-out deal
> allowing founders and research team to leave
> investors get back some capital over time
> surprising Reid managed to persuade everyone to get this done

장병규 의장의 생각

"특정 기획자가 아니라 시스템이 게임을 만드는 프랜차이즈 체계를 갖춰야 20~30년 존속이 가능하다. 외부 제작사와도 협업해 펍지 IP로 다양한 시도를 하겠다. 전세계 번화가에 맥도날드가 있듯 어느 게임 분야를 가더라도 펍지라는 프랜차이즈가 보이도록 하겠다”

“가상자산으로서의 비트코인과 이더리움은 일리가 있지만 화폐를 대체하는 등 다른 용도로는 아직까지 보수적으로 본다”
“애플 비전프로가 보여준 위력이 있지만 대중화까지는 시간이 필요할 것”

https://n.news.naver.com/article/015/0004962360?sid=101

이 회사가 내부적으로 가지고있는 플레이북(시스템)이 있다는데 본적이 없어서 궁금하다. 이분 인터뷰 보면 이게 핵심이라고 자주 언급하시는데 공개가 안된 것 같음.

https://www.colinkeeley.com/blog/robert-f-smith-vista-equity-partners-operating-manual

Shohei Ohtani fever drives $150m windfall from MLB Seoul Series

Major League Baseball's tour through Thursday in Seoul is expected to produce a financial boon locally thanks largely to the appearance of Japanese superstar Shohei Ohtani.

Read more here

Japanese startup generates AI models from 'evolutionary' process

Sakana AI, a Japanese artificial intelligence startup, said Thursday that it has invented a new way of creating generative AI models that applies the concepts of evolution and natural selection. This approach, according to the company, allows significantly cheaper and faster AI development.

Read more here