Jarvis highlighted four key areas where he expects major progress: Smarter and cheaper models, increased model customization, more multimodality like audio and video and market-leading chatbots performing at similarly high levels.
"Don't build for what's available today because things are changing so fast," Jarvis told attendees, saying the speed of advancement means current capabilities will be outmoded by the time new applications ship.

오픈AI 수석 아키텍트 개발자 Colin Jarvis "LLM 성능은 기하급수적으로 발전할 것" (자료: AI Biz)

- 미래를 보며 개발해가는 오픈AI / "Don't build for what's available today because things are changing so fast," - Colin Jarvis

- GPT-4보다 두 배 빠른 속도를 내기 시작한 GPT-4o 덕분에 이제 많은 사용사례들이 출시가능해진 것을 보고 있음

- LLM 업계는 가장 똑똑한 모델을 만들고, 이를 충분히 개발하고나면 더 저렴하게 만들며 더 빠르게 만든다는 것이 트렌드. 오픈AI는 똑똑한 모델을 선도하고 있고 덕분에 더 저렴한 비용으로 서비스하고 있기도

- LLM 자체를 파인튜닝하는 건 정도가 제한돼있고, 오픈소스로 하려면 상당한 컴퓨팅과 테크닉이 필요. 점점 더 많은 기업이 LLM을 파운데이션으로 쓰고 강화학습으로 사후훈련할 거라 생각. 전문가형 모델들이 여러 애플리케이션에서 상당한 가치를 입증 중

리루는 장기적인 관점에서 중국이 더욱 성장할 것이라고 주장하고 있습니다. 주장이 맞고 틀리고를 떠나서 사고의 깊이가 다르네요.

https://mp.weixin.qq.com/s/305PaGQN8g57jfLtZrEdEw

서양은 중국을 볼 때 중국은 서양을 볼 때 법을 어기울 때가 많다. 그들은 항상 자신의 편견과 자신의 성공 경험에서 출발한다. 예를 들어 서양은 개인과 작은 집단의 힘으로 성공했고 그들의 정부의 개입은 골수 깊숙한 의심을 가질 수밖에 없다. 그래서 오늘 발표의 첫 번째 부분은 중국과 서양의 오랜 역사적 기원을 가진 심오하고 근본적인 차이점에 대해 알려 드리겠습니다.

덩샤오핑은 중국의 전통 역사적 편견의 울타리를 뚫고 미국의 길을 배우고 시장경제를 표방하고 나라를 개방하며 미국과 서양으로부터 현대 과학 기술과 시장 경제의 길을 배우기 시작했다.
그 이후로 우리는 40년 가까이 중국의 초고속 경제 성장을 목격했다. 40년 동안의 복합 성장률은 평균 약 9.4%이다. 실제 가치로 계산하면 중국은 40년 동안 국내 총생산이 37배 증가했다. 세계 제1의 인구대국이 장기간에 걸쳐 초고속 경제 성장을 이룬 것은 전례가 없는 기적이다.

지난 40년 동안 중국은 시장 경제를 조직하는 독특한 방식으로 이 역사적 전통을 최대한 발휘해 왔다. '삼합일 시장 메커니즘'이란 중앙 정부와 지방 정부와 기업 간의 긴밀한 협력이다.
중앙 정부는 전략을 수립하고 자원을 지원하며 경제 사이클을 조절한다는 점은 미국 연방 정부와 유사하다. 중국의 독특한 점은 지방 정부 간의 경쟁이다. 중국 지방자치단체의 행동은 기업행동과 더 비슷하며 이러한 '기업식 지방자치단체'는 진정한 상업회사에 본부식 서비스를 제공한다.
"회사가 어딘가에 투자하여 공장을 설립하면 지방 정부는 그들에게 토지를 제공하고 지방 정부는 회사가 현지에 정착하고 성공할 수 있도록 최선을 다한다. 회사는 시장 기회를 확고히 잡기만 하면 된다.
그 대가로 회사는 현지 노동자를 대량으로 고용하고 GDP에 기여하고 지방자치단체에 세금을 지불하지만 어떤 의미에서는 기성 회사 본사를 임대하는 것과 같기 때문에 임대료를 지불하는 것과 같다.
동시에 서로 다른 지방자치단체가 경쟁하여 상업기업에 더 나은 서비스를 제공하고 중앙정부와 함께 장기적인 경제성장에 기여하였다

최근 몇 년간 국제 무역이 중국 경제 성장에 미치는 영향의 변화를 알 수 있다. 그림 6은 2003년 이후 최종 소비, 투자 및 상품 및 서비스 순 수출이 중국 국내 총생산 성장에 기여한 비율을 보여준다. 십여 년 전만 해도 순 수출은 중국의 GDP에 크게 기여했고 2008년과 2009년부터 감소하기 시작했다(당시 중국은 세계 다른 경제를 지탱하는 주요 수입국이었다). 지난 5년간 최종소비의 기여도는 지속적으로 증가하였고, 자본 형성 총액(즉, 투자)은 상대적으로 감소한 반면, 순 수출은 현저히 감소하였다. 즉, 중국 경제는 해외 시장에 대한 의존도가 현저히 감소하였다. 중국의 공급 측면의 경제 개혁은 실질적인 성과를 거두었다.
숲속의 다양한 걱정, 공포, 불평, 예언 속에 휩싸인 중국 경제는 실제로 조용히 변화하고 있으며, 2018년 최종 소비의 GDP 증가 기여율은 76.2%, 자본 형성 총 기여율은 32.4%, 상품 및 서비스 순 수출 기여율은 -8.6%이다. 중미 무역 갈등은 중국 경제에 피해와 많은 부정적인 영향을 끼칠 수 있지만 중국 경제의 지속적인 성장을 막기에는 부족하다.

기술 밀도는 경제 성장과 직결된다. 중국의 고등 교육 현황과 1인당 GDP와 1인당 연구개발 비용을 고려하면 중국의 잠재력이 크다는 것을 알 수 있다. 중국은 작년에 750만 명의 대학생을 졸업했으며 그 중 470만 명은 STEM을 전공했다.

대조적으로 미국 대학 STEM 전공 졸업생 수는 약 50만 명 정도로 중국의 10분의 1에 불과하며 2년 후 중국은 총 2억 명에 가까운 대학생이 될 것으로 예상되며 이미 미국 전체의 노동인구에 근접하고 있다. 중국은 곧 엄청난 엔지니어 배당금을 받을 것이다.

"오늘 우리는 엔지니어 배당의 시대를 맞이하여 화웨이는 좋은 예이다. 그들은 약 15만 명의 엔지니어를 고용했다. 이 엔지니어들은 최소한 공학 학사 학위를 가지고 있으며 대부분 석사 학위 이상을 가지고 있다.

화웨이가 그들에게 지급하는 급여는 시애틀이나 샌프란시스코 실리콘 밸리와 같은 직위의 일부에 불과하지만 화웨이의 엔지니어들은 열심히 일하는 것으로 유명하다. 그들의 똑똑함과 전문적인 훈련은 시애틀이나 샌프란시스코 실리콘 밸리의 엔지니어들 못지않다. 중국이 곧 발휘할 경쟁 잠재력은 바로 여기에 있다.

1952년부터 2017년까지 중국의 국민 저축률이다. 개혁개방 이전에도 중국의 저장
저장률도 계속 높게 유지되고 있다. 흥미롭게도 최근 몇 년간 소비수준이 크게 상승하면서 저축률도 높아지고 있다. 작년에 중국은 세계 2위의 경제대국으로 저축률이 45%에 달했다. 높은 저축률은 추가적인 소비와 투자를 지원하는 자원이다.

높은 저축률은 또한 많은 사람들이 걱정하는 한 가지인 높은 부채 수준을 해결할 수 있다. 중국의 부채 수준은 2008년 이후 계속 상승하고 있으며, 당시 중국은 미국의 서브프라임 모기지 사태로 인한 글로벌 경기 침체에 대응하기 위해 많은 투자를 지속하기 시작했고, 주로 화폐 발행을 통해 부채 자금 조달에 의존했다. 전통적으로 중국 사회 자금 조달은 주로 은행 부채에서 발생하며 그 비율은 80~90%에 달한다. 주식 시장 및 지분 자금 조달은 전체 자금 조달에서 차지하는 비중이 낮다.

하지만 부채든 주식이든 그들의 출처는 동일하며 미국이나 다른 나라에서 온 것이 아니라 직접 자국의 예금자로부터 온 것이다. 거의 모든 중국 부채의 채권자는 중국인 자신이며 원화로 발행한다. 그래서 부채가 높은 비중임에도 불구하고 금융 위기를 일으킬 가능성은 적어도 현재로서는 높지 않다.

다음으로 중국 정부가 하고 싶은 것은 자본 시장 개혁을 통해 중국의 자금 조달 구조를 근본적으로 변화시켜 지분의 비중을 크게 늘리고 부채의 비중을 줄이는 것이다. 새롭게 선보인 '과학창조판'은 기존 승인제가 아닌 미국과 동일한 모델, 즉 정보공개에 기초한 등록제 자본 발행을 채택할 것이다.

이것은 상장을 원하는 모든 회사가 비교적 짧은 시간 내에 자유롭게 자본 시장에 진입하여 자유로운 경쟁으로 자본을 확보할 수 있다는 것을 의미한다. 물론 정부는 사후에 그것을 감시할 것이다. 이 패턴은 미국과 동일하다.

등록제 개혁을 시작으로 중국은 사회금융 구조를 천천히 조정하여 은행 부채를 80~90%의 높은 비율에서 점차 낮출 것이다. 복잡하고 성숙한 경제는 이렇게 높은 은행 부채 비율을 갖지 말았어야 한다. 따라서 자본 시장 개혁은 높은 부채 비율 문제를 풀고 자금 조달 효율성을 높이는 열쇠가 될 것이다.

오늘날 중국 정부의 두 가지 목표인 전면적이고 엄격한 당 통치와 경제의 고속 지속 가능한 성장 유지 사이에는 통일되고 일정한 모순이 있으며 때로는 제대로 처리되지 못하고 심지어 위기로 발전할 수도 있다.

그러나 위기에 대처할 때 우리는 중국 정부가 두 가지 목표 중에서 우선순위를 조정할 수 있는 충분한 탄력성과 실용주의 정신을 보이고 있다. 예를 들어 중국 정부는 중미 무역 갈등 문제에 대해 이미 미국과의 협상 전략을 조정했고, 기존 민간 기업인에 대한 처리 방식과 민간 기업에 대한 대출 정책, 특히 증권 시장 폭락 속에서 민간 기업 금융 지분 처리 등을 변경했다. 물론 이미 발생한 피해는 되돌리기 어렵고 상처가 아물어도 일정 시간이 걸린다.

또한 전면적이고 엄격한 당 통치의 결과는 그 반대가 아닌 정치가 안정될 수 있으며, 이는 서구 모델에 공감하는 국내외 관찰자들이 이해하기 어렵고 받아들이기 어려울 수 있다. 하지만 현실은 그렇다. 과거와 현대에도 많은 사례가 뒷받침된다.

이런 상황에서 사람들은 적응성 조절을 할 수 있다. 오늘날 사람들이 아무리 불만이 있어도 대부분의 사람들은 중국을 떠나는 것을 꺼려 한다. 그들은 부를 가져가지도 않고 사업도 가져가지 않는다.

정책이 개선되고 시간이 지남에 따라 모든 것이 정상으로 돌아 왔다. 상인들은 계속해서 사업을 할 것이다. 이 부는 중국에서 흘러가지 않고 생산적인 자산은 잃지 않는다. 중국 정부를 포함한 사회의 대부분의 사람들은 조정하는 법을 배운다. 중국 정부가 유연성과 적응성을 가지고 있다면 중국 사회 전체가 유연하고 적응성이 있을 수밖에 없다고 생각한다.

중국 경제의 미래를 예측하기 위해서는 정치 문화로 조직된 국가의 발전 경험을 참고하는 것이 좋다.

중국 경제의 미래를 예측하기 위해서는 정치 문화로 조직된 국가의 발전 경험을 참고하는 것이 좋다.

동아시아도 마찬가지로 유교의 영향을 받은 국가, 지역, 예를 들면 일본, 한국, 싱가포르, 중국 홍콩, 중국 대만은 정부의 통제 정도나 인구 수 면에서 중국과 매우 다르지만 그들의 발전과정은 여전히 중국의 경제 전망을 예측하는데 계몽적인 의의가 있다.

중국 경제의 미래를 예측하기 위해서는 정치 문화로 조직된 국가의 발전 경험을 참고하는 것이 좋다.

동아시아도 마찬가지로 유교의 영향을 받은 국가, 지역, 예를 들면 일본, 한국, 싱가포르, 중국 홍콩, 중국 대만은 정부의 통제 정도나 인구 수 면에서 중국과 매우 다르지만 그들의 발전과정은 여전히 중국의 경제 전망을 예측하는데 계몽적인 의의가 있다.

하지만 우리는 상향상의 투자자입니다. 우리의 투자는 일반적으로 전체적인 거시 환경의 영향을 받지 않는다. 오늘 우리가 이러한 문제를 논의하는 이유는 우리가 투자하는 회사가 어느 정도 그들의 나라의 운명과 연관되어 있기 때문이다.

그래서 우리는 이 나라에 대한 대략적인 인식을 가져야 한다. 이러한 인식이 반드시 정확할 필요도 없고 항상 정확할 필요도 없다. 우리는 베팅한 나라의 향후 20년 또는 30년의 상황에 대한 대략적인 추측만 하면 된다. 이것이 우리가 이러한 분석을 해야 하는 이유이며 이러한 문제에 대해 생각해야 한다.

오늘날 중국은 루이스의 변곡점을 통과하여 경제발전이 성숙한 황금기에 진입하여 임금수준, 소비수준, 저축, 투자수준 모두 서로 따라잡는 나선형 성장에 진입하여 중산층 소비사회를 조성하는데 좋은 환경을 제공하였다. "중국의 문화와 국책으로 인해 중산층의 함정을 피하고

이러한 요인으로는 과학 연구에 대한 지속적인 높은 투자, 고등 교육을 받은 노동력 인구 수, 특히 엔지니어 집단의 급속한 확대, 점점 더 발전하는 도시화 과정, 주민들의 높은 저축과 높은 투자, 안정적인 정치 환경과 거대한 국내 시장 등이 있다.

우리는 또한 중국과 같은 유교 전통을 가진 다른 동아시아 국가들이 중산층 수준에 도달한 후 오랫동안 경제 성장을 지속하여 결국 고소득 국가가 된 것을 보았다.

마지막으로 펀더멘털 투자자로서 우리는 왜 지금 중국에 투자하고 있는가? 왜냐하면 그곳에서 우리는 여전히 우수한 선도 기업들을 발견할 수 있고 서양의 유사 기업들보다 저렴하고 빠르게 성장하고 있기 때문이다. 이것이 우리가 중국에 투자하는 논리이다.

A History of Ancient Rome

https://www.goodreads.com/book/show/28789711-spqr

“Skin in the game.” 가장 좋아하는 문구입니다.

https://m.blog.naver.com/eatsardineandfast/223484555425 #잡상

*오랜 세월 경영을 해보니 결국 진정성 있는 ‘소통’이 가장 효과적인 수단이었던 것 같다. (…)*

*경영자의 소통이란 결국 이기심과의 싸움이다. 이기심과의 끊임없는, 너무나도 지루한 싸움이다. 인간의 이기심은 절대 없어지지 않으며, 성장하는 회사일수록 심지어 잘나가는 것처럼 보이는 회사일수록 이기심이 가득할 것이다. (…)*

*경영자가 소통에 실패하거나 게을러지면 너와 나를 가르는 행위가 조금씩 시작된다. 편을 가르는 사내 정치가 시작되며, 사일로 현상이 본격화된다. (…)*

*소통 과정에서 경영자는 인간적 상처도 많이 받을 것이다. (…)*

*절대 사람에 대한 애정을 버려서는 안 된다. 경영은 본질적으로 사람에 대한 문제를 다루는 것. 사람에 대한 애정이 없다면 사실상 멋진 경영은 끝난 것이나 다름없다.*

크래프톤 웨이

힘든 시간을 지나 본인이 좋아하는 음악으로 돌아온 당신을 응원합니다 🙏

https://youtu.be/OgWSVg7ty00?si=RUf7rl-rj_28K-DF

아무리 뛰어나고 위대한 선수들도 이런 컴백을 하기는 쉽지 않은데, 어떻게 조코비치는 반복적으로 이렇게 컴백 할 수 있을까? 결국엔 정신력, 체력, 자기관리, 그리고 끝까지 포기하지 않는 끈기 때문이라고 생각한다. 운동선수들은 – 특히, 팀이 아닌 개인에게 퍼포먼스의 100%를 의지해야 하는 테니스와 같은 – 몸이 돈이기 때문에 정말 체력을 종교와도 같이 관리하는데 조코비치는 이런 운동선수 중에서도 심할 정도로 관리를 잘 한다. 몇 년 전에 메이저 대회 우승한 후에 초콜릿을 딱 한 입 먹은 후에 우승을 자축한 일화가 유명하지만, 이런 관리 스타일은 이 선수의 일상생활이다. 이런 자기 관리에서 오는 체력과 정신력은 다른 선수들이 흉내조차 낼 수 없을 정도다.
창업가들은 하루하루가 이렇게 뒤지고 있는 경기에서 컴백해야 하는 전쟁이다. 다른 경쟁 스타트업과의 경기에서 항상 지기 때문에 컴백해야 한다. 대기업과의 경기에서 이미 진 상태로 시작하기 때문에 컴백해야 한다. 자신의 제품과의 경기에서 지기 때문에 컴백해야 한다. 고객과의 경기에서도 항상 지기 때문에 컴백해야 한다. 회사에 사람이 많아지면, 직원들에게도 치이면서 지기 때문에 항상 컴백해야 한다. 도대체 이기는 경기는 하나도 없기 때문에, 모든 면에서 매일, 매시간, 매 순간 컴백해야 한다.
이렇게 계속 컴백하기 위해서는 조코비치같이 창업가들도 몸과 마음을 잘 단련하고, 절제하고, 관리해야 한다. 운동도 매일 해야 하고, 음식도 절제해야 하고, 술도 절제해야 하고, 항상 최상의 컨디션으로 일하고, 뒤지는 경기에서도 항상 컴백할 수 있게 항상 스스로를 관리해야 한다. 이게 안 되면 오랫동안 지속되는 사업을 만들 수가 없다.
*참고로, 조코비치가 이번에 준준결승에서 기권한 이유는 늙어서 체력이 약해서라기 보단, 그 전 경기가 주최 측의 잘못된 결정으로 너무 늦게 밤 11시에 시작해서 새벽 3시가 넘어서 끝났기 때문이다. 이렇게 누적된 피로로 그다음 날 다시 경기하는 건 말도 안 된다고 생각했기 때문에 기권했다.

https://www.thestartupbible.com/2024/06/the-great-comeback.html

https://www.sequoiacap.com/article/ais-600b-question/

What has changed since September 2023? 

1. The supply shortage has subsided Late 2023 was the peak of the GPU supply shortage. Startups were calling VCs, calling anyone that would talk to them, asking for help getting access to GPUs. Today, that concern has been almost entirely eliminated. For most people I speak with, it’s relatively easy to get GPUs now with reasonable lead times.

2 GPU stockpiles are growing:Nvidia reported in Q4 that about half of its data center revenue came from the large cloud providers. Microsoft alone likely represented approximately 22% of Nvidia’s Q4 revenue. Hyperscale CapEx is reaching historic levels. These investments were a major theme of Big Tech Q1 ‘24 earnings, with CEOs effectively telling the market: “We’re going to invest in GPUs whether you like it or not.” Stockpiling hardware is not a new phenomenon, and the catalyst for a reset will be once the stockpiles are large enough that demand decreases.

3. OpenAI still has the lion’s share of AI revenue: The Information recently reported that OpenAI’s revenue is now $3.4B, up from $1.6B in late 2023. While we’ve seen a handful of startups scale revenues into the <$100M range, the gap between OpenAI and everyone else continues to loom large

The $125B hole is now a $500B hole: In the last analysis, I generously assumed that each of Google, Microsoft, Apple and Meta will be able to generate $10B annually from new AI-related revenue. I also assumed $5B in new AI revenue for each of Oracle, ByteDance, Alibaba, Tencent, X, and Tesla. Even if this remains true and we add a few more companies to the list, the $125B hole is now going to become a $500B hole. 

It’s not over—the B100 is coming:Earlier this year, Nvidia announced their B100 chip, which will have 2.5x better performance for only 25% more cost.

One of the major rebuttals to my last piece was that “GPU CapEx is like building railroads” and eventually the trains will come, as will the destinations—the new agriculture exports, amusement parks, malls, etc. I actually agree with this, but I think it misses a few points:

Lack of pricing power: In the case of physical infrastructure build outs, there is some intrinsic value associated with the infrastructure you are building. If you own the tracks between San Francisco and Los Angeles, you likely have some kind of monopolistic pricing power, because there can only be so many tracks laid between place A and place B. In the case of GPU data centers, there is much less pricing power. GPU computing is increasingly turning into a commodity, metered per hour. Unlike the CPU cloud, which became an oligopoly, new entrants building dedicated AI clouds continue to flood the market. Without a monopoly or oligopoly, high fixed cost + low marginal cost businesses almost always see prices competed down to marginal cost (e.g., airlines).

Investment incineration: Even in the case of railroads—and in the case of many new technologies—speculative investment frenzies often lead to high rates of capital incineration. The Engines that Moves Markets is one of the best textbooks on technology investing, and the major takeaway—indeed, focused on railroads—is that a lot of people lose a lot of money during speculative technology waves. It’s hard to pick winners, but much easier to pick losers (canals, in the case of railroads).

Depreciation: We know from the history of technology that semiconductors tend to get better and better. Nvidia is going to keep producing better next-generation chips like the B100.

1 Winners vs. losers: I think we need to look carefully at winners and losers—there are always winners during periods of excess infrastructure building. AI is likely to be the next transformative technology wave, and as I mentioned in the last piece, declining prices for GPU computing is actually good for long-term innovation and good for startups. If my forecast comes to bear, it will cause harm primarily to investors.

Founders and company builders will continue to build in AI—and they will be more likely to succeed, because they will benefit both from lower costs and from learnings accrued during this period of experimentation.