https://twitter.com/dair_ai/status/1711004647081562158

1/ LLMs Represent Space and Time - discovers that LLMs learn linear representations of space and time across multiple scales; the representations are robust to prompt variations and unified across different entity types; demonstrate that LLMs acquire fundamental structured knowledge such as space and time, claiming that language models learn beyond superficial statistics, but literal world models.

https://x.com/wesg52/status/1709551516577902782?s=20

해당 글은 OpenAI / Y-combinator의 샘 알트먼이 30살이 되었을 때 자신의 블로그에 공개한 글입니다. (원제 : The days are long but the decades are short)

해외에서는 실리콘밸리의 창업가들 사이에서 많이 읽히는 글인데요. 한국에서는 번역된 적이 없는 것 같아 이번 기회에 글을 번역하여 공유합니다. 즐거운 한글날 되시길 바랍니다.

https://blog.naver.com/bizucafe/223231870463

<머스크의 미래를 예상해보자>

책이 트위터 인수를 포함해 최신 이슈들까지 포함하고 있어서 머스크의 여러 사업체의 미래에 대한 힌트를 얻는데도 유용했다.

우선 지금은 엑스가 되어버린 트위터. 책을 읽어보니 트위터는 머스크 특유의 Surge가 발동해서 충동적으로 인수한 것으로 보이는데, 머스크는 한 때 엑스닷컴(페이팔)의 경영자였다는걸 잊어서는 안된다. 그는 트위터를 소셜 네트워크와 결제 플랫폼이 결합된 서비스로 만들 계획이다.

"머스크가 구상한 엑스닷컴의 콘셉트는 원대했다. 뱅킹과 디지털 구매, 당좌예금, 신용카드, 투자, 대출 등 모든 금융 서비스를 제공하는 원스톱 온라인 은행을 만드는 것이었다. 거래는 결제가 완료될 때까지 기다릴 필요 없이 즉시 처리되는 방식이었다. 머스크는 돈이 데이터베이스에 입력되는 항목에 불과하다는 통찰을 바탕으로, 모든 거래를 실시간으로 안전하게 기록하는 방법을 고안하고 싶었다. “소비자가 시스템에서 돈을 인출하는 모든 이유를 해결해준다면, 모든 돈이 모이게 될 것이고, 그렇게 되면 수조 달러 규모의 회사가 될 수 있을거라고 생각했어요.” 머스크의 설명이다."

그런데 최근 들어서는 트위터에 대한 흥미가 전보다 줄어들었고, 인공지능에 대한 관심이 더 커진 상태인 것 같다. “인공지능과 관련된 상황을 고려할 때 트위터에 대해 그렇게 많은 시간을 할애할 가치가 있는지 의문이 듭니다. 물론 트위터를 세계에서 가장 큰 금융기관으로 만들 수 있겠지요. 하지만 내 두뇌 활동의 주기와 하루의 시간은 한정되어 있잖아요. 더 부자나 뭐 그런 게 되어야 하는 것도 아니고요.”

여담으로 그의 동생인 킴벌은 일론에게 블록체인 기반의 소셜 플랫폼 아이디어를 제공했고, 머스크는 이를 플랜B라고 불렀다. 만약 트위터 인수가 결렬되었다면 블록체인 서비스를 만들었을지도? 물론 머스크는 트위터 데이터를 처리하기엔 블록체인의 속도가 너무 느리다고 생각하고 있긴 하다. 그리고 트위터가 보유한 ‘데이터’의 가치는 인수 후에 깨달았다고 한다. 즉, 데이터를 위해서 그 큰 금액을 지른건 아니었다는 의미 (진짜로 그냥 사고 싶어서 산 것에 가깝다.)

아무래도 주주인만큼 테슬라 이야기가 가장 흥미롭게 읽히는데, 머스크는 처음에는 2만 5천달러 짜리 자동차 만드는 것에 부정적이었다고 한다. 로보택시가 곧 대중화되면 필요 없을 것이라는 이유로. 하지만 테슬라 디자이너인 프란츠 폰 홀츠하우젠이 사이버 트럭 비슷하게 생긴 차량 모형을 보여주니 생각이 바뀌었다고 한다. 이 차량에는 차세대 플랫폼이 적용될 예정이고, 원래는 차세대 기가팩토리인 멕시코에서 생산 예정이었지만 최근에 오스틴으로 변경되었다고 한다. 이유는 엔지니어들을 멕시코로 이주시키는게 어렵기 때문에, 빠른 피드백을 위해서는 본인 집과 가까운 텍사스에서 생산하는게 맞다고 판단했다고. 머스크는 이번 여름 내내 이를 위한 생산 공정을 발전시키는데 시간을 투자했다고 한다.

자율주행 이야기도 자세하게 등장한다. 나는 머스크가 레이더(라이다)를 반대하는게 단순히 고집인줄 알았는데 직관적인 이유가 있더라. 바로 인간이 시각 데이터만으로 운전을 할 수 있기 때문에 기계도 그렇게 할 수 있어야 한다는 이유인데, 너무 맞는 말이다. 그리고 레이더를 완전히 반대하는 것도 아닌였던 것이 슈조우의 팀이 레이더 시스템을 따로 개발하기도 했으며, 머스크 또한 모델 S와 Y에 레이더를 시험해보는걸 승인했다고 한다. “일반적인 자동차 레이더보다 훨씬 더 정교한 레이더이지요. 무기 시스템에서 볼 수 있는 것과 같아요. 단순히 전파를 쏘고 되돌려 받는 것이 아니라 무슨 일이 일어나고 있는지를 보여주는 레이더거든요” 정말로 테슬라의 고급 자동차에 이 기능을 탑재할 계획인가? “실험해볼 가치가 있지요. 나는 언제나 물리학 실험의 증거에 열려 있는 사람이에요.” 머스크의 말이다. 여담으로 머스크는 고집도 있긴 하지만 생각보다 매우 열려있는 사람이었고, 실제로 생각을 바꾸는 모습도 자주 보인다.

그리고 FSD의 완성이 한층 가까워졌다고 느껴진 것이, 기존의 룰베이스 방식이 아닌 완전한 머신러닝 방식의 오토파일럿이 실제로 워킹하기 시작하면서 머스크에 이에 반하는 모습이 등장한다. 실제로 머스크의 2023년 주요 목표 중 하나는 도조를 활용해서 AI 시스템을 훈련시키는 것이기도 하고. 이 부분에서 굉장히 중요한 내용이 등장하는데, 뉴럴 네트워크가 150만개의 비디오 클립을 학습시키니까 제대로 작동하기 시작했다는 사실이 등장한다. 이정도로 데이터를 모으고 학습시킬 수 있는 회사는 전세계에서 (아마) 테슬라밖에 존재하기 않기 때문에 엄청난 기회를 맞이한게 분명해보인다. 이에 대해 머스크는 “우리는 독보적인 위치에서 이 일을 수행할 수 있습니다.”라고 회의에서 말했다.

옵티머스 로봇에 대한 이야기도 언급된다. 머스크가 사람 형태의 로봇을 주장하는 이유 또한 매우 직관적이었는데, 대부분의 작업 공간과 도구들이 사람의 작업 방식에 맞춰서 설계되었기 때문에 그는 로봇 또한 사람의 형태에 가까워야 한다고 믿고 있더라. 또한 FSD에 활용될 도조를 이용해 학습되고 있는 AI는 당연히 로봇에도 적용된다는걸 확인. 여담으로 나는 전세계의 많은 하드웨어들 위에 테슬라의 비전 모델이 탑재될 수 있다고 보고 있다.

무엇보다도 기대되는 부분은 바로 이 문장. “그는 내게 테슬라가 매년 1조 달러 수익을 내는 세계에서 가장 가치 있는 회사가 될 수 있는 궤도에 올라섰다고 생각하는 이유를 설명했다.” 자세한 내용은 나와있지 않지만, 머스크는 테슬라가 이미 궤도에 올라왔다고 생각하고 있다.

마지막으로 가장 최근에 창업한 사업체인 X.AI에 대해서도 나오는데, 딥마인드와 오픈AI 출신인 이고르 바부슈킨을 데려왔고 그에게 세 가지 미션이 부여했다고 한다. 1) 컴퓨터 코드를 작성할 수 있는 AI 봇 제작 2) 정치적 중립성을 보장하는 알고리즘을 사용해 데이터 세트를 학습하는 오픈 AI의 GPT 시리즈에 대항하는 챗봇 제작 3) 머스크는 ‘추론’과 ‘사고’를 할 수 있고 ‘진리’를 기본 원칙으로 추구하는 형태의 일반인공지능을 만드는 것. 참고로 머스크는 OpenAI가 자율주행 AI를 만드는 것보다 본인이 LLM을 만드는 것이 더 쉽다고 믿고 있다.

메타버스가 스마트폰을 대체할 폼팩터로서 여전히 무한한 잠재력을 가지고 있지만 가장 큰 이슈인 휴대성을 해결하지 못할 경우 여전히 대중화는 요원하다는 평가입니다. 

아이폰의 등장과 함께 시작된 스마트폰의 대중화 이전에는 무려 10년에 걸쳐 블랙베리, 팜 파일럿, 윈도우폰과 같은 다양한 시도가 이어지며 시행착오를 겪은 바 있습니다.

스마트폰의 발전 과정에 비춰볼 때 메타버스는 아직 '아이폰 모먼트'는 커녕 '블랙베리 모먼트'에도 도달하지 못했다고 것이 냉정한 평가입니다. 메타퀘스트 3와 애플 비전 프로가 이러한 부정적인 여론을 잠재우고 반전을 이뤄낼 수 있을지 귀추가 주목됩니다. 

20 years in building companies taught me: speed is king.

Moving fast is a miracle drug. Here's why:

→ You learn more about the end-state product per unit time.

There is no team able to accurately predict every future product need. Having an iterative product schedule will solve for this.

→ Achieves a more robust product.

If I had to summarize technology development: it's how many iterations you have done and then how much progress you've made b/t those iterations.

→ Helps prioritize what's important.

Speeds means you only have time for the priority matters. There is no time for things that don't matter.

→ Time is what will kill your company.

P.S. Moving fast is so important to me that it's a corporate value at Figure.

“The question we always focus on is ‘can this company become a monopoly?’”

He then lists several things that can make a company a monopoly:

Super fast distribution on a very thin product (e.g. Twitter)

A technological advantage that is continually built upon: you come up with something new and steadily improve (e.g. enterprise SaaS software)

A truly brilliant breakthrough (e.g. Bitcoin)

However he argues that complex coordination—where you take a lot of little pieces and coordinate them into something new—is continually overlooked as a way to create a monopoly:

“This is the thing that’s maybe 180 degrees antithetical to the Lean Startup ethos. It’s complicated. You have to put all the pieces together in just the right way. I think this is on some level what really drove Apple as an innovative company in the last decade… What was new about the iPhone? There was no single component that was new. It was just that you put all of these things together in just the right way… and once you built it, it was actually super hard for people to replicate. You had an advantage for many years. You could get network lock in—in terms of the app community or the brand.”

He also points to Tesla and SpaceX as examples:

“There’s no component to the Tesla that’s actually that new. It’s just that you put all of the pieces together. You re-engineered the whole distributor network. It was this complex coordination that made it work. There’s like this lost art of accounting where you figure out how much things cost and add them all together. And Elon has discovered this lost art of accounting which no other people practice.”

https://x.com/mikemcg0/status/1711727266537812429?s=46&t=h5Byg6Wosg8MJb4pbPSDow

it’s official - I think GitHub Copilot is the first* generative AI product to publicly claim they’ve passed $100m ARR — enough to stand alone as a publicly listed company

Whenever people ask me “is AI a fad” the biggest thing I point to is “follow the money”:

- revenue, not just funding
- RECURRING, not tcosts on hype
- people publicly saying they’d pay 5x the cost

(*there’s likely a few others but none confirmed officially - see Anatomy of Autonomy post on @latentspacepod)