1) Inflection will likely be the first of many VC-backed Foundation Model companies to fail.

Foundation models without proprietary, real-time data AND massive distribution for RLHF are the fastest depreciating assets in history.

2) Irony is that while models are commodities today, the ultimate future is likely one where there are only a few truly massive models with proprietary real time data and vast distribution.

Only a few will make it. And they will be super valuable.

3) Smaller open source models will be used for most vertical tasks to save on inference costs.

As ever, there are no barriers to entry on the internet, only barriers to scale. And once at scale, the returns are very high.

Foundation models are becoming a “Game of Emperors” and the empires on the other side of this winnowing are really large.

4) Also respect to the Inflection team for trying. They built a great model - just wasn’t valuable enough without proprietary real-time data and massive internet distribution.

And yes, technically it hasn’t entirely failed yet but I think fair to say has effectively failed.

Inflection Deal

> too much capital and talent needed for next generation
> no real way to exit
> Reid Hoffmann looking to engineer an acquihire
> MSFT unwilling to bite at $4 bil
> so they engineered an earn-out deal
> allowing founders and research team to leave
> investors get back some capital over time
> surprising Reid managed to persuade everyone to get this done

장병규 의장의 생각

"특정 기획자가 아니라 시스템이 게임을 만드는 프랜차이즈 체계를 갖춰야 20~30년 존속이 가능하다. 외부 제작사와도 협업해 펍지 IP로 다양한 시도를 하겠다. 전세계 번화가에 맥도날드가 있듯 어느 게임 분야를 가더라도 펍지라는 프랜차이즈가 보이도록 하겠다”

“가상자산으로서의 비트코인과 이더리움은 일리가 있지만 화폐를 대체하는 등 다른 용도로는 아직까지 보수적으로 본다”
“애플 비전프로가 보여준 위력이 있지만 대중화까지는 시간이 필요할 것”

https://n.news.naver.com/article/015/0004962360?sid=101

이 회사가 내부적으로 가지고있는 플레이북(시스템)이 있다는데 본적이 없어서 궁금하다. 이분 인터뷰 보면 이게 핵심이라고 자주 언급하시는데 공개가 안된 것 같음.

https://www.colinkeeley.com/blog/robert-f-smith-vista-equity-partners-operating-manual

Shohei Ohtani fever drives $150m windfall from MLB Seoul Series

Major League Baseball's tour through Thursday in Seoul is expected to produce a financial boon locally thanks largely to the appearance of Japanese superstar Shohei Ohtani.

Read more here

Japanese startup generates AI models from 'evolutionary' process

Sakana AI, a Japanese artificial intelligence startup, said Thursday that it has invented a new way of creating generative AI models that applies the concepts of evolution and natural selection. This approach, according to the company, allows significantly cheaper and faster AI development.

Read more here

지난 밤에 테슬라 FSD 버전 업그레이드.
FSD beta v12.3인데 드디어 end to end single stack이 올라왔다.
2012년 개와 고양이를 구분하던 단순한 AlexNet 모델이 2015년 자율주행 기술에 좀 더 진보된 CNN모델 형태로 적용되어 좌 우 중앙카메라 세대와 스티어링휠 각도만를 입력으로 주고 트레이닝 시켜 하나의 딥러닝 모델로도 차선이 없는 산길에서도 길을 찾아가더라는 신기한 실험결과를 공개했고 이를 end to end autonomous driving이라고 명명했다. (그 당시에는 각각의 모델이 차선, 물체, open space등을 각각 따로 인식하는 방식이 대세였다.)
이 연구에는 Nvidia의 Tegra X1 SoC가 2개들어가는 Drive PX platform을 사용했다. 다만, 이 end to end 기술은 너무 많은 문제점을 내포하고 있어 이후 실용화 단계로는 적용되지 못했다.
그 이후 테슬라는 Nvidia Parker SoC +Pascal GPU를 활용한 자율주행 시스템 HW2.0/2.5를 개발해서 자율주행 기술을 리드 하기 시작했다.
그리고 자체 개발한 칩으로 넘어가서 HW3.0/4.0까지가 양산되었고 현재 약 50TOPs의 성능으로 개선된 SoC에 여러 딥러닝 모델을 통합해서 크게 두개의 perception / planning 으로 나눈 아키텍쳐의 FSD을 배포해서 사용해 왔다.
그리고 오늘 End to end(한개의 거대모델)을 활용한 transformer구조로의 소프트웨어가 마침 내 차에 들어와서 사용해 볼 수 있게 됐다.
실제로 사용해본 느낌은 이전버전 대비 차선변경이나 혼잡상황에서의 주행이 좀 더 조심스러워진 느낌. 소비자 입장에선 큰
체감상의 차이를 느끼진 못하겠다.
릴리즈 노트의 내용이 재밌는건 single end to end 뉴럴네트웍을 사용했고 이로 인해 300k line의 (인간이 만든) c++코드를 대체했다고 나와있다.
어떤 기능이 추가 됐어요가 아니라 2015년 엔비디아에서 소개한 미완성의 기술을 우리가 결국 증명해냈어요!라고 기뻐하는 모습 같다고 할까.
엔비디아가 GTC2024 keynote에서 발표한 제품이나 기술들은 많은 엔지니어들의 노력과 염원이 담겨 있다.
그저 지금의 수준과 이해의 눈으로 FP4가 왜 필요한지 모르겠다고 폄하하기 보다는 그런 시도가 갖는 의미를 무엇인지를 먼저 들여다 보았으면.
그리고 여력이 된다면 테슬라처럼 더 나은 세상을 스스로 증명을 하면 되지 않을까?

<두가지 멘탈리티>
예를 들어서 밴드가 오랜만에 합주를 하려고 연주실을 빌렸다. 멤버 한명이 수고를 해서 공금으로 예약을 했다고 한다.
밤 8시에 멤버들과 함께 합주실로 들어갔는데, 어라 사용하는 사람들이 이미 있다. 확인해 봤더니 예약한 사람이 실수로 다음날 오전 8시로 예약을 해버렸던 거다.
이때 반응 하는 걸 보면 두가지 멘탈리티가 보인다.
1) 왜 이런 걸 실수를 합니까. 나참. 이시간에 여러 사람 모아놓고. 나 그냥 갈래요. 다음부터 좀 똑바로 하세요.
2) 괜찮아요. 그럴 수도 있지. 지금 빨리 근처 연습실 다 같이 찾아볼까요? 어 여기 연습실에 9시에 비는 방이 하나 있네요? 오히려 잘됐네. 나가서 근처 카페에서 이야기하다가 옵시다!
리더와 팀 기후(team climate)로 대응해서 생각해 보라. 우리는 이런 예상 못한 실수 상황에 대해 어떤 멘탈리티를 갖고 있는가.
단, 이것은 좋은 게 좋다고 하면서 매사를 넘기는 "회피형"이 바람직하다는 말이 아니다. 중요 포인트는 "우리가 힘을 합치면 어떤 예상 못한 어려움도 함께 극복할 수 있지 않겠어? 걱정하지마. 우리를 믿어"라는 마음이다.

Hippocratic이 만들고 있는게 AI 간호사였나보네요? 실제 사람은 시간당 $90 필요했는데 이제 AI 에이전트로 $9만 있어도 내 간호사 이용할 수 있다는 컨셉인듯

(개인적으로는 저는 니즈를 느껴본 적이 없어서 아직 잘 모르겠습니다...)

https://qz.com/nvidia-wants-replace-nurses-with-ai-1851349522