MSFT seems to have increased Azure revenue by $5B or so a year via AI.

This makes its $10B investment in OpenAI seem small.

Most of the funding of LLMs by $ actually comes from big tech.

How long does this continue?

What are the new foundation model architectures? How do we think about this in an agentic world? Maybe there is more to learn from AlphaGo than chat?

The answer goes beyond the company’s claim that it will soon be able to furnish its customers with fully automated coding “coworkers,” not just an semi-automated assistant that finishes fragments of code-writing as GitHub Copilot does. The startup has created a new type of large language model that can process a huge amount of data, known as an input or context window.

Magic claims to be able to process 3.5 million words worth of text input, five times as much information as Google’s latest Gemini LLM, which in turn was a big advance on OpenAI’s GPT-4. In other words, Magic’s model essentially has an unlimited context window—perhaps bringing it closer to the way humans process information.

That could be especially helpful in a field like software development, where such a model would be able to ingest and remember a company’s entire codebase to generate new code in the company’s style.

Just as important, Magic also privately claimed to have made a technical breakthrough that could enable “active reasoning” capabilities similar to the Q* model developed by OpenAI last year, according to a person familiar with its technology. That could help solve one of the major gripes with LLMs, which is that they mimic what they’ve seen in their training data rather than using logic to solve new problems. (As for how Magic developed its LLM, this person said it took some elements of transformers, a type of AI model that powers consumer products like ChatGPT and coding assistants like Copilot, and fused them with other kinds of deep learning models.)

https://www.theinformation.com/articles/the-magic-breakthrough-that-got-friedman-and-gross-to-bet-100-million-on-a-coding-startup?rc=ocojsj

How do you discern who you hire?

“Hunger”

Michael Moritz

과거 인터뷰 중에서 러시아 유학가서 돈이 없어서 학업을 중단했는데 친구들이 학교에 탄원서를 내줘서 학업을 이어갔었음.

좋아하는 일을 하면서 굶어죽은 사람이 있을까라는 생각을 했을 때 없다고 생각했음.

https://youtu.be/q95uYkdpH7k?si=FYgMVmD65V19VQav

20년 가까이 연기 생활을 하고 후배 연기자들을 위해서 장학금도 만들고 교육도 했는데.

연기라는 건 결국 다른 사람이 써놓은 것을 잘 연출한다는 건데 나다움이 뭘까를 고민하다가 철학을 공부함. 러시아에서 만난 친구가 그리워서 그리움에 그림을 그리기 되었는데 그 길로 그림을 10년째 그리고 있음.

그림은 본인이 대본을 쓰고 연기를 한다는 점에서 자유롭다는 부분이 인상깊다.

당나귀는 아무 짐도 지지 않는 것을 상상하지만 짐을 지는 것을 찾아나서더라. 다른사람이 뭐라하던지 상관하지 않더라.

나를 찾기위해서 하루하루 살아나가는 그의 이야기에서 삶이 여행이라는 것, 좋은 일만 있을 수 없다는 것.

일반적으로 정해진 길을 걸어가는 것이 아닌 나를 알아가기 위해서 새로운 길을 찾아나서는 것.

자유로움을 느낄수 있는 일을 찾아나서고 그걸 하는 것.

나다운 삶에 대한 고민과 실행이 느껴져서 좋았음.

[AI 세상에서도 변하지 않는 것: 책임 전가]
1. AI로 인해 권위의 가치는 더욱 높아진다.

2. ChatCPT 등 Text 기반 LLM 서비스의 문제는 "정보의 진실 여부"

3. 최근 ChatGPT는 출처를 표기하면서 진실의 여부를 출처에게 책임 전가하고 있음

4. 사실 세상에 진실이란 없음. 우리가 진실이라고 칭하는 구글 검색도 결국 외부의 검증에 의존하는 것, 책임 전가할 곳은 항상 필요하다.

5. (헛소리) 진실을 알려면 주식과 동일하게 팩트 검증을 여기저기서 해봐야함. 시간과 에너지가 많이 소요.

6. 앞으로 ChatGPT, Grok 등은 기존과 동일하게 NYT, WSJ, 조중동(?)에게 책임을 전가하며 팩트를 알려줄 것이라고 생각, 리스크를 질 필요가 없기 때문

7. 최근 Reddit은 A 회사에게 컨텐츠를 제공하는 조건으로 연간 60M(약 780억원) 수취하기로 계약

8. NYT도 작년 12월말에 OpenAl와 마이크로소프트를 불법 무단 도용으로 고소한 바 있음.

9. 숫자로 찍히는 것은 소송 등의 귀추를 봐야겠으나, 앞으로 더 많은 이들이 GPT 등 서비스에게 의존할수록 알게모르게 NYT의 가치는 더욱 높아질 것.

10. NYT 비즈니스모델은 공급물이 커머디티와 같이 무제한이라는 점에서 스포티파이와 유사

11. 세상에 온갖 가십거리는 매일 발생하나, NYT 기자가 이슈를 주제로 글을 쓰면 대화거리에서 돈을 벌어다주는 기사로 변함. (개꿀?)

12. 심지어 스포티파이는 약 30%를 Warner와 같은 저작사에게 지급해야하지만 NYT는 아님.

13. NYT의 구독료 수입은 전체 매출 대비 약 60~70% 수준이며, 광고는 약 20% 수준. 나머지는 기타.

14. 디지털 구독자는 2018년 450만명, 2023년 1,036만명으로 지속 증가 중임. 왜 그런지는 좀 더 고민해봐야.

15. 구독료에서 데이터료까지 받을 수 있는 변곡점을 기다려불만한 구간.

#NYT #뉴욕타임즈

- 위대한 유산 -



* 특히 정권이 추진하는 정책은 너무 오래 걸려서 5년 임기 안에 효과를 보기 힘듭니다. 김대중의 구조조정 덕에 노무현 때 2,000을 넘겼습니다. 노무현의 한미FTA는 이명박 때 차화정 장세의 시작이었습니다. 박근혜의 창조경제는 문재인 때 카카오로, 문재인의 재벌개혁은 지금 밸류업으로 모습을 드러냈습니다.



* 윤석열 정부는 시장 자유화를 추진 중입니다. 오랫동안 공공의 영역에 묶여 있던 산업에서 대박 기업과 주식이 등장할 수도 있습니다. 당연히 벌써부터 사면 안됩니다.



- 본질과 계기 -



* 사람들이 알아보는 건 전혀 다른 일입니다. 노무현 때 중국, 이명박 때 환율, 박근혜 때 FANG, 문재인 때 저금리는 본질이 아니라 계기였습니다.



* 본질은 늘 싼 밸류였습니다. 다 싼 이유가 있다는 하수의 말은 중요한 힌트가 됩니다. 공공부문은 원래 비효율적이지만 계속 그렇지도 않을 겁니다.