I’ve spent 5.5 hours with the Vision Pro today and I’m blown away. Any requests for something I should try in the 30min I have left?
Most mind-blowing:
- The pass-through experience seeing the real world is really good.
- Apps stay where you put them in your room. You literally can fill a whole room with stuff and it just stays there and in the orientation you left it in.
- The shadows apps cast on the real world that you see in the pass-through are so realistic, subtle, and magically delightful.
Most need of improvement:
- Resolution is too low. You notice this is if you look at your iPhone while wearing the glasses it looks like a pre-Retina screen.
- 3rd party apps should be able to ask for permission to access the cameras and microphone.
Just like Apple Watch and iPhone, I think the Vision Pro will get better and better each subsequent release.
Bottom line: It’s an incredible feat of engineering. Congrats to all the people at Apple that helped bring this to life.
Most mind-blowing:
- The pass-through experience seeing the real world is really good.
- Apps stay where you put them in your room. You literally can fill a whole room with stuff and it just stays there and in the orientation you left it in.
- The shadows apps cast on the real world that you see in the pass-through are so realistic, subtle, and magically delightful.
Most need of improvement:
- Resolution is too low. You notice this is if you look at your iPhone while wearing the glasses it looks like a pre-Retina screen.
- 3rd party apps should be able to ask for permission to access the cameras and microphone.
Just like Apple Watch and iPhone, I think the Vision Pro will get better and better each subsequent release.
Bottom line: It’s an incredible feat of engineering. Congrats to all the people at Apple that helped bring this to life.
Mojo의 개발사 Modular는 개발자를 위한 AI 인프라를 개선하기 위해 1억 달러의 자금을 조달했습니다.
Mojo는 AI 개발자를 위한 프로그래밍 언어로, Python보다 35,000배 빠릅니다(Modular의 벤치마크 기준). Python의 유용성과 C의 성능을 결합한 언어입니다.
오늘부터 얼리 어답터에게 Mojo SDK를 배포합니다. 9월 초에는 누구나 사용할 수 있게 될 예정입니다.
Mojo가 AI 개발자를 위한 파이썬을 대체할 것이라고 생각하시나요?
—
https://twitter.com/clattner_llvm/status/1694806312042045672
모조는 파이썬을 위협하는 것이 아니라 파이썬을 향상시키고 파이썬 프로그래머에게 초능력을 부여합니다.
누군가 두려워해야 한다면 C++와 사용하기 어려운 가속기 언어일 것입니다. 파이썬은 개발자들이 좋아하는 언어입니다: C++는 대부분 성능이 필요할 때 사용하는 실용적인 필요악입니다.
Mojo는 AI 개발자를 위한 프로그래밍 언어로, Python보다 35,000배 빠릅니다(Modular의 벤치마크 기준). Python의 유용성과 C의 성능을 결합한 언어입니다.
오늘부터 얼리 어답터에게 Mojo SDK를 배포합니다. 9월 초에는 누구나 사용할 수 있게 될 예정입니다.
Mojo가 AI 개발자를 위한 파이썬을 대체할 것이라고 생각하시나요?
—
https://twitter.com/clattner_llvm/status/1694806312042045672
모조는 파이썬을 위협하는 것이 아니라 파이썬을 향상시키고 파이썬 프로그래머에게 초능력을 부여합니다.
누군가 두려워해야 한다면 C++와 사용하기 어려운 가속기 언어일 것입니다. 파이썬은 개발자들이 좋아하는 언어입니다: C++는 대부분 성능이 필요할 때 사용하는 실용적인 필요악입니다.
https://ai.meta.com/blog/code-llama-large-language-model-coding/
Llama-2는 코딩을 제외하면 거의 GPT-3.5 수준입니다. https://twitter.com/DrJimFan/status/1694757383267053863
이제 코드 라마가 마침내 GPT-3.5로 격차를 해소했습니다! 코딩은 LLM에서 가장 중요한 작업입니다. 코딩은 강력한 추론 엔진과 Voyager와 같은 강력한 AI 에이전트의 초석입니다.
오늘은 OSS 기반 모델의 또 다른 중요한 이정표입니다. 함께 읽어보세요:
- 코드 라마는 라마-2 기본 모델에서 미세 조정되었으며, 바닐라, 인스트럭트, 파이썬의 세 가지 버전으로 제공됩니다. 모델 크기는 7B, 13B, 34B입니다. 가장 작은 모델은 괜찮은 GPU로 로컬에서 실행할 수 있습니다.
- HumanEval 벤치마크에서 CodeLlama-python은 53.7점으로 GPT-3.5(48.1점)보다 높지만, 여전히 GPT-4(무려 67.0점)보다 뒤처집니다. MBPP에서는 56.2점 대 GPT-3.5의 52.2점을 기록합니다.
- PaLM-Coder, Codex(GitHub 코파일럿 모델), StarCoder와 같은 기타 OSS 모델보다 훨씬 우수합니다.
- 주변 컨텍스트를 고려하여 중간에서 코드 생성을 지원하는 “채우기 목표“로 훈련되었습니다. 기본적으로 모델은 (접두사, 접미사) 또는 (접미사, 접미사)를 입력으로 받아 (중간)을 출력합니다. 여전히 자동 회귀적이지만 특수 마커 토큰을 사용합니다. 코드 말뭉치를 무작위로 분할하여 인필 데이터를 쉽게 합성할 수 있습니다.
- 자가 학습의 또 다른 합성 데이터 세트입니다:
(1) 60,000개의 코딩 면접 문제를 풀기;
(2) 단위 테스트 생성;
(3) 10개의 솔루션을 생성합니다;
(4) Python 인터프리터를 실행하여 잘못된 것을 필터링합니다. 데이터 세트에 좋은 것을 추가합니다.
- 긴 컨텍스트 미세 조정: Code Llama는 4K 컨텍스트에서 시작하여 계산을 절약하기 위해 16K 컨텍스트로 미세 조정합니다. 몇 가지 위치 임베딩 트릭을 사용하면 더 긴 컨텍스트에서도 일관성을 유지할 수 있습니다.
- 인스트럭션 미세 조정 데이터는 독점적이며 공개되지 않습니다.
Llama-2는 코딩을 제외하면 거의 GPT-3.5 수준입니다. https://twitter.com/DrJimFan/status/1694757383267053863
이제 코드 라마가 마침내 GPT-3.5로 격차를 해소했습니다! 코딩은 LLM에서 가장 중요한 작업입니다. 코딩은 강력한 추론 엔진과 Voyager와 같은 강력한 AI 에이전트의 초석입니다.
오늘은 OSS 기반 모델의 또 다른 중요한 이정표입니다. 함께 읽어보세요:
- 코드 라마는 라마-2 기본 모델에서 미세 조정되었으며, 바닐라, 인스트럭트, 파이썬의 세 가지 버전으로 제공됩니다. 모델 크기는 7B, 13B, 34B입니다. 가장 작은 모델은 괜찮은 GPU로 로컬에서 실행할 수 있습니다.
- HumanEval 벤치마크에서 CodeLlama-python은 53.7점으로 GPT-3.5(48.1점)보다 높지만, 여전히 GPT-4(무려 67.0점)보다 뒤처집니다. MBPP에서는 56.2점 대 GPT-3.5의 52.2점을 기록합니다.
- PaLM-Coder, Codex(GitHub 코파일럿 모델), StarCoder와 같은 기타 OSS 모델보다 훨씬 우수합니다.
- 주변 컨텍스트를 고려하여 중간에서 코드 생성을 지원하는 “채우기 목표“로 훈련되었습니다. 기본적으로 모델은 (접두사, 접미사) 또는 (접미사, 접미사)를 입력으로 받아 (중간)을 출력합니다. 여전히 자동 회귀적이지만 특수 마커 토큰을 사용합니다. 코드 말뭉치를 무작위로 분할하여 인필 데이터를 쉽게 합성할 수 있습니다.
- 자가 학습의 또 다른 합성 데이터 세트입니다:
(1) 60,000개의 코딩 면접 문제를 풀기;
(2) 단위 테스트 생성;
(3) 10개의 솔루션을 생성합니다;
(4) Python 인터프리터를 실행하여 잘못된 것을 필터링합니다. 데이터 세트에 좋은 것을 추가합니다.
- 긴 컨텍스트 미세 조정: Code Llama는 4K 컨텍스트에서 시작하여 계산을 절약하기 위해 16K 컨텍스트로 미세 조정합니다. 몇 가지 위치 임베딩 트릭을 사용하면 더 긴 컨텍스트에서도 일관성을 유지할 수 있습니다.
- 인스트럭션 미세 조정 데이터는 독점적이며 공개되지 않습니다.
Meta AI
Introducing Code Llama, a state-of-the-art large language model for coding
Code Llama, which is built on top of Llama 2, is free for research and commercial use.
The future is hard to predict, but you can shape it.
Forwarded from BZCF | 비즈까페
그게 돈이 되겠어? 오타쿠 게임 만들어서 6조원 누적 매출 만든 회사가 있습니다. 중국 게임회사인 미호요입니다. 2012년 대학생일 때 창업을 했습니다. 지금은 대박이지만, 10년 전에는 진짜 '이게 되겠냐' 이런 이야기가 더 심했죠. 배울 것이 참 많습니다.
심사위원들도 참 대단하다는 생각을 합니다. 10년 전에 오타쿠 게임 만들겠다고 하면 '이게 사업이야' 생각 할 수도 있을 것 같은데 진지하게 물어봐줍니다. 그리고 그것에 대해서 진지하게 답하고요. 저런 문화 속에서 새로운 도전들나오고 또 새로운문화 나오는 것이라 생각합니다.
한국에서 하이브도 비슷한 것 아닐까 생각합니다. 방시혁 의장 '힛맨뱅' 아직도 희화화 되고 있기는 한데 그때도 글로벌 꿈 꾸지 않았습니까? 그리고 10년 정도 지나서 글로벌 됐고요. 또 지금 말도 안되는 소리 하는 사람들이 주변에 있다면 주목해봐야 하지 않나 생각하게 됩니다.
자신이 추구하는 가치를 믿고, 추구하며, 만들어가는 이러한 삶은 굉장히 멋진 삶이라고 생각하게 되됩니다. 많은 생각이 드는 영상입니다. 많은 분들께 영감이 되시길 바라며 소개드려봅니다. 한 주도 수고하셨습니다. 즐거운 주말 되시길 바랍니다.
https://www.youtube.com/watch?v=Lj-MuTl3eL4
심사위원들도 참 대단하다는 생각을 합니다. 10년 전에 오타쿠 게임 만들겠다고 하면 '이게 사업이야' 생각 할 수도 있을 것 같은데 진지하게 물어봐줍니다. 그리고 그것에 대해서 진지하게 답하고요. 저런 문화 속에서 새로운 도전들나오고 또 새로운문화 나오는 것이라 생각합니다.
한국에서 하이브도 비슷한 것 아닐까 생각합니다. 방시혁 의장 '힛맨뱅' 아직도 희화화 되고 있기는 한데 그때도 글로벌 꿈 꾸지 않았습니까? 그리고 10년 정도 지나서 글로벌 됐고요. 또 지금 말도 안되는 소리 하는 사람들이 주변에 있다면 주목해봐야 하지 않나 생각하게 됩니다.
자신이 추구하는 가치를 믿고, 추구하며, 만들어가는 이러한 삶은 굉장히 멋진 삶이라고 생각하게 되됩니다. 많은 생각이 드는 영상입니다. 많은 분들께 영감이 되시길 바라며 소개드려봅니다. 한 주도 수고하셨습니다. 즐거운 주말 되시길 바랍니다.
https://www.youtube.com/watch?v=Lj-MuTl3eL4
❤1
Yeah, it’s possible. I think much like the iPhone App Store, I think GPT-3 was a thing maybe just to developers and not consumers, while ChatGPT really marks the beginning of the consumer event. Unlike the iPhone, the consumer event in the iPhone’s case happened first, then the platform, here the inverse happens. So yeah, I’m not exactly sure what the right metaphor is, but it does feel like we’re in that confused era.
Andy Grove, one of the founding folks of Intel, has that talk about how the industry transforms, and he has that metaphor of imagine a face and its transmogrifying to another face. When you’re in the in-between era, you’re not exactly sure what you’re staring at, but you’re sort of maybe can figure out where things are going to, and that’s what it feels like the era we’re in now, there’s a lot of noise, there’s a lot of hype. I think it’d be hard to make the case that it’s all going to go away, but easy to make the case that some things that seem very big now may not still be here, and some things that seem small will obviously be big.
Yeah, I think the phone is the easiest analogy to leap to, but I’m not sure it’s quite the same thing because the phone was about a physical object in a form factor, and historically in tech that is a really big deal and it leads to new opportunities, it’s a new paradigm, new user interfaces are a chance to create new companies. Whereas I think what’s interesting about AI — and why I think in one respect it’s going to take longer to see the impact, but the impact may be greater — is it’s a fundamental shift in the economics of business, where we previously went with the Internet to basically zero cost of consumption, and so we had this explosion of geographical limitations going away on content, and all the implications that had on lots of companies.
With AI, it’s taken to effectively zero — obviously inference costs are still a thing — the generation of information, and that is such a radical shift that is not married to a form factor shift. That, in some respects, I think the impact might be greater, but it will take significantly longer to manifest just like it took significantly longer for the Internet’s impacts to manifest relative to say the PC. When the PC came out in what, 1982 or whatever it was, it was a huge deal pretty quickly and a huge sales driver and Microsoft famously was this massively profitable company with basically no VC investment hardly at all, and I’m not sure that’s necessarily going to be the case for AI. You go back, Netscape is like ChatGPT — you had the Netscape moment, you had the ChatGPT moment. Netscape ended up not being a meaningful company in the very long-run, it was more meaningful as a symbol of the time and the actual meaningful companies like Google and Facebook and whatnot weren’t even started until a decade later.
I think one of the interesting trends that we’ve seen in the last six months that we weren’t seeing a year ago is basically the application of large models to things that were previously some form of human intellectual labor or productivity labor. So in a way, what they’re doing in these cases is the models are automating or replacing or augmenting some part of a company. They’re competing not with existing software products but with parts of companies.
An example of one that Daniel and I were just talking to recently, we won’t name the company, but they automate filing bids on public tenders for businesses that do business with the government in different jurisdictions, and the time savings of this is totally enormous for these companies, and the upside for them is huge. It’s replacing a raft of internal and external consultants who were doing copywriting and bid preparation and just lots of fairly mechanical but still nothing-to-sneeze-at intellectual labor that produced bid documents. There’s material revenue upside for being able to bid on more things and win more bids, and this company’s growing like crazy, like a weed, so that would be one example.
Andy Grove, one of the founding folks of Intel, has that talk about how the industry transforms, and he has that metaphor of imagine a face and its transmogrifying to another face. When you’re in the in-between era, you’re not exactly sure what you’re staring at, but you’re sort of maybe can figure out where things are going to, and that’s what it feels like the era we’re in now, there’s a lot of noise, there’s a lot of hype. I think it’d be hard to make the case that it’s all going to go away, but easy to make the case that some things that seem very big now may not still be here, and some things that seem small will obviously be big.
Yeah, I think the phone is the easiest analogy to leap to, but I’m not sure it’s quite the same thing because the phone was about a physical object in a form factor, and historically in tech that is a really big deal and it leads to new opportunities, it’s a new paradigm, new user interfaces are a chance to create new companies. Whereas I think what’s interesting about AI — and why I think in one respect it’s going to take longer to see the impact, but the impact may be greater — is it’s a fundamental shift in the economics of business, where we previously went with the Internet to basically zero cost of consumption, and so we had this explosion of geographical limitations going away on content, and all the implications that had on lots of companies.
With AI, it’s taken to effectively zero — obviously inference costs are still a thing — the generation of information, and that is such a radical shift that is not married to a form factor shift. That, in some respects, I think the impact might be greater, but it will take significantly longer to manifest just like it took significantly longer for the Internet’s impacts to manifest relative to say the PC. When the PC came out in what, 1982 or whatever it was, it was a huge deal pretty quickly and a huge sales driver and Microsoft famously was this massively profitable company with basically no VC investment hardly at all, and I’m not sure that’s necessarily going to be the case for AI. You go back, Netscape is like ChatGPT — you had the Netscape moment, you had the ChatGPT moment. Netscape ended up not being a meaningful company in the very long-run, it was more meaningful as a symbol of the time and the actual meaningful companies like Google and Facebook and whatnot weren’t even started until a decade later.
I think one of the interesting trends that we’ve seen in the last six months that we weren’t seeing a year ago is basically the application of large models to things that were previously some form of human intellectual labor or productivity labor. So in a way, what they’re doing in these cases is the models are automating or replacing or augmenting some part of a company. They’re competing not with existing software products but with parts of companies.
An example of one that Daniel and I were just talking to recently, we won’t name the company, but they automate filing bids on public tenders for businesses that do business with the government in different jurisdictions, and the time savings of this is totally enormous for these companies, and the upside for them is huge. It’s replacing a raft of internal and external consultants who were doing copywriting and bid preparation and just lots of fairly mechanical but still nothing-to-sneeze-at intellectual labor that produced bid documents. There’s material revenue upside for being able to bid on more things and win more bids, and this company’s growing like crazy, like a weed, so that would be one example.
Another example, there’s a whole sector now of these avatar platforms where people are basically able to produce personalized videos of someone saying, “Hey Ben, I saw that you were interested in our product and I wanted to tell you a little bit about us” and being able to basically generate text, feed that into an avatar platform that generates a realistic video that’s customized and using that in advertising, using it in personal outreach, using it in training materials. There’s some competing with non-consumption here where some of those videos would never have been produced because it would’ve just been too costly, and there’s some like, “Hey, God, I used to have to spend a ton of time doing this, now I can do it quite quickly”. Another example that’s like that, and by the way, all of the avatar, I mean I can name some of those Synthesia, D-ID, Hayden, they’re all doing great, all of these companies are growing really well.
Forwarded from BZCF | 비즈까페
세스 클라만이 초반부에 젊은이들에게 해준 조언이 인상적입니다. 투자에서도 결국 남들이 보지 못한 것을 보았을 때, 로우리스크-하이리턴을 얻을 수 있지요. 일반적인 방식 (로우리스크-로우리턴, 하이리스크-하이리턴)을 가져갔을 때는 초과수익을 가져갈 수 없기 때문에 투자자들은 고민과 관점을 통해 남들이 보지 못하는 '비효율'의 영역에서 자신만의 '효율'을 찾아야 하고요.
삶도 마찬가지이지 않나 싶습니다. 남들이 다 좋다고 하는 것들에는 상한선이 있지요. 가치가 정해져있고요. 다른 길을 갔을 때는 위험하지요. 하지만 다른 길 갔을 때도 자신만의 관점과 통찰로 비용을 낮추고 리턴을 크게 만드는 게 삶을 잘 살아가는 법 아닐까요? 결국 비대칭적으로 세상을 인식하고, 그 속에서 기회를 찾는 것. 남들이 모두 다 '비효율'이라고 하는 곳에 자신만의 인생 기회가 있지 않을까 합니다. 여러 생각하게 되는 통찰 있는 인터뷰네요.
한글 번역 : https://www.youtube.com/watch?v=nezRXTEzAkw
삶도 마찬가지이지 않나 싶습니다. 남들이 다 좋다고 하는 것들에는 상한선이 있지요. 가치가 정해져있고요. 다른 길을 갔을 때는 위험하지요. 하지만 다른 길 갔을 때도 자신만의 관점과 통찰로 비용을 낮추고 리턴을 크게 만드는 게 삶을 잘 살아가는 법 아닐까요? 결국 비대칭적으로 세상을 인식하고, 그 속에서 기회를 찾는 것. 남들이 모두 다 '비효율'이라고 하는 곳에 자신만의 인생 기회가 있지 않을까 합니다. 여러 생각하게 되는 통찰 있는 인터뷰네요.
한글 번역 : https://www.youtube.com/watch?v=nezRXTEzAkw
❤2
BZCF | 비즈까페
그게 돈이 되겠어? 오타쿠 게임 만들어서 6조원 누적 매출 만든 회사가 있습니다. 중국 게임회사인 미호요입니다. 2012년 대학생일 때 창업을 했습니다. 지금은 대박이지만, 10년 전에는 진짜 '이게 되겠냐' 이런 이야기가 더 심했죠. 배울 것이 참 많습니다. 심사위원들도 참 대단하다는 생각을 합니다. 10년 전에 오타쿠 게임 만들겠다고 하면 '이게 사업이야' 생각 할 수도 있을 것 같은데 진지하게 물어봐줍니다. 그리고 그것에 대해서 진지하게 답하고요.…
1. 남들이 관심없는데 나는 너무 재밌고 잘할 수 있는 문제를 푸는 사람이 있다면 뭐하고 있는지 자세히 알아볼 것.
2. 그게 되겠어라는 생각이 들거나, 주변에서 그런 말을 들으면 될 수 있다고 생각하고 한번 더 생각해볼 것.
2. 그게 되겠어라는 생각이 들거나, 주변에서 그런 말을 들으면 될 수 있다고 생각하고 한번 더 생각해볼 것.
❤2
https://stratechery.com/2023/an-interview-with-daniel-gross-and-nat-friedman-about-the-ai-hype-cycle/
Insightful interview.
AI Landscape: Trends and Opportunities
AI Hype Cycle: Be cautious when navigating AI investments and startup formation. There's a surge in unjustified hype and investment.
Consumer Shift: The success of ChatGPT suggests consumer-facing products are in demand. Pivot if necessary.
Economic Impact: AI is lowering the cost of information generation. Reconsider your business model accordingly.
Industries to Focus: Healthcare, retail, transportation, and energy show significant promise for AI applications like predictive maintenance.
AI Products: Strategies and Niches
Enterprise vs Consumer: AI is succeeding in automating intellectual labor. Your strategy should be clear on targeting specialized or generalized tasks.
Emerging Niches: AI is making inroads in public tenders, legal tech, and e-commerce. Tailoring solutions to these sectors could be lucrative.
Disruption Model: AI is likely to disrupt from the lower end of the market. Consumer sectors can't be ignored.
Data-Centric Approach: Value lies in data and processes. This focus will shape the future of AI startups.
ChatGPT: Usage and Monetization
Seasonality: Student usage is down while commercial usage is up. Tailor your pricing and product offerings accordingly.
High-Value Domains: Intense use in domains like coding indicates room for specialized, value-driven pricing strategies.
Data Constraints: The Shadow War for Data
Data Scarcity: There is a competition for quality training data. Consider diversifying data sources and investing in data quality.
High-Value Tokens: Investing in quality training data is more beneficial than scraping random data off the internet.
Future Technologies: ML 2.0 and Reinforcement Learning
Generative AI: The industry is shifting from data preparation to generative models like transformers.
Data Quality: Despite this shift, data preparation remains essential. Look into smarter tokens and data clustering.
Corporate Collaborations: Anthropic, Amazon, Apple
Privacy Focus: Anthropic's emphasis on safety suggests a market for secure, privacy-focused AI services.
B2B Opportunities: Collaboration with AWS hints at unexplored B2B niches.
Local Models and Business Economics
Inference Costs: Businesses like ChatGPT rely on subnoscription models due to high inference costs. Will AI reach a point where these costs are negligible?
GPU Scarcity: The conversation indicates an impending supply constraint for GPUs. Be prepared for this bottleneck.
Future Scenarios: Oversupply and Exclusivity
Supply Constraints: Rising demand may lead to supply constraints similar to the dot-com bubble.
Exclusivity: A future scenario where only large corporations can afford to train AI models is contemplated.
Strategic Insights for AI Startups
Consumer Focus: If you're B2B, consider pivoting or extending to B2C.
Data Strategy: Look for untapped, high-quality data sources for training. Invest in data preparation and quality.
Specialization vs Generalization: Be clear if your AI solutions aim for specialized high-quality tasks or generalized high-quantity tasks.
Monetization: Consider value-based pricing for high-value domains.
Supply Preparedness: Anticipate and plan for GPU supply constraints.
Privacy and Security: If you can offer more secure and privacy-compliant solutions, there's a market for you.
AI in DevOps: Given the AI's capabilities in code generation and testing, startups in DevOps could find lucrative opportunities.
Insightful interview.
AI Landscape: Trends and Opportunities
AI Hype Cycle: Be cautious when navigating AI investments and startup formation. There's a surge in unjustified hype and investment.
Consumer Shift: The success of ChatGPT suggests consumer-facing products are in demand. Pivot if necessary.
Economic Impact: AI is lowering the cost of information generation. Reconsider your business model accordingly.
Industries to Focus: Healthcare, retail, transportation, and energy show significant promise for AI applications like predictive maintenance.
AI Products: Strategies and Niches
Enterprise vs Consumer: AI is succeeding in automating intellectual labor. Your strategy should be clear on targeting specialized or generalized tasks.
Emerging Niches: AI is making inroads in public tenders, legal tech, and e-commerce. Tailoring solutions to these sectors could be lucrative.
Disruption Model: AI is likely to disrupt from the lower end of the market. Consumer sectors can't be ignored.
Data-Centric Approach: Value lies in data and processes. This focus will shape the future of AI startups.
ChatGPT: Usage and Monetization
Seasonality: Student usage is down while commercial usage is up. Tailor your pricing and product offerings accordingly.
High-Value Domains: Intense use in domains like coding indicates room for specialized, value-driven pricing strategies.
Data Constraints: The Shadow War for Data
Data Scarcity: There is a competition for quality training data. Consider diversifying data sources and investing in data quality.
High-Value Tokens: Investing in quality training data is more beneficial than scraping random data off the internet.
Future Technologies: ML 2.0 and Reinforcement Learning
Generative AI: The industry is shifting from data preparation to generative models like transformers.
Data Quality: Despite this shift, data preparation remains essential. Look into smarter tokens and data clustering.
Corporate Collaborations: Anthropic, Amazon, Apple
Privacy Focus: Anthropic's emphasis on safety suggests a market for secure, privacy-focused AI services.
B2B Opportunities: Collaboration with AWS hints at unexplored B2B niches.
Local Models and Business Economics
Inference Costs: Businesses like ChatGPT rely on subnoscription models due to high inference costs. Will AI reach a point where these costs are negligible?
GPU Scarcity: The conversation indicates an impending supply constraint for GPUs. Be prepared for this bottleneck.
Future Scenarios: Oversupply and Exclusivity
Supply Constraints: Rising demand may lead to supply constraints similar to the dot-com bubble.
Exclusivity: A future scenario where only large corporations can afford to train AI models is contemplated.
Strategic Insights for AI Startups
Consumer Focus: If you're B2B, consider pivoting or extending to B2C.
Data Strategy: Look for untapped, high-quality data sources for training. Invest in data preparation and quality.
Specialization vs Generalization: Be clear if your AI solutions aim for specialized high-quality tasks or generalized high-quantity tasks.
Monetization: Consider value-based pricing for high-value domains.
Supply Preparedness: Anticipate and plan for GPU supply constraints.
Privacy and Security: If you can offer more secure and privacy-compliant solutions, there's a market for you.
AI in DevOps: Given the AI's capabilities in code generation and testing, startups in DevOps could find lucrative opportunities.
Stratechery
An Interview with Daniel Gross and Nat Friedman about the AI Hype Cycle
An interview with Daniel Gross and Nat Friedman about the AI hype cycle, what products are working, the current state of ChatGPT, the data constraint, and Nvidia.
AI 환경: 트렌드와 기회
AI 하이프 사이클: AI 투자와 스타트업 설립을 탐색할 때는 신중해야 합니다. 정당화되지 않은 과대 광고와 투자가 급증하고 있습니다.
소비자의 변화: ChatGPT의 성공은 소비자 대상 제품에 대한 수요가 있음을 시사합니다. 필요하다면 방향을 전환하세요.
경제적 영향: AI는 정보 생성 비용을 낮추고 있습니다. 이에 따라 비즈니스 모델을 재고하세요.
집중해야 할 산업: 의료, 소매, 운송, 에너지 산업은 예측 유지보수와 같은 AI 애플리케이션에 상당한 잠재력을 보여줍니다.
AI 제품: 전략과 틈새 시장
기업 대 소비자: AI는 지적 노동을 자동화하는 데 성공하고 있습니다. 전문화된 업무와 일반화된 업무 중 어느 쪽을 타깃으로 삼을지 전략을 명확히 해야 합니다.
떠오르는 틈새 시장: AI는 공공 입찰, 법률 기술, 이커머스 분야에 진출하고 있습니다. 이러한 분야에 맞는 맞춤형 솔루션은 수익성이 높을 수 있습니다.
파괴적 혁신 모델: AI는 시장 저변에서부터 혁신을 일으킬 가능성이 높습니다. 소비자 부문도 무시할 수 없습니다.
데이터 중심 접근 방식: 가치는 데이터와 프로세스에 있습니다. 이러한 초점이 AI 스타트업의 미래를 형성할 것입니다.
ChatGPT: 사용 및 수익화
계절성: 학생 사용량은 감소하는 반면 상업적 사용량은 증가합니다. 이에 따라 가격 책정 및 제품 제공을 맞춤화하세요.
고부가가치 도메인: 코딩과 같은 도메인에서 사용량이 많다는 것은 전문화된 가치 중심 가격 책정 전략의 여지가 있음을 나타냅니다.
데이터 제약: 데이터에 대한 그림자 전쟁
데이터 부족: 양질의 학습 데이터를 확보하기 위한 경쟁이 벌어지고 있습니다. 데이터 소스를 다양화하고 데이터 품질에 투자하는 것을 고려하세요.
고가치 토큰: 양질의 학습 데이터에 투자하는 것이 인터넷에서 무작위로 데이터를 스크랩하는 것보다 더 유리합니다.
미래 기술: ML 2.0 및 강화 학습
제너레이티브 AI: 업계는 데이터 준비에서 트랜스포머와 같은 제너레이티브 모델로 전환하고 있습니다.
데이터 품질: 이러한 변화에도 불구하고 데이터 준비는 여전히 필수적입니다. 더 스마트한 토큰과 데이터 클러스터링에 대해 알아보세요.
기업 협업: 앤트로픽, 아마존, 애플
개인정보 보호에 집중: 안전에 중점을 둔 Anthropic은 개인 정보 보호에 중점을 둔 안전한 AI 서비스를 위한 시장을 제안합니다.
B2B 기회: AWS와의 협업은 미개척 B2B 틈새 시장을 암시합니다.
로컬 모델과 비즈니스 경제학
추론 비용: ChatGPT와 같은 비즈니스는 높은 추론 비용으로 인해 구독 모델에 의존하고 있습니다. AI가 이러한 비용을 무시할 수 있는 시점에 도달할 수 있을까요?
GPU 부족: 이 대화는 GPU의 공급 제약이 임박했음을 나타냅니다. 이 병목 현상에 대비해야 합니다.
미래 시나리오: 공급 과잉 및 독점
공급 제약: 수요 증가는 닷컴 버블과 유사한 공급 제약으로 이어질 수 있습니다.
독점: 대기업만 AI 모델을 학습시킬 수 있는 미래 시나리오를 고려할 수 있습니다.
AI 스타트업을 위한 전략적 인사이트
소비자 중심: B2B 기업이라면 B2C로 전환하거나 확장하는 것을 고려하세요.
데이터 전략: 아직 개발되지 않은 고품질 데이터 소스를 찾아서 학습에 활용하세요. 데이터 준비와 품질에 투자하세요.
전문화 대 일반화: AI 솔루션이 전문화된 고품질 작업을 목표로 하는지, 아니면 일반화된 대량 작업을 목표로 하는지 명확히 하세요.
수익화: 고부가가치 영역에 대한 가치 기반 가격 책정을 고려하세요.
공급 준비: GPU 공급 제약을 예측하고 계획하세요.
개인정보 보호 및 보안: 보다 안전하고 개인정보 보호 규정을 준수하는 솔루션을 제공할 수 있다면 시장이 있습니다.
데브옵스에서의 AI: 코드 생성 및 테스트에서 AI의 역량을 고려할 때, 데브옵스 분야의 스타트업은 수익성 있는 기회를 찾을 수 있습니다.
AI 하이프 사이클: AI 투자와 스타트업 설립을 탐색할 때는 신중해야 합니다. 정당화되지 않은 과대 광고와 투자가 급증하고 있습니다.
소비자의 변화: ChatGPT의 성공은 소비자 대상 제품에 대한 수요가 있음을 시사합니다. 필요하다면 방향을 전환하세요.
경제적 영향: AI는 정보 생성 비용을 낮추고 있습니다. 이에 따라 비즈니스 모델을 재고하세요.
집중해야 할 산업: 의료, 소매, 운송, 에너지 산업은 예측 유지보수와 같은 AI 애플리케이션에 상당한 잠재력을 보여줍니다.
AI 제품: 전략과 틈새 시장
기업 대 소비자: AI는 지적 노동을 자동화하는 데 성공하고 있습니다. 전문화된 업무와 일반화된 업무 중 어느 쪽을 타깃으로 삼을지 전략을 명확히 해야 합니다.
떠오르는 틈새 시장: AI는 공공 입찰, 법률 기술, 이커머스 분야에 진출하고 있습니다. 이러한 분야에 맞는 맞춤형 솔루션은 수익성이 높을 수 있습니다.
파괴적 혁신 모델: AI는 시장 저변에서부터 혁신을 일으킬 가능성이 높습니다. 소비자 부문도 무시할 수 없습니다.
데이터 중심 접근 방식: 가치는 데이터와 프로세스에 있습니다. 이러한 초점이 AI 스타트업의 미래를 형성할 것입니다.
ChatGPT: 사용 및 수익화
계절성: 학생 사용량은 감소하는 반면 상업적 사용량은 증가합니다. 이에 따라 가격 책정 및 제품 제공을 맞춤화하세요.
고부가가치 도메인: 코딩과 같은 도메인에서 사용량이 많다는 것은 전문화된 가치 중심 가격 책정 전략의 여지가 있음을 나타냅니다.
데이터 제약: 데이터에 대한 그림자 전쟁
데이터 부족: 양질의 학습 데이터를 확보하기 위한 경쟁이 벌어지고 있습니다. 데이터 소스를 다양화하고 데이터 품질에 투자하는 것을 고려하세요.
고가치 토큰: 양질의 학습 데이터에 투자하는 것이 인터넷에서 무작위로 데이터를 스크랩하는 것보다 더 유리합니다.
미래 기술: ML 2.0 및 강화 학습
제너레이티브 AI: 업계는 데이터 준비에서 트랜스포머와 같은 제너레이티브 모델로 전환하고 있습니다.
데이터 품질: 이러한 변화에도 불구하고 데이터 준비는 여전히 필수적입니다. 더 스마트한 토큰과 데이터 클러스터링에 대해 알아보세요.
기업 협업: 앤트로픽, 아마존, 애플
개인정보 보호에 집중: 안전에 중점을 둔 Anthropic은 개인 정보 보호에 중점을 둔 안전한 AI 서비스를 위한 시장을 제안합니다.
B2B 기회: AWS와의 협업은 미개척 B2B 틈새 시장을 암시합니다.
로컬 모델과 비즈니스 경제학
추론 비용: ChatGPT와 같은 비즈니스는 높은 추론 비용으로 인해 구독 모델에 의존하고 있습니다. AI가 이러한 비용을 무시할 수 있는 시점에 도달할 수 있을까요?
GPU 부족: 이 대화는 GPU의 공급 제약이 임박했음을 나타냅니다. 이 병목 현상에 대비해야 합니다.
미래 시나리오: 공급 과잉 및 독점
공급 제약: 수요 증가는 닷컴 버블과 유사한 공급 제약으로 이어질 수 있습니다.
독점: 대기업만 AI 모델을 학습시킬 수 있는 미래 시나리오를 고려할 수 있습니다.
AI 스타트업을 위한 전략적 인사이트
소비자 중심: B2B 기업이라면 B2C로 전환하거나 확장하는 것을 고려하세요.
데이터 전략: 아직 개발되지 않은 고품질 데이터 소스를 찾아서 학습에 활용하세요. 데이터 준비와 품질에 투자하세요.
전문화 대 일반화: AI 솔루션이 전문화된 고품질 작업을 목표로 하는지, 아니면 일반화된 대량 작업을 목표로 하는지 명확히 하세요.
수익화: 고부가가치 영역에 대한 가치 기반 가격 책정을 고려하세요.
공급 준비: GPU 공급 제약을 예측하고 계획하세요.
개인정보 보호 및 보안: 보다 안전하고 개인정보 보호 규정을 준수하는 솔루션을 제공할 수 있다면 시장이 있습니다.
데브옵스에서의 AI: 코드 생성 및 테스트에서 AI의 역량을 고려할 때, 데브옵스 분야의 스타트업은 수익성 있는 기회를 찾을 수 있습니다.
Continuous Learning_Startup & Investment
AI 환경: 트렌드와 기회 AI 하이프 사이클: AI 투자와 스타트업 설립을 탐색할 때는 신중해야 합니다. 정당화되지 않은 과대 광고와 투자가 급증하고 있습니다. 소비자의 변화: ChatGPT의 성공은 소비자 대상 제품에 대한 수요가 있음을 시사합니다. 필요하다면 방향을 전환하세요. 경제적 영향: AI는 정보 생성 비용을 낮추고 있습니다. 이에 따라 비즈니스 모델을 재고하세요. 집중해야 할 산업: 의료, 소매, 운송, 에너지 산업은 예측 유지보수와 같은…
Chat GPT, AI 제품, 데이터, AI 회사들의 미래는?, 스타트업 전용 GPU Cluster까지 깃헙 코파일럿 만든 냇과 Ex YC 파트너 다니엘이 stratechery에서 한 인터뷰
1. ChatGPT
- 개발자 중심 → 사용자 중심
- 과거 아이폰은 바로 사용자 중심에서 시작했지만 AI는 개발자 중심에서 사용자 중심으로 움직이고 있다.
- 과거 스마트폰이 연결을해주면서 새로운 기회를 만들었지만, 컴퓨터가 도입되면서 많은 비즈니스들의 Unit Economics가 바뀐 것처럼 AI는 Unit Economics를 바꿀 수 있다.
- Internet이 정보 소비에 필요한 비용을 0으로 줄였다면, AI 정보 생산에 필요한 비용을 0으로 줄인다.
- Chat GPT가 AI 시대에 Netscape이고 앞으로 새로운 Google과 Facebook이 나오지 않을까?
- 현재 대부분 고객이 학생인데 그들은 돈 낼 능력이 많진 않다. 그런데, 코딩을 엄청 잘하는건 앞으로 Chat GPT가 만들 임팩트가 엄청 크다는 것. 엑센추어는 기업용 소프트웨어 제조로만 연에 $13-14b을 판매한다.
2. AI 제품
1. 전문화되서 비싼 일(Legal, Medical works)을 AI가 비교적 싸게 할래? 아니면, 일반화된 작업을 엄청 빠르게 많이 할래?
1. 공공입찰, 법률, 커머스 등… 대부분의 일.
2. [Harvey](https://www.harvey.ai/), [Robin](https://www.robinai.com/), [Spellbook](https://www.spellbook.legal/)
2. 인간 vs AI가 아닌, AI로 업무의 생산성을 재설계한 조직과 그렇지 않은 조직의 대결
3. 광고, Social Media가 AI로 생성된 컨텐츠로 초개인화된다.
- [Synthesia](https://www.synthesia.io/), [D-ID](https://www.d-id.com/), [Hayden](https://www.hayden.ai/)
4. 코딩
1. AI는 솔루션을 찾기는 어렵지만 검증하기는 쉬운 시나리오에서 탁월한 성능을 발휘한다. 코드는 작성하기는 어렵지만 테스트하기 간단하기 때문에 AI가 정말 잘 할 수 있다.
3. 보이지 않는 데이터 전쟁
1. Big Tech들은 이미 양질의 데이터를 수집하기 위해서 좋은 데이터를 생산할 수 있는 파트너 그리고 라벨링 회사들에 엄청난 돈을 써오고 있음.
1. Rumors suggest that Google is spending $1 billion on generating new training data. 구글이 GPU에 돈을 쓰는 만큼이나 좋은 데이터 수집에도 돈을 많이 쓰고 있음.
2. 현재 모델의 한계
1. 현재의 AI 모델은 데이터 사용이 비효율적이다. 미래의 아키텍처는 합성데이터(비디오, 오디오 등), Self-learning(AlphaZero), 또는 새로운 학습 기술 등을 사용해서 데이터 사용이 더 효율적으로 변할 수 있다.
2. RL과 최근 모델들이 결합되서 더 나은 성능을 만들지 않을까?
3. Generation Layer가 만든 것을 검증하는 Validation Layer가 추가되고 있다.
3. 전문가 사용의 효용성
- 전문가가 AI 데이터 셋에 이미 있는 정보를 피드백하는게 효율적인가?
- 방대한 양의 코드 데이터를 학습했지만 여전히 코딩을 잘하는 사람을 따라갈 수 없는 한계가 있다.
4. NF는 랭킹과 추천에 중점을 두었던 ML 1.0에서 제너레이티브 AI 시대로 넘어왔다. ML 1.0 시대에는 데이터 준비가 중요했는데, 지금은 그 중요성이 덜 강조되는 것 같다.
4. AI 회사들
1. Anthropic: 언어 모델 플랫폼인 Bedrock을 위해 Amazon과 같은 회사와 제휴하여 B2B 접근 방식을 선택하고 있다. OpenAI가 플랫폼들의 벤더가 되고 싶지 않은 점을 노려서 B2B로 잘 크는 것 같다. Apple이나 Amazon이 인수할수도 있지 않을까?
2. Meta:
1. Llama를 출시하면서 채용에 도움을 많이 받을거다.
2. Local 모델은 Cloud 모델과 일부 결합되서 일부 작업은 Edge에서 일부는 클라우드에서 돌 거다.
3. Nvidia
1. 돈버는 AI 회사(ChatGPT, Midjourney, Character.ai) Subnoscription 구조인 이유는 Inference 비용 때문이다.
2. Nvidia, Google TPU가 몇년간 독/과점하지 않을까?
3. 어느 시점이 되면 GPU 과잉 생산이 GPU가격을 낮추고 Inference 비용을 낮춰줄 것 같다.
5. 자체 Computing cluster(Andromeda Cluster)
1. 좋은 인재, 제품, 데이터도 있는데 컴퓨팅 파워가 없다. 장기적으로는 비용이 떨어지겠지만 그 사이에 갭을 채워줘서 스타트업이 시장의 기회를 잡게 해줄 필요가 있다.
https://stratechery.com/.../an-interview-with-daniel.../
1. ChatGPT
- 개발자 중심 → 사용자 중심
- 과거 아이폰은 바로 사용자 중심에서 시작했지만 AI는 개발자 중심에서 사용자 중심으로 움직이고 있다.
- 과거 스마트폰이 연결을해주면서 새로운 기회를 만들었지만, 컴퓨터가 도입되면서 많은 비즈니스들의 Unit Economics가 바뀐 것처럼 AI는 Unit Economics를 바꿀 수 있다.
- Internet이 정보 소비에 필요한 비용을 0으로 줄였다면, AI 정보 생산에 필요한 비용을 0으로 줄인다.
- Chat GPT가 AI 시대에 Netscape이고 앞으로 새로운 Google과 Facebook이 나오지 않을까?
- 현재 대부분 고객이 학생인데 그들은 돈 낼 능력이 많진 않다. 그런데, 코딩을 엄청 잘하는건 앞으로 Chat GPT가 만들 임팩트가 엄청 크다는 것. 엑센추어는 기업용 소프트웨어 제조로만 연에 $13-14b을 판매한다.
2. AI 제품
1. 전문화되서 비싼 일(Legal, Medical works)을 AI가 비교적 싸게 할래? 아니면, 일반화된 작업을 엄청 빠르게 많이 할래?
1. 공공입찰, 법률, 커머스 등… 대부분의 일.
2. [Harvey](https://www.harvey.ai/), [Robin](https://www.robinai.com/), [Spellbook](https://www.spellbook.legal/)
2. 인간 vs AI가 아닌, AI로 업무의 생산성을 재설계한 조직과 그렇지 않은 조직의 대결
3. 광고, Social Media가 AI로 생성된 컨텐츠로 초개인화된다.
- [Synthesia](https://www.synthesia.io/), [D-ID](https://www.d-id.com/), [Hayden](https://www.hayden.ai/)
4. 코딩
1. AI는 솔루션을 찾기는 어렵지만 검증하기는 쉬운 시나리오에서 탁월한 성능을 발휘한다. 코드는 작성하기는 어렵지만 테스트하기 간단하기 때문에 AI가 정말 잘 할 수 있다.
3. 보이지 않는 데이터 전쟁
1. Big Tech들은 이미 양질의 데이터를 수집하기 위해서 좋은 데이터를 생산할 수 있는 파트너 그리고 라벨링 회사들에 엄청난 돈을 써오고 있음.
1. Rumors suggest that Google is spending $1 billion on generating new training data. 구글이 GPU에 돈을 쓰는 만큼이나 좋은 데이터 수집에도 돈을 많이 쓰고 있음.
2. 현재 모델의 한계
1. 현재의 AI 모델은 데이터 사용이 비효율적이다. 미래의 아키텍처는 합성데이터(비디오, 오디오 등), Self-learning(AlphaZero), 또는 새로운 학습 기술 등을 사용해서 데이터 사용이 더 효율적으로 변할 수 있다.
2. RL과 최근 모델들이 결합되서 더 나은 성능을 만들지 않을까?
3. Generation Layer가 만든 것을 검증하는 Validation Layer가 추가되고 있다.
3. 전문가 사용의 효용성
- 전문가가 AI 데이터 셋에 이미 있는 정보를 피드백하는게 효율적인가?
- 방대한 양의 코드 데이터를 학습했지만 여전히 코딩을 잘하는 사람을 따라갈 수 없는 한계가 있다.
4. NF는 랭킹과 추천에 중점을 두었던 ML 1.0에서 제너레이티브 AI 시대로 넘어왔다. ML 1.0 시대에는 데이터 준비가 중요했는데, 지금은 그 중요성이 덜 강조되는 것 같다.
4. AI 회사들
1. Anthropic: 언어 모델 플랫폼인 Bedrock을 위해 Amazon과 같은 회사와 제휴하여 B2B 접근 방식을 선택하고 있다. OpenAI가 플랫폼들의 벤더가 되고 싶지 않은 점을 노려서 B2B로 잘 크는 것 같다. Apple이나 Amazon이 인수할수도 있지 않을까?
2. Meta:
1. Llama를 출시하면서 채용에 도움을 많이 받을거다.
2. Local 모델은 Cloud 모델과 일부 결합되서 일부 작업은 Edge에서 일부는 클라우드에서 돌 거다.
3. Nvidia
1. 돈버는 AI 회사(ChatGPT, Midjourney, Character.ai) Subnoscription 구조인 이유는 Inference 비용 때문이다.
2. Nvidia, Google TPU가 몇년간 독/과점하지 않을까?
3. 어느 시점이 되면 GPU 과잉 생산이 GPU가격을 낮추고 Inference 비용을 낮춰줄 것 같다.
5. 자체 Computing cluster(Andromeda Cluster)
1. 좋은 인재, 제품, 데이터도 있는데 컴퓨팅 파워가 없다. 장기적으로는 비용이 떨어지겠지만 그 사이에 갭을 채워줘서 스타트업이 시장의 기회를 잡게 해줄 필요가 있다.
https://stratechery.com/.../an-interview-with-daniel.../
Harvey
Harvey – Professional Class AI
Harvey is the platform built to meet the standards of the world’s leading professional service firms.
Good case of using gpt3.5 finetunning.
https://twitter.com/i/status/1695102995325710484
https://twitter.com/i/status/1695102995325710484
X (formerly Twitter)
Perplexity on X
Exciting update to Copilot on Perplexity with @OpenAI's GPT-3.5 fine-tuning API! We've improved speed, reduced cost, and matched GPT-4 performance. Copilot now engages faster without losing quality. Here's what you need to know: 🧵
Continuous Learning_Startup & Investment
Chat GPT, AI 제품, 데이터, AI 회사들의 미래는?, 스타트업 전용 GPU Cluster까지 깃헙 코파일럿 만든 냇과 Ex YC 파트너 다니엘이 stratechery에서 한 인터뷰 1. ChatGPT - 개발자 중심 → 사용자 중심 - 과거 아이폰은 바로 사용자 중심에서 시작했지만 AI는 개발자 중심에서 사용자 중심으로 움직이고 있다. - 과거 스마트폰이 연결을해주면서 새로운 기회를 만들었지만, 컴퓨터가 도입되면서 많은…
There are many reasons I like Nat a lot in this page, https://nat.org/.
nat.org
Nat Friedman
A few things about me