Another example, there’s a whole sector now of these avatar platforms where people are basically able to produce personalized videos of someone saying, “Hey Ben, I saw that you were interested in our product and I wanted to tell you a little bit about us” and being able to basically generate text, feed that into an avatar platform that generates a realistic video that’s customized and using that in advertising, using it in personal outreach, using it in training materials. There’s some competing with non-consumption here where some of those videos would never have been produced because it would’ve just been too costly, and there’s some like, “Hey, God, I used to have to spend a ton of time doing this, now I can do it quite quickly”. Another example that’s like that, and by the way, all of the avatar, I mean I can name some of those Synthesia, D-ID, Hayden, they’re all doing great, all of these companies are growing really well.

Being a contrarian.

1. 남들이 관심없는데 나는 너무 재밌고 잘할 수 있는 문제를 푸는 사람이 있다면 뭐하고 있는지 자세히 알아볼 것.

2. 그게 되겠어라는 생각이 들거나, 주변에서 그런 말을 들으면 될 수 있다고 생각하고 한번 더 생각해볼 것.

https://stratechery.com/2023/an-interview-with-daniel-gross-and-nat-friedman-about-the-ai-hype-cycle/

Insightful interview.

AI Landscape: Trends and Opportunities
AI Hype Cycle: Be cautious when navigating AI investments and startup formation. There's a surge in unjustified hype and investment.
Consumer Shift: The success of ChatGPT suggests consumer-facing products are in demand. Pivot if necessary.
Economic Impact: AI is lowering the cost of information generation. Reconsider your business model accordingly.
Industries to Focus: Healthcare, retail, transportation, and energy show significant promise for AI applications like predictive maintenance.

AI Products: Strategies and Niches
Enterprise vs Consumer: AI is succeeding in automating intellectual labor. Your strategy should be clear on targeting specialized or generalized tasks.
Emerging Niches: AI is making inroads in public tenders, legal tech, and e-commerce. Tailoring solutions to these sectors could be lucrative.
Disruption Model: AI is likely to disrupt from the lower end of the market. Consumer sectors can't be ignored.
Data-Centric Approach: Value lies in data and processes. This focus will shape the future of AI startups.

ChatGPT: Usage and Monetization
Seasonality: Student usage is down while commercial usage is up. Tailor your pricing and product offerings accordingly.
High-Value Domains: Intense use in domains like coding indicates room for specialized, value-driven pricing strategies.

Data Constraints: The Shadow War for Data
Data Scarcity: There is a competition for quality training data. Consider diversifying data sources and investing in data quality.
High-Value Tokens: Investing in quality training data is more beneficial than scraping random data off the internet.

Future Technologies: ML 2.0 and Reinforcement Learning
Generative AI: The industry is shifting from data preparation to generative models like transformers.
Data Quality: Despite this shift, data preparation remains essential. Look into smarter tokens and data clustering.

Corporate Collaborations: Anthropic, Amazon, Apple
Privacy Focus: Anthropic's emphasis on safety suggests a market for secure, privacy-focused AI services.
B2B Opportunities: Collaboration with AWS hints at unexplored B2B niches.

Local Models and Business Economics
Inference Costs: Businesses like ChatGPT rely on subnoscription models due to high inference costs. Will AI reach a point where these costs are negligible?
GPU Scarcity: The conversation indicates an impending supply constraint for GPUs. Be prepared for this bottleneck.

Future Scenarios: Oversupply and Exclusivity
Supply Constraints: Rising demand may lead to supply constraints similar to the dot-com bubble.
Exclusivity: A future scenario where only large corporations can afford to train AI models is contemplated.

Strategic Insights for AI Startups
Consumer Focus: If you're B2B, consider pivoting or extending to B2C.
Data Strategy: Look for untapped, high-quality data sources for training. Invest in data preparation and quality.
Specialization vs Generalization: Be clear if your AI solutions aim for specialized high-quality tasks or generalized high-quantity tasks.
Monetization: Consider value-based pricing for high-value domains.
Supply Preparedness: Anticipate and plan for GPU supply constraints.
Privacy and Security: If you can offer more secure and privacy-compliant solutions, there's a market for you.
AI in DevOps: Given the AI's capabilities in code generation and testing, startups in DevOps could find lucrative opportunities.

AI 환경: 트렌드와 기회

AI 하이프 사이클: AI 투자와 스타트업 설립을 탐색할 때는 신중해야 합니다. 정당화되지 않은 과대 광고와 투자가 급증하고 있습니다.
소비자의 변화: ChatGPT의 성공은 소비자 대상 제품에 대한 수요가 있음을 시사합니다. 필요하다면 방향을 전환하세요.
경제적 영향: AI는 정보 생성 비용을 낮추고 있습니다. 이에 따라 비즈니스 모델을 재고하세요.
집중해야 할 산업: 의료, 소매, 운송, 에너지 산업은 예측 유지보수와 같은 AI 애플리케이션에 상당한 잠재력을 보여줍니다.

AI 제품: 전략과 틈새 시장
기업 대 소비자: AI는 지적 노동을 자동화하는 데 성공하고 있습니다. 전문화된 업무와 일반화된 업무 중 어느 쪽을 타깃으로 삼을지 전략을 명확히 해야 합니다.
떠오르는 틈새 시장: AI는 공공 입찰, 법률 기술, 이커머스 분야에 진출하고 있습니다. 이러한 분야에 맞는 맞춤형 솔루션은 수익성이 높을 수 있습니다.
파괴적 혁신 모델: AI는 시장 저변에서부터 혁신을 일으킬 가능성이 높습니다. 소비자 부문도 무시할 수 없습니다.
데이터 중심 접근 방식: 가치는 데이터와 프로세스에 있습니다. 이러한 초점이 AI 스타트업의 미래를 형성할 것입니다.

ChatGPT: 사용 및 수익화
계절성: 학생 사용량은 감소하는 반면 상업적 사용량은 증가합니다. 이에 따라 가격 책정 및 제품 제공을 맞춤화하세요.
고부가가치 도메인: 코딩과 같은 도메인에서 사용량이 많다는 것은 전문화된 가치 중심 가격 책정 전략의 여지가 있음을 나타냅니다.

데이터 제약: 데이터에 대한 그림자 전쟁
데이터 부족: 양질의 학습 데이터를 확보하기 위한 경쟁이 벌어지고 있습니다. 데이터 소스를 다양화하고 데이터 품질에 투자하는 것을 고려하세요.
고가치 토큰: 양질의 학습 데이터에 투자하는 것이 인터넷에서 무작위로 데이터를 스크랩하는 것보다 더 유리합니다.

미래 기술: ML 2.0 및 강화 학습
제너레이티브 AI: 업계는 데이터 준비에서 트랜스포머와 같은 제너레이티브 모델로 전환하고 있습니다.
데이터 품질: 이러한 변화에도 불구하고 데이터 준비는 여전히 필수적입니다. 더 스마트한 토큰과 데이터 클러스터링에 대해 알아보세요.

기업 협업: 앤트로픽, 아마존, 애플
개인정보 보호에 집중: 안전에 중점을 둔 Anthropic은 개인 정보 보호에 중점을 둔 안전한 AI 서비스를 위한 시장을 제안합니다.
B2B 기회: AWS와의 협업은 미개척 B2B 틈새 시장을 암시합니다.

로컬 모델과 비즈니스 경제학
추론 비용: ChatGPT와 같은 비즈니스는 높은 추론 비용으로 인해 구독 모델에 의존하고 있습니다. AI가 이러한 비용을 무시할 수 있는 시점에 도달할 수 있을까요?
GPU 부족: 이 대화는 GPU의 공급 제약이 임박했음을 나타냅니다. 이 병목 현상에 대비해야 합니다.

미래 시나리오: 공급 과잉 및 독점
공급 제약: 수요 증가는 닷컴 버블과 유사한 공급 제약으로 이어질 수 있습니다.
독점: 대기업만 AI 모델을 학습시킬 수 있는 미래 시나리오를 고려할 수 있습니다.

AI 스타트업을 위한 전략적 인사이트
소비자 중심: B2B 기업이라면 B2C로 전환하거나 확장하는 것을 고려하세요.
데이터 전략: 아직 개발되지 않은 고품질 데이터 소스를 찾아서 학습에 활용하세요. 데이터 준비와 품질에 투자하세요.
전문화 대 일반화: AI 솔루션이 전문화된 고품질 작업을 목표로 하는지, 아니면 일반화된 대량 작업을 목표로 하는지 명확히 하세요.
수익화: 고부가가치 영역에 대한 가치 기반 가격 책정을 고려하세요.
공급 준비: GPU 공급 제약을 예측하고 계획하세요.
개인정보 보호 및 보안: 보다 안전하고 개인정보 보호 규정을 준수하는 솔루션을 제공할 수 있다면 시장이 있습니다.
데브옵스에서의 AI: 코드 생성 및 테스트에서 AI의 역량을 고려할 때, 데브옵스 분야의 스타트업은 수익성 있는 기회를 찾을 수 있습니다.

Chat GPT, AI 제품, 데이터, AI 회사들의 미래는?, 스타트업 전용 GPU Cluster까지 깃헙 코파일럿 만든 냇과 Ex YC 파트너 다니엘이 stratechery에서 한 인터뷰

1. ChatGPT
- 개발자 중심 → 사용자 중심
- 과거 아이폰은 바로 사용자 중심에서 시작했지만 AI는 개발자 중심에서 사용자 중심으로 움직이고 있다.
- 과거 스마트폰이 연결을해주면서 새로운 기회를 만들었지만, 컴퓨터가 도입되면서 많은 비즈니스들의 Unit Economics가 바뀐 것처럼 AI는 Unit Economics를 바꿀 수 있다.
- Internet이 정보 소비에 필요한 비용을 0으로 줄였다면, AI 정보 생산에 필요한 비용을 0으로 줄인다.
- Chat GPT가 AI 시대에 Netscape이고 앞으로 새로운 Google과 Facebook이 나오지 않을까?
- 현재 대부분 고객이 학생인데 그들은 돈 낼 능력이 많진 않다. 그런데, 코딩을 엄청 잘하는건 앞으로 Chat GPT가 만들 임팩트가 엄청 크다는 것. 엑센추어는 기업용 소프트웨어 제조로만 연에 $13-14b을 판매한다.

2. AI 제품
1. 전문화되서 비싼 일(Legal, Medical works)을 AI가 비교적 싸게 할래? 아니면, 일반화된 작업을 엄청 빠르게 많이 할래?
1. 공공입찰, 법률, 커머스 등… 대부분의 일.
2. [Harvey](https://www.harvey.ai/), [Robin](https://www.robinai.com/), [Spellbook](https://www.spellbook.legal/)
2. 인간 vs AI가 아닌, AI로 업무의 생산성을 재설계한 조직과 그렇지 않은 조직의 대결
3. 광고, Social Media가 AI로 생성된 컨텐츠로 초개인화된다.
- [Synthesia](https://www.synthesia.io/), [D-ID](https://www.d-id.com/), [Hayden](https://www.hayden.ai/)
4. 코딩
1. AI는 솔루션을 찾기는 어렵지만 검증하기는 쉬운 시나리오에서 탁월한 성능을 발휘한다. 코드는 작성하기는 어렵지만 테스트하기 간단하기 때문에 AI가 정말 잘 할 수 있다.

3. 보이지 않는 데이터 전쟁
1. Big Tech들은 이미 양질의 데이터를 수집하기 위해서 좋은 데이터를 생산할 수 있는 파트너 그리고 라벨링 회사들에 엄청난 돈을 써오고 있음.
1. Rumors suggest that Google is spending $1 billion on generating new training data. 구글이 GPU에 돈을 쓰는 만큼이나 좋은 데이터 수집에도 돈을 많이 쓰고 있음.
2. 현재 모델의 한계
1. 현재의 AI 모델은 데이터 사용이 비효율적이다. 미래의 아키텍처는 합성데이터(비디오, 오디오 등), Self-learning(AlphaZero), 또는 새로운 학습 기술 등을 사용해서 데이터 사용이 더 효율적으로 변할 수 있다.
2. RL과 최근 모델들이 결합되서 더 나은 성능을 만들지 않을까?
3. Generation Layer가 만든 것을 검증하는 Validation Layer가 추가되고 있다.
3. 전문가 사용의 효용성
- 전문가가 AI 데이터 셋에 이미 있는 정보를 피드백하는게 효율적인가?
- 방대한 양의 코드 데이터를 학습했지만 여전히 코딩을 잘하는 사람을 따라갈 수 없는 한계가 있다.
4. NF는 랭킹과 추천에 중점을 두었던 ML 1.0에서 제너레이티브 AI 시대로 넘어왔다. ML 1.0 시대에는 데이터 준비가 중요했는데, 지금은 그 중요성이 덜 강조되는 것 같다.

4. AI 회사들
1. Anthropic: 언어 모델 플랫폼인 Bedrock을 위해 Amazon과 같은 회사와 제휴하여 B2B 접근 방식을 선택하고 있다. OpenAI가 플랫폼들의 벤더가 되고 싶지 않은 점을 노려서 B2B로 잘 크는 것 같다. Apple이나 Amazon이 인수할수도 있지 않을까?
2. Meta:
1. Llama를 출시하면서 채용에 도움을 많이 받을거다.
2. Local 모델은 Cloud 모델과 일부 결합되서 일부 작업은 Edge에서 일부는 클라우드에서 돌 거다.
3. Nvidia
1. 돈버는 AI 회사(ChatGPT, Midjourney, Character.ai) Subnoscription 구조인 이유는 Inference 비용 때문이다.
2. Nvidia, Google TPU가 몇년간 독/과점하지 않을까?
3. 어느 시점이 되면 GPU 과잉 생산이 GPU가격을 낮추고 Inference 비용을 낮춰줄 것 같다.

5. 자체 Computing cluster(Andromeda Cluster)
1. 좋은 인재, 제품, 데이터도 있는데 컴퓨팅 파워가 없다. 장기적으로는 비용이 떨어지겠지만 그 사이에 갭을 채워줘서 스타트업이 시장의 기회를 잡게 해줄 필요가 있다.
https://stratechery.com/.../an-interview-with-daniel.../

Good case of using gpt3.5 finetunning.
https://twitter.com/i/status/1695102995325710484

There are many reasons I like Nat a lot in this page, https://nat.org/.

It's important to do things fast
You learn more per unit time because you make contact with reality more frequently
Going fast makes you focus on what's important; there's no time for bullshit
"Slow is fake"
A week is 2% of the year
Time is the denominator

Enthusiasm matters!
It's much easier to work on things that are exciting to you
It might be easier to do big things than small things for this reason
Energy is a necessary input for progress

We know less than we think
The replication crisis is not an aberration
Many of the things we believe are wrong
We are often not even asking the right questions

Where do you get your dopamine?
The answer is predictive of your behavior
Better to get your dopamine from improving your ideas than from having them validated
It's ok to get yours from "making things happen"

You can do more than you think
We are tied down by invisible orthodoxy
The laws of physics are the only limit

Around the World in 21 Days​
Aakash Gupta published Product Requirements Documents (PRDs): A Modern Guide.

imagecredit: Wired

There at the top of the post is a photo of the 2007 APM class, coincidentally my class (I’m there on the right), departing San Francisco for a trip that would take us to Tokyo, Beijing, Bangkok, Bangalore & Tel Aviv. Steven Levy, a reporter, traveled with us & documented the trip.

I remember landing in Tokyo, paying for the subway with a mobile phone system called Oyster, just a few weeks after the first iPhone launched. Today, that’s quotidian for millions, but not sixteen years ago.

We landed in Beijing at the dawn of the superapp & a few weeks before the Olympics. A generation of users had skipped PCs, preferring to navigate, pay, chat, & do business on a single app.

I watched users in the UX lab : I never thought to ask the question, how does a Chinese user input text for the character alphabet? Predictive text systems were clunky so voice messages were far more popular for this reason.

Bangkok, the shortest stop, offered us mangosteens, a fruit I had longed to try for many years, & tuktuks.

In India, the Internet’s synapses hadn’t yet reached many parts of the country, especially rural, but it had upended fishing markets. Fishermen received SMS messages directing them to the markets yielding the best prices for their catch.

I trialed a Segway in the Tel Aviv office & we wondered if sidewalks would evolve to accommodate flocks of them. Arabic & Hebrew languages are read right-to-left, which at the time, required significant work to support in the ads product I managed.

Those 21 days changed the way I viewed technology. The future is here, it just isn’t equally distributed. Some places were more advanced, others less so.

Tokyo felt of the future, China had skipped the PC, India’s villages operated on SMS, & the Middle Eastern writing orientation - all of them opened my eyes to how the world may feel homogeneous from a PM’s Macbook Air in Mountain View, but was many users’ reality was richly nuanced - something I only understood in the field.

I’ve never forgotten the stark difference between my expectations of the way people use technology & the way they actually do. I’m grateful for that extraordinary experience with a wonderful group of people.

If you have a chance to visit your users or customers, leap for it. It will open your eyes.

High rates can improve tech businesses by forcing better management and responsibility. He notes that low interest rates have inflated valuations unsustainably.


He highlights a joint venture between his organization and a large government to create a specialty chemical used in the battery supply chain, which would not have been possible a few years ago. Palihapitiya believes that diversifying the supply chain away from China will create economic tailwinds for North America and its allies

Chamath Palihapitiya discusses the potential for early stage investors to invest in companies that may not have viable public market potential but are building unique data repositories that can feed into larger companies' AI efforts.

Sequoia Capital의 창업자 Don Valentine은 기술부터 제품까지 엄청나게 잘 만들었고 좋다고 pitch하는 창업자에게 항상 마지막에 던진 질문은 "So what?"이었다고 한다.

제 아무리 대단한 기술로 그럴듯한 제품을 만들었다고 하더라도 그것이 고객에게 주는 benefit이 marginal하거나 시장을 제대로 이해하지 못하여 고객의 필요를 채우지 못한다면 - 시장은 곧 고객들이 모여 있는 유무형의 공간이다 - 그것은 별 소용없는 시도이다.

Sequoia Capital의 현재 Chairman인 Doug Leone은 많은 스타트업들이 자신들이 속해 있는 시장이 핫하고 거대한 시장이라고 말하면서 우리는 3%의 시장을 장악할 예정이라고 말하곤 하는데 이는 틀린것이라고 한다.
실제 그런 대단한 시도와 제품은 시장의 70%를 장악하곤 하기 때문이다.
그래서 25페이지 슬라이드 중에 23페이지를 제품설명에 할애하고 2페이지만 시장 설명을 하는데 이렇게 해서는 안된다고 한다.

"Entrepreneurs often come into a meeting and say things like: “It’s a hot market” or “It’s a big market. All we’ve got to get is 3% and we’re going to be a big company.” That’s a mistake, says Leone. “Markets don’t work that way. Winners take 70%.” Don’t bring a presentation that includes 23 slides on the product and just two on the market, he says."

많은 경우 들을때는 그럴듯한데 정작 곰곰히 생각해보면 고객이 사용하지 않을것 같은 경우가 대다수이다.
Clearing thinking을 통해 디테일까지 가야한다.