Continuous Learning_Startup & Investment
honeycomb.io/blog/hard-stuff-nobody-talks-about-llm?fbclid=IwAR1pDrPdN7Vu9PSEwK6aD_lWCZMoZpbf5cQjI0nZ1MDWQfJUNO8ZUM27G74_aem_th_AUxsqnFXcjp2E4Hl4UUDPEp6EK_W_tS9Vkgp9aXhW0Kq5cKDefW90jh2ARchnFjpies&mibextid=Zxz2cZ
Builder’s point of view about LLM.
The article discusses the challenges of building products with large language models (LLMs). These models are trained on massive datasets of text and code, and can be used for a variety of tasks, such as generating text, translating languages, and writing different kinds of creative content. However, building products with LLMs is not without its challenges. One challenge is that LLMs are often very large and complex, which can make them difficult to train and deploy. Another challenge is that LLMs can be difficult to control, and can sometimes generate output that is offensive or harmful. Finally, LLMs can be expensive to use, and there is a risk that they could be used for malicious purposes.
Despite these challenges, the author believes that LLMs have the potential to revolutionize the way we build products. He argues that LLMs can be used to create more personalized and engaging experiences for users, and that they can be used to solve complex problems that were previously intractable. He concludes by calling for more research and development into the use of LLMs in products.
Here are some of the specific challenges mentioned in the article:
Training and deploying LLMs is expensive and time-consuming. LLMs require massive datasets of text and code to train, and can take weeks or even months to train. Once they are trained, they can be difficult to deploy, as they require specialized hardware and software.
LLMs can be difficult to control. LLMs are trained on massive datasets of text, and can sometimes generate output that is offensive or harmful. This can be a challenge for developers, who need to find ways to control the output of LLMs.
LLMs can be expensive to use. LLMs require specialized hardware and software, which can be expensive to purchase and maintain. Additionally, LLMs can be expensive to train, as they require massive datasets of text and code.
There is a risk that LLMs could be used for malicious purposes. LLMs are powerful tools, and could be used for malicious purposes, such as generating fake news or creating deepfakes. It is important to be aware of these risks when developing products with LLMs.
The article discusses the challenges of building products with large language models (LLMs). These models are trained on massive datasets of text and code, and can be used for a variety of tasks, such as generating text, translating languages, and writing different kinds of creative content. However, building products with LLMs is not without its challenges. One challenge is that LLMs are often very large and complex, which can make them difficult to train and deploy. Another challenge is that LLMs can be difficult to control, and can sometimes generate output that is offensive or harmful. Finally, LLMs can be expensive to use, and there is a risk that they could be used for malicious purposes.
Despite these challenges, the author believes that LLMs have the potential to revolutionize the way we build products. He argues that LLMs can be used to create more personalized and engaging experiences for users, and that they can be used to solve complex problems that were previously intractable. He concludes by calling for more research and development into the use of LLMs in products.
Here are some of the specific challenges mentioned in the article:
Training and deploying LLMs is expensive and time-consuming. LLMs require massive datasets of text and code to train, and can take weeks or even months to train. Once they are trained, they can be difficult to deploy, as they require specialized hardware and software.
LLMs can be difficult to control. LLMs are trained on massive datasets of text, and can sometimes generate output that is offensive or harmful. This can be a challenge for developers, who need to find ways to control the output of LLMs.
LLMs can be expensive to use. LLMs require specialized hardware and software, which can be expensive to purchase and maintain. Additionally, LLMs can be expensive to train, as they require massive datasets of text and code.
There is a risk that LLMs could be used for malicious purposes. LLMs are powerful tools, and could be used for malicious purposes, such as generating fake news or creating deepfakes. It is important to be aware of these risks when developing products with LLMs.
10 common mistakes startups make that result in slower growth:
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m fit) bottleneck.
2. Mass email sequencing people who have never heard of you or your company. You need to be more creative with outbound.
3. Incentivizing the wrong behavior. Most commonly, top of funnel metrics like MQL’s and SQL’s that produce low conversion rates and low ACV’s. “Show me the incentive and I’ll show you the outcome.” - Charlie Munger
4. Quarterly quotas. Almost every startup should be on monthly quotas. The exception being high 6 figure ACVs with >90 day sales cycles. The consequence of quarterly quotas is lost urgency 2 out of 3 months and less revenue.
5. Underinvesting or investing too late in revenue operations.
6. Underinvesting or investing too late in implementation. The first 30-60 days are the most critical in determining the long term success of a customer. Do whatever it takes to deliver a delightful first impression.
7. Underinvesting or investing too late in revenue expansion in the customer base.
8. Never meeting customers in person. Founders and revenue leaders should be doing this regularly (yes, even if your customers are small).
9. Over-indexing on domain experience when hiring a VP of Sales. Or, less common, but an even worse mistake, hiring from a big company.
10. Allowing poor performers, especially those in leadership positions, to remain at the business for too long.
https://www.linkedin.com/posts/sam-blond-791026b_10-common-mistakes-startups-make-that-result-activity-7070149376043573250-QLTB?utm_source=share&utm_medium=member_desktop
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m fit) bottleneck.
2. Mass email sequencing people who have never heard of you or your company. You need to be more creative with outbound.
3. Incentivizing the wrong behavior. Most commonly, top of funnel metrics like MQL’s and SQL’s that produce low conversion rates and low ACV’s. “Show me the incentive and I’ll show you the outcome.” - Charlie Munger
4. Quarterly quotas. Almost every startup should be on monthly quotas. The exception being high 6 figure ACVs with >90 day sales cycles. The consequence of quarterly quotas is lost urgency 2 out of 3 months and less revenue.
5. Underinvesting or investing too late in revenue operations.
6. Underinvesting or investing too late in implementation. The first 30-60 days are the most critical in determining the long term success of a customer. Do whatever it takes to deliver a delightful first impression.
7. Underinvesting or investing too late in revenue expansion in the customer base.
8. Never meeting customers in person. Founders and revenue leaders should be doing this regularly (yes, even if your customers are small).
9. Over-indexing on domain experience when hiring a VP of Sales. Or, less common, but an even worse mistake, hiring from a big company.
10. Allowing poor performers, especially those in leadership positions, to remain at the business for too long.
https://www.linkedin.com/posts/sam-blond-791026b_10-common-mistakes-startups-make-that-result-activity-7070149376043573250-QLTB?utm_source=share&utm_medium=member_desktop
Linkedin
Sam Blond on LinkedIn: 10 common mistakes startups make that result in slower growth:
1… | 14 comments
1… | 14 comments
10 common mistakes startups make that result in slower growth:
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps… | 14 comments on LinkedIn
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps… | 14 comments on LinkedIn
Continuous Learning_Startup & Investment
10 common mistakes startups make that result in slower growth: 1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m…
스타트업의 성장이 둔화되는 데 주요한 역할을 하는 10가지 일반적인 실수
Sam Blond Partner at Founders Fund, Ex CRO in Brex
1. 깔때기 상단에 병목 지점이 있음에도 불구하고 깔때기 중간에만 집중하는 경우. 담당자의 일정을 체크해보세요. 매일 수많은 고객 전화로 바쁘게 지내나요? 그렇지 않다면, 수요(또는 제품/시장 적합성)에 병목이 생기고 있는 것입니다.
2. 본인의 회사나 본인의 회사에 대해 알지 못하는 사람들에게 대량으로 이메일을 보내는 경우. 아웃바운드 전략에 더 많은 창의성을 발휘해야 합니다.
3. 부적절한 행동에 인센티브를 제공하는 경우. 가장 흔한 예는, 낮은 전환율과 낮은 ACV를 생성하는 MQL 및 SQL 같은 퍼널 상단 지표입니다. "인센티브를 설정하면 결과가 따라옵니다." - 찰리 멍거
4. 분기별 목표 설정. 대부분의 스타트업은 월별 목표를 설정해야 합니다. 단, 판매 주기가 90일을 초과하는 고액의 ACV는 예외입니다. 분기별 목표의 결과는 3개월 중 2개월 동안 긴급성을 잃고 수익이 감소하는 것입니다.
5. 수익 운영에 대한 투자가 부족하거나 너무 늦게 투자하는 경우.
6. 과소 투자하거나 실행에 너무 늦게 착수하는 경우. 고객의 장기적인 성공을 결정하는 가장 중요한 시기는 처음 30~60일입니다. 좋은 첫인상을 남기기 위해 최선을 다하십시오.
7. 고객 기반 매출 확대에 대한 투자가 부족하거나 너무 늦게 하는 경우.
8. 고객을 직접 만나지 않는 경우. 창업자와 매출 리더는 정기적으로 고객을 만나야 합니다(고객이 소규모일지라도).
9. 영업 부사장을 채용할 때 도메인 경험을 과도하게 중요시하는 경우. 또는 흔하지 않지만 더욱 심각한 실수인 대기업 출신을 채용하는 경우
10. 성과가 저조한 직원, 특히 리더십 직책에 있는 직원을 너무 오래 회사에 머물게 하는 경우
Sam Blond Partner at Founders Fund, Ex CRO in Brex
1. 깔때기 상단에 병목 지점이 있음에도 불구하고 깔때기 중간에만 집중하는 경우. 담당자의 일정을 체크해보세요. 매일 수많은 고객 전화로 바쁘게 지내나요? 그렇지 않다면, 수요(또는 제품/시장 적합성)에 병목이 생기고 있는 것입니다.
2. 본인의 회사나 본인의 회사에 대해 알지 못하는 사람들에게 대량으로 이메일을 보내는 경우. 아웃바운드 전략에 더 많은 창의성을 발휘해야 합니다.
3. 부적절한 행동에 인센티브를 제공하는 경우. 가장 흔한 예는, 낮은 전환율과 낮은 ACV를 생성하는 MQL 및 SQL 같은 퍼널 상단 지표입니다. "인센티브를 설정하면 결과가 따라옵니다." - 찰리 멍거
4. 분기별 목표 설정. 대부분의 스타트업은 월별 목표를 설정해야 합니다. 단, 판매 주기가 90일을 초과하는 고액의 ACV는 예외입니다. 분기별 목표의 결과는 3개월 중 2개월 동안 긴급성을 잃고 수익이 감소하는 것입니다.
5. 수익 운영에 대한 투자가 부족하거나 너무 늦게 투자하는 경우.
6. 과소 투자하거나 실행에 너무 늦게 착수하는 경우. 고객의 장기적인 성공을 결정하는 가장 중요한 시기는 처음 30~60일입니다. 좋은 첫인상을 남기기 위해 최선을 다하십시오.
7. 고객 기반 매출 확대에 대한 투자가 부족하거나 너무 늦게 하는 경우.
8. 고객을 직접 만나지 않는 경우. 창업자와 매출 리더는 정기적으로 고객을 만나야 합니다(고객이 소규모일지라도).
9. 영업 부사장을 채용할 때 도메인 경험을 과도하게 중요시하는 경우. 또는 흔하지 않지만 더욱 심각한 실수인 대기업 출신을 채용하는 경우
10. 성과가 저조한 직원, 특히 리더십 직책에 있는 직원을 너무 오래 회사에 머물게 하는 경우
❤1
Continuous Learning_Startup & Investment
Google is investing in Runway, a New York–based startup that lets customers generate video from text denoscriptions using artificial intelligence it pioneered, at a valuation of around $1.5 billion including the new capital, according to two people familiar…
I missed a great point here.
As Microsoft bankrolls AI startup OpenAI—including footing its enormous cloud bill as part of a complex arrangement—Microsoft’s rivals have scrambled to win over other AI customers. Google has begun to invest in AI startups that are or could become its cloud customers, following a similar playbook it used to obtain customers in other industries. Earlier this year, for instance, Google invested $400 million in Anthropic, one of the primary startup challengers to OpenAI, The Information previously reported. Google Cloud said in February it had become Anthropic’s “preferred” provider.
News of the Runway deal comes after Google Cloud announced it had signed up two other key AI startups: text-to-image provider Midjourney and chatbot app Character AI. Character, founded by former Google researchers who developed some of the company’s key AI technology, previously was a key cloud customer of Oracle, The Information reported. It isn’t clear whether Google took stakes in the companies and it’s too soon to tell whether these deals will help Google catch up to bigger cloud rivals AWS and Microsoft. See our Cloud Database.
Notably, OpenAI has employed its own startup-investment strategy to win over future customers even as it takes capital and cloud credits from Microsoft. The startup, which raised a $175 million fund to back startups, dangles special incentives to founders whose startups pay for access to its large-language models, including discounts on licensing and early access to new technologies, The Information previously reported.
Luring AI startups with cloud credits could help Google beat out venture capital firms vying for stakes in the companies. Oracle also offers hundreds of thousands of dollars’ worth of computing credits as an incentive for AI startups to rent the company’s cloud servers, The Information earlier reported.
As Microsoft bankrolls AI startup OpenAI—including footing its enormous cloud bill as part of a complex arrangement—Microsoft’s rivals have scrambled to win over other AI customers. Google has begun to invest in AI startups that are or could become its cloud customers, following a similar playbook it used to obtain customers in other industries. Earlier this year, for instance, Google invested $400 million in Anthropic, one of the primary startup challengers to OpenAI, The Information previously reported. Google Cloud said in February it had become Anthropic’s “preferred” provider.
News of the Runway deal comes after Google Cloud announced it had signed up two other key AI startups: text-to-image provider Midjourney and chatbot app Character AI. Character, founded by former Google researchers who developed some of the company’s key AI technology, previously was a key cloud customer of Oracle, The Information reported. It isn’t clear whether Google took stakes in the companies and it’s too soon to tell whether these deals will help Google catch up to bigger cloud rivals AWS and Microsoft. See our Cloud Database.
Notably, OpenAI has employed its own startup-investment strategy to win over future customers even as it takes capital and cloud credits from Microsoft. The startup, which raised a $175 million fund to back startups, dangles special incentives to founders whose startups pay for access to its large-language models, including discounts on licensing and early access to new technologies, The Information previously reported.
Luring AI startups with cloud credits could help Google beat out venture capital firms vying for stakes in the companies. Oracle also offers hundreds of thousands of dollars’ worth of computing credits as an incentive for AI startups to rent the company’s cloud servers, The Information earlier reported.
Microsoft가 복잡한 계약의 일환으로 막대한 클라우드 비용을 부담하는 등 AI 스타트업 OpenAI에 자금을 지원하면서, 경쟁사들은 다른 AI 고객을 확보하기 위해 분주하게 움직이고 있습니다. 구글은 다른 업계에서 고객을 확보할 때 사용한 유사한 전략에 따라 클라우드 고객이거나 클라우드 고객이 될 수 있는 AI 스타트업에 투자하기 시작했습니다. 예를 들어, 올해 초 구글은 OpenAI에 도전하는 주요 스타트업 중 하나인 앤트로픽에 4억 달러를 투자했다고 더인포메이션은 이전에 보도한 바 있습니다. 구글 클라우드는 2월에 앤트로픽의 "우선" 제공업체가 되었다고 밝혔습니다.
런웨이 계약 소식은 구글 클라우드가 텍스트-이미지 변환 서비스 제공업체인 미드저니와 챗봇 앱인 캐릭터 AI라는 두 개의 주요 AI 스타트업을 영입했다고 발표한 이후에 나온 것입니다. 구글의 주요 AI 기술을 개발한 전직 구글 연구원들이 설립한 Character는 이전에 오라클의 주요 클라우드 고객이었다고 The Information은 보도했습니다. 구글이 두 회사의 지분을 인수했는지 여부는 명확하지 않으며, 이번 거래가 구글이 더 큰 클라우드 라이벌인 AWS와 Microsoft를 따라잡는 데 도움이 될지 말하기는 아직 이르다. 클라우드 데이터베이스를 참조하세요.
특히 OpenAI는 Microsoft로부터 자본과 클라우드 크레딧을 받으면서도 미래 고객을 확보하기 위해 자체적인 스타트업 투자 전략을 채택했습니다. 스타트업 지원을 위해 1억 7,500만 달러의 펀드를 조성한 이 스타트업은 라이선스 할인, 신기술 조기 액세스 등 자사의 대규모 언어 모델에 대한 액세스 비용을 지불하는 창업자에게 특별한 인센티브를 제공한다고 더인포메이션은 이전에 보도한 바 있습니다.
클라우드 크레딧으로 AI 스타트업을 유인하면 Google이 회사 지분을 놓고 경쟁하는 벤처 캐피탈 회사를 이기는 데 도움이 될 수 있습니다. 오라클은 또한 AI 스타트업이 자사의 클라우드 서버를 임대할 경우 인센티브로 수십만 달러 상당의 컴퓨팅 크레딧을 제공한다고 The Information은 앞서 보도한 바 있습니다.
런웨이 계약 소식은 구글 클라우드가 텍스트-이미지 변환 서비스 제공업체인 미드저니와 챗봇 앱인 캐릭터 AI라는 두 개의 주요 AI 스타트업을 영입했다고 발표한 이후에 나온 것입니다. 구글의 주요 AI 기술을 개발한 전직 구글 연구원들이 설립한 Character는 이전에 오라클의 주요 클라우드 고객이었다고 The Information은 보도했습니다. 구글이 두 회사의 지분을 인수했는지 여부는 명확하지 않으며, 이번 거래가 구글이 더 큰 클라우드 라이벌인 AWS와 Microsoft를 따라잡는 데 도움이 될지 말하기는 아직 이르다. 클라우드 데이터베이스를 참조하세요.
특히 OpenAI는 Microsoft로부터 자본과 클라우드 크레딧을 받으면서도 미래 고객을 확보하기 위해 자체적인 스타트업 투자 전략을 채택했습니다. 스타트업 지원을 위해 1억 7,500만 달러의 펀드를 조성한 이 스타트업은 라이선스 할인, 신기술 조기 액세스 등 자사의 대규모 언어 모델에 대한 액세스 비용을 지불하는 창업자에게 특별한 인센티브를 제공한다고 더인포메이션은 이전에 보도한 바 있습니다.
클라우드 크레딧으로 AI 스타트업을 유인하면 Google이 회사 지분을 놓고 경쟁하는 벤처 캐피탈 회사를 이기는 데 도움이 될 수 있습니다. 오라클은 또한 AI 스타트업이 자사의 클라우드 서버를 임대할 경우 인센티브로 수십만 달러 상당의 컴퓨팅 크레딧을 제공한다고 The Information은 앞서 보도한 바 있습니다.
Continuous Learning_Startup & Investment
https://blog.softly.ai/ai-adoption-with-minimum-dataset/
https://huyenchip.com/2023/04/11/llm-engineering.html
https://www.linkedin.com/pulse/%25EC%258B%25A4%25EC%25A0%2584%25EC%2597%2590%25EC%2584%259C-llm-%25EC%2595%25A0%25ED%2594%258C%25EB%25A6%25AC%25EC%25BC%2580%25EC%259D%25B4%25EC%2585%2598-%25EA%25B5%25AC%25EC%25B6%2595%25ED%2595%2598%25EA%25B8%25B0-jung-dong-kim/?fbclid=IwAR0NptZRQj8B7u6E2BeWroKuJn8MsJZgxgPCr_FUjhIf5JTo3rB9JXN6v7w
비슷한 맥락의 이야기
https://www.linkedin.com/pulse/%25EC%258B%25A4%25EC%25A0%2584%25EC%2597%2590%25EC%2584%259C-llm-%25EC%2595%25A0%25ED%2594%258C%25EB%25A6%25AC%25EC%25BC%2580%25EC%259D%25B4%25EC%2585%2598-%25EA%25B5%25AC%25EC%25B6%2595%25ED%2595%2598%25EA%25B8%25B0-jung-dong-kim/?fbclid=IwAR0NptZRQj8B7u6E2BeWroKuJn8MsJZgxgPCr_FUjhIf5JTo3rB9JXN6v7w
비슷한 맥락의 이야기
Chip Huyen
Building LLM applications for production
[Hacker News discussion, LinkedIn discussion, Twitter thread]
Forwarded from 전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효
https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newsletter&utm_campaign=openai-s-roadmap
https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newsletter&utm_campaign=openai-s-roadmap
❤1
전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효 https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newslett…
The finetuning API is also currently bottlenecked by GPU availability. They don’t yet use efficient finetuning methods like Adapters or LoRa and so finetuning is very compute-intensive to run and manage. Better support for finetuning will come in the future. They may even host a marketplace of community contributed models.
# Thought 1.
-> OpenAI is preparing a marketplace for Finetuned models in addition to the GPT Plugin. -> Provides an opportunity for people to earn money by finetuning models, just like app developers used to earn money by developing apps -> Locked into the GPT ecosystem.
Dedicated capacity offering is limited by GPU availability. OpenAI also offers dedicated capacity, which provides customers with a private copy of the model. To access this service, customers must be willing to commit to a $100k spend upfront.
2023:
Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.
Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.
Finetuning API — The finetuning API will be extended to the latest models but the exact form for this will be shaped by what developers indicate they really want.
A stateful API — When you call the chat API today, you have to repeatedly pass through the same conversation history and pay for the same tokens again and again. In the future there will be a version of the API that remembers the conversation history.
2024:
Multimodality — This was demoed as part of the GPT-4 release but can’t be extended to everyone until after more GPUs come online.
# Thought 2.
- GPT will be cheaper, faster, customizable, and more stable.
- Of course they know the multimodality is the future and they have Whisper one of the most advanced voice related model.
3. Plugins “don’t have PMF” and are probably not coming to the API anytime soon
A lot of developers are interested in getting access to ChatGPT plugins via the API but Sam said he didn’t think they’d be released any time soon. The usage of plugins, other than browsing, suggests that they don’t have PMF yet. He suggested that a lot of people thought they wanted their apps to be inside ChatGPT but what they really wanted was ChatGPT in their apps.
#3
Interesting point. Sam is not drunk on Chatgpt's success and seems to be objectively judging his situation. What people want is GPT in their apps, not a GPT plugin. How can you give your customers what they want, but still have a business moat?
1. Is GPT Plugin Retention low because there is no mobile-first product?
2. If the experience of integrating with mobile-first products is well designed, isn't it possible to provide an experience like Kakao/Tosu authenticating?
3. What do you need to think about when OpenAI abandons the GPT plugin strategy to integrate with your app/web and becomes a format that provides SDKs and APIs?
3.1. If the customer's UX is controlled by the end user, won't it eventually be replaced by another model?
- To lock in customers, it is necessary to provide more customizable services based on customer data, and Finetunning is important. However, GPU is a bottleneck. Maybe we should prioritize GPT-4, which is cheaper, more stable, and supports higher volumes than GPT Plugin?
4. OpenAI will avoid competing with their customers — other than with ChatGPT
Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.
# Thought 1.
-> OpenAI is preparing a marketplace for Finetuned models in addition to the GPT Plugin. -> Provides an opportunity for people to earn money by finetuning models, just like app developers used to earn money by developing apps -> Locked into the GPT ecosystem.
Dedicated capacity offering is limited by GPU availability. OpenAI also offers dedicated capacity, which provides customers with a private copy of the model. To access this service, customers must be willing to commit to a $100k spend upfront.
2023:
Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.
Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.
Finetuning API — The finetuning API will be extended to the latest models but the exact form for this will be shaped by what developers indicate they really want.
A stateful API — When you call the chat API today, you have to repeatedly pass through the same conversation history and pay for the same tokens again and again. In the future there will be a version of the API that remembers the conversation history.
2024:
Multimodality — This was demoed as part of the GPT-4 release but can’t be extended to everyone until after more GPUs come online.
# Thought 2.
- GPT will be cheaper, faster, customizable, and more stable.
- Of course they know the multimodality is the future and they have Whisper one of the most advanced voice related model.
3. Plugins “don’t have PMF” and are probably not coming to the API anytime soon
A lot of developers are interested in getting access to ChatGPT plugins via the API but Sam said he didn’t think they’d be released any time soon. The usage of plugins, other than browsing, suggests that they don’t have PMF yet. He suggested that a lot of people thought they wanted their apps to be inside ChatGPT but what they really wanted was ChatGPT in their apps.
#3
Interesting point. Sam is not drunk on Chatgpt's success and seems to be objectively judging his situation. What people want is GPT in their apps, not a GPT plugin. How can you give your customers what they want, but still have a business moat?
1. Is GPT Plugin Retention low because there is no mobile-first product?
2. If the experience of integrating with mobile-first products is well designed, isn't it possible to provide an experience like Kakao/Tosu authenticating?
3. What do you need to think about when OpenAI abandons the GPT plugin strategy to integrate with your app/web and becomes a format that provides SDKs and APIs?
3.1. If the customer's UX is controlled by the end user, won't it eventually be replaced by another model?
- To lock in customers, it is necessary to provide more customizable services based on customer data, and Finetunning is important. However, GPU is a bottleneck. Maybe we should prioritize GPT-4, which is cheaper, more stable, and supports higher volumes than GPT Plugin?
4. OpenAI will avoid competing with their customers — other than with ChatGPT
Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.
전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효 https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newslett…
#Thought4
They know that one of the strongest moat for platform is dev community. They won't make the mistake of cutting the belly of the goose that lays the golden eggs.
They know that one of the strongest moat for platform is dev community. They won't make the mistake of cutting the belly of the goose that lays the golden eggs.
전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효 https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newslett…
최근 UCL에서 한 Sam 인터뷰와 아무말 대잔치 코멘트
#1 Sam은 현재 finetuning API가 GPU의 가용성에 의해 병목 현상을 겪고 있음. 그리고 Finetunning한 모델들을 사용할 수 있는 마켓플레이스도 고려하고 있음.
- Finetunning하는 모델들을 거래하는 마켓플레이스가 생기면 Plugin에서 시도했던 것을 모델 단에서도 한번 더 해볼 수 있음. AI 모델을 만드는 혹은 파인튜닝하는 회사들을 일종의 앱개발 회사처럼 GPT 생태계에 락인시킬 수 있고, 모델 개발/파인튜닝 회사 입장에서도 해당 마켓플레이스에 입점해서 돈을 벌 수 있다면 좋음. 기존에 AI 회사들 중 R&D를 잘하는데 GTM 고민인 곳이 많은데 과거 앱스토어가 인디 개발사를 도왔던 것처럼 OpenAI가 이들을 도울 수 있음. 나중에는 아마 독점 혹은 과점이 될 수도 🥲
#2 2023, 2024년의 GPT-4는 더 저렴하고, 빠르고, 더 긴 컨텍스트 윈도우도 지원하고, finetuning API, Stateful API(과거 대화 맥락 기억), 그리고 Multimodal(음성, 이미지 등)을 지원할 예정
- Foundation Model에서 경쟁하거나 파인튜닝하려는 팀들은 업계 1등이 이정도 생각하고 있을 때 어떻게 Niche에서 가치를 만들어낼 것인가에 대한 고민이 필요함.
- Open AI가 Whisper, Dalle 를 개발해온 것도 멀티모달의 일환이었던 것 같다. 최근에 GPT앱에 탑재된 Whisper는 그간 사용해봤던 음성 관련 서비스 중에서 가장 만족도가 높았음.
#3 플러그인은 "PMF"를 못찾았으며조만간 API에 제공되지 않을 것입니다.
- 샘은 ChatGPT의 성공에 도취하거나 만족하지 않았음. 플러그인의 Retention이 생각보다 나오고 있지 않아서 다른 방법을 고민하고 있음.
- OpenAI는 UX를 GPT로 일원화하고 싶었지만 대부분의 고객은 본인의 서비스 내에 비서를 탑재하고 싶음.
- Plugin 리텐션이 낮은 것과 관련해서는 모바일 퍼스트 제품이 없어서 GPT 플러그인 리텐션이 낮은 것은 아닌지 고민할 수 있음. 웹기반이 아니라 모바일 기반으로 Plugin을 출시했고 모바일 서비스와 경험이 Seamless했다면 카카오/토스 인증과 같은 경험을 제공할 수 있지 않을까? -> OpenAI가 이 쪽을 하지 않겠다고 하면 Poe(Quora에서 만든 AI UX aggregator)같은 팀이 고민할 수 있는 사업의 방향.
- B2C가 아닌 B2B로 API/SDK를 연동한다면 고객의 데이터가 OpenAI 쪽에 쌓여서 사용할 수록 더 나은 서비스를 제공할 수 있게 도와주면서 Switching Cost를 높일 수 있음.
#4 샘은 OpenAI가 ChatGPT 외에 더 이상의 제품을 출시하지 않을 것이라고 말했습니다. 그는 훌륭한 플랫폼 회사들이 킬러 앱을 개발한 역사가 있으며 ChatGPT를 통해 자사 제품의 고객이 되어 더 나은 API를 만들 수 있을 것이라고 말했습니다.
- OpenAI는 강력한 개발자 커뮤니티가 모든 플랫폼의 실질적인 해자(Moat)를 형성한다는 사실을 잘 알고 있습니다. 그들은 이 자산이 황금알을 낳는 거위의 배를 자르지 않을 겁니다.
여러분의 생각은 어떠신가요?
#1 Sam은 현재 finetuning API가 GPU의 가용성에 의해 병목 현상을 겪고 있음. 그리고 Finetunning한 모델들을 사용할 수 있는 마켓플레이스도 고려하고 있음.
- Finetunning하는 모델들을 거래하는 마켓플레이스가 생기면 Plugin에서 시도했던 것을 모델 단에서도 한번 더 해볼 수 있음. AI 모델을 만드는 혹은 파인튜닝하는 회사들을 일종의 앱개발 회사처럼 GPT 생태계에 락인시킬 수 있고, 모델 개발/파인튜닝 회사 입장에서도 해당 마켓플레이스에 입점해서 돈을 벌 수 있다면 좋음. 기존에 AI 회사들 중 R&D를 잘하는데 GTM 고민인 곳이 많은데 과거 앱스토어가 인디 개발사를 도왔던 것처럼 OpenAI가 이들을 도울 수 있음. 나중에는 아마 독점 혹은 과점이 될 수도 🥲
#2 2023, 2024년의 GPT-4는 더 저렴하고, 빠르고, 더 긴 컨텍스트 윈도우도 지원하고, finetuning API, Stateful API(과거 대화 맥락 기억), 그리고 Multimodal(음성, 이미지 등)을 지원할 예정
- Foundation Model에서 경쟁하거나 파인튜닝하려는 팀들은 업계 1등이 이정도 생각하고 있을 때 어떻게 Niche에서 가치를 만들어낼 것인가에 대한 고민이 필요함.
- Open AI가 Whisper, Dalle 를 개발해온 것도 멀티모달의 일환이었던 것 같다. 최근에 GPT앱에 탑재된 Whisper는 그간 사용해봤던 음성 관련 서비스 중에서 가장 만족도가 높았음.
#3 플러그인은 "PMF"를 못찾았으며조만간 API에 제공되지 않을 것입니다.
- 샘은 ChatGPT의 성공에 도취하거나 만족하지 않았음. 플러그인의 Retention이 생각보다 나오고 있지 않아서 다른 방법을 고민하고 있음.
- OpenAI는 UX를 GPT로 일원화하고 싶었지만 대부분의 고객은 본인의 서비스 내에 비서를 탑재하고 싶음.
- Plugin 리텐션이 낮은 것과 관련해서는 모바일 퍼스트 제품이 없어서 GPT 플러그인 리텐션이 낮은 것은 아닌지 고민할 수 있음. 웹기반이 아니라 모바일 기반으로 Plugin을 출시했고 모바일 서비스와 경험이 Seamless했다면 카카오/토스 인증과 같은 경험을 제공할 수 있지 않을까? -> OpenAI가 이 쪽을 하지 않겠다고 하면 Poe(Quora에서 만든 AI UX aggregator)같은 팀이 고민할 수 있는 사업의 방향.
- B2C가 아닌 B2B로 API/SDK를 연동한다면 고객의 데이터가 OpenAI 쪽에 쌓여서 사용할 수록 더 나은 서비스를 제공할 수 있게 도와주면서 Switching Cost를 높일 수 있음.
#4 샘은 OpenAI가 ChatGPT 외에 더 이상의 제품을 출시하지 않을 것이라고 말했습니다. 그는 훌륭한 플랫폼 회사들이 킬러 앱을 개발한 역사가 있으며 ChatGPT를 통해 자사 제품의 고객이 되어 더 나은 API를 만들 수 있을 것이라고 말했습니다.
- OpenAI는 강력한 개발자 커뮤니티가 모든 플랫폼의 실질적인 해자(Moat)를 형성한다는 사실을 잘 알고 있습니다. 그들은 이 자산이 황금알을 낳는 거위의 배를 자르지 않을 겁니다.
여러분의 생각은 어떠신가요?
https://www.forbes.com/sites/kenrickcai/2023/06/04/stable-diffusion-emad-mostaque-stability-ai-exaggeration/?sh=48b66e5f75c5
https://emad.posthaven.com/on-setting-the-record-straight
https://emad.posthaven.com/on-setting-the-record-straight
Forbes
The AI Founder Taking Credit For Stable Diffusion’s Success Has A History Of Exaggeration
Stability AI became a $1 billion company with the help of a viral AI text-to-image generator and some misleading claims from founder Emad Mostaque.