New world to VR?
Apple’s first foray into mixed reality hardware (that is, a blend of real and virtual worlds) is one of the company’s worst-kept secrets. The tech giant has been acquiring headset-friendly startups for years, and Tim Cook hasn’t been shy about his interests in augmented and virtual reality. Now, though, a headset appears to be ready for a WWDC debut — Apple’s event logo even hints at a lens.
If the rumors are accurate, Apple’s stand-alone device (possibly called Reality Pro) may be more powerful than the Meta Quest Pro and many other high-end headsets. It might offer a 4K resolution per eye, with at least six cameras providing a view of the outside world as well as full body motion tracking. It could also use an M2 chip that outperforms the mobile processors you typically see in stand-alone headsets. Expectations are that it will require an external battery pack and last for just two hours on a charge, but it would be relatively light and slim.
The true star might be the software, though. The Apple headset will reportedly run a new platform (possibly called xrOS) designed with mixed reality in mind. Rather than rely on controllers, you would use hand gestures, gaze detection and Siri voice commands to navigate the interface. An Apple Watch-style crown would toggle between AR and VR, and you could type in mid-air.
Any news about AI from Apple? 🧐
Apple’s first foray into mixed reality hardware (that is, a blend of real and virtual worlds) is one of the company’s worst-kept secrets. The tech giant has been acquiring headset-friendly startups for years, and Tim Cook hasn’t been shy about his interests in augmented and virtual reality. Now, though, a headset appears to be ready for a WWDC debut — Apple’s event logo even hints at a lens.
If the rumors are accurate, Apple’s stand-alone device (possibly called Reality Pro) may be more powerful than the Meta Quest Pro and many other high-end headsets. It might offer a 4K resolution per eye, with at least six cameras providing a view of the outside world as well as full body motion tracking. It could also use an M2 chip that outperforms the mobile processors you typically see in stand-alone headsets. Expectations are that it will require an external battery pack and last for just two hours on a charge, but it would be relatively light and slim.
The true star might be the software, though. The Apple headset will reportedly run a new platform (possibly called xrOS) designed with mixed reality in mind. Rather than rely on controllers, you would use hand gestures, gaze detection and Siri voice commands to navigate the interface. An Apple Watch-style crown would toggle between AR and VR, and you could type in mid-air.
Any news about AI from Apple? 🧐
프로세스 감독을 통한 수학적 추론 향상
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision?fbclid=IwAR3ICUhp_ALBMBUMOG_vqe1cqCMpLNTzm0yWkbIP2hbeeKX7OF-11_RCXQo
OpenAI가 또 다른 돌파구를 마련했군요! 최종 정답뿐만 아니라 각 정답 단계마다 보상을 제공하는 접근으로 수학 문제 풀이에서 새로운 기록을 세운 모델을 훈련시켰 다고 합니다. 우리가 학교에서 수학을 배우는 방식과 비슷하죠? 최종 정답을 맞힌 AI의 등을 두드리는 대신, 이제 올바른 단계를 밟을 때마다 보상을 제공합니다. 마치 수학 선생님이 최종 정답뿐만 아니라 학습 과정까지 신경 써주는 것처럼요. 이를 '과정 감독(Process Supervision)'이라고 부르는데, 이는 획기적인 변화입니다. 🧮💡
* 논문의 제목은 "Let’s Verify Step by Step"입니다. (작년에 CoT - '생각의 사슬' 붐을 일으켰던 마법의 표현 Step by Step 입니다)
https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf?fbclid=IwAR1LojRtgWmMYERWatOlHsD_9AAxalBPDd2i9WiDfRwV_F_Scm3eT2IUB1k
이것은 단순히 수학 문제를 더 잘 푸는 것만이 아닙니다. 프로세스 감독은 모델이 사람이 승인한 프로세스를 따라 우리와 더 비슷하게 생각하도록 도와줍니다. 마치 인공지능의 마음을 들여다보고 작동하는 과정을 지켜보는 것과 비슷합니다. 이 방법은 매우 신뢰할 수 있는 것으로 입증되었으며, AI를 더 잘 이해하고 우리의 목표에 부합하도록 만들 수도 있습니다.
이것은 AI의 속도를 늦추는 것이 아니라 오히려 더 나은 성능을 제공합니다! 안전과 성능 모두에서 윈윈인 셈이죠.
매우 까다로운 수학 문제를 테스트한 결과, '과정 감독형' AI가 '결과 감독형' AI보다 전반적으로 더 뛰어난 성능을 보였습니다. 심지어 대부분의 시도가 실패로 돌아간 어려운 삼각형 문제에 대한 유효한 해결책을 찾아내기도 했습니다! 😮
하지만 이 성과를 칭찬하는데만 그치는 것이 아니라 진지하게 고민해야 할 부분이 있습니다. 🤔
이 방법을 다른 문제 해결 작업에서 AI를 훈련하는 데 사용할 수 있을까요? 그리고 이것이 AI의 윤리와 투명성을 어떻게 변화시킬 수 있을까요? AI의 의사결정을 더 잘 이해하고 규제하는 데 도움이 될 수 있을까요?
AI가 이 정도로 발전하면 일부 직업이 영향을 받을 수도 있습니다. 우리는 어떻게 대응해야 할까요? 편견은 어떻게 할까요? 이 방법이 편견을 식별하고 수정하는 데 도움이 될 수 있을까요?
그리고 중요한 질문이 하나 더 있습니다. AI가 우리보다 추론에 더 능숙해진다면, 우리가 함께 일하는 방식이 어떻게 바뀔까요?
마지막으로, 이 방법은 인간이 승인한 프로세스를 따르기 때문에 AI의 창의성이나 혁신 잠재력을 제한할 수 있을까요?
고려해야 할 사항이 많지만 한 가지 확실한 것은 있습니다: AI는 점점 더 똑똑해지고 있으며, 이를 활용하는 것은 우리의 몫이라는 것입니다. #AI #OpenAI #프로세스감독 #MathWhizAI 🤖👩🏫🔢
----
저자에 얼라인먼트팀의 Jan Leike가 있는 것이 흥미롭군요.
Jan Leike: https://twitter.com/janleike/status/1663977494058520576?fbclid=IwAR2uKE0yDJOc9V_2Ihh0AJY56TrFPs-BcAhG4kPBHmwR7fFaWrlmAtVq_nI
Leike는 이것이 기본적으로 AI가 우리가 원하는 방식으로 작동하도록 하는 '정렬'이라는 측면에서 큰 뉴스가 될 것이라고 생각하는군요.
AI 업계에서는 '정렬 세금'이라고 불리는 것, 즉 AI를 정렬해서 작동하게 만들면 AI의 성능이 떨어질 수 있다는 우려가 있었습니다. 그런데 이 사례의 경우, AI는 실제로 면밀한 감독을 받았을 때 더 잘 수행했다는 것이죠.
Leike 자신도 이 사실에 놀랐나 봅니다. 그는 더 큰 AI 모델이나 다른 영역에서도 같은 일이 일어날지 확신하지 못했지만, 지금은 확실히 이 아이디어에 대해 더 개방적이군요.
그는 또한 이것이 정렬 연구에 큰 의미를 가질 수 있다고 생각합니다. AI의 작동 방식을 더 잘 이해할 수 있다면 AI가 더 잘 작동하도록 할 수 있지 않을까요?
* PRM800K: A Process Supervision Dataset: https://github.com/openai/prm800k
----
* 포스팅 작성 과정: https://chat.openai.com/share/28921572-7b11-496c-a533-9898733d6577?fbclid=IwAR0qLLSN6H3aaiamCK-XFeZfCIa_wEXwBUBtlMjn9dN7h7F7UQH9f6l4qEQ
과연 이렇게 글쓰기를 하는 것은 제가 썼다고 볼 수 있는 것인지, 과연 저는 원문의 내용을 읽었다고 볼 수 있는 것인지... 글쎄요.
마치 원문을 읽은 다른 사람이 쓴 포스팅을 보고, 그걸 통해 대강 파악하는 느낌이랄까요. 정보의 흡수라는게 늘 이런 단계가 있는 것이긴 하지만... 뭔가의 갈림길이구나 싶습니다. 여기서 더 들어서 제대로 읽고 생각할지 아니면 게으름을 피우고 말지. 그런데 제대로 읽고 생각한다손 치더라도 시간이 지나 남는 것이 이런 게으른 포스팅 대비 과연 뭐가 더 있을 것인가... 이게 고민 지점입니다.
* 뭔가 찜찜해서 결국 블로그 원문은 다 읽었습니다. 읽고 나서 이 포스팅의 본문에 이렇다할 수정을 하지 않는 것도 아이러니합니다. 논문도 둘러봐야죠.
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision?fbclid=IwAR3ICUhp_ALBMBUMOG_vqe1cqCMpLNTzm0yWkbIP2hbeeKX7OF-11_RCXQo
OpenAI가 또 다른 돌파구를 마련했군요! 최종 정답뿐만 아니라 각 정답 단계마다 보상을 제공하는 접근으로 수학 문제 풀이에서 새로운 기록을 세운 모델을 훈련시켰 다고 합니다. 우리가 학교에서 수학을 배우는 방식과 비슷하죠? 최종 정답을 맞힌 AI의 등을 두드리는 대신, 이제 올바른 단계를 밟을 때마다 보상을 제공합니다. 마치 수학 선생님이 최종 정답뿐만 아니라 학습 과정까지 신경 써주는 것처럼요. 이를 '과정 감독(Process Supervision)'이라고 부르는데, 이는 획기적인 변화입니다. 🧮💡
* 논문의 제목은 "Let’s Verify Step by Step"입니다. (작년에 CoT - '생각의 사슬' 붐을 일으켰던 마법의 표현 Step by Step 입니다)
https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf?fbclid=IwAR1LojRtgWmMYERWatOlHsD_9AAxalBPDd2i9WiDfRwV_F_Scm3eT2IUB1k
이것은 단순히 수학 문제를 더 잘 푸는 것만이 아닙니다. 프로세스 감독은 모델이 사람이 승인한 프로세스를 따라 우리와 더 비슷하게 생각하도록 도와줍니다. 마치 인공지능의 마음을 들여다보고 작동하는 과정을 지켜보는 것과 비슷합니다. 이 방법은 매우 신뢰할 수 있는 것으로 입증되었으며, AI를 더 잘 이해하고 우리의 목표에 부합하도록 만들 수도 있습니다.
이것은 AI의 속도를 늦추는 것이 아니라 오히려 더 나은 성능을 제공합니다! 안전과 성능 모두에서 윈윈인 셈이죠.
매우 까다로운 수학 문제를 테스트한 결과, '과정 감독형' AI가 '결과 감독형' AI보다 전반적으로 더 뛰어난 성능을 보였습니다. 심지어 대부분의 시도가 실패로 돌아간 어려운 삼각형 문제에 대한 유효한 해결책을 찾아내기도 했습니다! 😮
하지만 이 성과를 칭찬하는데만 그치는 것이 아니라 진지하게 고민해야 할 부분이 있습니다. 🤔
이 방법을 다른 문제 해결 작업에서 AI를 훈련하는 데 사용할 수 있을까요? 그리고 이것이 AI의 윤리와 투명성을 어떻게 변화시킬 수 있을까요? AI의 의사결정을 더 잘 이해하고 규제하는 데 도움이 될 수 있을까요?
AI가 이 정도로 발전하면 일부 직업이 영향을 받을 수도 있습니다. 우리는 어떻게 대응해야 할까요? 편견은 어떻게 할까요? 이 방법이 편견을 식별하고 수정하는 데 도움이 될 수 있을까요?
그리고 중요한 질문이 하나 더 있습니다. AI가 우리보다 추론에 더 능숙해진다면, 우리가 함께 일하는 방식이 어떻게 바뀔까요?
마지막으로, 이 방법은 인간이 승인한 프로세스를 따르기 때문에 AI의 창의성이나 혁신 잠재력을 제한할 수 있을까요?
고려해야 할 사항이 많지만 한 가지 확실한 것은 있습니다: AI는 점점 더 똑똑해지고 있으며, 이를 활용하는 것은 우리의 몫이라는 것입니다. #AI #OpenAI #프로세스감독 #MathWhizAI 🤖👩🏫🔢
----
저자에 얼라인먼트팀의 Jan Leike가 있는 것이 흥미롭군요.
Jan Leike: https://twitter.com/janleike/status/1663977494058520576?fbclid=IwAR2uKE0yDJOc9V_2Ihh0AJY56TrFPs-BcAhG4kPBHmwR7fFaWrlmAtVq_nI
Leike는 이것이 기본적으로 AI가 우리가 원하는 방식으로 작동하도록 하는 '정렬'이라는 측면에서 큰 뉴스가 될 것이라고 생각하는군요.
AI 업계에서는 '정렬 세금'이라고 불리는 것, 즉 AI를 정렬해서 작동하게 만들면 AI의 성능이 떨어질 수 있다는 우려가 있었습니다. 그런데 이 사례의 경우, AI는 실제로 면밀한 감독을 받았을 때 더 잘 수행했다는 것이죠.
Leike 자신도 이 사실에 놀랐나 봅니다. 그는 더 큰 AI 모델이나 다른 영역에서도 같은 일이 일어날지 확신하지 못했지만, 지금은 확실히 이 아이디어에 대해 더 개방적이군요.
그는 또한 이것이 정렬 연구에 큰 의미를 가질 수 있다고 생각합니다. AI의 작동 방식을 더 잘 이해할 수 있다면 AI가 더 잘 작동하도록 할 수 있지 않을까요?
* PRM800K: A Process Supervision Dataset: https://github.com/openai/prm800k
----
* 포스팅 작성 과정: https://chat.openai.com/share/28921572-7b11-496c-a533-9898733d6577?fbclid=IwAR0qLLSN6H3aaiamCK-XFeZfCIa_wEXwBUBtlMjn9dN7h7F7UQH9f6l4qEQ
과연 이렇게 글쓰기를 하는 것은 제가 썼다고 볼 수 있는 것인지, 과연 저는 원문의 내용을 읽었다고 볼 수 있는 것인지... 글쎄요.
마치 원문을 읽은 다른 사람이 쓴 포스팅을 보고, 그걸 통해 대강 파악하는 느낌이랄까요. 정보의 흡수라는게 늘 이런 단계가 있는 것이긴 하지만... 뭔가의 갈림길이구나 싶습니다. 여기서 더 들어서 제대로 읽고 생각할지 아니면 게으름을 피우고 말지. 그런데 제대로 읽고 생각한다손 치더라도 시간이 지나 남는 것이 이런 게으른 포스팅 대비 과연 뭐가 더 있을 것인가... 이게 고민 지점입니다.
* 뭔가 찜찜해서 결국 블로그 원문은 다 읽었습니다. 읽고 나서 이 포스팅의 본문에 이렇다할 수정을 하지 않는 것도 아이러니합니다. 논문도 둘러봐야죠.
Openai
Improving mathematical reasoning with process supervision
We've trained a model to achieve a new state-of-the-art in mathematical problem solving by rewarding each correct step of reasoning (“process supervision”) instead of simply rewarding the correct final answer (“outcome supervision”). In addition to boosting…
What if we apply this methodology into other areas? Maybe at some point, human need to learn from AI about how to learn...
Japan Goes All In: Copyright Doesn’t Apply To AI Training
일본 정부는 인공지능 학습에 사용되는 데이터에 대해서 저작권을 강제하지 않겠답니다.
"일본 정부는 최근 놀랍게도 AI 학습에 사용되는 데이터에 대해 저작권을 강제하지 않겠다는 입장을 재확인했습니다. 이 정책은 "비영리 목적이든 상업적 목적이든, 복제가 아닌 다른 행위이든, 불법 사이트 등에서 얻은 콘텐츠이든 상관없이" AI가 모든 데이터를 사용할 수 있도록 허용합니다. 일본 문부과학성 장관인 나가오카 케이코는 현지 회의에서 일본 법률이 AI 데이터 세트에 사용된 저작권이 있는 자료를 보호하지 않을 것이라고 말하며 대담한 입장을 확인했습니다."
그런데 이에 대응하는 국내 기사는 못찾겠네요. (있는데 제가 찾지 못하는 걸 수도 있습니다.)
https://technomancers.ai/japan-goes-all-in-copyright-doesnt-apply-to-ai-training/?fbclid=IwAR0jWJD6EvO9eE6hTdjqUBOuGkTXVYIVZ1iuP_cLgqj7_Sz2xs8K4tKgyTM
Huge decision for Japan. Smart goverment.
일본 정부는 인공지능 학습에 사용되는 데이터에 대해서 저작권을 강제하지 않겠답니다.
"일본 정부는 최근 놀랍게도 AI 학습에 사용되는 데이터에 대해 저작권을 강제하지 않겠다는 입장을 재확인했습니다. 이 정책은 "비영리 목적이든 상업적 목적이든, 복제가 아닌 다른 행위이든, 불법 사이트 등에서 얻은 콘텐츠이든 상관없이" AI가 모든 데이터를 사용할 수 있도록 허용합니다. 일본 문부과학성 장관인 나가오카 케이코는 현지 회의에서 일본 법률이 AI 데이터 세트에 사용된 저작권이 있는 자료를 보호하지 않을 것이라고 말하며 대담한 입장을 확인했습니다."
그런데 이에 대응하는 국내 기사는 못찾겠네요. (있는데 제가 찾지 못하는 걸 수도 있습니다.)
https://technomancers.ai/japan-goes-all-in-copyright-doesnt-apply-to-ai-training/?fbclid=IwAR0jWJD6EvO9eE6hTdjqUBOuGkTXVYIVZ1iuP_cLgqj7_Sz2xs8K4tKgyTM
Huge decision for Japan. Smart goverment.
Technomancers.ai
Japan Goes All In: Copyright Doesn't Apply To AI Training
Training data can be used "regardless of whether it is for non-profit or commercial purposes, whether it is an act other than reproduction, or whether it is content obtained from illegal sites or otherwise."
Continuous Learning_Startup & Investment
honeycomb.io/blog/hard-stuff-nobody-talks-about-llm?fbclid=IwAR1pDrPdN7Vu9PSEwK6aD_lWCZMoZpbf5cQjI0nZ1MDWQfJUNO8ZUM27G74_aem_th_AUxsqnFXcjp2E4Hl4UUDPEp6EK_W_tS9Vkgp9aXhW0Kq5cKDefW90jh2ARchnFjpies&mibextid=Zxz2cZ
Builder’s point of view about LLM.
The article discusses the challenges of building products with large language models (LLMs). These models are trained on massive datasets of text and code, and can be used for a variety of tasks, such as generating text, translating languages, and writing different kinds of creative content. However, building products with LLMs is not without its challenges. One challenge is that LLMs are often very large and complex, which can make them difficult to train and deploy. Another challenge is that LLMs can be difficult to control, and can sometimes generate output that is offensive or harmful. Finally, LLMs can be expensive to use, and there is a risk that they could be used for malicious purposes.
Despite these challenges, the author believes that LLMs have the potential to revolutionize the way we build products. He argues that LLMs can be used to create more personalized and engaging experiences for users, and that they can be used to solve complex problems that were previously intractable. He concludes by calling for more research and development into the use of LLMs in products.
Here are some of the specific challenges mentioned in the article:
Training and deploying LLMs is expensive and time-consuming. LLMs require massive datasets of text and code to train, and can take weeks or even months to train. Once they are trained, they can be difficult to deploy, as they require specialized hardware and software.
LLMs can be difficult to control. LLMs are trained on massive datasets of text, and can sometimes generate output that is offensive or harmful. This can be a challenge for developers, who need to find ways to control the output of LLMs.
LLMs can be expensive to use. LLMs require specialized hardware and software, which can be expensive to purchase and maintain. Additionally, LLMs can be expensive to train, as they require massive datasets of text and code.
There is a risk that LLMs could be used for malicious purposes. LLMs are powerful tools, and could be used for malicious purposes, such as generating fake news or creating deepfakes. It is important to be aware of these risks when developing products with LLMs.
The article discusses the challenges of building products with large language models (LLMs). These models are trained on massive datasets of text and code, and can be used for a variety of tasks, such as generating text, translating languages, and writing different kinds of creative content. However, building products with LLMs is not without its challenges. One challenge is that LLMs are often very large and complex, which can make them difficult to train and deploy. Another challenge is that LLMs can be difficult to control, and can sometimes generate output that is offensive or harmful. Finally, LLMs can be expensive to use, and there is a risk that they could be used for malicious purposes.
Despite these challenges, the author believes that LLMs have the potential to revolutionize the way we build products. He argues that LLMs can be used to create more personalized and engaging experiences for users, and that they can be used to solve complex problems that were previously intractable. He concludes by calling for more research and development into the use of LLMs in products.
Here are some of the specific challenges mentioned in the article:
Training and deploying LLMs is expensive and time-consuming. LLMs require massive datasets of text and code to train, and can take weeks or even months to train. Once they are trained, they can be difficult to deploy, as they require specialized hardware and software.
LLMs can be difficult to control. LLMs are trained on massive datasets of text, and can sometimes generate output that is offensive or harmful. This can be a challenge for developers, who need to find ways to control the output of LLMs.
LLMs can be expensive to use. LLMs require specialized hardware and software, which can be expensive to purchase and maintain. Additionally, LLMs can be expensive to train, as they require massive datasets of text and code.
There is a risk that LLMs could be used for malicious purposes. LLMs are powerful tools, and could be used for malicious purposes, such as generating fake news or creating deepfakes. It is important to be aware of these risks when developing products with LLMs.
10 common mistakes startups make that result in slower growth:
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m fit) bottleneck.
2. Mass email sequencing people who have never heard of you or your company. You need to be more creative with outbound.
3. Incentivizing the wrong behavior. Most commonly, top of funnel metrics like MQL’s and SQL’s that produce low conversion rates and low ACV’s. “Show me the incentive and I’ll show you the outcome.” - Charlie Munger
4. Quarterly quotas. Almost every startup should be on monthly quotas. The exception being high 6 figure ACVs with >90 day sales cycles. The consequence of quarterly quotas is lost urgency 2 out of 3 months and less revenue.
5. Underinvesting or investing too late in revenue operations.
6. Underinvesting or investing too late in implementation. The first 30-60 days are the most critical in determining the long term success of a customer. Do whatever it takes to deliver a delightful first impression.
7. Underinvesting or investing too late in revenue expansion in the customer base.
8. Never meeting customers in person. Founders and revenue leaders should be doing this regularly (yes, even if your customers are small).
9. Over-indexing on domain experience when hiring a VP of Sales. Or, less common, but an even worse mistake, hiring from a big company.
10. Allowing poor performers, especially those in leadership positions, to remain at the business for too long.
https://www.linkedin.com/posts/sam-blond-791026b_10-common-mistakes-startups-make-that-result-activity-7070149376043573250-QLTB?utm_source=share&utm_medium=member_desktop
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m fit) bottleneck.
2. Mass email sequencing people who have never heard of you or your company. You need to be more creative with outbound.
3. Incentivizing the wrong behavior. Most commonly, top of funnel metrics like MQL’s and SQL’s that produce low conversion rates and low ACV’s. “Show me the incentive and I’ll show you the outcome.” - Charlie Munger
4. Quarterly quotas. Almost every startup should be on monthly quotas. The exception being high 6 figure ACVs with >90 day sales cycles. The consequence of quarterly quotas is lost urgency 2 out of 3 months and less revenue.
5. Underinvesting or investing too late in revenue operations.
6. Underinvesting or investing too late in implementation. The first 30-60 days are the most critical in determining the long term success of a customer. Do whatever it takes to deliver a delightful first impression.
7. Underinvesting or investing too late in revenue expansion in the customer base.
8. Never meeting customers in person. Founders and revenue leaders should be doing this regularly (yes, even if your customers are small).
9. Over-indexing on domain experience when hiring a VP of Sales. Or, less common, but an even worse mistake, hiring from a big company.
10. Allowing poor performers, especially those in leadership positions, to remain at the business for too long.
https://www.linkedin.com/posts/sam-blond-791026b_10-common-mistakes-startups-make-that-result-activity-7070149376043573250-QLTB?utm_source=share&utm_medium=member_desktop
Linkedin
Sam Blond on LinkedIn: 10 common mistakes startups make that result in slower growth:
1… | 14 comments
1… | 14 comments
10 common mistakes startups make that result in slower growth:
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps… | 14 comments on LinkedIn
1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps… | 14 comments on LinkedIn
Continuous Learning_Startup & Investment
10 common mistakes startups make that result in slower growth: 1. Focusing on middle of the funnel when the bottleneck is top of the funnel. Look at reps calendars. Are they busy with multiple customer calls every day? If not, you have a demand (and/or p/m…
스타트업의 성장이 둔화되는 데 주요한 역할을 하는 10가지 일반적인 실수
Sam Blond Partner at Founders Fund, Ex CRO in Brex
1. 깔때기 상단에 병목 지점이 있음에도 불구하고 깔때기 중간에만 집중하는 경우. 담당자의 일정을 체크해보세요. 매일 수많은 고객 전화로 바쁘게 지내나요? 그렇지 않다면, 수요(또는 제품/시장 적합성)에 병목이 생기고 있는 것입니다.
2. 본인의 회사나 본인의 회사에 대해 알지 못하는 사람들에게 대량으로 이메일을 보내는 경우. 아웃바운드 전략에 더 많은 창의성을 발휘해야 합니다.
3. 부적절한 행동에 인센티브를 제공하는 경우. 가장 흔한 예는, 낮은 전환율과 낮은 ACV를 생성하는 MQL 및 SQL 같은 퍼널 상단 지표입니다. "인센티브를 설정하면 결과가 따라옵니다." - 찰리 멍거
4. 분기별 목표 설정. 대부분의 스타트업은 월별 목표를 설정해야 합니다. 단, 판매 주기가 90일을 초과하는 고액의 ACV는 예외입니다. 분기별 목표의 결과는 3개월 중 2개월 동안 긴급성을 잃고 수익이 감소하는 것입니다.
5. 수익 운영에 대한 투자가 부족하거나 너무 늦게 투자하는 경우.
6. 과소 투자하거나 실행에 너무 늦게 착수하는 경우. 고객의 장기적인 성공을 결정하는 가장 중요한 시기는 처음 30~60일입니다. 좋은 첫인상을 남기기 위해 최선을 다하십시오.
7. 고객 기반 매출 확대에 대한 투자가 부족하거나 너무 늦게 하는 경우.
8. 고객을 직접 만나지 않는 경우. 창업자와 매출 리더는 정기적으로 고객을 만나야 합니다(고객이 소규모일지라도).
9. 영업 부사장을 채용할 때 도메인 경험을 과도하게 중요시하는 경우. 또는 흔하지 않지만 더욱 심각한 실수인 대기업 출신을 채용하는 경우
10. 성과가 저조한 직원, 특히 리더십 직책에 있는 직원을 너무 오래 회사에 머물게 하는 경우
Sam Blond Partner at Founders Fund, Ex CRO in Brex
1. 깔때기 상단에 병목 지점이 있음에도 불구하고 깔때기 중간에만 집중하는 경우. 담당자의 일정을 체크해보세요. 매일 수많은 고객 전화로 바쁘게 지내나요? 그렇지 않다면, 수요(또는 제품/시장 적합성)에 병목이 생기고 있는 것입니다.
2. 본인의 회사나 본인의 회사에 대해 알지 못하는 사람들에게 대량으로 이메일을 보내는 경우. 아웃바운드 전략에 더 많은 창의성을 발휘해야 합니다.
3. 부적절한 행동에 인센티브를 제공하는 경우. 가장 흔한 예는, 낮은 전환율과 낮은 ACV를 생성하는 MQL 및 SQL 같은 퍼널 상단 지표입니다. "인센티브를 설정하면 결과가 따라옵니다." - 찰리 멍거
4. 분기별 목표 설정. 대부분의 스타트업은 월별 목표를 설정해야 합니다. 단, 판매 주기가 90일을 초과하는 고액의 ACV는 예외입니다. 분기별 목표의 결과는 3개월 중 2개월 동안 긴급성을 잃고 수익이 감소하는 것입니다.
5. 수익 운영에 대한 투자가 부족하거나 너무 늦게 투자하는 경우.
6. 과소 투자하거나 실행에 너무 늦게 착수하는 경우. 고객의 장기적인 성공을 결정하는 가장 중요한 시기는 처음 30~60일입니다. 좋은 첫인상을 남기기 위해 최선을 다하십시오.
7. 고객 기반 매출 확대에 대한 투자가 부족하거나 너무 늦게 하는 경우.
8. 고객을 직접 만나지 않는 경우. 창업자와 매출 리더는 정기적으로 고객을 만나야 합니다(고객이 소규모일지라도).
9. 영업 부사장을 채용할 때 도메인 경험을 과도하게 중요시하는 경우. 또는 흔하지 않지만 더욱 심각한 실수인 대기업 출신을 채용하는 경우
10. 성과가 저조한 직원, 특히 리더십 직책에 있는 직원을 너무 오래 회사에 머물게 하는 경우
❤1
Continuous Learning_Startup & Investment
Google is investing in Runway, a New York–based startup that lets customers generate video from text denoscriptions using artificial intelligence it pioneered, at a valuation of around $1.5 billion including the new capital, according to two people familiar…
I missed a great point here.
As Microsoft bankrolls AI startup OpenAI—including footing its enormous cloud bill as part of a complex arrangement—Microsoft’s rivals have scrambled to win over other AI customers. Google has begun to invest in AI startups that are or could become its cloud customers, following a similar playbook it used to obtain customers in other industries. Earlier this year, for instance, Google invested $400 million in Anthropic, one of the primary startup challengers to OpenAI, The Information previously reported. Google Cloud said in February it had become Anthropic’s “preferred” provider.
News of the Runway deal comes after Google Cloud announced it had signed up two other key AI startups: text-to-image provider Midjourney and chatbot app Character AI. Character, founded by former Google researchers who developed some of the company’s key AI technology, previously was a key cloud customer of Oracle, The Information reported. It isn’t clear whether Google took stakes in the companies and it’s too soon to tell whether these deals will help Google catch up to bigger cloud rivals AWS and Microsoft. See our Cloud Database.
Notably, OpenAI has employed its own startup-investment strategy to win over future customers even as it takes capital and cloud credits from Microsoft. The startup, which raised a $175 million fund to back startups, dangles special incentives to founders whose startups pay for access to its large-language models, including discounts on licensing and early access to new technologies, The Information previously reported.
Luring AI startups with cloud credits could help Google beat out venture capital firms vying for stakes in the companies. Oracle also offers hundreds of thousands of dollars’ worth of computing credits as an incentive for AI startups to rent the company’s cloud servers, The Information earlier reported.
As Microsoft bankrolls AI startup OpenAI—including footing its enormous cloud bill as part of a complex arrangement—Microsoft’s rivals have scrambled to win over other AI customers. Google has begun to invest in AI startups that are or could become its cloud customers, following a similar playbook it used to obtain customers in other industries. Earlier this year, for instance, Google invested $400 million in Anthropic, one of the primary startup challengers to OpenAI, The Information previously reported. Google Cloud said in February it had become Anthropic’s “preferred” provider.
News of the Runway deal comes after Google Cloud announced it had signed up two other key AI startups: text-to-image provider Midjourney and chatbot app Character AI. Character, founded by former Google researchers who developed some of the company’s key AI technology, previously was a key cloud customer of Oracle, The Information reported. It isn’t clear whether Google took stakes in the companies and it’s too soon to tell whether these deals will help Google catch up to bigger cloud rivals AWS and Microsoft. See our Cloud Database.
Notably, OpenAI has employed its own startup-investment strategy to win over future customers even as it takes capital and cloud credits from Microsoft. The startup, which raised a $175 million fund to back startups, dangles special incentives to founders whose startups pay for access to its large-language models, including discounts on licensing and early access to new technologies, The Information previously reported.
Luring AI startups with cloud credits could help Google beat out venture capital firms vying for stakes in the companies. Oracle also offers hundreds of thousands of dollars’ worth of computing credits as an incentive for AI startups to rent the company’s cloud servers, The Information earlier reported.
Microsoft가 복잡한 계약의 일환으로 막대한 클라우드 비용을 부담하는 등 AI 스타트업 OpenAI에 자금을 지원하면서, 경쟁사들은 다른 AI 고객을 확보하기 위해 분주하게 움직이고 있습니다. 구글은 다른 업계에서 고객을 확보할 때 사용한 유사한 전략에 따라 클라우드 고객이거나 클라우드 고객이 될 수 있는 AI 스타트업에 투자하기 시작했습니다. 예를 들어, 올해 초 구글은 OpenAI에 도전하는 주요 스타트업 중 하나인 앤트로픽에 4억 달러를 투자했다고 더인포메이션은 이전에 보도한 바 있습니다. 구글 클라우드는 2월에 앤트로픽의 "우선" 제공업체가 되었다고 밝혔습니다.
런웨이 계약 소식은 구글 클라우드가 텍스트-이미지 변환 서비스 제공업체인 미드저니와 챗봇 앱인 캐릭터 AI라는 두 개의 주요 AI 스타트업을 영입했다고 발표한 이후에 나온 것입니다. 구글의 주요 AI 기술을 개발한 전직 구글 연구원들이 설립한 Character는 이전에 오라클의 주요 클라우드 고객이었다고 The Information은 보도했습니다. 구글이 두 회사의 지분을 인수했는지 여부는 명확하지 않으며, 이번 거래가 구글이 더 큰 클라우드 라이벌인 AWS와 Microsoft를 따라잡는 데 도움이 될지 말하기는 아직 이르다. 클라우드 데이터베이스를 참조하세요.
특히 OpenAI는 Microsoft로부터 자본과 클라우드 크레딧을 받으면서도 미래 고객을 확보하기 위해 자체적인 스타트업 투자 전략을 채택했습니다. 스타트업 지원을 위해 1억 7,500만 달러의 펀드를 조성한 이 스타트업은 라이선스 할인, 신기술 조기 액세스 등 자사의 대규모 언어 모델에 대한 액세스 비용을 지불하는 창업자에게 특별한 인센티브를 제공한다고 더인포메이션은 이전에 보도한 바 있습니다.
클라우드 크레딧으로 AI 스타트업을 유인하면 Google이 회사 지분을 놓고 경쟁하는 벤처 캐피탈 회사를 이기는 데 도움이 될 수 있습니다. 오라클은 또한 AI 스타트업이 자사의 클라우드 서버를 임대할 경우 인센티브로 수십만 달러 상당의 컴퓨팅 크레딧을 제공한다고 The Information은 앞서 보도한 바 있습니다.
런웨이 계약 소식은 구글 클라우드가 텍스트-이미지 변환 서비스 제공업체인 미드저니와 챗봇 앱인 캐릭터 AI라는 두 개의 주요 AI 스타트업을 영입했다고 발표한 이후에 나온 것입니다. 구글의 주요 AI 기술을 개발한 전직 구글 연구원들이 설립한 Character는 이전에 오라클의 주요 클라우드 고객이었다고 The Information은 보도했습니다. 구글이 두 회사의 지분을 인수했는지 여부는 명확하지 않으며, 이번 거래가 구글이 더 큰 클라우드 라이벌인 AWS와 Microsoft를 따라잡는 데 도움이 될지 말하기는 아직 이르다. 클라우드 데이터베이스를 참조하세요.
특히 OpenAI는 Microsoft로부터 자본과 클라우드 크레딧을 받으면서도 미래 고객을 확보하기 위해 자체적인 스타트업 투자 전략을 채택했습니다. 스타트업 지원을 위해 1억 7,500만 달러의 펀드를 조성한 이 스타트업은 라이선스 할인, 신기술 조기 액세스 등 자사의 대규모 언어 모델에 대한 액세스 비용을 지불하는 창업자에게 특별한 인센티브를 제공한다고 더인포메이션은 이전에 보도한 바 있습니다.
클라우드 크레딧으로 AI 스타트업을 유인하면 Google이 회사 지분을 놓고 경쟁하는 벤처 캐피탈 회사를 이기는 데 도움이 될 수 있습니다. 오라클은 또한 AI 스타트업이 자사의 클라우드 서버를 임대할 경우 인센티브로 수십만 달러 상당의 컴퓨팅 크레딧을 제공한다고 The Information은 앞서 보도한 바 있습니다.
Continuous Learning_Startup & Investment
https://blog.softly.ai/ai-adoption-with-minimum-dataset/
https://huyenchip.com/2023/04/11/llm-engineering.html
https://www.linkedin.com/pulse/%25EC%258B%25A4%25EC%25A0%2584%25EC%2597%2590%25EC%2584%259C-llm-%25EC%2595%25A0%25ED%2594%258C%25EB%25A6%25AC%25EC%25BC%2580%25EC%259D%25B4%25EC%2585%2598-%25EA%25B5%25AC%25EC%25B6%2595%25ED%2595%2598%25EA%25B8%25B0-jung-dong-kim/?fbclid=IwAR0NptZRQj8B7u6E2BeWroKuJn8MsJZgxgPCr_FUjhIf5JTo3rB9JXN6v7w
비슷한 맥락의 이야기
https://www.linkedin.com/pulse/%25EC%258B%25A4%25EC%25A0%2584%25EC%2597%2590%25EC%2584%259C-llm-%25EC%2595%25A0%25ED%2594%258C%25EB%25A6%25AC%25EC%25BC%2580%25EC%259D%25B4%25EC%2585%2598-%25EA%25B5%25AC%25EC%25B6%2595%25ED%2595%2598%25EA%25B8%25B0-jung-dong-kim/?fbclid=IwAR0NptZRQj8B7u6E2BeWroKuJn8MsJZgxgPCr_FUjhIf5JTo3rB9JXN6v7w
비슷한 맥락의 이야기
Chip Huyen
Building LLM applications for production
[Hacker News discussion, LinkedIn discussion, Twitter thread]
Forwarded from 전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효
https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newsletter&utm_campaign=openai-s-roadmap
https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newsletter&utm_campaign=openai-s-roadmap
❤1
전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효 https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newslett…
The finetuning API is also currently bottlenecked by GPU availability. They don’t yet use efficient finetuning methods like Adapters or LoRa and so finetuning is very compute-intensive to run and manage. Better support for finetuning will come in the future. They may even host a marketplace of community contributed models.
# Thought 1.
-> OpenAI is preparing a marketplace for Finetuned models in addition to the GPT Plugin. -> Provides an opportunity for people to earn money by finetuning models, just like app developers used to earn money by developing apps -> Locked into the GPT ecosystem.
Dedicated capacity offering is limited by GPU availability. OpenAI also offers dedicated capacity, which provides customers with a private copy of the model. To access this service, customers must be willing to commit to a $100k spend upfront.
2023:
Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.
Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.
Finetuning API — The finetuning API will be extended to the latest models but the exact form for this will be shaped by what developers indicate they really want.
A stateful API — When you call the chat API today, you have to repeatedly pass through the same conversation history and pay for the same tokens again and again. In the future there will be a version of the API that remembers the conversation history.
2024:
Multimodality — This was demoed as part of the GPT-4 release but can’t be extended to everyone until after more GPUs come online.
# Thought 2.
- GPT will be cheaper, faster, customizable, and more stable.
- Of course they know the multimodality is the future and they have Whisper one of the most advanced voice related model.
3. Plugins “don’t have PMF” and are probably not coming to the API anytime soon
A lot of developers are interested in getting access to ChatGPT plugins via the API but Sam said he didn’t think they’d be released any time soon. The usage of plugins, other than browsing, suggests that they don’t have PMF yet. He suggested that a lot of people thought they wanted their apps to be inside ChatGPT but what they really wanted was ChatGPT in their apps.
#3
Interesting point. Sam is not drunk on Chatgpt's success and seems to be objectively judging his situation. What people want is GPT in their apps, not a GPT plugin. How can you give your customers what they want, but still have a business moat?
1. Is GPT Plugin Retention low because there is no mobile-first product?
2. If the experience of integrating with mobile-first products is well designed, isn't it possible to provide an experience like Kakao/Tosu authenticating?
3. What do you need to think about when OpenAI abandons the GPT plugin strategy to integrate with your app/web and becomes a format that provides SDKs and APIs?
3.1. If the customer's UX is controlled by the end user, won't it eventually be replaced by another model?
- To lock in customers, it is necessary to provide more customizable services based on customer data, and Finetunning is important. However, GPU is a bottleneck. Maybe we should prioritize GPT-4, which is cheaper, more stable, and supports higher volumes than GPT Plugin?
4. OpenAI will avoid competing with their customers — other than with ChatGPT
Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.
# Thought 1.
-> OpenAI is preparing a marketplace for Finetuned models in addition to the GPT Plugin. -> Provides an opportunity for people to earn money by finetuning models, just like app developers used to earn money by developing apps -> Locked into the GPT ecosystem.
Dedicated capacity offering is limited by GPU availability. OpenAI also offers dedicated capacity, which provides customers with a private copy of the model. To access this service, customers must be willing to commit to a $100k spend upfront.
2023:
Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.
Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.
Finetuning API — The finetuning API will be extended to the latest models but the exact form for this will be shaped by what developers indicate they really want.
A stateful API — When you call the chat API today, you have to repeatedly pass through the same conversation history and pay for the same tokens again and again. In the future there will be a version of the API that remembers the conversation history.
2024:
Multimodality — This was demoed as part of the GPT-4 release but can’t be extended to everyone until after more GPUs come online.
# Thought 2.
- GPT will be cheaper, faster, customizable, and more stable.
- Of course they know the multimodality is the future and they have Whisper one of the most advanced voice related model.
3. Plugins “don’t have PMF” and are probably not coming to the API anytime soon
A lot of developers are interested in getting access to ChatGPT plugins via the API but Sam said he didn’t think they’d be released any time soon. The usage of plugins, other than browsing, suggests that they don’t have PMF yet. He suggested that a lot of people thought they wanted their apps to be inside ChatGPT but what they really wanted was ChatGPT in their apps.
#3
Interesting point. Sam is not drunk on Chatgpt's success and seems to be objectively judging his situation. What people want is GPT in their apps, not a GPT plugin. How can you give your customers what they want, but still have a business moat?
1. Is GPT Plugin Retention low because there is no mobile-first product?
2. If the experience of integrating with mobile-first products is well designed, isn't it possible to provide an experience like Kakao/Tosu authenticating?
3. What do you need to think about when OpenAI abandons the GPT plugin strategy to integrate with your app/web and becomes a format that provides SDKs and APIs?
3.1. If the customer's UX is controlled by the end user, won't it eventually be replaced by another model?
- To lock in customers, it is necessary to provide more customizable services based on customer data, and Finetunning is important. However, GPU is a bottleneck. Maybe we should prioritize GPT-4, which is cheaper, more stable, and supports higher volumes than GPT Plugin?
4. OpenAI will avoid competing with their customers — other than with ChatGPT
Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.
전종현의 인사이트
샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효 https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newslett…
#Thought4
They know that one of the strongest moat for platform is dev community. They won't make the mistake of cutting the belly of the goose that lays the golden eggs.
They know that one of the strongest moat for platform is dev community. They won't make the mistake of cutting the belly of the goose that lays the golden eggs.