Product Design - Karri Saarinen (Linear) Founder and CEO of Linear.

Sam pointed out that the Chat GPT Plugin has not yet achieved product-market fit (PMF), particularly when compared to ChatGPT. Nonetheless, the tool has received validation from a significant number of developers and users, suggesting that the GPT plugin could be a valuable resource for both B2C and B2B service providers. This is especially relevant given the current importance of Facebook advertising. Lately, I’ve noticed several Twitter threads, like this one (https://twitter.com/itsPaulAi/status/1666435102769905664), where people are promoting their ChatGPT plugins to attract more users. I’d be interested to hear your thoughts on this matter.

구글의 딥마인드는 2016년의 알파고에 이은, DQN 기반 강화학습의 끝판왕 격인 알파제로 (alphazero)로도 유명합니다. 딥마인드는 바둑, 체스, 장기 같은 게임의 승리 확률을 최대로 높이는 방식을 거의 그대로 차용하여, 강화학습으로 풀 수 있는 수많은 문제들에 대해 도전하고 있습니다. 몇 년 전에는 반도체 칩의 component 배치를 최적화하여 칩 성능을 획기적으로 개선시킬 수 있는 floorplanning 문제 (layout optimization)나 단백질의 아미노산 시퀀스가 주어졌을 때, 이들의 3차원 접힙 그리고 결정구조까지 추정할 수 있는 alphafold2 같은 알고리즘을 보고하기도 했습니다.

6월 7일자로 딥마인드의 연구진이 네이쳐지에 보고한 최근 연구 결과는 다름 아닌 정렬 알고리즘에 대한 개선입니다. 정렬은 우리가 매일 같이 활용하는 검색엔진부터 시작하여, 산업의 곳곳에서 데이터를 처리할 때 수도없이 반복적으로 활용되는 알고리즘입니다. 그리고 이러한 알고리즘들은 대개 C++로 짜여있고 오픈소스화되어 업데이트되고 있습니다. 딥마인드가 주목한 것은 단순히 정렬에 필요한 논리-산술 계산 (주로 비교)에 필요한 계산 시간을 줄이는 것을 넘어, 각 요소들이 메모리에 할당되고 다시 불려오는 보다 기초적인 (즉, 그야말로 폰노이만 구조 컴퓨터 과학의 원리에 가까운) 방식에서의 시간 절약에 대한 것이었습니다. C++만해도 사용자들이 직관적으로 이해할 수 있는 코드인 high-level language이지만, 사실 C++의 코드를 컴퓨터가 바로 이해하는 것은 아닙니다. 이를 컴퓨터가 이해할 수 있게 하려면 어셈블리어 같은 low-level language (기계어)가 필요한데, 어셈블리어에서는 보다 직관적인 메모리 관리와 할당 연산이 코딩됩니다.

딥마인드사는 자사가 개발한 alphazero 기반 강화학습 엔진인 AlphaDev라는 DQN기반 딥러닝 엔진을 이용하여 이러한 정렬 알고리즘의 기반을 이루는 어셈블리어 코드를 최적화하는 것에 주안을 두었습니다. 그들의 보고에 따르면 정렬 알고리즘에서 가장 원초적인 단계인 몇 개 안 되는 요소들의 비교와 자리 바꾸기 단계에서 많은 성능의 개선을 보였고 (~70%), 이를 이용한 해시 계산에서도 30% 정도의 개선을 보였다고 합니다.

매일 같이 수천조 번 이상 반복되면서 활용되는 정렬 알고리즘에서 이 정도의 속도 개선이 있다는 것은 그만큼 컴퓨팅 시간이 줄어듦을 의미하는 동시에, 그에 필요한 에너지를 절약할 수 있음을 의미합니다. 실제로 이 개선이 얼마나 광범위하게 보급될지 모르겠지만, 딥마인드사는 자사의 결과를 C++ 라이브러리에 업데이트하면서 공개했기 때문에, 빠른 보급이 예상되기도 합니다.

정렬 알고리즘의 원리와 그 중요성, 딥마인드사가 찾아낸 개선 아이디어, 그리고 그 파급효과에 대해 더 자세히 알고 싶은 분들은 답글의 링크를 확인해 주시면 좋을 것 같습니다.

https://alook.so/posts/Vntez6R?fbclid=IwAR3Q3gOlmtp48-y8RLtMNzKJaTcN0gAi2Plbnf7XacLyv4XzsI7sHy-Zux0

Hopefully, people won't pose overly general questions, and will instead moderate the discussion to allow technically-minded individuals to ask their questions during Sam's session.

Sam Altman recently said that he doesn't believe that ChatGPT plugins have product-market fit beyond browsing.
A few hypotheses on why (not mutually exclusive):

Correct concept but not good enough yet:

• GPT-4 picks the wrong plugins or fails to chain together multiple calls reliably. This is the major problem with most agent or plugin frameworks — they don’t work. They might be able to initiate a call to an external API but are so brittle that they often break or misbehave quickly. Whether or not we need bigger models or more specific ones (i.e., fine-tuned), I’m not sure.

• The killer-app plugins have yet to be developed.

• Larger context windows mean more plugins can be called simultaneously, unlocking more powerful workflows.

The concept is not correct:

• Altman alludes to this in the post (paraphrased by the author) — a lot of people thought they wanted their apps to be inside ChatGPT, but what they really wanted was ChatGPT in their apps.

• LLMs will have “horizontal” extensions, such as connecting them to a web search or a database, but they will not call generic APIs through an App Store-like interface. Each use case will need a specific interface.

Correct concept, but not the right implementation:

• Chat is not the right UX for plugins. If you know what you want to do, it’s often easier to just do a few clicks on the website. If you don’t, just a chat interface makes it hard to steer the model toward your goal.

• Too expensive to serve at the current price — GPT-4 has a quota of 25 messages every 3 hours. This might not be enough for users to reach the “aha moment.”

• Not the right UX in some other way (e.g., having users choose plugins ahead of time, OpenAPI specification not the correct interface).

• Can’t aggregate enough demand with a plugin system that only works with a single model and needs broader adoption (potentially open-source). Building a successful app store is hard — and often doesn’t lead to the monopolies observed by Apple’s iOS App Store (see necessary conditions for an app store monopoly).

https://twitter.com/mattrickard/status/1666618088371138560?s=46&t=h5Byg6Wosg8MJb4pbPSDow

Why gpt plugin didn’t find pmf yet.

the most special thing about openai is the culture of repeatable innovation.

it is relatively easy to copy something; it’s hard to do something for the first time. it’s really hard to do many things for the first time!

https://twitter.com/Jason/status/1666874006799278081?s=20

I believe that countries lacking a serious foundational model should be worried about their future. They need to establish concrete strategies and take all necessary steps to prevent themselves from falling too far behind.

https://youtu.be/MyTYAz82-V4

샘 알트먼 대담 관련 메모

1. Ego가 강한 리서처 엔지니어를 어떻게 협업할 수 있게 하나?
- Deepmind 등 다른 조직에 물어보면 마음이 어떻게 작동하는지 궁금해서 이런 연구를 해보고 싶다고 하지만, OpenAI에 있는 팀은 큰 임팩트를 만들기 위해 일한다.
- 공통의 목적에 집중하는 이기적이지 않은 구성원이 중요하다
2. Startup 3단계
1. Vision Stage: 아무것도 없고 이루고 싶은 꿈을 보고 온 사람들
2. Scale Stage: PMF를 찾고 고객군을 Expansion하고 있는 단계
3. Mature & Growth: 꽤 유명해지고 영향력도 커진 상황
- 이 때 오히려 유행때문에 온 사람과 진심으로 이 문제를 풀고 싶은 사람의 차이를 알아내는 게 어려움.
3. AI 시대에 우리는 어떤 스킬을 배워야하나?
- 기술 그자체는 계속 바뀜. 문제를 어떻게 정의하고 어떻게 해결할 수 있는지를 생각하면서 발전하는 기술을 잘 사용하는게 더 중요함.
- 학생들은 어떻게 생존해야하는지에 대한 질문에 대해서, 지금 시대의 학생들은 생산성의 기울기가 바뀌는 지점에 있기 때문에 생존이 아니라 번영할 수 있는 엄청난 타이밍이라고 생각한다.
- 소프트웨어가 아주 중요한 기술인데 단순히 특정 코드를 잘 짜는 문제를 넘어 *컴퓨터로 하여금 내 의도를 달성할 수 있게 하는 게 중요하다. 이를 하기 위해서는 Low-level, 특정 메커니즘이 어떻게 작동하는지를 잘 이해해야한다. GPT-4를 출시하고 나서 코드나 AI를 잘 몰랐던 사람들이 AI Application을 만드는 사례들을 자주 보고 있다.*
- Navigating through AI and going with it extremely open mind
4. OpenAI에서 경험했던 가장 힘들었던 실패는 무엇인가?
1. Sam: 외부에서 보면 우리는 성공의 가도를 경험했다고 생각하지만 0% 성공에 베팅하는 느낌이었다. 아이디어는 많지만 실제로 되진 않고 사람들의 신뢰를 얻기 어려웠다. 리서치할수록 얼마나 많은 인재, 돈이 필요한지도 몰라서 어려웠다.
2. Greg: 전세계 게임의 AI 지능을 측정하는 플랫폼인 OpenAI Universe를 만들려고 했는데 기술이 따라와주지 않았다. 반대로 GPT-3는 모델은 있었으나 뭘 해야할지 몰랐음. 그래서 SF에서 여러 고객을 만나면서 초기 고객을 확보할 수 있었음. 기술이 있는 상태에서 고객을 만나면서 뭔가를 구체화해나갔다.
5. AI startup에게 PMF를 찾았다는 건 어떤 의미인가?
- Sam: Iphone 이후에 2008년에 모바일 스타트업이 많이 나왔다. AI도 똑같다. AI Startup이라고 생각하는 것 자체가 틀릴 수 있다. Product-market fit is when a product is so exceptional that friends and family spontaneously talk about it. You certainly know it.
- 특정 도메인에 깊게 조사하면서, 다른 사람이 하고 있지 않은 일을 더블다운해서 문제를 해결해봐라.
6. AI가 사회에 미치는 파급력?
- 일자리를 많이 없앨수도 있지만 새로운 일자리도 나올 수 있다. AI가 마지막 혁명은 아니다. 우리가 상상을 못할 뿐이다. 내가 두려운 건 우리가 이걸 조절못하는 게 아니라 이 속도가 너무 빨라서 발생하는 부작용이다.
- 사람들의 생산성이 늘어나면서 경제적으로 일자리 적으로도 많은 변화가 있을거다. 기술의 발전을 보면 2세기 정도면 많은 사람들이 사회 구조에 적응한다.
7. OpenAI는 독점 회사인가?
1. 전기가 개발된 뒤 GE는 세탁기로 돈 많이 벌었다. 세탁기 말고도 전기가 우리 인류에 가져온 변화는 많다.
2. OpenAI의 미션은 AGI를 만드는 것이다. 그외에 신약 개발과 같은 문제를 우리가 풀 생각은 없다.

생각해볼만한 지점

1. OpenAI가 안가려고 하는 방향에서 가치있는 무언가를 만들어볼 수 있다.
1. 제약, 방산, 게임, 엔터 등에서 직접 문제를 해결한다.
2. 그리고 이런 팀들이 꼭 필요할 수밖에 없는 무언가를 제공한다.
2. AGI를 만드는 데에 필요한 영역이 아니라면 본인들이 직접할 생각이 없다.
1. 파인튜닝 마켓 플레이스가 만들어지면 반드시 필요한 인프라는 무엇인가?
2. 그외에 OpenAI가 직접하지 않지만 중요한 인프라는?

LLM cheat sheet

It was hard but not impossible, and I think most people who are good programmers and know (or are willing to learn) the math can do it too. There are many online courses to self-study the technical side, and what turned out to be my biggest blocker was a mental barrier — getting ok with being a beginner again.

(In fact, our team is comprised of 25% people primarily using software skills, 25% primarily using machine learning skills, and 50% doing a hybrid of the two.) So from day one of OpenAI, my software skills were always in demand, and I kept procrastinating on picking up the machine learning skills I wanted.

https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner

애플이 Game Porting Toolkit 이라는 PC게임(윈도우 게임)을 맥에서 돌릴 수 있도록 하는 새로운 툴킷을 공개했습니다.

레딧 유저에 의하면 무려 사이버펑크 2077이 돌아간다고 합니다. 이 말은 즉슨 애플 비전 프로에서 사이버펑크 2077을 돌릴 수 있다는 말과 같습니다.

역시 애플은 그냥 새로운 하드웨어를 내놓은게 아닙니다.

https://ca.style.yahoo.com/apples-toolkit-makes-easier-developers-153021391.html?utm_source=metaproof.beehiiv.com&utm_medium=newsletter&utm_campaign=gamestop-fires-ceo

Jim Stoneham (ex CMO at Stripe, recruited by Claire Hughes Johnson) shares his Five ‘Must Read’ Resources for Go-To-Market leaders 🔍

After 30 years leading Go-To-Market for companies like Stripe, New Relic, Inc., Yahoo, Eastman Kodak Company, Apple… Jim Stoneham listed the 5 best resources a Go-To-Market leader should read!

- Crossing the Chasm by Geoffrey Moore
- Positioning, The Battle for Your Mind by Al Ries and Jack Trout
- High Growth Handbook by Elad Gil
- Scaling People by Claire Hughes Johnson
- Stratechery by Ben Thompson

This is one of the many insights Jim Stoneham shared with us during his interview, read the full post here: https://lnkd.in/eA7MQrSA

Otter is a multi-modal model developed on OpenFlamingo (open-sourced version of DeepMind's Flamingo), trained on a dataset of multi-modal instruction-response pairs. It demonstrates remarkable proficiency in multi-modal perception, reasoning, and in-context learning. GitHub: https://lnkd.in/gJ-VXz-3