Hopefully, people won't pose overly general questions, and will instead moderate the discussion to allow technically-minded individuals to ask their questions during Sam's session.

Sam Altman recently said that he doesn't believe that ChatGPT plugins have product-market fit beyond browsing.
A few hypotheses on why (not mutually exclusive):

Correct concept but not good enough yet:

• GPT-4 picks the wrong plugins or fails to chain together multiple calls reliably. This is the major problem with most agent or plugin frameworks — they don’t work. They might be able to initiate a call to an external API but are so brittle that they often break or misbehave quickly. Whether or not we need bigger models or more specific ones (i.e., fine-tuned), I’m not sure.

• The killer-app plugins have yet to be developed.

• Larger context windows mean more plugins can be called simultaneously, unlocking more powerful workflows.

The concept is not correct:

• Altman alludes to this in the post (paraphrased by the author) — a lot of people thought they wanted their apps to be inside ChatGPT, but what they really wanted was ChatGPT in their apps.

• LLMs will have “horizontal” extensions, such as connecting them to a web search or a database, but they will not call generic APIs through an App Store-like interface. Each use case will need a specific interface.

Correct concept, but not the right implementation:

• Chat is not the right UX for plugins. If you know what you want to do, it’s often easier to just do a few clicks on the website. If you don’t, just a chat interface makes it hard to steer the model toward your goal.

• Too expensive to serve at the current price — GPT-4 has a quota of 25 messages every 3 hours. This might not be enough for users to reach the “aha moment.”

• Not the right UX in some other way (e.g., having users choose plugins ahead of time, OpenAPI specification not the correct interface).

• Can’t aggregate enough demand with a plugin system that only works with a single model and needs broader adoption (potentially open-source). Building a successful app store is hard — and often doesn’t lead to the monopolies observed by Apple’s iOS App Store (see necessary conditions for an app store monopoly).

https://twitter.com/mattrickard/status/1666618088371138560?s=46&t=h5Byg6Wosg8MJb4pbPSDow

Why gpt plugin didn’t find pmf yet.

the most special thing about openai is the culture of repeatable innovation.

it is relatively easy to copy something; it’s hard to do something for the first time. it’s really hard to do many things for the first time!

https://twitter.com/Jason/status/1666874006799278081?s=20

I believe that countries lacking a serious foundational model should be worried about their future. They need to establish concrete strategies and take all necessary steps to prevent themselves from falling too far behind.

https://youtu.be/MyTYAz82-V4

샘 알트먼 대담 관련 메모

1. Ego가 강한 리서처 엔지니어를 어떻게 협업할 수 있게 하나?
- Deepmind 등 다른 조직에 물어보면 마음이 어떻게 작동하는지 궁금해서 이런 연구를 해보고 싶다고 하지만, OpenAI에 있는 팀은 큰 임팩트를 만들기 위해 일한다.
- 공통의 목적에 집중하는 이기적이지 않은 구성원이 중요하다
2. Startup 3단계
1. Vision Stage: 아무것도 없고 이루고 싶은 꿈을 보고 온 사람들
2. Scale Stage: PMF를 찾고 고객군을 Expansion하고 있는 단계
3. Mature & Growth: 꽤 유명해지고 영향력도 커진 상황
- 이 때 오히려 유행때문에 온 사람과 진심으로 이 문제를 풀고 싶은 사람의 차이를 알아내는 게 어려움.
3. AI 시대에 우리는 어떤 스킬을 배워야하나?
- 기술 그자체는 계속 바뀜. 문제를 어떻게 정의하고 어떻게 해결할 수 있는지를 생각하면서 발전하는 기술을 잘 사용하는게 더 중요함.
- 학생들은 어떻게 생존해야하는지에 대한 질문에 대해서, 지금 시대의 학생들은 생산성의 기울기가 바뀌는 지점에 있기 때문에 생존이 아니라 번영할 수 있는 엄청난 타이밍이라고 생각한다.
- 소프트웨어가 아주 중요한 기술인데 단순히 특정 코드를 잘 짜는 문제를 넘어 *컴퓨터로 하여금 내 의도를 달성할 수 있게 하는 게 중요하다. 이를 하기 위해서는 Low-level, 특정 메커니즘이 어떻게 작동하는지를 잘 이해해야한다. GPT-4를 출시하고 나서 코드나 AI를 잘 몰랐던 사람들이 AI Application을 만드는 사례들을 자주 보고 있다.*
- Navigating through AI and going with it extremely open mind
4. OpenAI에서 경험했던 가장 힘들었던 실패는 무엇인가?
1. Sam: 외부에서 보면 우리는 성공의 가도를 경험했다고 생각하지만 0% 성공에 베팅하는 느낌이었다. 아이디어는 많지만 실제로 되진 않고 사람들의 신뢰를 얻기 어려웠다. 리서치할수록 얼마나 많은 인재, 돈이 필요한지도 몰라서 어려웠다.
2. Greg: 전세계 게임의 AI 지능을 측정하는 플랫폼인 OpenAI Universe를 만들려고 했는데 기술이 따라와주지 않았다. 반대로 GPT-3는 모델은 있었으나 뭘 해야할지 몰랐음. 그래서 SF에서 여러 고객을 만나면서 초기 고객을 확보할 수 있었음. 기술이 있는 상태에서 고객을 만나면서 뭔가를 구체화해나갔다.
5. AI startup에게 PMF를 찾았다는 건 어떤 의미인가?
- Sam: Iphone 이후에 2008년에 모바일 스타트업이 많이 나왔다. AI도 똑같다. AI Startup이라고 생각하는 것 자체가 틀릴 수 있다. Product-market fit is when a product is so exceptional that friends and family spontaneously talk about it. You certainly know it.
- 특정 도메인에 깊게 조사하면서, 다른 사람이 하고 있지 않은 일을 더블다운해서 문제를 해결해봐라.
6. AI가 사회에 미치는 파급력?
- 일자리를 많이 없앨수도 있지만 새로운 일자리도 나올 수 있다. AI가 마지막 혁명은 아니다. 우리가 상상을 못할 뿐이다. 내가 두려운 건 우리가 이걸 조절못하는 게 아니라 이 속도가 너무 빨라서 발생하는 부작용이다.
- 사람들의 생산성이 늘어나면서 경제적으로 일자리 적으로도 많은 변화가 있을거다. 기술의 발전을 보면 2세기 정도면 많은 사람들이 사회 구조에 적응한다.
7. OpenAI는 독점 회사인가?
1. 전기가 개발된 뒤 GE는 세탁기로 돈 많이 벌었다. 세탁기 말고도 전기가 우리 인류에 가져온 변화는 많다.
2. OpenAI의 미션은 AGI를 만드는 것이다. 그외에 신약 개발과 같은 문제를 우리가 풀 생각은 없다.

생각해볼만한 지점

1. OpenAI가 안가려고 하는 방향에서 가치있는 무언가를 만들어볼 수 있다.
1. 제약, 방산, 게임, 엔터 등에서 직접 문제를 해결한다.
2. 그리고 이런 팀들이 꼭 필요할 수밖에 없는 무언가를 제공한다.
2. AGI를 만드는 데에 필요한 영역이 아니라면 본인들이 직접할 생각이 없다.
1. 파인튜닝 마켓 플레이스가 만들어지면 반드시 필요한 인프라는 무엇인가?
2. 그외에 OpenAI가 직접하지 않지만 중요한 인프라는?

LLM cheat sheet

It was hard but not impossible, and I think most people who are good programmers and know (or are willing to learn) the math can do it too. There are many online courses to self-study the technical side, and what turned out to be my biggest blocker was a mental barrier — getting ok with being a beginner again.

(In fact, our team is comprised of 25% people primarily using software skills, 25% primarily using machine learning skills, and 50% doing a hybrid of the two.) So from day one of OpenAI, my software skills were always in demand, and I kept procrastinating on picking up the machine learning skills I wanted.

https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner

애플이 Game Porting Toolkit 이라는 PC게임(윈도우 게임)을 맥에서 돌릴 수 있도록 하는 새로운 툴킷을 공개했습니다.

레딧 유저에 의하면 무려 사이버펑크 2077이 돌아간다고 합니다. 이 말은 즉슨 애플 비전 프로에서 사이버펑크 2077을 돌릴 수 있다는 말과 같습니다.

역시 애플은 그냥 새로운 하드웨어를 내놓은게 아닙니다.

https://ca.style.yahoo.com/apples-toolkit-makes-easier-developers-153021391.html?utm_source=metaproof.beehiiv.com&utm_medium=newsletter&utm_campaign=gamestop-fires-ceo

Jim Stoneham (ex CMO at Stripe, recruited by Claire Hughes Johnson) shares his Five ‘Must Read’ Resources for Go-To-Market leaders 🔍

After 30 years leading Go-To-Market for companies like Stripe, New Relic, Inc., Yahoo, Eastman Kodak Company, Apple… Jim Stoneham listed the 5 best resources a Go-To-Market leader should read!

- Crossing the Chasm by Geoffrey Moore
- Positioning, The Battle for Your Mind by Al Ries and Jack Trout
- High Growth Handbook by Elad Gil
- Scaling People by Claire Hughes Johnson
- Stratechery by Ben Thompson

This is one of the many insights Jim Stoneham shared with us during his interview, read the full post here: https://lnkd.in/eA7MQrSA

Otter is a multi-modal model developed on OpenFlamingo (open-sourced version of DeepMind's Flamingo), trained on a dataset of multi-modal instruction-response pairs. It demonstrates remarkable proficiency in multi-modal perception, reasoning, and in-context learning. GitHub: https://lnkd.in/gJ-VXz-3

EvenUp is a startup that is leveraging artificial intelligence (AI) to automate the generation of legal documents in personal injury cases. The platform, co-founded by Rami Karabibar, Ray Mieszaniec, and Saam Mashhad, aims to use raw case files including medical records, police reports, and bills to create letters arguing for proposed compensation. The goal is to level the playing field in personal injury cases, where many victims are often undercompensated due to a lack of transparency and standardization in the settlement process1.
EvenUp’s platform can tackle all categories of personal injury cases, and it does this by extracting the relevant information from documents and organizing them into templated “demand packages”. These packages outline the legal and factual basis for a personal injury claim and include a demand for compensation. The system has been designed as a self-service solution for lawyers, paralegals, and law firms, with the aim of preparing these demand packages with a high degree of accuracy and efficiency1.
The company recently received $50.5 million in funding at a valuation of $325 million, bringing its total funding to $65 million. Despite this success, there are questions about potential biases in the AI’s recommendations due to dataset imbalances, and concerns about privacy and the sourcing of medical and personal injury documents used to train the AI1.
EvenUp already counts “top trial attorneys” and “America’s largest personal injury law firms” among its customers, and claims it is close to profitability. The platform aims to help reduce filing expenses while maximizing returns for its users. The founders also hope that by automating parts of the filing process, litigators can focus more on the human side of their work. However, there are concerns that the mass adoption of this technology could lead to job losses, particularly among contract-based paralegals1.
EvenUp has plans to cover document generation in both the pre-litigation and litigation stages, customized to each firm, jurisdiction, and case type. It is anticipated that the platform will be able to handle 70% of the key documents in the personal injury law workflow. The founders believe that their product will become increasingly essential and that legal professionals will need to adapt to the change or risk being outcompeted by more tech-savvy competitors1.

https://techcrunch.com/2023/06/08/evenup-wants-to-automate-personal-injury-settlements-to-a-point/

합의 과정의 투명성과 표준화 부족으로 인해 많은 피해자가 보상을 제대로 받지 못하는 경우가 많은 개인 상해 사건에서 공정한 경쟁의 장을 마련하는 것이 목표입니다1.
EvenUp의 플랫폼은 모든 범주의 개인 상해 사건을 처리할 수 있으며, 문서에서 관련 정보를 추출하여 템플릿화된 ‘수요 패키지’로 구성하는 방식으로 이를 수행합니다.
이 패키지에는 개인 상해 청구의 법적 및 사실적 근거가 요약되어 있으며 보상 요구서가 포함되어 있습니다. 이 시스템은 변호사, 법률 보조원 및 로펌을 위한 셀프 서비스 솔루션으로 설계되었으며, 높은 수준의 정확성과 효율성으로 이러한 요구서 패키지를 준비하기 위한 목적으로 개발되었습니

Granica, which helps AI companies optimize their cloud object storage in Amazon S3 and Google Cloud, emerges from stealth with $45M from NEA, BCV, and others

Granica has built a method of compressing data stored in Amazon.com and Google’s cloud platforms that it says can reduce the size and cost of cloud object storage, which hold large amounts of unstructured data that don’t fit into traditional columns and rows. The startup is announcing Thursday that it has raised a total of $45 million from venture-capital firms New Enterprise Associates and Bain Capital Ventures.
For securing its AI training data, Nylas, a provider of email, calendar and contacts APIs, is testing Granica’s Screen service, which can remove sensitive company data and personally-identifiable information in the process of compressing it.
That is useful for a generative AI tool that could be trained to write emails like a specific user, said John Jung, Nylas’s vice president of engineering. “You’d want it scrubbed of [personally-identifiable information] so that you don’t potentially have the models hallucinate, and tell information that is sensitive,” he said, referring to when generative AI programs spit back false results.
Analysts also expect more startups to focus specifically on helping companies sift through and control access to their data for generative AI.
For some CIOs, data quality is just as important as controlling cost—in other words, ensuring that their data is properly formatted, organized, and relevant for training AI models. “The most important thing is not just collect the data, but cleanse, categorize the data, and make sure it’s in a usable format,” Zelinka said. “Otherwise you’re just paying to store meaningless data.”
Jack Henry is focused on data governance at the moment, Zelinka said. He is working with the company’s chief risk officer to define who has access to its data and how it’s being used, and collaborating with the firm’s chief technology officer, who is figuring out how to embed generative AI into its products and platforms.


그라니카는 기존의 열과 행에 맞지 않는 대량의 비정형 데이터를 저장하는 클라우드 오브젝트 스토리지의 크기와 비용을 줄일 수 있는 Amazon.com과 Google의 클라우드 플랫폼에 저장된 데이터를 압축하는 방법을 개발했습니다. 이 스타트업은 목요일 벤처캐피털 회사인 뉴 엔터프라이즈 어소시에이츠와 베인 캐피털 벤처스로부터 총 4,500만 달러를 투자받았다고 발표했습니다.
이메일, 캘린더 및 연락처 API를 제공하는 Nylas는 AI 학습 데이터를 보호하기 위해 압축 과정에서 민감한 회사 데이터와 개인 식별 정보를 제거할 수 있는 Granica의 Screen 서비스를 테스트하고 있습니다.
이는 특정 사용자처럼 이메일을 작성하도록 학습할 수 있는 생성형 AI 도구에 유용하다고 Nylas의 엔지니어링 담당 부사장인 존 정은 말합니다. 그는 생성형 AI 프로그램이 잘못된 결과를 뱉어내는 경우를 언급하며 “모델이 환각을 일으키거나 민감한 정보를 말하지 않도록 [개인 식별 정보]를 제거해야 할 것입니다.“라고 말했습니다.
분석가들은 또한 더 많은 스타트업이 기업이 제너레이티브 AI를 위해 데이터에 대한 액세스를 선별하고 제어하도록 지원하는 데 특히 집중할 것으로 예상합니다.
일부 CIO에게 데이터 품질은 비용 관리만큼이나 중요한데, 즉 데이터가 적절한 형식과 구성으로 되어 있고 AI 모델 학습과 관련성이 있는지 확인하는 것입니다. 젤린카는 “가장 중요한 것은 단순히 데이터를 수집하는 것이 아니라 데이터를 정리하고 분류하여 사용 가능한 형식으로 만드는 것입니다.“라고 말합니다. “그렇지 않으면 의미 없는 데이터를 저장하는 데 비용을 지불하는 것에 불과합니다.”
잭 헨리는 현재 데이터 거버넌스에 집중하고 있다고 젤린카는 말합니다. 그는 회사의 최고 위험 책임자와 협력하여 누가 데이터에 액세스할 수 있고 데이터가 어떻게 사용되는지 정의하고 있으며, 회사의 최고 기술 책임자와 협력하여 제품과 플랫폼에 제너레이티브 AI를 내장하는 방법을 모색하고 있습니다.

SF AI 회사들은 $20m Seed로 받고 시작하는게 일반적인가요? ㅎㅎ 2018, 2021년의 크립토 Startup이 생각나네요 ㅎㅎ
https://contextual.ai/announcing-next-generation-language-models/

https://youtu.be/aPMNbMR1p70

I really admire the friendship between these individuals and value our honest sharing of many things. Hoping to pay it forward and help others someday, just as they have generously helped me.