https://huyenchip.com/2023/04/11/llm-engineering.html

https://www.linkedin.com/pulse/%25EC%258B%25A4%25EC%25A0%2584%25EC%2597%2590%25EC%2584%259C-llm-%25EC%2595%25A0%25ED%2594%258C%25EB%25A6%25AC%25EC%25BC%2580%25EC%259D%25B4%25EC%2585%2598-%25EA%25B5%25AC%25EC%25B6%2595%25ED%2595%2598%25EA%25B8%25B0-jung-dong-kim/?fbclid=IwAR0NptZRQj8B7u6E2BeWroKuJn8MsJZgxgPCr_FUjhIf5JTo3rB9JXN6v7w


비슷한 맥락의 이야기

샘 알트만이 말하는 OpenAI 관련 소식: GPU가 병목임, 더 저렴하고 더 빠른 GPT-4를 만드는 것이 최우선 목표, 플러그인 PMF 못찾음, ChatGPT외 프로덕트 내놓을 계획은 없음, 오픈소스 GPT-3 도 고려 중, 모델의 스케일링 법칙은 아직 유효

https://website-754fwhahs-humanloopml.vercel.app/blog/open_ai_talk?utm_source=bensbites&utm_medium=newsletter&utm_campaign=openai-s-roadmap

The finetuning API is also currently bottlenecked by GPU availability. They don’t yet use efficient finetuning methods like Adapters or LoRa and so finetuning is very compute-intensive to run and manage. Better support for finetuning will come in the future. They may even host a marketplace of community contributed models.

# Thought 1.
-> OpenAI is preparing a marketplace for Finetuned models in addition to the GPT Plugin. -> Provides an opportunity for people to earn money by finetuning models, just like app developers used to earn money by developing apps -> Locked into the GPT ecosystem.

Dedicated capacity offering is limited by GPU availability. OpenAI also offers dedicated capacity, which provides customers with a private copy of the model. To access this service, customers must be willing to commit to a $100k spend upfront.

2023:

Cheaper and faster GPT-4 — This is their top priority. In general, OpenAI’s aim is to drive “the cost of intelligence” down as far as possible and so they will work hard to continue to reduce the cost of the APIs over time.
Longer context windows — Context windows as high as 1 million tokens are plausible in the near future.
Finetuning API — The finetuning API will be extended to the latest models but the exact form for this will be shaped by what developers indicate they really want.
A stateful API — When you call the chat API today, you have to repeatedly pass through the same conversation history and pay for the same tokens again and again. In the future there will be a version of the API that remembers the conversation history.

2024:

Multimodality — This was demoed as part of the GPT-4 release but can’t be extended to everyone until after more GPUs come online.

# Thought 2.
- GPT will be cheaper, faster, customizable, and more stable.
- Of course they know the multimodality is the future and they have Whisper one of the most advanced voice related model.

3. Plugins “don’t have PMF” and are probably not coming to the API anytime soon
A lot of developers are interested in getting access to ChatGPT plugins via the API but Sam said he didn’t think they’d be released any time soon. The usage of plugins, other than browsing, suggests that they don’t have PMF yet. He suggested that a lot of people thought they wanted their apps to be inside ChatGPT but what they really wanted was ChatGPT in their apps.

#3
Interesting point. Sam is not drunk on Chatgpt's success and seems to be objectively judging his situation. What people want is GPT in their apps, not a GPT plugin. How can you give your customers what they want, but still have a business moat?

1. Is GPT Plugin Retention low because there is no mobile-first product?
2. If the experience of integrating with mobile-first products is well designed, isn't it possible to provide an experience like Kakao/Tosu authenticating?
3. What do you need to think about when OpenAI abandons the GPT plugin strategy to integrate with your app/web and becomes a format that provides SDKs and APIs?
3.1. If the customer's UX is controlled by the end user, won't it eventually be replaced by another model?
- To lock in customers, it is necessary to provide more customizable services based on customer data, and Finetunning is important. However, GPU is a bottleneck. Maybe we should prioritize GPT-4, which is cheaper, more stable, and supports higher volumes than GPT Plugin?

4. OpenAI will avoid competing with their customers — other than with ChatGPT
Quite a few developers said they were nervous about building with the OpenAI APIs when OpenAI might end up releasing products that are competitive to them. Sam said that OpenAI would not release more products beyond ChatGPT. He said there was a history of great platform companies having a killer app and that ChatGPT would allow them to make the APIs better by being customers of their own product. The vision for ChatGPT is to be a super smart assistant for work but there will be a lot of other GPT use-cases that OpenAI won’t touch.

#Thought4
They know that one of the strongest moat for platform is dev community. They won't make the mistake of cutting the belly of the goose that lays the golden eggs.

최근 UCL에서 한 Sam 인터뷰와 아무말 대잔치 코멘트

#1 Sam은 현재 finetuning API가 GPU의 가용성에 의해 병목 현상을 겪고 있음. 그리고 Finetunning한 모델들을 사용할 수 있는 마켓플레이스도 고려하고 있음.
- Finetunning하는 모델들을 거래하는 마켓플레이스가 생기면 Plugin에서 시도했던 것을 모델 단에서도 한번 더 해볼 수 있음. AI 모델을 만드는 혹은 파인튜닝하는 회사들을 일종의 앱개발 회사처럼 GPT 생태계에 락인시킬 수 있고, 모델 개발/파인튜닝 회사 입장에서도 해당 마켓플레이스에 입점해서 돈을 벌 수 있다면 좋음. 기존에 AI 회사들 중 R&D를 잘하는데 GTM 고민인 곳이 많은데 과거 앱스토어가 인디 개발사를 도왔던 것처럼 OpenAI가 이들을 도울 수 있음. 나중에는 아마 독점 혹은 과점이 될 수도 🥲

#2 2023, 2024년의 GPT-4는 더 저렴하고, 빠르고, 더 긴 컨텍스트 윈도우도 지원하고, finetuning API, Stateful API(과거 대화 맥락 기억), 그리고 Multimodal(음성, 이미지 등)을 지원할 예정
- Foundation Model에서 경쟁하거나 파인튜닝하려는 팀들은 업계 1등이 이정도 생각하고 있을 때 어떻게 Niche에서 가치를 만들어낼 것인가에 대한 고민이 필요함.
- Open AI가 Whisper, Dalle 를 개발해온 것도 멀티모달의 일환이었던 것 같다. 최근에 GPT앱에 탑재된 Whisper는 그간 사용해봤던 음성 관련 서비스 중에서 가장 만족도가 높았음.

#3 플러그인은 "PMF"를 못찾았으며조만간 API에 제공되지 않을 것입니다.
- 샘은 ChatGPT의 성공에 도취하거나 만족하지 않았음. 플러그인의 Retention이 생각보다 나오고 있지 않아서 다른 방법을 고민하고 있음.
- OpenAI는 UX를 GPT로 일원화하고 싶었지만 대부분의 고객은 본인의 서비스 내에 비서를 탑재하고 싶음.
- Plugin 리텐션이 낮은 것과 관련해서는 모바일 퍼스트 제품이 없어서 GPT 플러그인 리텐션이 낮은 것은 아닌지 고민할 수 있음. 웹기반이 아니라 모바일 기반으로 Plugin을 출시했고 모바일 서비스와 경험이 Seamless했다면 카카오/토스 인증과 같은 경험을 제공할 수 있지 않을까? -> OpenAI가 이 쪽을 하지 않겠다고 하면 Poe(Quora에서 만든 AI UX aggregator)같은 팀이 고민할 수 있는 사업의 방향.
- B2C가 아닌 B2B로 API/SDK를 연동한다면 고객의 데이터가 OpenAI 쪽에 쌓여서 사용할 수록 더 나은 서비스를 제공할 수 있게 도와주면서 Switching Cost를 높일 수 있음.

#4 샘은 OpenAI가 ChatGPT 외에 더 이상의 제품을 출시하지 않을 것이라고 말했습니다. 그는 훌륭한 플랫폼 회사들이 킬러 앱을 개발한 역사가 있으며 ChatGPT를 통해 자사 제품의 고객이 되어 더 나은 API를 만들 수 있을 것이라고 말했습니다.
- OpenAI는 강력한 개발자 커뮤니티가 모든 플랫폼의 실질적인 해자(Moat)를 형성한다는 사실을 잘 알고 있습니다. 그들은 이 자산이 황금알을 낳는 거위의 배를 자르지 않을 겁니다.

여러분의 생각은 어떠신가요?

Let’s study.
https://twitter.com/dair_ai/status/1665364684415926274

More…
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-0de?utm_source=substack&utm_medium=email

The future of metaverse is in their hands — WWDC 2023 — June 5 | Apple

Apple is the best company ever in terms of blending cutting-edge technology with optimal experiences. They have the power to change the way users behave.
-
I used to not like wearing a watch, but these days I find myself falling asleep with my Apple Watch on. Will the headset become symbiotic part of my daily life as the Watch did? — Will Apple’s Headset Be as Disruptive as the iPod, iPhone or Apple Watch? | WSJ

https://youtu.be/TX9qSaGXFyg

Morning Apple

Let’s study https://microsoft.github.io/AI-For-Beginners/?id=getting-started

Artificial Intelligence for Beginners - A Curriculum

아래 커뮤니티에서 자세히 설명해주셨네요 !

-마이크로 OLED Apple silicon의 백플레그인이 그 시작
-iPhone 픽셀 1개가 들어갈 자리에 64개의 픽셀을 넣었음
-7.5마이크론(RGB 각각 하나씩 제조시 2.5마이크로 이하로 내려가야 하는 기술)
-무려 2300만개의 픽셀이 들어감
-눈 한쪽당 4K TV를 놓는 것보다 많은 픽셀
-R1칩, 12개의 카메라와 5개의 센서 및 6개의 마이크로 수집한 정보를 처리
-12밀리초마다 새로운 이미지 갱신
-눈을 깜빡이는 속도보다 8배 빠른 이미지 구현

https://m.fmkorea.com/best/5841036844