헬리녹스의 첫 제품은 의자가 아니었어요. 우리는 텐트폴로 만들 수 있는 모든 걸 상상해 봤어요. 알루미늄 폴대의 장점은 두 가지잖아요. 가볍고, 작게 접을 수 있다는 것. 200g짜리 등산용 스틱, 210g짜리 우산이 차례로 나왔죠. 하지만 시장을 흔들 정도로 주목받지는 못했습니다.

의자는 개발실 구석에서 한참 굴러다니던 아이템이었어요. 텐트를 뒤집어 놓은 모양의 패브릭에 다리 네 개를 달면 되겠다는 아이디어만 분명했죠.

문제는 가격이었어요. 그땐 캠핑 의자가 보통 20~30달러였어요. 우리가 생각한 의자를 만들려고 하니 아무리 계산해도 도저히 팔 수 없는 가격이 나오는 거예요.

어느 날 아버지가 플라스틱으로 허브hub를 만들어오셨어요. 의자 양쪽 아래에서, 다섯 방향으로 뻗어나가는 폴대를 잡아주는 장치였어요. 여러 개의 축으로 폴대를 접었다 펼 수 있었죠. 어떤 기술자가 와도 ‘이건 제대로 설계했다’고 할 정도로 멋진 부품이었어요. 개발실의 아이디어를 구현하기 위해, 아버지는 수십, 수백번 설계도를 고쳐 그리신 거예요.

이거면 되겠다고 생각했어요. 여전히 시장가보다 세 배는 비쌌지만, 제대로 만들 수 있을 것 같다고요.

공장을 찾아다니기 시작했어요. 서울의 원사 회사부터 대구의 제직 공장까지 찾아갔죠. 오래 앉아도 뒤틀리거나 늘어나지 않을, 아주 튼튼한 원단이 필요했어요. 봉제를 잡는 과정은 정말 어려웠습니다. 중국의 봉제 공장에서 초기 물량 5000개에 모두 앉아보기도 했어요. 앉은 느낌이 편안하면 “예스yes”, 어디 한곳이 틀어졌거나 어색한 느낌이 들면 “노no”를 외쳤죠. 그렇게 불량을 골라내 1000개가 넘는 제품을 버렸어요. 어떻게 박음질을 해야 할지 공장과 함께 찾아나간 거예요.

그렇게 만든 의자의 판매 가격은 99달러(약 12만8000원). ‘너무 비싸지 않을까’ 두려웠는데 괜한 우려였어요. 제품을 본 아웃도어 유통사들은 모두 관심을 보이더라고요. 미국 최대 아웃도어 매장 REI가 “PB 제품을 내자”고 제안할 정도로요. 체어원은 잘 팔렸습니다. “REI에서 첫 1년 동안 팔린 체어원 매출이 전년도 REI의 캠핑 퍼니처 전체 매출과 맞먹을 정도”라는 과장섞인 칭찬도 들었어요.

체어원이 왜 인기였을까, 가끔 생각해봅니다. 초반에 저희 의자에 열광했던 이들은 백팩커Back Packer로 불리는 아웃도어 마니아들이었어요. 차나 자전거 없이, 배낭에 모든 생존 물품을 챙겨 산을 오르는 이들이었죠. 이들에게 체어원은 ‘세상에 없던 제품’이었다고 하더군요. 이 정도 휴대성에, 이 정도 편안함을 동시에 갖춘 의자가 그동안은 없었던 거예요.

그때 확인했어요. 일단 돈을 생각하지 말고 제대로 제품을 만드는 게 먼저란 걸 말이에요. 헬리녹스의 의자(체어제로)는 2017년 ‘백팩커스 에디터스 초이스’와 ‘아웃도어 어워즈 골드위너’ 상을 받았어요. 유럽 아웃도어 시장에서 최고라는 인정을 받기까지 5년도 채 걸리지 않은 셈이에요.

# 세상이 끝날 것처럼 제품에 매달린다는 것

제가 하는 일이 무엇일까, 생각한 적이 있습니다. 제품을 설계하는 데 참여하니 디자이너designer라고 할까, 아니면 제품을 만드니 제조업자manufacturer라고 할까. 지금은 그냥 사업가business man라고 소개합니다. 결국 모든 걸 다 합친 게 사업이니까요.

헬리녹스와 가장 잘 어울리는 단어는 장인artisan이라고 생각해요. 좋은 물건을 만드는 일에 진심을 다해 몰입하는 사람. 아버지는 장인이세요. 저는 아버지와 제가 많이 다르다고 생각했는데, 남들은 똑같다고 하더군요.

장인에 대한 존경심이 있습니다. 제대로 물건을 만드는 사람만큼 멋진 사람들은 없어요. 예전에 영광스럽게도 에르메스의 경영진을 만난 적이 있어요. 6대손이란 여성분을 만나 이야기도 들었고요.

인상적인 건, 세계적인 브랜드를 만들어놓고 지금도 이 사람들은 오로지 제품에 매달려 살고 있다는 거였어요. 세상 진지하게요. 이걸 제대로 못 만들면 세상이 끝날 것처럼요. 저런 마음으로 6대를 내리 살면 이런 브랜드가 되는구나, 하는 생각이 들었어요.

# 컬래버레이션 : 꽃은 나비를 따라가지 않는다

헬리녹스는 처음부터 해외를 노리고 만든 브랜드예요. 한국에선 오히려 조금 느리게 알려졌죠. 한국에서 헬리녹스가 유명해진 건 2016년 슈프림과의 컬래버레이션 때였을 겁니다. 이후 세계적 브랜드와의 협업이 이어졌어요. 셀 수 없이 많이요. 100곳은 넘는데 200곳이 넘는지는 잘 모르겠어요. 가장 최근엔 스타벅스와 손잡고 사이드 테이블을 만들어 내놨죠.

저희는 매체 광고를 하지 않아요. 마케팅에 큰돈을 써본 적이 없어요. 그런데도 헬리녹스를 아는 분이 많은 건, 브랜드와의 협업으로 매번 새로운 이야기를 전했기 때문일 거예요. 헬리녹스가 어떤 브랜드와 무엇을 만들었는지, 사람들은 궁금해해요. 협업으로 탄생한 제품은 한정적이니 매력이 더 올라가죠. 자연히 광고하지 않아도 이야기가 퍼지더군요.

어떻게 이렇게 많은 곳과 컬래버를 할 수 있었냐고요. 헬리녹스가 먼저 협업을 제안한 경우는 거의 없어요. 저희는 작은 브랜드잖아요. 큰 브랜드에 제안해 봐야 잘 성사되지도 않을 거예요. 글로벌 브랜드가 보통 저희에게 제안을 하죠. 슈프림도, 나이키와 포르쉐도 그랬어요.

그런 제안을 받을 때면 전 아버지가 하시는 말씀이 떠올라요. 할아버지가 생전에 늘 그러셨대요. “꽃이 나비를 따라가지 않는다”고요. “제품을 만드는 사람은 제품을 잘 만들면 된다, 그러면 영업이며 마케팅은 저절로 된다”는 말씀이셨어요. 아버지는 늘 그 말씀을 실천하며 사셨죠.

아버지와 함께 바이어를 만나러 다니면서 봤어요. 아버지는 늘 이렇게 말씀하셨어요. “어떤 제품을 만들고 싶은지 들려달라. 어떻게 만들지는 내가 제안할게.” 기술은 기술자가 아는 게 아니냐는, 자부심이 담긴 목소리였어요. 바이어가 고민을 털어놓으면 노트북을 열어 시안을 보여주셨죠. “이런 게 필요한 거 아니냐”면서요. 아버지의 노트북엔 늘 100개 넘는 시안이 들어 있었어요. 마치 미리 숙제를 하듯이 시안을 만들어 놓으셨던 거예요.

컬래버 논의를 할 때, 어느새 저도 같은 말을 하고 있더군요. “사람들에게 어떤 걸 보여주고 싶은지 얘기해 주세요. 우리가 뭘 할 수 있는지 제안해 드릴게요.”

잊을 수 없는 협업은, 지난달 나온 베어브릭BE@RBRICK과의 컬래버 장난감이에요. 파란색 알루미늄으로 베어브릭을 만들고 가슴에 헬리녹스의 심벌을 새겨 넣었죠.

드물게 저희가 먼저 제안한 컬래버였어요. 제가 베어브릭을 좋아하거든요. 이 회사가 원목 베어브릭은 일본 최고 가구회사인 가리모쿠Karimoku와, 크리스털 베어브릭은 유명 크리스털 브랜드인 바카라Baccarat와 이미 만들었더군요. 그렇다면 알루미늄 제품은 꼭 우리가 만들어야겠다고 생각했어요. 3년 반 동안 조금씩 손을 봐서 완성했고, 528만원에 한정판 출시했어요. 딱 50개만 만들었죠.

알루미늄으로 만든 아트토이가 아웃도어 브랜드와 무슨 상관이 있냐고요. 영혼을 담아 만든 물건은 어디에 둬도 멋지고, 영감을 전해줍니다. 그게 헬리녹스의 정신과 맞닿아 있어요. 그걸 보여줄 수 있으면 충분히 좋은 컬래버레이션 아닐까요.

https://www.longblack.co/note/747

지난번 AI세션에서 패널로 참여해주신 분이 코드 인터프리터라는 기능은 예상했지만 막상 써보려고 하니 뭘 해야할지 몰랐다는 이야기가 생각났네요.

지금 많은 기업이 LLM 기반의 자체 챗봇 많이 만들고 있는데 멀티 모달 + Agent(AI가 알아서 업무를 자동화 하거나 다른 AI와 협업하고 자연어가 아닌 코드, 혹은 자체 언어를 사용하는 수준)이 되면 챗 기반의 서비스도 많이 바뀔 거라는 이야기네요. 그럼 결국 챗봇도 앞으로 2-3년간 초기 모습처럼 나타났다가 다른 형식으로 바뀌겠죠? ㅎㅎ

https://twitter.com/tszzl/status/1682291042245115905

트위터 본문
지식 작업 채팅 도우미는 길어야 몇 년 동안만 사용할 수 있는 로컬 최소한의 기능입니다. 자체 언어 모델 채팅 도우미를 만들기 위해 경쟁하는 기업들은 요점을 놓치고 있습니다. 이것은 웹 검색이나 다른 것들처럼 20 년 동안 중요 할 좁은 제품 범주가 아닙니다. 제품은 말 그대로 AGI입니다. 채팅은 첫 번째 근사치입니다. 점점 더 많은 기능을 갖추게 될 것이며 지원은 대행사로 바뀔 것입니다.코드 인터프리터는 놀랍습니다! 스스로 프로그래밍과 통계 작업을 수행합니다! 하지만 '자율 데이터 과학자' 시장이 활성화될 때까지는 '데이터 과학자 보조' 시장의 보급률도 낮을 것이라는 게 사실입니다. 기본적으로 인간에게 새로운 기술을 가르치는 것은 어렵지만, 기계에게 새로운 기술을 가르치는 것은 매우 간단하다는 것이 밝혀졌습니다.

Wells Fargo also offers LLM based services.
트위터 댓글이 웃긴데 ㅋㅋㅋ 어떻게 만들었을까 하는 질문에 대한 답변 :기쁨:
Probably a huge if/else tree
https://newsroom.wf.com/English/news-releases/news-release-details/2022/Wells-Fargos[…]Assistant-Fargo-to-Be-Powered-by-Google-Cloud-AI/default.aspx
Google Cloud로 만들었다고 합니다.

조금 오래 전 (1달쯤?) 정보이지만 OpenAI가 공개한 Function call이 가지는 의미

OpenAI는 최근 GPT-4 및 GPT-3.5 터보 모델**[1](https://openai.com/blog/function-calling-and-other-api-updates)**을 위한 "함수 호출"이라는 새로운 기능을 발표했습니다. 함수 호출을 통해 개발자는 JSON 스키마를 통해 모델에 함수를 설명할 수 있으며, 모델은 해당 함수를 호출하기 위한 인수가 포함된 JSON 객체를 지능적으로 출력하도록 선택할 수 있습니다**[1](https://openai.com/blog/function-calling-and-other-api-updates)**.

이 기능을 사용하면 모델에서 보다 구조화된 데이터를 출력할 수 있으므로 개발자가 AI 기능을 애플리케이션에 더 쉽게 통합할 수 있습니다**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.

함수 호출은 여러 가지 방식으로 가치를 창출할 수 있습니다:

1. 외부 도구 및 API와의 상호 작용 개선: 함수 호출을 사용하면 AI 모델이 외부 도구 및 API와 보다 효과적으로 상호 작용할 수 있으므로 개발자는 보다 인터랙티브하고 동적인 애플리케이션을 개발할 수 있습니다**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. 구조화된 데이터 출력: 정형 데이터 출력을 제공함으로써 함수 호출은 개발자가 비정형 텍스트**[6](https://towardsdatascience.com/an-introduction-to-openai-function-calling-e47e7cd7680e)**를 파싱할 필요 없이 애플리케이션에서 출력을 직접 사용할 수 있으므로 AI 생성 콘텐츠로 작업하는 것이 더 쉬워집니다.
3. 향상된 AI 기능: 함수 호출은 대화 컨텍스트**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**에 따라 이메일 전송, 데이터베이스에서 데이터 가져오기, 다른 서비스와의 상호 작용과 같은 작업을 수행할 수 있도록 함으로써 AI 모델의 기능을 향상시킬 수 있습니다.

함수 호출은 다음과 같은 이유로 사용자에게 유용합니다:

1. 보다 역동적이고 인터랙티브한 애플리케이션을 구현할 수 있습니다: AI 모델이 함수를 호출하고 사용자 입력에 대한 응답으로 구조화된 데이터를 제공할 수 있으므로 사용자는 AI 기반 애플리케이션과 더욱 자연스럽게 상호 작용할 수 있습니다**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. 데이터 검색 간소화: 사용자는 명시적인 쿼리 공식화 없이도 대화식으로 데이터를 검색할 수 있어 정보와 서비스에 더 쉽게 접근할 수 있습니다**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.
3. 인공지능 모델의 활용성을 높인다: 함수 호출은 AI 모델의 동적 유용성을 높여 더 광범위한 작업을 수행하고 사용자에게 더 많은 가치를 제공할 수 있도록 합니다**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.

전반적으로 OpenAI 모델의 함수 호출은 보다 상호작용적이고 동적이며 유용한 AI 기반 애플리케이션을 가능하게 함으로써 개발자와 사용자 모두에게 상당한 이점을 제공합니다.

OpenAI recently announced a new feature called "function calling" for their GPT-4 and GPT-3.5-turbo models**[1](https://openai.com/blog/function-calling-and-other-api-updates)**. Function calling allows developers to describe functions to the model via JSON Schema, and the model can intelligently choose to output a JSON object containing arguments to call those functions**[1](https://openai.com/blog/function-calling-and-other-api-updates)**. This feature enables more structured data output from the model, making it easier for developers to integrate AI capabilities into their applications**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**. Function calling can create value in several ways:

1. Improved interaction with external tools and APIs: Function calling allows AI models to interact with external tools and APIs more effectively, enabling developers to create more interactive and dynamic applications**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. Structured data output: By providing structured data output, function calling makes it easier for developers to work with the AI-generated content, as they can directly use the output in their applications without having to parse unstructured text**[6](https://towardsdatascience.com/an-introduction-to-openai-function-calling-e47e7cd7680e)**.
3. Enhanced AI capabilities: Function calling can enhance the capabilities of AI models by allowing them to perform tasks such as sending emails, fetching data from databases, or interacting with other services based on the context of the conversation**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.

Function calling is beneficial for users because it:

1. Enables more dynamic and interactive applications: Users can interact with AI-powered applications more naturally, as the AI models can call functions and provide structured data in response to user inputs**[2](https://medium.com/@s_eschweiler/revolutionizing-ai-interactions-unpacking-openais-function-calling-capability-in-the-chat-b0a6b71a9452)**.
2. Simplifies data retrieval: Users can retrieve data conversationally without the need for explicit query formulation, making it easier for them to access information and services**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.
3. Enhances the utility of AI models: Function calling increases the dynamic utility of AI models, allowing them to perform a wider range of tasks and provide more value to users**[5](https://towardsdatascience.com/the-power-of-openais-function-calling-in-language-learning-models-a-comprehensive-guide-cce8cd84dc3c)**.

Overall, function calling in OpenAI models offers significant benefits to both developers and users by enabling more interactive, dynamic, and useful AI-powered applications.

I think that we are just beginning of the AI era. So many expectations existed 6 month ago. Let’s recap and think about some years in front of us. Let’s remind that it only passed 6 month and a lot of things which might be unexpected will be going on for sure.

He elaborate this one well. https://twitter.com/0xSamHogan/status/1680725207898816512

지난 세션에서 한 참여자 분께서 너무 중요한… 질문해주셨는데요. 기술 좋은데, 돈은 어떻게 벌 건데요?

대부분의 AI 회사가 찾아야할 가장 중요한 질문이라고 생각합니다. 올해 1월을 기준으로 AI Craze가 한 6개월정도 지난 것 같은데요. 큰 변화가 일어나기엔 짧은 기간임에도 많은 일이 일어난 것 같습니다.

Sam Hogan이라는 친구가 지난 6개월간 있었던 일들을 짚어줬는데요.

https://twitter.com/alfongj/status/1680753794320089089

1. 벤처캐피털의 지원을 받는 기업들이 어려움을 겪고 있습니다. 기업이 더 많은 자금을 조달할수록 더 많은 고통을 느끼고 있습니다.
- 간단한 Prompt engineering + UX 개선만 가지고는 지속적인 비즈니스를 만들기 어렵다. (Jasper)

2. 기존 기업들과 시장 선두주자들은 내부 팀과 오픈소스 기성 기술을 이용해 최첨단 AI를 빠르게 배포하는 데 능숙해지면서 VC의 지원을 받는 스타트업에게 좋은 기회가 될 수 있는 기회를 차단하고 있습니다.
- LLM Ops하는 스타트업이 쉽지 않다. 큰 기업들도 들어오고 있고 대기업들이 AI Infra를 만들 때 작은 스타트업에 의존하려고 하지 않아서.
- 대기업들도 모두 AI가 큰 변화라는 걸 알아서 많은 돈, 인재를 집중 투자하고 있다. 과거의 인터넷 때 대기업들이 당한 것과는 상황이 다르다.
- 자체적으로 만들 때 Langchain이나 Chroma를 쓰기도 한다.
—> 지난 저희 세션에서 이야기한 것처럼 Production 서비스를 만든다면 Langchain으로만은 안될거라고 생각합니다.

3. 인디 개발자들은 틈새 시장에 AI 기반 제품을 빠르게 출시하여 소규모의 현금 유동성 있는 비즈니스를 구축하고 있습니다.
- 1명이 연 10억 버는 mini SaaS 부터 30명 미만의 SaaS 기업이 1000억 매출을 만드는 경우도 나올 수 있습니다.
- 마찬 가지의 논리로 AI를 잘하는 새로운 PE가 등장할 수 있습니다. 이미 특정 해자(유통)등이 있는 기업을 인수해서 내부 효율화(AI 자동화)를 해서 기업의 이윤을 높일 수 있습니다.

4. 검증되지 않은 기술을 보유한 소수의 유망한 문샷 기업이 VC 규모의 수익을 창출할 가능성이 가장 높습니다.
- 엄청난 상상의 영역으로 B2C로는 게임, 데이팅, 컨텐츠 등 다양한 시도들이 있고, B2B로도 Enterprise Software를 제외하고더라도 방산, 제약, 의료 등 특정 도메인의 문제를 해결하는 기회는 여전히 존재합니다.

AI 산업에서 스타트업이 승리할 수 있는 영역에 대해서 고민을 좀 더 해보려고 하는데요. 관련되어 생각할만한 글, 영상, 혹은 오래된 책(혁신 관련) 이 있으면 추천해주실 수 있나요?

개인적으로 아래 글, 영상들이 도움이 되었습니다.

1. Elad AI: Startup Vs Incumbent Value: https://blog.eladgil.com/p/ai-startup-vs-incumbent-value
2. Elad Defensibility & Competition https://blog.eladgil.com/p/defensibility-and-competition
3. Sam How to Start a Hard Tech Startup with Sam Altman @ MIT https://youtu.be/r7HyWFJMAxg
4. Perplexity Founders interview: https://youtu.be/ajkAbLe-0Uk, https://youtu.be/7iU6K7NccXk
5. No priors Q&A: https://youtu.be/eTFUcPiodGU

In the last session, we talked about how Langchain lacks a lot of features and is not ready for production, but big companies in the US (where engineering maturity is probably lower) are using it well as an infrastructure for their services.

Having a good quality service and good distribution are two different games, but langchain seems to be leveraging its first mover advantage well.

Harvey charges his customers a lot of money and they don't seem to mind paying it.

https://twitter.com/leveredvlad/status/1680977288467234817

Book recommendation

https://bookschatter.com/books/john-collison

새로운 블로그 게시물! 제너레이티브 AI x 게임의 가장 큰 기회는 새로운 카테고리의 플레이를 여는 것입니다 ��. 유니티는 AI 퍼스트 게임의 초기 모습을 엿보고 있으며 그 잠재력은 엄청납니다. 유니티가 기대하는 몇 가지 분야를 소개합니다 ��.

1/ 제너레이티브 에이전트 - 시뮬레이션 게임 내 에이전트에 LLM을 적용하여 놀랍도록 실제와 같은 행동을 구현합니다. 소셜 웹에서 학습된 LLM을 통해 게임 디자이너의 상상력뿐만 아니라 인간 사회의 예측 불가능성을 반영하는 새로운 종류의 시뮬레이션 게임이 등장하고 있습니다. 24시간 내내 멀티 에이전트 시뮬레이션을 보는 것은 차세대 트루먼 쇼가 될 수 있으며, 예상치 못한 방식으로 끝없이 재미있게 즐길 수 있습니다.

2/ 개인화 - 모든 플레이어에게 고유한 게임플레이 경험을 제공하여 몰입도와 재플레이 가능성을 극대화합니다. 사례 연구: GTA 5는 현재 공식 게임보다 개인화된 롤플레잉 서버에서 더 많은 플레이어를 만나고 있습니다.

3/ AI 스토리텔링 - 무한한 인내심을 가진 AI 스토리텔러의 안내에 따라 좋아하는 IP 세계에서 원하는 만큼 시간을 보낼 수 있습니다.

4/ 다이내믹 월드 - 플레이어가 게임을 진행하면서 실시간으로 레벨과 콘텐츠를 생성합니다. 스토리와 월드를 담당하는 AI 디렉터가 있으면 매번 플레이할 때마다 바뀌는 “네버엔딩” 게임을 만들 수 있습니다. 장기적으로는 게임이 더 이상 렌더링되지 않고 신경망을 사용하여 런타임에 생성되는 미래를 볼 수 있습니다. 언젠가 넷플릭스 영화에서 “상호작용“을 클릭하고 모든 장면이 생성되고 개인화된 가상 세계로 들어갈 수 있게 될 것입니다.

5/ AI 부조종사 - 모든 게임에 AI 동반자를 통합하여 원하는 대로 코치하고 함께 플레이할 수 있습니다. UGC 제작 도우미부터 협동 파트너, e스포츠 코치에 이르기까지 모든 게임에 AI 부조종사가 있는 미래는 “혼자서도 좋고, AI와 함께하면 더 좋고, 친구와 함께하면 더 좋다“는 모토에 따라 이루어질 것으로 보입니다.

아직 초기 단계이지만 유니티는 많은 재능 있는 AI x 게임 팀이 만들어지고 있다는 사실에 큰 기대를 걸고 있습니다. 더 많은 사례는 유니티 블로그에서 확인해보세요!
https://a16z.com/2023/07/19/the-neverending-game-how-ai-will-create-a-new-category-of-games/

For years, the tech media had characterized John and Patrick, 34, as boyish business prodigies who monkishly shared an apartment, rode rented e-bikes to work, and preferred reading economic histories and science fiction to ostentatious displays of their growing wealth. John, a student of capitalism who encourages employees to read biographies about moguls like Larry Ellison and John Malone, has lately come into his own as a brass-knuckled manager who has assumed critical leadership roles as his company hurtles toward its next iteration. At the same time, he has been adding a new chapter to his own billionaire’s journey, with a much-loved phrase serving as an epigraph: “The world is a museum of passion projects.”

LLM 애플리케이션 아키텍처란? (RAG의 이해와 기술 스택 탐색)

- 비즈니스 도메인 기반으로 대형 언어 모델 (LLM) 애플리케이션을 개발하고자 할 때 (예를 들어, 금융사 고객 응대 챗봇) 문제가 되는 점은 LLM의 정보 부족과 이로 인한 제한된 답변 능력이다. 예를 들어, GPT 3.5는 2021년 9월 이후의 데이터가 없으므로 최신 뉴스에 대한 답변을 제공할 수 없다.

- 이 문제를 해결하기 위한 방안으로 LLM을 새로운 데이터로 파인튜닝하는 것이 있다. 그러나 이는 상당한 비용이 소요된다. 현재 기준으로 FLAN-T5-XXL (11B) 모델을 CNN 데일리 메일 데이터셋 1개에 대해 파인튜닝하면 약 77만 원이 들게 된다.

또 다른 대안으로는 우리가 원하는 정보가 담긴 문서를 직접 프롬프트 콘텍스트에 넣어주고 원하는 응답을 얻는 것이다. 연구에 따르면 프롬프트의 가치는 데이터 샘플 약 100개에 준하는 정도라고 한다.

- 하지만 모든 정보를 콘텍스트에 일일이 넣어주는 것은 현실적으로 불가능하다. GPT-4가 처리 가능한 입력은 최대 50페이지 정도로 제한된다. 이러한 상황에서는 우리가 가진 정보를 데이터베이스에 저장해두고, 사용자의 질의가 들어올 때 (예를 들어, 챗봇을 통해 은행 계좌를 개설하는 방법을 물었을 때) 관련된 정보를 검색하여 해당 정보가 담긴 문서들을 프롬프트를 통해 LLM에 전달하는 방식이 더 효율적이다. 이러한 서비스 아키텍처를 ‘검색 증강 생성’(Retrieval Augmented Generation, RAG)라고 한다.

- 우리는 정보를 얻기 위해 LLM을 활용하는데, LLM에게 정보를 입력하는 방식이 다소 이상해 보일 수 있다. 그러나 정보의 입수와 정보의 처리(해석)는 완전히 다른 기능이다. 제2차 세계 대전 때 영국 정보부는 독일군의 암호를 얻어와 앨런 튜링에게 전달했다. 그러면 튜링의 콜로서스 머신이 이 암호를 해석해 주었다. 이런 모습을 머릿속에 그려보면 이해가 빠를 것이다. 이렇게 분업이 가능한 이유는 배우지 않은 정보를 일반화하여 해석하는 LLM의 능력이 매우 우수해진 결과이다. (이를 제로샷 학습 또는 인-콘텍스트 학습이라고도 한다.) 다시 말해, 어느 정도 일반화 성능이 있는 언어 모델이 아니라면 이러한 아키텍처를 사용하기 어려울 것이다.

이전부터 언어 모델 성능을 향상시키기 위해 검색을 활용하는 시도가 많았으며, 대표적으로 RETRO와 REARM이 있다. 하지만 현재는 RAG 아키텍처가 산업계에서 주목받고 있다. 이는 비약적으로 향상된 인-콘텍스트 학습 능력과 모델 학습이 따로 필요하지 않은 편리함 때문이다.

- RAG 아키텍처의 주된 작업흐름을 살펴보자. 첫 번째 작업 흐름은, 우리가 가진 정보를 검색하기 위해 DB에 정보를 저장하는 일이다. 관계형 데이터베이스(RDB)에 정형화된 정보를 저장하고, LLM에게 SQL 문을 작성하여 검색하도록 하는 방법도 가능하다. 그러나 우리가 가진 정보는 자연어로 작성된 문서 파일인 경우(예: PDF) 가 더 흔하다.

자연어를 DB에 저장하려면, 일반적으로 숫자 형태로 변환해야 한다. 특정 단어나 문장들이 존재하는지 여부를 나타내는 이진값 벡터로 변환할 수 있지만, 보다 현대적인 기술은 의미가 유사한 문장들이 유사한 벡터 값을 갖도록 변환하는 것이다. 이렇게 함으로써 더 응축된 길이의 벡터 형태로 정보를 표현할 수 있게 된다.

‘의미가 유사하다’라는 표현이 나왔는데, 이는 ‘정보의 해석’ 과정이 필요함을 뜻한다. 이를 위해서도 언어 모델의 개입이 필요하다. (반드시 LLM이 아니어도 된다.) 수집한 문서들을 작은 조각들로 분할하고(청킹), 언어 모델의 해석을 통해 벡터 형태(임베딩)로 변환한 후, 이를 벡터 DB에 저장한다. 이 과정은 검색 엔진의 오랜 기술이지만, 최근에 다시 각광받고 있다.

- 문서를 정제하는 데이터 전처리 작업(ETL)은 주로 Databricks, Apache Airflow와 같은 기존 도구를 사용하며, LangChain 또는 LlamaIndex의 문서 로더 기능을 추가로 활용할 수도 있다.

임베딩 작업은 전처리에 포함되며, OpenAI의 API(text-embedding-ada-002), Cohere, 허깅페이스의 BERT, Sentence Transformer, GPT-J 등을 사용할 수 있다. 임베딩은 LLM 앱의 성능에 직접적인 영향을 미치므로, 매우 신중하게 선택해야 한다. 또한, 우수한 임베딩이더라도 우리가 원하는 언어를 지원하지 않는다면 사용할 수 없다.

데이터베이스는 RDB가 아닌 벡터 DB를 사용해야 한다. 클레이폿 AI 창립자인 칩 후옌이 ‘그래프 DB의 해가 2021년이라면, 벡터 DB의 해는 2023년’이라고 말한 것처럼 이 분야에 대한 관심이 높다. Pinecone은 안정적인 클라우드 호스팅 기반으로 서비스되며, Weaviate, Vespa, Qdrant는 단일 노드 기반의 오픈소스 DB이다. Chroma, Faiss는 로컬 벡터 관리 라이브러리로, 엄밀히 DB는 아니지만 (샤딩 및 복제를 통한 성능 보장, 내결함성 향상, 모니터링, 접근 제어, 백업과 컬렉션 등 DB의 주된 기능을 제공하지 않기 때문에) 임베딩 검색 용도로 가볍게 사용할 수 있다. pgvector와 같이 PostgreSQL OLTP 확장판도 드물지만 사용되는 예시가 있다.

- 작업 흐름으로 돌아가, 두 번째 흐름은 LLM 앱에 질의가 들어오면 (예를 들어, "은행 계좌를 개설하려면 어떻게 해야 하나요?") 이 문장을 임베딩 벡터로 만들고, 벡터 DB에서 수치적으로 거리가 가장 가까운 문서들을 검색하여 가져온다.

그러나 계산학적으로 '가장 가까운' 문서 벡터를 찾는 것은 벡터의 크기 (차원)이 커질수록 어려워진다. 따라서 '근사적으로 가까운' (Approximate Nearest Neighbor, ANN) 벡터를 빠르게 찾는 방법이 주로 사용된다. 빠른 검색을 위해 벡터는 미리 인덱싱되며, 이를 위해 무작위 투영, PQ (Product Quantization), LSH (Locality Sensitive Hashing), HNSW (Hierarchical Navigable Small World) 등의 기법들이 적용된다. 이러한 기법들의 유무와 구현은 벡터 DB마다 다르며, 이는 LLM 앱의 성능에 영향을 미치므로 주의가 필요하다. 또한, 벡터 인덱싱 대신에 트리나 지식 그래프 구조 또는 이들의 조합을 활용한 인덱싱을 고려하기도 한다.

또한 질의문이 너무 간결하다면 관련성 있는 문서를 찾아오기 어려울 수 있고 이를 보완하기 위한 연구들이 있다. 예컨대, 가상의 문서를 임베딩하여 질의를 보강한다거나 콘텍스트 문서 생성에 클러스터링 알고리즘을 적용한 '생성 후 읽기' (GenRead) 기법 등이 있다.

- 세 번째 작업흐름으로 진행될 내용을 설명해보자. 질의와 관련 있는 문서(예를 들어, 비대면 은행 계좌 개설 안내 문서)를 가져왔다면, 이를 프롬프트 콘텍스트에 입력하고 LLM에게 답변을 요청해야 한다. 이를 위해서는 질의에 대한 임베딩 처리, 검색 요청, 검색 결과를 활용한 프롬프트 엔지니어링 작업이 필요하다. 이러한 작업을 특정 주체가 중앙에서 제어해주는데, 이를 오케스트레이션 프레임워크라고 한다.

오케스트레이션 프레임워크 중 대표적인 것이 Langchain이며, LlamaIndex (최초 명칭은 GPT Index)도 주목받고 있다. Langchain은 장황한 인터페이스와 느린 구현으로 인해 파이썬으로 직접 개발하는 경우도 있다. 그러나 Langchain은 아직 0.0.239 버전으로 개발이 진행 중이므로 기다려봐야 할 필요가 있다. 재밌게도 ChatGPT에 플러그인을 사용하여 오케스트레이션을 시험해볼 수도 있다.

LLM의 챔피언은 당연히 OpenAI의 gpt-4, gpt-4–32k이며, 50배 저렴하고 빠른 gpt-3.5-turbo를 사용해볼 수도 있다. 또한, Anthropic의 Claude는 GPT-3.5 수준의 정확도와 신속한 추론 속도를 가지고 있으며, 특히 Claude 2는 100k 길이의 콘텍스트 창을 지원한다고 한다. 일부 단순한 요청은 오픈소스 모델로 분기하여 대응하면서 비용을 낮출 수도 있다.

이런 경우를 대비하여 Databricks, AnyScale, Mosaic, Modal, RunPod 플랫폼은 모델 파인튜닝 도구를, Hugging Face와 Replicate는 API 인터페이스를 제공하고 있다.

시중에는 다양한 상업용 오픈소스 LLM 모델이 존재하며(Together, Mosaic, Falcon, Mistral 등) 이들이 GPT-3.5의 정확도 수준에 다다른다면 산업계에서는 오픈소스 사용도 고려할 가능성이 보인다. 최근 Meta에서 Llama2를 릴리즈하면서 LLM 씬에도 개성있고 우수한 모델이 쏟아져 나오는 스테이블 디퓨전 모먼트가 발생하지 않을까 그 귀추가 주목되고 있다.

- 주된 작업흐름에 대한 이야기는 끝났다. 요약하자면, 어떤 임베딩, 벡터 DB, 그리고 LLM을 사용할지가 애플리케이션의 성능을 좌우하는 핵심 요소이다. MLOps와 비슷하게 RAG 주위로는 수많은 LLMOps 도구들의 생태계가 형성되고 있다. LLM 응답 캐싱을 위해 Redis, GPTCache가, LLM 출력 모니터링, 추적, 평가를 위해 W&B, MLflow, PromptLayer, Helicone이, 출력의 유해성 검증을 위해 Guardrails가, 그리고 프롬프트 주입 공격 방어를 위해 Rebuff가 제공되고 있다.

전체적인 RAG 아키텍처 호스팅은 주로 클라우드 공급자 서비스 내에서 이루어지겠지만, 흥미로운 두 가지 시도가 있다. Streamship은 LLM 앱을 엔드-투-엔드로 호스팅하면서 다양한 기능을 제공하려고 하고, 독자적인 LLM 모델을 갖추고 있는 AnyScale, Mosaic은 모델과 파이썬 코드를 한 곳에서 호스팅 가능하도록 지원하고 있다.

- 다음번에는 RAG 아키텍처에 대해 AWS 서비스로 한정하여 적어볼 예정이다.

참조:
- Emerging Architectures for LLM Applications(https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/)
- Knowledge Retrieval Architecture for LLM’s (2023)(https://mattboegner.com/knowledge-retrieval-architecture-for-llms/?fbclid=IwAR1zYHaStMU-DJuP84iZ-h9K1vMMb_qVtBsQ5FotPqAjv5Lb4fyyBG_nAoI)
- Building LLM Applications for Production(https://huyenchip.com//2023/04/11/llm-engineering.html)
- ChatGPT의 전두엽(장기기억 저장소)으로 각광받고 있는 Vector DB에 대해 알아보자(https://devocean.sk.com/experts/techBoardDetail.do?ID=164964&fbclid=IwAR2XOaqC8QwGjWoThJmUG-mldeuyiIpLefJHmzd9qJE-GuFhqXlQB-ODwi8)

AI로 인해서 새로운 UX(음성, 이미지, 영상, 텍스트) 등 새로운 기기가 등장할 수도 있겠네요. 이 영상은 Iphone을 처음 개발하던 시기에 활동했던 임원들의 인터뷰입니다.

이 내러티브는 아이폰의 구상부터 대중에게 공개되기까지의 애플의 아이폰 개발 여정에 대해 설명합니다. 스티브 잡스가 이끄는 애플 팀은 처음에 아이팟을 개선하고 휴대폰과의 잠재적 경쟁에 맞서기 위해 아이팟을 휴대폰과 결합하여 시장 지위를 유지하는 것을 목표로 삼았습니다. 첫 번째 디자인은 아이팟의 인터페이스와 하드웨어 키보드를 통합했지만, 논리적이고 직관적인 다이얼링 메커니즘을 개발하는 데 어려움을 겪었습니다.

그러던 중 태블릿용으로 개발하던 터치 기술을 포켓 사이즈 휴대폰에 적용하는 아이디어를 떠올리게 되었습니다. 팀은 몇 가지 장애물과 격렬한 작업에 직면했고, 잡스는 유망한 결과물을 제시하지 못하면 프로젝트를 다른 팀에 넘기겠다고 위협했습니다.

가장 어려웠던 부분 중 하나는 기능적이고 사용자 친화적인 소프트웨어 키보드를 설계하는 것이었는데, 이미 잘 알려진 BlackBerry와 비교될 것을 알았기 때문입니다. 키보드 솔루션은 타이핑하는 동안 다음 글자가 닿을 가능성이 있는 영역을 확대하는 동적 타격 영역 시스템을 개발한 팀원으로부터 나왔습니다.

이 프로젝트는 Apple 내부에서도 일급 비밀로 유지되어 소프트웨어 팀과 하드웨어 팀이 서로의 작업 내용을 알지 못하는 경우가 많았습니다. 마침내 잡스가 라이브 데모를 통해 제품을 공개했고, 출시와 동시에 대중의 엄청난 관심을 받으며 아이폰이 곧 사회적으로 큰 영향을 미칠 것임을 암시했습니다.

관련해서는 이런 책들도 좋겠네요.
https://www.amazon.com/Creative-Selection-Inside-Apples-Process/dp/1250194466
https://www.amazon.com/Build-Unorthodox-Guide-Making-Things/dp/B09CF2YB6Z/ref=sr_1_1?crid=3MS1L5GA70UZ1&keywords=build&qid=1690167035&s=books&sprefix=build%2Cstripbooks-intl-ship%2C274&sr=1-1