An important thing about this topic, a good idea on steroids quickly becomes a terrible idea, is that most great things in life from love to careers to investing - gain their value from two things patience and scarcity. Patience to let something grow and scarcity to admire what it grow into.

기존의 이커머스 플랫폼에는 굉장히 다양한 제품들이 있어, 원하는 제품을 한 번에 고르거나 여러 제품을 서로 비교하기가 어려웠는데요.

작년 4월 설립된 octocom이라는 AI 스타트업에서 제품 구매 고민부터 결정, 추가 제안까지 고객의 쇼핑 경험을 엔드투엔드로 지원해주는 Agent를 만들고 있어 간단히 소개합니다.🧵

1/ Octocom은 이커머스 기업을 타겟하여 고객 서비스를 자동화해주는 회사인데요.

고객사인 온라인 스토어의 매출을 극대화해주기 위한 목표를 가지고 서비스의 모든 기능을 개발한다고 합니다.

2/ 놀라운 건 단 2주 만에 AI Agent를 구축해준다는 것인데요.(GPT-4 기반)

이커머스 플랫폼에만 집중하는 전략을 통해 해당 분야에 맞게 개발 작업을 모듈화하여 개발 시간을 단축한 것 같습니다.

3/ 작년 10월 $290K(한화 약 4억 원) 규모의 pre-seed 투자를 받으며, 설립된지 약 1년 여 만에 아래와 같은 지표를 보여주고 있습니다.

- 실시간으로 문의의 87% 처리
- 고객사 매달 약 570시간 절약
- CVR(전환율) 32% 증가

4/ 비용은 월 구독제로, 고객 기업의 CS 문의 개수별로 비용을 차등화하였습니다. 또한 왓츠앱, 인스타그램과 같은 SNS 플랫폼에 서비스를 구축할 시 추가 비용을 받네요.

5/ 프로덕트의 컨셉은 총 3가지로 제시하고 있습니다.

- Customer support: 배송 상태, 환불 및 반품, 단순 문의에 대한 응대
- Shopping Consultant: 제품 추천, 비교, 제품 관련 문의에 대한 응대
- Intelligent Upselling: 고객의 장바구니 및 구매 내역 데이터, 활동 기록을 기반으로 관심사 제품을 추천/제안

6/ 위 3가지 컨셉이 순서대로 고객 만족도 향상, 매출 발생 유도, 매출 증대(주문 금액 향상)의 역할을 하면서, 고객사의 매출 극대화를 위한 전략으로서 활용되고 있습니다.

즉, 오프라인 매장에서의 인간 영업 사원의 판매 로직 전체를 Agent가 담당하고 있는 것입니다.

7/ 해당 서비스를 직접 사용해보면서, Octocom의 AI 응대 방식이 굉장히 괜찮다는 느낌을 받았습니다.

AI가 사이드 제품을 추천할 때, 제품을 함께 사용했을 때의 효과 + 증가하는 비용을 상쇄할 만한 내용(5만 원 초과로 인한 배송비 무료)을 함께 제공하여, 소비자의 심리적 허들을 낮췄습니다.

8/ 위 경험으로부터 AI Agent가 소비자의 정보 접근 방식을 바꾸고 있다는 생각이 들었는데요.

기존에 제품 홈페이지를 통해서 제품의 장점이나 특징, 쿠폰 및 혜택 등에 대한 정보를 소비자가 직접 받아들였던 것에서, 이제는 AI Agent가 대화 맥락에 따라 해당 내용을 소비자에게 대신 전달해주면서 전반적인 UX가 변화한 것 같습니다.

즉 온라인에 영업 사원이 없던 게 아니라, 기존 웹사이트 방식의 정적인 온라인 영업 사원이 대화 형태의 인간 형태를 띠는 동적인 영업 사원으로 바뀐 것이죠.

아래 링크를 통해 Octocom의 서비스를 보면서, 당장 1년 후에 우리의 쇼핑 방식이 어떻게 바뀔지 고민해보는 것도 재밌을 것 같습니다.

https://www.octocom.ai/

오늘 같은 날 읽어보면 좋을 찰리 멍거의 데일리저널 주주총회 기록

https://blog.naver.com/salmonic/223363414741
https://blog.naver.com/salmonic/223367287668
https://blog.naver.com/salmonic/223370981026

👤인식 주체가 나를 정의한다
당신 누구세요'라고 물으면, 외적 속성이 아닌 알아차리는 주체가 진짜 '나'다.
이름과 외모는 진짜 '나'가 아니며, 변할 수 있다. 진짜는 바뀌지 않는다.
고통의 이유는 '나'를 고통 주체로 착각하기 때문이며, 알아차리면 불행이 사라질 수 있다.
진짜 '나'는 조용히 바라보는 인식 주체이고, 대부분의 고통은 대상적 경험에 집중해있는 것이다.

'나는 누구인가'에 대한 간결하고 통찰력 있는 답변이 포함된 책을 소개한다.
진짜 '나'를 가려내기 위해 역할, 소유물, 관계 등을 제외하고 찾아내야 한다.
'진짜 나'는 자신의 행위를 알아차리고 지켜보는 존재이며, 이를 알아채는 것은 어려운 일이 아니다.

3.💭착각의 심리: '내가 가진 것' vs '나 자신을'.
우리는 내 것과 배경자아를 분리해야한다.
휴대폰이나 다른 소지품, 지위나 명예 등은 우리의 본질이 아님.
우리는 '내가 가진 것'을 '나 자신'으로 착각하며 괴로움을 불러일으킴.
자신을 소유물이나 외형으로 정의할 때, 번뇌와 괴로움이 생기게 됨.

4.🧠나만의 인식 및 경험: '나'가 아닌 것들에 대한 인식
소유하는 모든 것은 본질과 상관 없는 것들, 우연히 만나 잠시 지나가는 것들이다.
생각, 감정, 경험, 기억, 느낌은 나의 일부가 아닌 사건이며, 나 자신이 아니다.
인식가능하고 설명 가능한 것은 내 경험과 인식의 대상, 나 자신이 아니다.
나라고 할 만한 것은 하나도 없음, '나'는 존재하지 않는다.

5.️🧠주체성과 공간: 인식과 경험
나는 내 모습을 휴대폰으로 인식하고 경험한다.
진짜 나는 인식과 경험의 주체로, 온갖 소유물은 그 자체로 나가 아닌 인식과 경험 주체다.
나는 공간과 같이 존재하면서, 고요함 속에 머무르는 진정한 나다.
모든 사물의 배경에 존재하는 공간과 같이, 늘 존재하지만 고요함이면서도 의식의 주체다.

6.🧘‍♂️감정과 사건에 휩쓸리지 않고 고요함으로 살아가는 자아의 인식 변화
내 감정과 느낌을 일 내용의 사건으로 바라보며 한 걸음 떨어져서 휩쓸리지 않게 된다.
자아는 고요하고 평온하며 흔들리지 않는 존재로서 변화를 알아가며 강조된다.
세상이 혼란스러울 때에도 마치 물이 닿지 않는 모래 섬에서 홍수를 바라보듯이 하나로 거듭나는 태도를 취한다.
자신을 섬으로 삼고, 피난처로 삼음을 통해 내적 안정을 발견한다.

https://youtu.be/c6fVMmHQxYE

https://www.aladin.co.kr/m/mproduct.aspx?ItemId=317405069

When one door of happiness closes, another opens; but often we look so long at the closed door that we do not see the one which has been opened for us.
Helen Keller

희망은 볼 수 없는 것을 보고, 만져질 수 없는 것을 느끼고, 불가능한 것을 이룬다. - 헬렌 켈러

https://cs.lbl.gov/news-media/news/2023/the-m-o-of-ml-can-ai-foundation-models-drive-accelerated-scientific-discovery/

사전 학습된 SciML 모델과 신중한 도메인별 미세 조정을 사용하여 복잡한 SciML 문제를 우아하게 해결하는 유망한 ML 방식이 포함됩니다. 특히, 이 연구는 모델이 한 작업에서 인사이트를 얻고 전이 학습을 통해 다른 작업을 개선하기 위해 해당 지식을 원활하게 전달할 수 있음을 보여줍니다. 이러한 발견은 학제 간 SciML 프레임워크의 초석을 마련하고 SciML 기초 모델을 구축할 수 있는 길을 열어 잠재적으로 달성하는 데 더 오랜 시간이 걸릴 수 있는 발견을 실현할 수 있는 가능성을 열어줍니다.
또한 MLA 그룹은 이 일반적인 접근법을 특정 과학 문제에 적용하기 위해 국립 에너지 연구 과학 컴퓨팅 센터(NERSC), 응용 수학 및 계산 연구 부문(AMCR), 미국 에너지부(DOE)의 첨단 컴퓨팅을 통한 과학적 발견(SciDAC) 프로그램 파트너 등 버클리 랩을 비롯한 여러 그룹과 협력하고 있습니다.
이 연구를 위한 사전 훈련 워크플로는 NERSC의 Perlmutter 시스템에서 실행되었습니다. “우리는 슈퍼컴퓨팅과 AI 및 과학의 미래를 연결할 수 있는 잠재력을 가진 흥미로운 예비 결과를 얻었습니다.“라고 NERSC의 수석 저자이자 머신러닝 엔지니어인 샤샨크 수브라마니안(Shashank Subramanian)이 말했습니다. 그는 이러한 기초 모델을 구축하려면 NERSC와 같은 HPC 리소스의 상당한 컴퓨팅 성능이 필요할 수 있다고 강조했습니다. “일단 훈련이 완료되면 이러한 모델은 복잡한 시뮬레이션을 가속화하고 과학적 이해를 향상시키는 데 엄청난 잠재력을 가지고 있습니다.”

OpenAI and Meta are on the brink of releasing new artificial intelligence models that they say will be capable of reasoning and planning, critical steps towards achieving superhuman cognition in machines. Executives at OpenAI and Meta both signalled this week that they were preparing to launch the next versions of their large language models, the systems that power generative AI applications such as ChatGPT. Meta said it would begin rolling out Llama 3 in the coming weeks, while Microsoft-backed OpenAI indicated that its next model, expected to be called GPT-5, was coming “soon”.

“We’re going to start to see AI that can take on more complex tasks in a more sophisticated way,” he said in an interview. “I think we’re just starting to scratch the surface on the ability that these models have to reason.”

Today’s AI systems are “really good at one-off small tasks”, Lightcap added, but were still “pretty narrow” in their capabilities.

What is learning?

https://twitter.com/MajmudarAdam/status/1778235769150423121

The Inflamed Mind: A Radical New Approach to Depression —This book reveals the new breakthrough on the link between depression and inflammation of the body and brain. A new thesis on what is a major disease state of the brain.

https://www.amazon.com/dp/B07G133P1F/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

Groq’s pivot to become a high speed inference cloud through the acquisition of
@DefinitiveIO
and
@sundeep
was brilliant - but Chamath’s comments on
@theallinpod
comparing
@GroqInc
and $NVDA misses the mark. Groq provides tremendous price / speed on smaller models - and there is a big market for that - especially among the long tail of developers - but it will not compete with $NVDA in their core markets.

Let's break it down.

Larger models are still more capable - and current evidence suggests that scaling laws remain intact and that the next gen models from later this year from OpenAI, Anthropic, Google, Meta and others will continue to get much bigger. They will have trillions of parameters that will enable higher performance and more capabilities like reasoning and action.

You can put these large models onto a single node of Blackwell NVDA chips (GB200 NVL72 can hold a ~13T parameter model on FP8) but currently would require a huge datacenter for Groq chips (1,000+ racks / 150MW+ DC) to run 1 copy of GPT-5. The upfront investment / architectural differences are huge. So for inference on these large models, Nvidia wins before we even get started.

As for smaller models, Blackwell also offers massive improvements. Inference is really constrained by memory bandwidth and H100 was historically constrained to 8x3.35TB/s = 26.8 TB/s of memory bandwidth per node. But now with GB200 NVL72, Blackwell is 72x8 TB/s = 576 TB/s of memory bandwidth. A 21x performance increase. This increase opens up larger model inferencing, as well as speed ups for inferencing on current models. The main breakthrough here is you pay a lot less of a communication tax for scaling up because of NVLink and NVswitch.

Great articles recently from
@SemiAnalysis_
and
@_fabknowledge_
make this same point. Based on analysis from
@dylan522p
, the inferencing performance of Blackwell chips could improve from 5-21x for a ~2x increase in compute costs.

With that said, the market for inference is massive and Groq’s developer engagement is impressive - there will be plenty to go around. And don’t count out
@CerebrasSystems
- they are deploying clusters at exaflop production scale & and have their own inference breakthroughs launching in the months ahead.

All of these developments suggest the cost of inference at scale is about to plummet for end customers - which is just the thing we need to unleash even more massive demand for productivity enhancing AI workloads.