Do we really need a dedicated vector store?

This new study suggests that "from a simple cost–benefit analysis, there does not appear to be a compelling reason to introduce a dedicated vector store into a modern “AI stack” for search, since such applications have already received substantial investments in existing, widely deployed infrastructure."

There are definitely cost benefits with the proposed alternative (HNSW indexes in Lucene). There is a nice analysis/comparison with alternatives in the paper. Not sure how widely applicable the insights from the experimental results are but still a great read, especially if you are looking to integrate LLMs with external knowledge or memory.

It's also interesting to see the use of Lucene as a counterpoint. I've used Lucene-dependent solutions in the past but they have been notably slow to adapt to new trends in representation learning. That is changing fast.

paper: https://arxiv.org/abs/2308.14963

I also provide weekly summaries of the latest and most important AI research and developments here: https://nlp.elvissaravia.com/

미국 대단한 이유는 10조 되는 이런 회사들 계속 등장하기 때문이라고 생각한다. 10조 회사면 코스피로 당장 들어와도 30위 권... 코로나 때는 90조 가까이 밸류 먹어서 최고점 대비하면 아주 많이 꺾였지만 그래도 아직도 10조. 창업자도 솔직하고 대화하는 스타일도 시원하다. 미국에는 이런 훌륭한 기업들 계속 나오는 이유가 시장 크기 빼고 또 무엇 때문일까?

https://youtu.be/9TmnCo8zhCA?si=fXBcjtc-TCAcx1Iu

모임의 짧은 요약 ㅎㅎ

https://trevari.co.kr/events/show?eventID=3017cd79-5bd1-4316-9c45-a070fa084bdd

수면 영양 운동 -> 사람 책-> 복리효과 -> 퀄리티있는 의사결정 -> 레버리지 -> 운과 리스크 테이킹
==> 인생에서 원하는것

1. 수면, 영양, 운동이 인생의 토양이다. 이게 되야 다른 일도 더 잘한다.
2. 좋은 사람과, 좋은 책을 곁에 두다보면 좋은 의사결정을 할 수 있는 실력이 는다.
3. 좋은 의사결정을 해야 리스크 테이킹을 잘할 수 있고 운도 따라올 수 있다.
4. 레버리지를 하면서 부가 몇번씩 크게 성장한다.
5. 운을 높이기 위한 노력을 한다. 친절하고 주변사람들에게 최선을 다하고 하루하루 쌓아가는 영역이다.
6. 운/좋은 의사결정/ 레버리지 모두 복리효과(Compound interest)가 있다.
7. 궁극적으로 인생에서 원하는 일을 하면서 잘 사는 게 중요하다. 건강-> 부 -> 미션

However, the people behind these projects often don’t have the resources available to pursue their work to conclusion or maintain it in the long run. The situation is more acute in AI than traditional infrastructure, since even fine-tuning models requires significant GPU computing resources, especially as open source models get larger.

To help close this resource gap, we’re announcing today the a16z Open Source AI Grant program. We’ll support a small group of open source developers through grant funding (not an investment or SAFE note), giving them the opportunity to continue their work without the pressure to generate financial returns.
We’re also announcing the first batch of grant recipients and funded projects:
• Jon Durbin (Airoboros): instruction-tuning LLMs on synthetic data
• Eric Hartford: fine-tuning uncensored LLMs
• Jeremy Howard (fast.ai): fine-tuning foundation models for vertical applications
• Tom Jobbins (TheBloke): quantizing LLMs to run locally
• Woosuk Kwon and Zhuohan Li (vLLM): library for high-throughput LLM inference
• Nous Research: new fine-tuned language models akin to the Nous Hermes and Puffin series
• oobabooga: web UI and platform for local LLMs
• Teknium: synthetic data pipelines for LLM training
We want to thank them for their contributions to the field, and for fostering open collaboration, learning, and advancement in AI.

어제 AGI Town in Seoul 의 첫 발표에서 추천한 책 중에 주데아 펄(Judea Pearl)의 Causality 가 있었는데 최근에 대중 버전으로 나온 The Book of Why 도 있습니다.

대개 통계를 배우게 되면 데이터로부터 알 수 있는 것은 데이터의 상관관계이지 인과관계까지 알 수는 없다고 배우고 그래서 상관관계를 인과관계로 잘못 해석하는 일이 없도록 주의하라고 배웁니다.
주데아 펄은 컴퓨터 과학자이자 철학자로 컴퓨터 과학의 노벨상이라고 할 수 있는 튜링상을 수상하기도 했습니다. 이 Causality(인과관계)라는 책에서 인과관계를 추정하는 방법으로 구조 방정식 모델링이라는 방법을 제시했다고 할 수 있습니다.

아래는 아마존의 Causality(인과관계) 소개 글을 DeepL로 번역한 겁니다.

"이 분야의 저명한 연구자 중 한 명이 쓴 이 책은 인과관계에 대한 현대적 분석에 대한 포괄적인 설명을 제공합니다. 이 책은 인과관계가 모호한 개념에서 통계, 인공 지능, 경제, 철학, 인지 과학, 보건 및 사회 과학 분야에서 중요한 응용 분야를 가진 수학적 이론으로 어떻게 성장했는지를 보여줍니다. 쥬데아 펄은 인과관계에 대한 확률적, 조작적, 사실적, 구조적 접근법을 제시하고 통합하며 인과관계와 통계적 연관성 사이의 관계를 연구하기 위한 간단한 수학적 도구를 고안합니다. 이 책은 통계, 인공 지능, 비즈니스, 역학, 사회과학, 경제학의 표준 커리큘럼에 인과 분석을 포함할 수 있는 길을 열어줄 것입니다. 이러한 분야의 학생들은 기존 교과서가 회피하거나 지나치게 복잡하게 만든 인과 관계 개념에 대한 자연스러운 모델, 간단한 추론 절차, 정확한 수학적 정의를 발견하게 될 것입니다. 인과관계의 초판은 통계학, 철학, 컴퓨터 과학, 사회과학, 경제학에서 인과관계를 다루는 방식에 패러다임의 변화를 가져왔습니다. 5,000개 이상의 과학 출판물에 인용된 이 책은 과학자들을 전통적인 통계적 사고의 틀에서 벗어나게 해주고 있습니다. 이번 개정판에서 쥬데아 펄은 까다로운 문제를 해명하고, 독자의 질문에 답하며, 이 연구 분야의 최근 진전을 한눈에 볼 수 있는 시각을 제공합니다. 인과관계는 다양한 분야의 학생과 전문가들이 관심을 가질 만한 주제입니다. 데이터에서 의미 있는 관계를 규명하고, 행동과 정책의 효과를 예측하고, 보고된 사건에 대한 설명을 평가하고, 인과관계 이해와 인과관계 연설에 대한 이론을 형성하고자 하는 사람이라면 누구나 이 책을 통해 자극을 받고 귀중한 정보를 얻을 수 있을 것입니다."

두 책 모두 한국어 번역서는 아직 없는 듯합니다.

Causality
https://www.amazon.com/Causality-Reasoning.../dp/052189560X

The Book of Why: The New Science of Cause and Effect
https://www.amazon.com/Book-Why-Science.../dp/046509760X

Life is, contrary to what every drunk little league dad is convinced of, not like sports. Sports have specific rules. As confident as you are, you might be able to convince people for a few seconds as confusion still reigns. But when the dust settles? It was ball three. And then you're out. The rules come for everyone (unless... you know, like roids I guess.)

In life, we play games that are riddled with a lack of rules. And, to Nate's point, confidence can get you quite far. Because so many of the games we're playing are pretty stupid games.

Every company wants to have the biggest aspirations. And often, those hungry ambitions are what makes a great founder. But anchoring your expectations in a different game will almost always lead to dissatisfaction. Michael Jordan was the greatest basketball player of all time, but a middling baseball player. The games we play should shape our expectations about our potential outcomes.

Granted, it isn't just founders that are shaping these expected (and often dramatically inflated) outcomes. The business model of venture capital has done a lot to force founders to focus on very different games because investors need very different outcomes to make their own math work.

Stupider games are not realizing that other people are playing different games. OpenAI is playing a different game. Capital agglomerators are playing different games. Chamath is playing a different game. One of the biggest obstacles to most of the systems in the world, whether its healthcare, criminal justice, mental health, housing, or capitalism itself—all of them are filled with people playing different games.

Playing different games: 스타트업 펀딩에 대한 고찰.

내가 어떤 판에 속해있는지 이해하고, 나랑 맞는 게임을 해야한다.

사람들은 다 각자의 게임을 하고 있다. 그걸 이해하지 못하면, 파편화된 현대사회를 제대로 바라보지 못하게 되는 것.

이번 주에 읽은 글 중 가장 흥미롭다.

https://investing1012dot0.substack.com/p/player-different-stupider-games?trk=feed_main-feed-card_feed-article-content

Steve Jobs와 John Lasseter로부터 배우다: The technology, in itself, isn't the golden ticket.

https://youtu.be/SgWdjvRgouk

1996년에 Pixar에 대해서 인터뷰하러 나온 Steve와 John의 영상을 봤다. 이야기를 나누는 내용을 듣다 보니 지금의 AI 회사들이 살펴볼 만한 내용들이 있어서 공유합니다.

1. 픽사 성공의 비결
픽사의 성공은 고급 그래픽이나 최첨단 컴퓨터 비전에서 나오는 게 아니라, 고객을 빠지게 만드는 스토리텔링 능력, 협력적인 팀 문화, 다양한 관객에게 울림을 줄 수 있는 내용 덕분에 가능했다. 결국 본질은 좋은 영화를 만드는 것이었다.

2. The technology, in itself, isn't the golden ticket.
AI 스타트업 창업자들은 고객의 문제를 깊게 이해하고, 자기 업의 본질을 깊게 고민하고, 결국 고객이 서비스/제품을 만족하며 구매하게 해야 한다. 역사적으로 기술이 아닌 고객에게 집착한 회사들만이 살아남아서 산업을 만들고 역사를 써 내려갔다.
그래서 우리는 AI가 가진 무한한 잠재력 때문에 기술이 주인이라고 착각하지 않기 위해 주의해야 한다. AI는 훌륭한 도구이지만, 결국 이 도구를 통해서 누구의 문제를 해결할지가 더 중요하다.

3. 새로운 경험
물론, 기술의 발전으로 지난 50년을 돌아보면 같은 세상이 맞나 싶을 정도로 많은 변화가 있었다. 앞으로 10년간 비슷한 어쩌면 훨씬 더 빠른 변화가 있을 것이다. 그 변화를 만들 주인공들은 기술 그 자체보다는 고객에게 집착한 편집광들이지 않을까?

Causal Inference and Discovery in Python

쥬데아 펄의 인과관계 이론을 실제로 응용하는 방법에 대한 책이랍니다. 올해 5월에 나온 책입니다.

아래는 책에 대한 아마존의 소개글을 DeepL로 번역한 겁니다.

인과적 방법은 기존의 머신러닝 및 통계와 비교할 때 고유한 과제를 안고 있습니다. 인과 관계를 학습하는 것은 어려울 수 있지만, 순수한 통계적 사고방식과는 다른 뚜렷한 이점을 제공합니다. Python의 인과 관계 추론 및 발견은 인과 관계의 잠재력을 발휘할 수 있도록 도와줍니다.

인과적 사고의 기본 동기와 구조적 인과 모델, 개입, 반증 등 쥬데아 펄의 인과 개념에 대한 포괄적인 소개부터 시작하게 됩니다. 각 개념에는 이론적 설명과 Python 코드를 사용한 일련의 실습이 함께 제공됩니다.

그 다음에는 인과 관계 추정의 세계로 뛰어들어 최신 머신 러닝 방법으로 일관되게 진행합니다. 단계별로 Python 인과 관계 생태계를 발견하고 최첨단 알고리즘의 힘을 활용하게 됩니다. 또한 '원인이 흔적을 남기는' 메커니즘을 살펴보고 인과 관계 발견 알고리즘의 주요 제품군을 비교하게 됩니다.

마지막 장에서는 인과 관계 AI의 미래에 대한 폭넓은 전망을 제시하며, 도전 과제와 기회를 살펴보고 자세히 알아볼 수 있는 포괄적인 리소스 목록을 제공합니다.

A root cause of founders being deeply confused/hurt/offended by investor behavior is the assumption that if someone says they are an investor they must be competent.

Sadly, there is no competence certification for someone to say they are an investor. Act accordingly.

💯

Be aware of the world’s magical, mystical, and artistic sides. The most important things in life are not the goal-oriented, materialistic things that everyone and everything tries to convince you to strive for. Most of you know that deep inside. Think back on this spring—the last three or four months—when you are winding down high school, know where you are going next year, and begin to really have strong intuitions about the world you will encounter. Maybe you see an image of yourself in Paris, sculpting in an artist’s studio as the setting sun shines in the paned windows. Maybe you’re in India, running a hospital for poor children, and you hear the distant clatter of the outdoor marketplace in the early morning. Maybe you see yourself in a recording studio laying down a track for your album. Maybe you see yourself alone in a rented room at 4:30 in the morning being the only person alive to understand a new law of physics you just figured out.

Whatever it may be, I bet many of you have had some of these intuitive feelings about what you could do with your lives. These feelings are very real, and if nurtured can blossom into something wonderful and magical. A good way to remember these kinds of intuitive feelings is to walk alone near sunset—and spend a lot of time looking at the sky in general. We are never taught to listen to our intuitions, to develop and nurture our intuitions. But if you do pay attention to these subtle insights, you can make them come true.

- Steve Jobs' Speech at Palo Alto High School

https://www.longblack.co/note/811?ticket=NTb25bc27a5a418e6d7e3623aca2ba983d47e6b7ef

“루이비통 지갑을 든 여성들이 99센트 스토어에서 립글로스를 쓸어담더군요. 여기에 ‘큰 시장’이 있다고 직감했어요. 고소득층도 좋아할 초저가 화장품을 만들기로 했습니다.”
_스콧 빈센트 보바 엘프 창업자, 2006년 CNN 인터뷰에서

‘비싸야 고급이 아니라, 품질이 우수하면 고급’이라 생각한 거예요. ‘모두를 위한 럭셔리Luxury for all’를 지향했죠. 브랜드 이름은 ‘눈 입술 얼굴Eyes Lips Face’. 줄여서 엘프e.l.f.로 지었어요. 엘프는 양질의 립스틱과 브러쉬를 1달러대로 출시했습니다. 어떻게 가능했을까요?

창업 20년 차지만, 엘프는 지금도 초저가예요. 립스틱은 3달러부터 시작하고, 5달러짜리 ‘멀티 스틱’은 아마존 베스트셀러죠. 립밤처럼 촉촉한 제형으로 눈가와 입술, 뺨에 모두 바를 수 있어요. 인기 색상은 자연스런 복숭아빛, 발랄한 망고빛, 차분한 장미빛.

그런데 초기엔 홍보가 어려웠어요. 받아주는 소매점이 없었거든요. 2004년 창업자 조셉은 고민 끝에 홍보사에 부탁했어요. “모든 잡지에 엘프를 실어주세요!”

잡지사들은 파격적인 ‘1달러 화장품’에 놀랐어요. 실어줄 테니 독자들이 구매할 곳을 알려달라고 했죠. 엘프는 급히 온라인 자사몰을 만들었어요.

잡지에 소개된 엘프의 화장품은, 반향을 일으켰어요. 지금은 저가 화장품이 흔하지만 당시로선 ‘가격 붕괴’였거든요.

“굿 하우스키핑(미국의 여성지)은 우리의 1달러짜리 립글로스를 타사의 24달러짜리와 비교했어요. 결론적으로, 품질이 비슷하다고 평가했죠.”
_조셉 샤마 엘프 창업자, 2006년 CNN 인터뷰에서

‘소매점 입점 실패’도 결론적으론 비용을 절감했어요. 2004년 미국과는 좀 다르겠지만, 요즘 올리브영 입점 수수료를 아시나요? 40% 전후예요. 신생 브랜드에겐 큰 비용이죠.

엘프는 ‘온라인 자사몰’로 소비자에게 직접 파는 DTCDirect to customer 시스템을 만들었어요. SNS는커녕 스마트폰도 없던 시절에 낯선 도전이었죠. 하지만 가격 룰을 깨며 ‘디지털 네이티브Digital Native’로 데뷔한 덕에, ‘개척자 효과First mover advantage’를 봤어요. 저가 화장품의 대명사가 됐죠.

엘프는 ‘저렴이 버전dupe’으로 유명해요. 뷰티 브랜드 나스NARS의 45달러(6만원)짜리 코랄색 블러셔와 비슷한 제품이 엘프에선 10달러(1만3000원). 크리니크의 25달러(3만3000원)짜리 ‘블랙 체리’ 립스틱의 닮은꼴도 엘프에선 10달러.

엘프는 빨라요. 타사의 히트 상품이 나오면, Z세대의 ‘갖고 싶단 열망’이 식기 전에 따끈한 저렴이를 내놔요. 원조를 살 수 없는 10대에게 ‘대안’을 주죠.

“몇 해 전, 한 고급 브랜드가 52달러(7만원)짜리 프라이머*를 출시했어요. 여기서 영감을 얻어 고유한 성분을 추가하고, 8달러(1만원)짜리 프라이머를 선보였어요.
*색조 화장 전, 피붓결을 매끈하게 하기 위하여 바르는 화장품.

‘8달러’라는 가격은 다양한 소비자를 불렀어요. 작년 데이터를 보면 고급 프라이머의 9배 이상을 판매했죠. 우리가 제안하는 가치와 품질, 특별한 가격이 이 시대와 맞아떨어진다고 생각합니다.”
_타랑 아민 엘프 뷰티 CEO, 2023년 인디고9디지털 인터뷰에서

속도의 비결은 뭘까요? 엘프가 밝히진 않지만 ‘성분표’를 보면 추측돼요.

화장품은 피부에 바르는 만큼 ‘안전성·안정성 테스트’가 필수예요. 영하 40도, 영상 40도에도 상하지 않아야 하고, 테스트가 2개월 가까이 걸리죠. 엘프는 테스트를 마친 제품에 ‘마케팅 원료’*만 바꾸며 신제품을 출시할 확률이 높아요. 성분표를 보면 큰 틀을 벗어나지 않거든요.
*함량이 높진 않지만 마케팅, 홍보에 언급되는 원료.

엘프를 향한 비판도 많아요. ‘타사에서 공들인 신제품을 아이디어만 차용해 판매가를 낮춰 파는 것’이 옳은가에 대한 지적이에요. 엘프 외에도 저렴이 브랜드가 늘어 고급 브랜드의 고민이 늘었어요.

다른 저가 화장품과 엘프의 차이는, 엘프가 Z세대에 올인하는 거예요. 10대는 메이크업 세계의 초기 진입자여서, 색이나 제형에 대한 민감도가 비교적 낮아요. 엘프는 ‘적정 감도’와 ‘최저가’로 Z세대의 욕구를 채우죠.

엘프는 처음부터 동물 실험을 생략한 비건 화장품을 선보였어요. PETA 인증*을 받고, 뷰티 회사 최초로 공정무역 인증 공장을 이용했죠. 왜 그랬을까요?
*People for the Ethical Treatment of Animals. 동물 권리를 위한 국제 단체이다

“저에겐 시장의 틈새를 찾으려는 열망이 있었어요. 그 틈새를 키우고 완성하려는 열망 말이에요.”
_조셉 샤마 엘프 창업자, 2021년 프롬 더 파운더 인터뷰에서


2014년 사모펀드 TPG 그로우스Growth가 엘프를 인수했어요. 전후로 변화가 생겼죠. 공동 창업자들은 엘프를 떠나 새 사업을 벌였어요.

2015년 엘프에 새로운 CEO가 등장해요. 지금까지 활약하는 타랑 아민Tarang Amin. 인도계 이민자인 그는 엘프의 ‘파괴자 정신’에 새 DNA를 추가했어요. 바로 ‘다양한 아름다움’. 아민은 먼저 다양한 직원부터 고용했어요.

“우리 회사가 85%의 여성, 75%의 밀레니엄 세대, 60% 이상의 여러 인종으로 구성된 데에 자부심을 느낍니다. 고객과 똑같은 뷰티 매니아로 가득한 게 조직의 강점이에요.”
_타랑 아민 엘프 뷰티 CEO, 2019년 포브스 인터뷰에서

1명의 빅샷보다 50명의 마이크로 인플루언서
엘프는 100만 팔로워를 둔 1명의 인플루언서보다, 1000명의 팔로워를 둔 마이크로 인플루언서 50명을 소중히 여겨요. 그들에게 파티를 열어주고, 대화하게 하죠.

“마이크로 인플루언서들은 진정성 있는 팔로워를 지녔어요. 성장하기 위해 신뢰할 수 있는 콘텐츠만 만들거든요. 그들이 엘프 화장품을 리뷰할 때 팬들은 경청합니다.”
_마라 맥퀸 엘프 뷰티 전 부사장, 2017년 패셔니스타 인터뷰에서

이때 새로운 CMO 코리 마르키소토Kory Marchisotto가 엘프에 합류해요. LVMH에서 일하던 그는 엘프에서 Z세대를 지켜보다 결심해요. 뷰티 업계 최초로 틱톡에 진입하기로요.

“우리에겐 ‘이탈자 정신’이 충만해요. 늘 새로운 플랫폼과 고객을 탐색합니다.”
_코리 마르키소토 엘프 뷰티 CMO, 2020년 치프 마케터 인터뷰에서

그런데 웬걸. 틱톡에 가보니 #elfcosmetics 해시태그를 단 게시물이 이미 350만 개나 있었어요! Z세대의 자발적인 흔적이었죠. 깜짝 놀란 엘프. 지지부진한 오프라인 매장을 싹 정리해요. 대신 틱톡에 올인했죠.

“틱톡에서 고객들이 뭘 하나 살폈어요. 노래하고 춤추더군요. 그런데 고객들이 ‘엘프’의 뜻이 ‘눈, 입술, 얼굴’인 걸 모른다는 점을 깨달았어요. 그래서 ‘눈, 입술, 얼굴’이 반복되는 중독적인 음악부터 만들었죠.”
_코리 마르키소토 엘프 뷰티 CMO, 2023년 CEW 인터뷰에서

2019년 연말. 엘프는 브랜드 최초로 15초짜리 오리지널 음악을 틱톡에 선보였어요. 결과는? 휩쓸었어요. 틱톡커들은 엘프의 노래와 함께 무려 ‘100억 개’의 게시물을 쏟아냈죠.

컬래버 : 엘프는 엔터테인먼트 브랜드다

엘프에게 컬래버레이션은 ‘Z세대의 일상을 담는 그릇’이에요. Z세대가 자주 가는 레스토랑, 즐겨 입는 청바지, 팔로우한 게이머와 손잡죠.

2021년엔 Z세대가 좋아하는 멕시코 음식점 ‘치폴레Chipotle’와 협업했어요. 매운 살사소스처럼 입술을 통통하게 만드는 립글로스. 부리또에 들어가는 양상추와 구운 콩의 색감을 담은 아이섀도우. 이 엉뚱한 제품들, 11분 만에 매진됐어요. Z세대에겐 ‘최애 더하기 최애’였으니까요.

2023년 엘프는 1480만 팔로워를 둔 뷰티 틱톡커, 미카일라 노게이Mikayla Nogueira와 함께했어요. 결혼을 앞둔 미카일라를 위해 웨딩 립스틱을 출시했죠. 이것도 18분 만에 매진. 뷰티 인플루언서의 결혼이 Z세대에게 최고의 가십인 걸 이용했어요.

컬래버 : 엘프는 엔터테인먼트 브랜드다
엘프에게 컬래버레이션은 ‘Z세대의 일상을 담는 그릇’이에요. Z세대가 자주 가는 레스토랑, 즐겨 입는 청바지, 팔로우한 게이머와 손잡죠.

2021년엔 Z세대가 좋아하는 멕시코 음식점 ‘치폴레Chipotle’와 협업했어요. 매운 살사소스처럼 입술을 통통하게 만드는 립글로스. 부리또에 들어가는 양상추와 구운 콩의 색감을 담은 아이섀도우. 이 엉뚱한 제품들, 11분 만에 매진됐어요. Z세대에겐 ‘최애 더하기 최애’였으니까요.

2023년 엘프는 1480만 팔로워를 둔 뷰티 틱톡커, 미카일라 노게이Mikayla Nogueira와 함께했어요. 결혼을 앞둔 미카일라를 위해 웨딩 립스틱을 출시했죠. 이것도 18분 만에 매진. 뷰티 인플루언서의 결혼이 Z세대에게 최고의 가십인 걸 이용했어요.