올해 3월부터 AI를 공부하기 시작하면서 과거 컴퓨터가 지금의 전 산업에서 사용되는 것처럼 그것보다 더 큰 영향을 줄 거라고 예상합니다. 앞으로 3-5년이 얼마나 빠르게 바뀔지 어떻게 바뀔지 상상하고 그 변화를 만들어가는 것은 아주 설레는 일인 것 같습니다.

창업자의 관점 이외에도 투자자의 관점에서 이 변화를 어떻게 바라보면 좋을까요? 인터넷, 모바일, 클라우드 웨이브를 오랫동안 경험하신 Storm Ventures의 남태희 대표님을 모시고 'AI 시대 어디에 투자해야 할까?'에 대해서 이야기해 보려고 합니다.

일방적인 강의보다는 AI 투자에 대해서 가지고 있는 여러 생각들을 자유롭게 나눌 수 있는 자리로 만들어보려고 합니다. AI와 투자 두 가지에 진심이신 분들을 모시니 많은 관심 부탁드려요 🤗

[AI 시대 어디에 투자해야 할까?_Storm Ventures x AGI Town in Seoul]

AI 기술의 미래와 투자에 관한 중요한 토론을 위한 밋업을 주최합니다. 스톰벤처스(Storm Ventures)의 남태희 대표님을 모시고, AI 투자와 창업에 관심 있는 분들과 함께 의견을 나눌 예정입니다.

📅 일시: 2023년 9월 4일, 오후 7-9시
📍 장소: 팀스파르타 오피스 (https://goo.gl/maps/Ec88AykC21ZWr7jL7)
🎤 타임테이블:
- 참여자 소개 (30분)
- 남태희 대표님: AI 트렌드와 기회 (30분)
- Q&A 및 자유토론

좌석은 20석으로 한정되어 있으며, 참가 확정은 9월 2일까지 이메일로 알려드립니다. 이 행사는 영어로 진행됩니다.

@Minjoo Kim 님께서 도와주셔서 진행할 수 있게된 세션입니다 🙏

👉참가신청: https://forms.gle/2Sbg1RLVsiL24JcW8

지난 3월에 정리했던 노트: https://www.notion.so/matthewcontinuouslearning/AI-Trend-101-March-28-723c41aa1ca54903a270c6801b3724fe?pvs=4

최근 몇몇 빅테크의 AI 제품 관련된 발표들을 보면 다음과 같은 느낌

OpenAI: 누가 뭐라든 마이웨이

MS: MS의 근본인 업무툴에 대한 입지를 더욱 공고히 하려 함

Google: 아 C바 모르겠고 일단 남들이 하는 거 다 함

Meta: 빈집털이

Amazon: 이기는 편 우리 편

🤣🤣

Do we really need a dedicated vector store?

This new study suggests that "from a simple cost–benefit analysis, there does not appear to be a compelling reason to introduce a dedicated vector store into a modern “AI stack” for search, since such applications have already received substantial investments in existing, widely deployed infrastructure."

There are definitely cost benefits with the proposed alternative (HNSW indexes in Lucene). There is a nice analysis/comparison with alternatives in the paper. Not sure how widely applicable the insights from the experimental results are but still a great read, especially if you are looking to integrate LLMs with external knowledge or memory.

It's also interesting to see the use of Lucene as a counterpoint. I've used Lucene-dependent solutions in the past but they have been notably slow to adapt to new trends in representation learning. That is changing fast.

paper: https://arxiv.org/abs/2308.14963

I also provide weekly summaries of the latest and most important AI research and developments here: https://nlp.elvissaravia.com/

미국 대단한 이유는 10조 되는 이런 회사들 계속 등장하기 때문이라고 생각한다. 10조 회사면 코스피로 당장 들어와도 30위 권... 코로나 때는 90조 가까이 밸류 먹어서 최고점 대비하면 아주 많이 꺾였지만 그래도 아직도 10조. 창업자도 솔직하고 대화하는 스타일도 시원하다. 미국에는 이런 훌륭한 기업들 계속 나오는 이유가 시장 크기 빼고 또 무엇 때문일까?

https://youtu.be/9TmnCo8zhCA?si=fXBcjtc-TCAcx1Iu

모임의 짧은 요약 ㅎㅎ

https://trevari.co.kr/events/show?eventID=3017cd79-5bd1-4316-9c45-a070fa084bdd

수면 영양 운동 -> 사람 책-> 복리효과 -> 퀄리티있는 의사결정 -> 레버리지 -> 운과 리스크 테이킹
==> 인생에서 원하는것

1. 수면, 영양, 운동이 인생의 토양이다. 이게 되야 다른 일도 더 잘한다.
2. 좋은 사람과, 좋은 책을 곁에 두다보면 좋은 의사결정을 할 수 있는 실력이 는다.
3. 좋은 의사결정을 해야 리스크 테이킹을 잘할 수 있고 운도 따라올 수 있다.
4. 레버리지를 하면서 부가 몇번씩 크게 성장한다.
5. 운을 높이기 위한 노력을 한다. 친절하고 주변사람들에게 최선을 다하고 하루하루 쌓아가는 영역이다.
6. 운/좋은 의사결정/ 레버리지 모두 복리효과(Compound interest)가 있다.
7. 궁극적으로 인생에서 원하는 일을 하면서 잘 사는 게 중요하다. 건강-> 부 -> 미션

However, the people behind these projects often don’t have the resources available to pursue their work to conclusion or maintain it in the long run. The situation is more acute in AI than traditional infrastructure, since even fine-tuning models requires significant GPU computing resources, especially as open source models get larger.

To help close this resource gap, we’re announcing today the a16z Open Source AI Grant program. We’ll support a small group of open source developers through grant funding (not an investment or SAFE note), giving them the opportunity to continue their work without the pressure to generate financial returns.
We’re also announcing the first batch of grant recipients and funded projects:
• Jon Durbin (Airoboros): instruction-tuning LLMs on synthetic data
• Eric Hartford: fine-tuning uncensored LLMs
• Jeremy Howard (fast.ai): fine-tuning foundation models for vertical applications
• Tom Jobbins (TheBloke): quantizing LLMs to run locally
• Woosuk Kwon and Zhuohan Li (vLLM): library for high-throughput LLM inference
• Nous Research: new fine-tuned language models akin to the Nous Hermes and Puffin series
• oobabooga: web UI and platform for local LLMs
• Teknium: synthetic data pipelines for LLM training
We want to thank them for their contributions to the field, and for fostering open collaboration, learning, and advancement in AI.

어제 AGI Town in Seoul 의 첫 발표에서 추천한 책 중에 주데아 펄(Judea Pearl)의 Causality 가 있었는데 최근에 대중 버전으로 나온 The Book of Why 도 있습니다.

대개 통계를 배우게 되면 데이터로부터 알 수 있는 것은 데이터의 상관관계이지 인과관계까지 알 수는 없다고 배우고 그래서 상관관계를 인과관계로 잘못 해석하는 일이 없도록 주의하라고 배웁니다.
주데아 펄은 컴퓨터 과학자이자 철학자로 컴퓨터 과학의 노벨상이라고 할 수 있는 튜링상을 수상하기도 했습니다. 이 Causality(인과관계)라는 책에서 인과관계를 추정하는 방법으로 구조 방정식 모델링이라는 방법을 제시했다고 할 수 있습니다.

아래는 아마존의 Causality(인과관계) 소개 글을 DeepL로 번역한 겁니다.

"이 분야의 저명한 연구자 중 한 명이 쓴 이 책은 인과관계에 대한 현대적 분석에 대한 포괄적인 설명을 제공합니다. 이 책은 인과관계가 모호한 개념에서 통계, 인공 지능, 경제, 철학, 인지 과학, 보건 및 사회 과학 분야에서 중요한 응용 분야를 가진 수학적 이론으로 어떻게 성장했는지를 보여줍니다. 쥬데아 펄은 인과관계에 대한 확률적, 조작적, 사실적, 구조적 접근법을 제시하고 통합하며 인과관계와 통계적 연관성 사이의 관계를 연구하기 위한 간단한 수학적 도구를 고안합니다. 이 책은 통계, 인공 지능, 비즈니스, 역학, 사회과학, 경제학의 표준 커리큘럼에 인과 분석을 포함할 수 있는 길을 열어줄 것입니다. 이러한 분야의 학생들은 기존 교과서가 회피하거나 지나치게 복잡하게 만든 인과 관계 개념에 대한 자연스러운 모델, 간단한 추론 절차, 정확한 수학적 정의를 발견하게 될 것입니다. 인과관계의 초판은 통계학, 철학, 컴퓨터 과학, 사회과학, 경제학에서 인과관계를 다루는 방식에 패러다임의 변화를 가져왔습니다. 5,000개 이상의 과학 출판물에 인용된 이 책은 과학자들을 전통적인 통계적 사고의 틀에서 벗어나게 해주고 있습니다. 이번 개정판에서 쥬데아 펄은 까다로운 문제를 해명하고, 독자의 질문에 답하며, 이 연구 분야의 최근 진전을 한눈에 볼 수 있는 시각을 제공합니다. 인과관계는 다양한 분야의 학생과 전문가들이 관심을 가질 만한 주제입니다. 데이터에서 의미 있는 관계를 규명하고, 행동과 정책의 효과를 예측하고, 보고된 사건에 대한 설명을 평가하고, 인과관계 이해와 인과관계 연설에 대한 이론을 형성하고자 하는 사람이라면 누구나 이 책을 통해 자극을 받고 귀중한 정보를 얻을 수 있을 것입니다."

두 책 모두 한국어 번역서는 아직 없는 듯합니다.

Causality
https://www.amazon.com/Causality-Reasoning.../dp/052189560X

The Book of Why: The New Science of Cause and Effect
https://www.amazon.com/Book-Why-Science.../dp/046509760X

Life is, contrary to what every drunk little league dad is convinced of, not like sports. Sports have specific rules. As confident as you are, you might be able to convince people for a few seconds as confusion still reigns. But when the dust settles? It was ball three. And then you're out. The rules come for everyone (unless... you know, like roids I guess.)

In life, we play games that are riddled with a lack of rules. And, to Nate's point, confidence can get you quite far. Because so many of the games we're playing are pretty stupid games.

Every company wants to have the biggest aspirations. And often, those hungry ambitions are what makes a great founder. But anchoring your expectations in a different game will almost always lead to dissatisfaction. Michael Jordan was the greatest basketball player of all time, but a middling baseball player. The games we play should shape our expectations about our potential outcomes.

Granted, it isn't just founders that are shaping these expected (and often dramatically inflated) outcomes. The business model of venture capital has done a lot to force founders to focus on very different games because investors need very different outcomes to make their own math work.

Stupider games are not realizing that other people are playing different games. OpenAI is playing a different game. Capital agglomerators are playing different games. Chamath is playing a different game. One of the biggest obstacles to most of the systems in the world, whether its healthcare, criminal justice, mental health, housing, or capitalism itself—all of them are filled with people playing different games.

Playing different games: 스타트업 펀딩에 대한 고찰.

내가 어떤 판에 속해있는지 이해하고, 나랑 맞는 게임을 해야한다.

사람들은 다 각자의 게임을 하고 있다. 그걸 이해하지 못하면, 파편화된 현대사회를 제대로 바라보지 못하게 되는 것.

이번 주에 읽은 글 중 가장 흥미롭다.

https://investing1012dot0.substack.com/p/player-different-stupider-games?trk=feed_main-feed-card_feed-article-content

Steve Jobs와 John Lasseter로부터 배우다: The technology, in itself, isn't the golden ticket.

https://youtu.be/SgWdjvRgouk

1996년에 Pixar에 대해서 인터뷰하러 나온 Steve와 John의 영상을 봤다. 이야기를 나누는 내용을 듣다 보니 지금의 AI 회사들이 살펴볼 만한 내용들이 있어서 공유합니다.

1. 픽사 성공의 비결
픽사의 성공은 고급 그래픽이나 최첨단 컴퓨터 비전에서 나오는 게 아니라, 고객을 빠지게 만드는 스토리텔링 능력, 협력적인 팀 문화, 다양한 관객에게 울림을 줄 수 있는 내용 덕분에 가능했다. 결국 본질은 좋은 영화를 만드는 것이었다.

2. The technology, in itself, isn't the golden ticket.
AI 스타트업 창업자들은 고객의 문제를 깊게 이해하고, 자기 업의 본질을 깊게 고민하고, 결국 고객이 서비스/제품을 만족하며 구매하게 해야 한다. 역사적으로 기술이 아닌 고객에게 집착한 회사들만이 살아남아서 산업을 만들고 역사를 써 내려갔다.
그래서 우리는 AI가 가진 무한한 잠재력 때문에 기술이 주인이라고 착각하지 않기 위해 주의해야 한다. AI는 훌륭한 도구이지만, 결국 이 도구를 통해서 누구의 문제를 해결할지가 더 중요하다.

3. 새로운 경험
물론, 기술의 발전으로 지난 50년을 돌아보면 같은 세상이 맞나 싶을 정도로 많은 변화가 있었다. 앞으로 10년간 비슷한 어쩌면 훨씬 더 빠른 변화가 있을 것이다. 그 변화를 만들 주인공들은 기술 그 자체보다는 고객에게 집착한 편집광들이지 않을까?

Causal Inference and Discovery in Python

쥬데아 펄의 인과관계 이론을 실제로 응용하는 방법에 대한 책이랍니다. 올해 5월에 나온 책입니다.

아래는 책에 대한 아마존의 소개글을 DeepL로 번역한 겁니다.

인과적 방법은 기존의 머신러닝 및 통계와 비교할 때 고유한 과제를 안고 있습니다. 인과 관계를 학습하는 것은 어려울 수 있지만, 순수한 통계적 사고방식과는 다른 뚜렷한 이점을 제공합니다. Python의 인과 관계 추론 및 발견은 인과 관계의 잠재력을 발휘할 수 있도록 도와줍니다.

인과적 사고의 기본 동기와 구조적 인과 모델, 개입, 반증 등 쥬데아 펄의 인과 개념에 대한 포괄적인 소개부터 시작하게 됩니다. 각 개념에는 이론적 설명과 Python 코드를 사용한 일련의 실습이 함께 제공됩니다.

그 다음에는 인과 관계 추정의 세계로 뛰어들어 최신 머신 러닝 방법으로 일관되게 진행합니다. 단계별로 Python 인과 관계 생태계를 발견하고 최첨단 알고리즘의 힘을 활용하게 됩니다. 또한 '원인이 흔적을 남기는' 메커니즘을 살펴보고 인과 관계 발견 알고리즘의 주요 제품군을 비교하게 됩니다.

마지막 장에서는 인과 관계 AI의 미래에 대한 폭넓은 전망을 제시하며, 도전 과제와 기회를 살펴보고 자세히 알아볼 수 있는 포괄적인 리소스 목록을 제공합니다.

A root cause of founders being deeply confused/hurt/offended by investor behavior is the assumption that if someone says they are an investor they must be competent.

Sadly, there is no competence certification for someone to say they are an investor. Act accordingly.

💯

Be aware of the world’s magical, mystical, and artistic sides. The most important things in life are not the goal-oriented, materialistic things that everyone and everything tries to convince you to strive for. Most of you know that deep inside. Think back on this spring—the last three or four months—when you are winding down high school, know where you are going next year, and begin to really have strong intuitions about the world you will encounter. Maybe you see an image of yourself in Paris, sculpting in an artist’s studio as the setting sun shines in the paned windows. Maybe you’re in India, running a hospital for poor children, and you hear the distant clatter of the outdoor marketplace in the early morning. Maybe you see yourself in a recording studio laying down a track for your album. Maybe you see yourself alone in a rented room at 4:30 in the morning being the only person alive to understand a new law of physics you just figured out.

Whatever it may be, I bet many of you have had some of these intuitive feelings about what you could do with your lives. These feelings are very real, and if nurtured can blossom into something wonderful and magical. A good way to remember these kinds of intuitive feelings is to walk alone near sunset—and spend a lot of time looking at the sky in general. We are never taught to listen to our intuitions, to develop and nurture our intuitions. But if you do pay attention to these subtle insights, you can make them come true.

- Steve Jobs' Speech at Palo Alto High School