To advance beyond the capabilities of today's models, we need spatially intelligent AI that can model the world and reason about objects, places, and interactions in 3D space and time.

We aim to lift AI models from the 2D plane of pixels to full 3D worlds - both virtual and real - endowing them with spatial intelligence as rich as our own. Human spatial intelligence evolved over millennia; but in this time of extraordinary progress, we see the opportunity to imbue AI with this ability in the near term.

World Labs was founded by visionary AI pioneer Fei-Fei Li along with Justin Johnson, Christoph Lassner, and Ben Mildenhall; each a world-renowned technologist in computer vision and graphics. We are bringing together the most formidable slate of pixel talent ever assembled - from AI research to systems engineering to product design - creating a tight feedback loop between our spatially intelligent foundation models and products that will empower our users.

샘젤

부모님이 내게 남긴 유산은 지능, 호기심, 추진력, 회복탄력성 그리고 자기 결단력이었다. 부모님은 내게 배움에 대한 헌신과 그것을 실생활에 적용하는 방법, 관습에 도전하는 것, 남들이 머물 때 떠나는 법, 위함을 인식하고 대비하는 것에 대한 이해를 심어주었다.

OnlyFans의 놀라운 경제 구조 분석
성인 플랫폼이라는 이유로 다들 흐린 눈하고 보는 OnlyFans의 수익은 8.3조원으로 5년전보다 2000% 넘게 성장했음.
2023년 기준 창작자에게 지급한 돈이 총 7조원인데,
2023~2024시즌 NBA 전체 연봉이 6.5조원, 프리미어리그가 7조원임.
구독 기반이지만 실제 매출의 60% 이상이 구독이 아닌 거래에서 발생. PornHub, RedTube, YouPorn등을 모두 소유한 포르노 대기업 Aylo(예전 MindGeek)보다 2배 이상 크고, 가입자가 3억명이 넘어감. 창작자에게 80%대의 높은 수익 분배가 가능한 이유는 웹만 지원하기 때문.
글의 마지막에 있는 질문 2가지가 재미남
- X(전 트위터)의 성인 콘텐츠 허용이 OnlyFans에 미칠 영향
- 생성형 AI가 성인 콘텐츠 산업에 미칠 영향
Breaking Down OnlyFans’ Stunning Economics : 글 내용 요약
- Fenix International (“OnlyFans”)은 영국 기반의 사기업이지만, 제한적이지만 공개적으로 사업 정보를 제공해야 함
- 2024년 OnlyFans의 총 매출은 약 8.3조 원($6.3B)으로, 5년 전인 2019년의 약 4,000억 원에서 크게 증가함
- 2023년 수익은 전년 대비 19% 증가한 약 1.4조($1.1B) 증가로, 2022년의 16% 성장률보다 3%p 높음
- 구독을 기반으로 하지만, 매출의 60% 이상이 구독이 아닌 거래에서 발생함
- 캔디크러시 같은 게임에서 보이는 소액 결제가 아닌 "수십 달러" 이상의 추가 구매가 이루어짐
- 구독 매출은 2021년 이후 9%($227M, 3000억원) 증가한 반면, 거래 지출은 70%(또는 $1.6B, 2.1조원) 증가해 전체 성장의 88%를 차지함
- OnlyFans의 매출은 'Aylo'와 같은 포르노 대기업보다 2배 이상 크고, 3억 명 이상의 가입자를 보유함
- Aylo(예전 MindGeek)은 PornHub, Brazzers, RedTube, YouPorn, XTube를 소유함
- 미국 사용자가 매출의 2/3를 차지하고, 영국과 유럽이 16%, 나머지 17%는 '기타 세계'임
# OnlyFans 수익의 성장 요인
- OnlyFans 브랜드 인지도의 증가. 이제 "OnlyFans"가 친밀한 크리에이터 구독을 의미하는 일반명사화됨
- Cardi B, Bella Thorn, Denise Richards, Carmen Electa, Larsa Pippen, Tyga, DJ Khaled, Fat Joe 등 유명 크리에이터들의 합류. 일부는 포르노 콘텐츠를 제공하지 않기도 함
- 규제로 인해 성인물 시장 리더들이 대부분의 카탈로그를 삭제하고 엄격한 신규 업로드 절차를 밟아야 함
- Reddit, Tumblr 등 소셜미디어의 성인물 금지(또는 사실상 금지) 정책으로 인한 시장 공백 발생
- 많은 팔로워를 가진 크리에이터들이 팬을 OnlyFans로 적극적으로 유도하게 됨
- OnlyFans 크리에이터들은 Reddit, Imgur, Instagram, TikTok, Twitter 등을 OnlyFans 고객 유치의 "현관문"으로 활용함
- 이들 플랫폼은 OnlyFans와 직접 경쟁하지 않고 성인물을 금지하기에, 서비스 약관을 준수하는 한도 내에서 이러한 행위를 허용함
- 오히려 이 플랫폼들은 OnlyFans 크리에이터들의 바이럴 콘텐츠 제작으로 혜택을 보게 됨
# OnlyFans 성공의 또 다른 이유
- OnlyFans의 크리에이터 수익 분배율은 80%로 매우 높아서 제작사나 에이전시에서 일하는 것보다 더 많은 수익을 올릴 수 있음
- OnlyFans는 점차 전체 성인물 산업을 잠식하고 있음
- 크리에이터와 포르노 스타는 OnlyFans에서 더 안전하게, 더 자율적인 방식으로 더 많은 수익을 올릴 수 있음
# 높은 수익분배율이 가능한 이유
- OnlyFans는 앱스토어 기반 결제를 제공하지 않기에 80%의 높은 수익 분배가 가능함
- 앱스토어 결제는 수익의 15-30%를 가져감
- iOS 앱스토어와 구글 플레이스토어 모두 성인물 앱을 허용하지 않음
- 일반적으로 이런 금지 정책은 미디어 플랫폼 비즈니스 모델을 파괴할 수 있음
- 그러나 사진, 동영상 보기와 메시지 전송에는 브라우저 기반 경험으로도 충분함
- 반면 대부분의 게임은 브라우저에서 실행조차 어려움
- 앱이 더 나은 사용자 경험과 간편한 결제 프로세스를 제공하긴 하지만,
- 대부분의 OnlyFans 고객은 브라우저 사용과 신용카드 번호 수기 입력에 크게 불편함을 느끼지 않음
- 캐주얼 게임이나 이커머스의 경우에는 덜 해당되는 말임
# 크리에이터 수익의 불평등한 분배
- 지난 5년 동안 OnlyFans 크리에이터는 20조원($15B) 이상을 수령했으며, 2023년에는 전년 대비 19% 증가한 7조원($5.3B)을 지급함
- 2023-2024 시즌 NBA 선수 총 연봉이 6.5조($4.9B)원, 프리미어 리그가 7조원($5.3B), NFL 연봉 상한이 9.5조원($7.2B) 였음
- 물론 OnlyFans에는 410만 명의 크리에이터가 있지만, 이 리그에는 500~1700 정도의 선수들만 있음
- 그러나 OnlyFans는 오픈 플랫폼(은행 계좌가 있는 합법적인 성인이라면 누구나 크리에이터가 될 수 있음)인 반면, 이러한 리그에는 세미프로, 대학, 취미 리그 등 훨씬 더 큰 규모의 리그에서 최고의 선수들만 참여할 수 있음
- OnlyFans의 수익은 대부분의 수익을 거두는 상위 크리에이터에게 집중되어 있고, 대부분의 크리에이터는 거의 가져가지 못함
- 마치 '유명' 리그에 속하지 않은 운동선수의 연봉이 적거나 아예 없는 것과 마찬가지
- 평균적으로 크리에이터는 연간 약 240만원($1,800)의 수익을 올리지만(크리에이터에게는 190만원/$1450 정도가 지급됨), 상위 0.1%는 상위 1%의 15배, 상위 10%의 100배를 벌어들임
- 워싱턴 포스트가 인용했던 2020년 연구 보고서 기준으로 계산해보면
- 상위 10%가 수익의 73% : 36만5천명, 5.1조원($3.9B), 개인별 1460만원($11000)
- 상위 1%가 33% : 36500명, 2.3조원($1.8B), 개인별 6500만원($49000)
- 상위 0.1%가 15% : 3650명, 1.1조원($800M), 개인별 2.9억원($220000)
- 상위 0.01%가 6.8% : 365명, 4790억원($361M), 개인별 13억원($1m)
- 이러한 분배 방식에서는 상위 0.1%가 15%(3650명, 8억 달러, 22만 달러씩)를, 상위 0.01%가 6.8%(365명, 3억 6100만 달러, 100만 달러씩)를 보유
- OnlyFans는 수익 배분을 공개하지 않음
- 위의 수익 배분 예제는 일관성이 없지만 소수의 스트리머가 연간 130억원($10m) 이상의 수익을 올리는 것으로 알려졌고, 이 스트리머들은 가장 높은 수익을 올리는 스트리머도 아님
- Bhad Bhabie와 같은 크리에이터의 (확인 되지 않은) 대시보드 캡쳐에 따르면
- 현재까지 약 930억($70m) 이상의 매출을 내서, 750억($57m)의 수익을 분배 받음
- 매출의 절반은 개인 사용자들과의 유료 메시지 에서 발생(커스텀 오디오/비디오 콘텐츠를 보내는)
- 수익 분배가 불균등한 만큼 팬도 불균등
- 등록된 팬 계정은 3.5억개가 넘음(모두 '활성' 팬은 아니고, 유료 구독자는 더더욱 아님)
- 크리에이터당 74명의 팬을 보유한 셈이지만, 상위 크리에이터의 계정은 수만에서 수백만 명의 팬을 보유
# 상위 크리에이터의 전략
- 무료 등급을 포함한 일련의 등급(티어)을 설정하고, 점점 더 비싸지게 만듦
- 예: Basic(무료), Standard($5/월), Premium($10/월), VIP($100/월)
- 추가 거래(예: Pay-Per-View 메시지나 이미지)는 추가 거래를 요구할 뿐만 아니라, 최상위 등급 구독자에게만 제공됨

- 이탈을 최소화하기 위해 많은 혜택(예: 백 카탈로그 - 이전 콘텐츠를 보는 것)은 장기 구독자에게만 제공됨
- 최상위 구독자는 크리에이터와 직접 소통할 수 있는 권한을 받음
- 이는 추가 요금을 이끌어낼 수 있는 요청으로 이어질 수 있음
- 많은 경우, 실제 응답은 크리에이터의 여러 팀원이 작성함
- 많은 크리에이터가 이제 수백만 달러 규모의 기업이 되었기 때문
- Bhad Bhabie와 같은 크리에이터가 수많은 VIP 구독자와 일일이 상세하고 개인화된 대화를 나누는 것은 불가능함
- 이러한 위장 행위로 인해 일부 법적 소송이 제기되기도 함
- 많은 팬들은 사진과 동영상뿐만 아니라, 파라소셜(준 사회적) 관계와 연결에 대한 환상에 돈을 지불하고 있음을 인식해야 함
- 많은 상위 계정은 성인 등급이 아니며, Patreon이나 Substack에서 기대할 만한 콘텐츠에 초점을 맞추기도 함
- 또는 단순히 추가 기능과 업셀링이 있는 비공개(PG-13 등급) 인스타그램에 대한 유료 접근일 뿐인 경우도 있음
# OnlyFans의 수익성과 직원 생산성
- 크리에이터에게 총수익의 80%를 지급함에도 OnlyFans는 상당한 이익을 냄
- 2023년 순수익은 1.7조원($1.3B), 매출총이익은 1.08조원($819M), 영업이익은 8600억($649M, 순수익의 50%, 총수익의 10%)
- 지난 5년 동안 총 2.3조원($1.74B)의 영업이익을 냈고, 5300억원($400M)의 세금을 냄
- 2023년 평균 직원 수는 42명으로 2년 전의 61명에서 감소함
- 해당 년도에 직원 1인당 순수익은 410억원($31M)으로 아마존, 애플, 구글, 마이크로소프트의 13-28배, 영업이익은 200억원($15.5M)으로 27-560배
- 2019년 이후 소유주 2명에게 1.4조원($1.1B)의 배당금을 지급했고, 2023년에만 6275억원($472M)을 지급함
- 이전에 포르노 라이브스트림 회사를 설립한 바 있는 Leonid Radvinsky가 2018년 OnlyFans의 75%를 인수함
- 당시 OnlyFans의 누적 이익은 13억원($1m)을 넘지 않았을 것으로 추정됨
- 지난 몇 년 동안 OnlyFans의 직접적인 경쟁사들이 등장했고, 일부는 크리에이터와의 수익 분배율을 더 높게 제공하기도 함
- 그러나 OnlyFans의 양면시장 규모(즉, 사용자와 크리에이터를 모두 보유)는 수익성뿐만 아니라 지속 가능한 것으로 입증됨
# OnlyFans의 성장 가능성을 넘어선 두 가지 흥미로운 질문
- X(전 트위터)의 성인 콘텐츠 허용이 OnlyFans에 미칠 영향
- 2024년 6월, 일론 머스크는 X에서 성인물에 대한 금지를 해제함
- 이는 유료 구독과 게이트 메시징을 도입한 지 얼마 지나지 않아 이루어진 움직임
- X가 성인 콘텐츠 카테고리 공략에 성공할 것인가?
- 이것이 OnlyFans에 어떤 영향을 미칠 것인가?
- 생성형 AI가 성인 콘텐츠 산업에 미칠 영향
- 생성형 AI는 이미지와 동영상뿐만 아니라 개인화된 에이전트까지 포함
- 이러한 기술이 성인 콘텐츠 카테고리에 어떤 영향을 미칠까?
- 더 많은 대체재의 등장으로 인해 "진짜"에 대한 수요가 감소할 수 있음
- 반대로 진정한 인간 상호작용과 연결에 대한 가치는 오히려 증가할 수도 있음
- 생성형 AI "크리에이터"는 오직 "당신"이 원하는 것을 진정으로 해줄수 있고, 실제 크리에이터와 달리 모든 언어로 소통하고 언제든 이용 가능
- 궁극적으로는 몰입형 3D로도 제공될 수 있을 것

권정혁님

"운동도 일이라고 생각하세요."
정기적으로 만나는 멘토분께 연초에 조언을 구하다가 운동 이야기가 나왔다.
일과 성장에 관련된 대화만 수년째 나누다가 성장을 더 하려면 운동을 하라는 강한 조언이였다. 평소 월드컵도 안보고 프로야구팀이 몇개인지도 모르는 나보고? 운동을 하라고?
"시간이 없어서요." 했더만 없으면 만들어서 하면 되고 잠을 줄이면 되잖아요. 저는 2시간 일찍 일어나서 주3회 정도해요. (나보다 더 바쁜 대표님이라 할말이 없었다. ㅎㅎㅎ)
멘토분 왈 "건강한 육체에서 올바른 의사결정이 나옵니다. 그래서 운동을 해야하구요. 주변에 평소 존경하는 배우고 싶은 대표님들에게도 물어보세요."
진짜로 우리보다 큰회사를 경영하는 대표님들에게 연락을 돌려봤다. 적게는 주2회 많게는 매일 꾸준히 운동을 하시는 대표님들이 대부분이였다.
이유는 모두 비슷. 일을 더 잘하기 위해서, 체력을 키워야 맑은 정신에서 결정들을 할 수 있어서였다.
자건거 타기가 솔직히 싫다.
너무 힘든데 일이라 생각하면 하게 된다.
이번주 운동 지라 티켓 2장이 끊긴거다.
안하면 스푼 사용자가 줄어든다.
안하면 비글루 매출이 줄어든다.
안하면 대표 배임이다.
생각하고 이 악물고 하는거다.
그래 일이니깐 하는거다.
무조건 해야만 하는 일이잖아.
일하는데? 체력이 좋아지는 건 덤?
아무생각 없이 타자.
이 야밤에 70km 첫 도전 나와서
절반오고 뻗어서 횡설수설중 ㅎㅎ
그나저나 서울 한강 야경은 관광상품 만들고 싶은 정도로 정말 예술이다.
집에 가자. 반이나 왔자녀
35km 얼마 안 남았다. ㅎㅎㅎ

최혁재님

This is the inside story with Akshay Kothari 👇

1. We Raised $50M Purely to Make New Talent Feel Safe to Join

- The people we wanted to hire wanted signal that the company’s stable.
- Raising $50M from Index and Coatue was a stamp of approval.
- We didn’t have immediate cash needs but it helped us recruit.

Three Ways to Increase Your Valuation Multiple

- Three things:
1. Faster growth rate.
2. Better cash flow margin.
3. Operate in an industry that can maintain a high terminal growth rate.

3. Build Your Board Like Your Exec Team

- There’s five seats to fill:
1. CEO Whisperer: Advisor to CEO, preferably a fmr CEO.
2. Audit chair: Partner to CFO
3. GTM: Has expertise in sales/marketing.
4. Governance & compensation: Partner to Head of People.
5. Investor with macro perspective
- It’s a great one-on-one system to your exec team.

4. How the Best CFOs Use Test Budgets**

- They look at each part of the business through an unit economic lens.
- Have test budgets but only double down when your team can prove the unit economics for that channel.
- You shouldn’t worry about the rule of 40 in that period.

5. The Long Term Mindset of Sequoia

- We reported to Mike Vernal & Pat Grady when we missed our number one quarter.
- They said we shouldn’t be worrying about this quarter but whether we can scale it to 100M+ users.
- They believe in the long-term mission.

6. Thoughts on Founder Mode

- It is really good for founders who are right a lot.
- If not, god bless that company.

https://www.linkedin.com/posts/harrystebbings_founder-funding-business-activity-7242173767353798657-7eJx?utm_source=share&utm_medium=member_desktop

Compounding interest

https://maily.so/founderstory/posts/ccea6d6c

3️⃣ 일 하는 방식
우리는 A급 플레이어와만 일합니다
여러분이 얼마나 오래 일하는지는 중요하지 않습니다. 결과가 중요하죠. 우리 회사에는 A급 플레이어를 위한 자리만 있습니다. 집착이 강하고, 실수로부터 배우고, 똑똑하고, 변명하지 않고, 유튜브의 가치를 믿는 사람들이요. 자신의 업무에서 세계 최고가 되는 사람들 말입니다. 여러분이 제작이든, 크리에이티브든, 카메라든, 편집이든 유튜브에만 집착했으면 좋겠어요.

마감 기한을 똑똑하게 지켜내세요
모든 직원들에게 “더 골”이라는 책을 읽으라고 추천해요. 병목 현상이 어디인지 파악하고, 그걸 없애기 위해 노력해야 합니다. 상대의 눈을 똑바로 보고 너가 지금 우리 작업의 병목 현상이라고 말할 수 있어야 해요. 회사에서 핑계를 대는 일이 없었으면 좋겠어요. 주인 의식을 가지고 프로젝트가 실패할 여지를 주지 마세요. 마감 기한이 있다면, 잘 진행되고 있는지 담당자에게 매일 전화해서 물어봐야 해요. 계약 업체에게 일을 맡긴 뒤, 촬영 전날에 준비가 되지 않았다고 계약 업체를 비난하는 건 참을 수 없습니다. 그건 계약 업체가 아니라 여러분의 책임이에요.

가장 중요한 일이 무엇인지 파악하세요
모든 동영상에는 핵심 요소가 있습니다. 100명의 사람들을 섬에 넣어놓고, 한명에게 섬을 선물하는 컨텐츠가 있다고 해볼게요. 이때 핵심 요소는 “섬”을 구하는 것입니다. 섬에서 진행할 챌린지나 날씨는 두번째로 중요한 요소에요. 섬이 없으면 영상을 촬영할 수 없으니까요.

업무를 배정받을 때는 우선 순위 리스트를 명확하게 작성하세요. 당신의 우선순위 1번이 2억 미만의 람보르기니를 구하는 것이라고 해 볼게요. 다른 사람의 일을 도와주느라 람보르기니를 구하지 못한다면 안됩니다. 다른 어떤 것도 우선순위 1번보다 중요하게 생각하지 마세요

먼저 경험해 본 사람들을 찾아 물어보세요
세상에서 가장 큰 조각 케이크를 만들어야 하나요? 세계에서 가장 큰 케이크를 만든 사람을 찾은 뒤 전화해서 물어보세요. 그는 이미 수많은 테스트를 해봤을 거예요. 당신이 연구했어야 할 시간을 몇 주는 아껴줄 수 있을 겁니다. 저는 거의 10년 동안 유튜브에 몰두해 왔어요. 새로 유튜브를 시작하는 사람에게 구독자 100명을 1만명으로 만들 수 있는 방법을 쉽게 알려줄 수 있습니다. 혼자 한다면 훨씬 오랜 시간이 걸리겠지만요. 여러분에게 주어진 모든 업무에 도움을 줄 수 있는 컨설턴트가 없는지 생각해 보세요.

창의적으로 생각하면 비용을 절감할 수 있습니다
게임 팀에서는 종종 큰 금액의 상금을 주자고 제안해요. 그런데 2000만원을 상금으로 주는 것과 도리토스 1년치를 선물로 주는 것 중에 어떤 게 더 재밌나요? 저는 도리토스를 주는게 훨씬 재밌을 것 같아요. 도리토스 1년치는 약 200만원 밖에 하지 않습니다. 상금에 써야할 돈이 10분의 1로 줄어든거죠. 창의력을 발휘했기 때문입니다. 영상에 사용할 포크레인을 찾거나, 상금을 결정하거나, 장소를 찾을 때 창의력을 활용해 비용을 절감하세요.

안된다는 말을 듣고 바로 포기하지 마세요
장소 섭외가 필요해 전화했는데 직원이 안된다고 했다고 가정해 볼게요. 거기서 포기하면 안됩니다. 다른 직원들에게 통화를 시도해 보세요. 미스터 비스트 채널의 팬일 수도 있는 사람을 찾을 때까지 모든 방법을 시도해 보세요. 트위터로 DM을 보낼 수도 있고, 메일을 보낼 수도 있습니다. 우리의 열렬한 팬을 찾는다면, 그들은 규정을 어기고라도 우리를 도와줄 수 있을 겁니다. 한 사람이 안된다고 했다고 해서 멈추지 마세요. 당신이 생각할 수 있는 모든 옵션이 소진되어 더이상 할 수 있는 게 없다고 느껴질 때 멈추세요. 여러가지도 도구를 사용해 여러번 시도하면 성공 확률이 높아질 거예요.

실수에서 배우세요
저는 변명을 싫어합니다. 실수를 통해 배우기보다 체면을 살리려고만 하는 것을 경멸해요. 실수하는 건 당연해요. 초기 멤버들 모두 10억 이상의 손해를 본 실수를 해봤어요. 실수해도 괜찮은 이유는 배우는 과정이기 때문입니다. 한번 실수했다고 해고한 적이 없으니 두려워 할 필요가 없습니다. 실수를 인정하고 어떻게 고칠지 고민하면 앞으로 나아갈 수 있을 거예요.

어떤 컨텐츠를 볼 것인지 신중하게 생각하세요
작가나 감독이라면, 어떤 음식을 먹을지 관리하는 것처럼 어떤 컨텐츠를 소비할 지 완벽하게 관리해야 할 겁니다. 지난 3년 동안 경제 뉴스만 봐 왔던 사람은 코미디언처럼 웃기기 힘들 거예요.

좋은 컨텐츠를 만들 수 있는 방법에는 한계가 없습니다
아기 인형을 소재로 영상을 만든다고 가정해 볼까요? 5명으로 구성된 그룹에서 누가 가장 멀리 인형을 던지는지 경쟁하는 컨텐츠를 만들 수 있습니다. 단, 왼손으로만 던져야 해요. 동작이 서툴 것이고, 재밌는 효과음을 넣으면 꽤 웃긴 영상을 만들 수 있을 거예요. 다른 예시로 아기 인형 1000개를 준비한 다음에 50미터 떨어진 아기침대에 던지는 컨텐츠를 만들 수도 있습니다. 아기 인형을 반으로 부수는 컨텐츠를 만들 수도 있고요. 제가 말하고자 하는 건 아기 인형처럼 단순한 소재로도 무궁무진한 컨텐츠를 만들 수 있다는 것입니다. 낡은 사고 방식에 얽매이지 않고 어떤 컨텐츠도 만드는 것이 우리의 무기입니다.

농업 문명 시대에는 지리적 위치가 서유럽의 약점이었다. 풍요로운 중국과 인도와 거리가 멀었지만, 인도/중국 무역로는 중동의 이슬람이 점령하고 있었고, 이 무역로를 통과할 수 있는 것은 유럽에 흩어져 있는 베네치아 상인들이었다.

인도와 중국으로 향하는 항로를 찾기 위해 서양에서는 대항해시대가 시작되었다. 바르톨로메우스 디아스와 크리스토퍼 콜럼버스는 각각 희망봉과 신대륙을 발견했다. 16세기 초 유럽은 완전히 새로운 대륙을 발견했다는 사실에 축배를 들었다. 신대륙의 면적은 서유럽의 9배에 달했고, 천연자원도 풍부했다. 스페인은 16-18세기 동안 남미에서 약 50톤의 은을 가져왔으며, 이로 인해 그동안 성장을 가로막았던 토지 병목 현상을 단번에 해결하고 인구 이동의 가능성을 열었다.

유럽인들은 아프리카 대륙에 소량의 사치품을 가져가 노예와 교환했고, 노예를 아메리카로 데려가 사탕수수, 목화, 나무를 재배해 유럽으로 보냈다. 이 과정에서 대서양을 횡단하는 거대한 무역 고리를 형성했고, 농업 경제의 병목을 돌파할 수 있게 되었다.

초기에 신대륙은 스페인 왕실이 은을 약탈하는 수단이었다. 그러나 네덜란드와 영국은 새로운 방식으로 접근했다. 영국은 마그나 카르타를 시작으로 의회가 왕실의 권력을 넘겨받았으며, 개인 재산을 가진 상인의 수가 증가하고 있었다. 네덜란드 역시 주로 상인의 이익을 대변하는 하원이 있었다.

왕권의 이익을 대변하는 식민지가 아닌, 상인의 이익을 대변하고 개인의 재산을 보호하는 것을 목표로 하는 식민지를 건립했고, 식민지로 오는 자들은 부와 종교의 자유를 추구했다. 아프리카 대륙-범대서양 경제의 형성은 유럽 전역의 지식인들에게 새로운 질문을 제기했다. 정부의 기원, 경제의 본질과 같은 문제에 다가가기 위해 기존의 지식에 안주하지 않고 새로운 지식 체계와 세계관을 제시하고자 했다. 신대륙이 가져온 새로운 문제를 해석하기 위해 관찰과 실험을 기반으로 반복 검증하고 예측할 수 있는 더 견고한 지식이 필요해졌다. 아이작 뉴턴의 자연철학의 수학적 원리는 현대 과학 혁명의 시발점이 되었고 새로운 세계관을 가져다주었다. 세상을 시계 같은 기계처럼, 예측 가능하고 원리와 법칙으로 통제되는 세계로 이해하게 했다. 사람들은 인류 문명의 대부분 영역에 대해 이성적이고 과학적인 접근 방식을 사용해 비판적으로 사고하고 숨겨진 법칙을 찾기 시작했다.

1776년에는 애덤 스미스가 국부론을 출간했고, 미국 건국의 아버지들이 독립 선언문을 발표했으며, 제임스 와트가 세계 최초의 증기 기관을 만들었다. 애덤 스미스의 국부론에서는 범대서양 경제가 100년 넘게 계속된 후 정부의 통제를 전혀 받지 않는 경제가 지속 가능하고 성공할 수 있는지에 대해 다루었다. 그는 고귀한 동기 없이도 자신의 이익이라는 동기에서 출발한 개인이 자유 경쟁을 통해 제품을 더 풍부하게, 원가를 더 낮게 생산하고, 사회적 자원 배분을 더 효율적으로 함으로써 사회 전체의 부가 늘어난다는 것을 증명하고자 했다. 애덤 스미스의 후계자인 데이비드 리카도는 사회적 분업에 대한 분석을 바탕으로 자유 무역의 장점을 더욱 정교하게 설명했다. 자유 무역과 분업을 실행하는 사회에서는 누군가가 상대방보다 모든 면에서 우위를 점하고 있다고 해도, 분업과 교환은 쌍방 모두에게 이익이 된다는 것이다.

증기 기관은 열을 운동 에너지로 거의 손실 없이 변환할 수 있는 최초의 기계였다. 그 무렵 화석 연료가 발견되었다. 이는 지구가 수억 년 동안 인류를 위해 보존해온 것으로, 자연계에서 식용 가능한 농작물이나 가축화할 수 있는 동물보다 위력이 막강하고, 내포한 에너지도 무궁무진했다. 산업혁명은 동력 혁명에서 시작되어 과학과 기술이 선순환하며 서로 영향을 주고받아 인간의 자연에 대한 장악 능력을 전례 없는 수준으로 끌어올렸다. 과학기술과 현대 범대서양 자유시장 경제가 결합하면서 급속히 부를 이루고, 새로운 생산력으로 급속히 전환되고, 제품화되었으며, 왕궁에서나 사용할 수 있었던 제품들을 최저 비용으로 생산해 모든 사람에게 공급했다. 이에 따라 짧은 시간에 소비자 사회가 형성되었다. 인간은 본성적으로는 결과의 평등을, 이성적으로는 기회의 평등을 추구한다. 결과의 평등은 이룰 수도 없고 포기할 수도 없는 꿈인 만큼, 인간이 진정으로 받아들일 수 있는 것은 기회의 평등이다.

리루 문명 현대화 가치투자와 중국

현재 상용화에 가장 앞서 있는 기업은 오픈AI 창업자 샘 올트먼이 투자한 ‘헬리온에너지’, 빌게이츠와 제프 베이조스가 지원하는 ‘커먼웰스퓨전시스템’이 꼽힌다.

헬리온에너지는 2028년까지 세계 최초의 핵융합 발전소를 건설하고, 마이크로소프트(MS)에 에너지를 공급할 계획이다. 예정된 발전 규모는 50메가와트(㎿)로 일반 천연가스 발전소의 10분의 1 수준에 불과하다. 다만 계획이 실현될 경우 핵융합발전이 상업적으로 이용되는 첫 사례가 될 수 있다.

…

중국 역시 핵융합발전 경쟁에서 우위를 확보하기 위해 막대한 자본을 투자하고 인력을 동원하고 있다.

월스트리트저널(WSJ)에 따르면 중국은 지난해 말 중국핵공업그룹(CNNC) 중심으로 25개 기업과 대학으로 구성된 핵융합발전 컨소시엄을 구성했다.

중국은 24시간 3교대 근무시스템으로 핵융합 프로젝트를 연구하고 있고, 핵융합 관련 박사 학위 보유자가 미국의 10배가 넘는다고 WSJ는 보도했다. 정부 투자 규모도 미국을 훌쩍 뛰어넘는다.

https://n.news.naver.com/article/015/0005034311?sid=104

«한마디로 요약하자면, 너무 싼 중국산 태양광 패널이 전 세계 옥상을 빠르게 뒤덮고 있습니다.»

«결국 태양광 발전이 이렇게 기하급수적으로 커진다는 건 그만큼 전기를 저장하거나 운반하는 일이 중요해진다는 뜻»

→ 중요한 내용입니다. 일독을 권합니다.

https://n.news.naver.com/mnews/article/020/0003588254

https://news.1rj.ru/str/guroguru/13951

No Priors Ep. 80 | Andrej Karpathy (1/2)

저는 자율주행과 AGI(인공지능 일반)의 많은 유사점을 끌어내는 편인데, 아마도 제가 자율주행에 익숙해서 그런 것일지도 모르지만, 저는 자율주행에서 어느 정도 AGI에 도달했다고 생각합니다. 왜냐하면 오늘날 우리가 실제로 사용할 수 있는 시스템들이 존재하기 때문이죠. 여기 샌프란시스코에서는 Waymo가 아주 흔합니다. 아마도 여러분도 Waymo를 이용해 보셨을 겁니다. 저도 여러 번 이용했는데 정말 놀랍습니다. Waymo는 도시 어디든 운전해 줄 수 있고, 우리는 그것을 제품으로 구매하고 있는 겁니다. Waymo와 관련해서 흥미로운 점은 제가 처음 Waymo를 탔던 것이 거의 10년 전, 정확히 2014년경이었다는 겁니다. 그때 제 친구가 Waymo에서 일하고 있었고, 그가 저에게 데모를 보여주면서 저를 블록 한 바퀴 돌려줬는데, 그때도 이미 거의 완벽한 주행이었습니다. 그리고 데모에서 제품으로 발전하는 데 10년이 걸렸고, 이제는 도시 규모로 확장되고 있습니다.

Speaker B
그 과정에서 규제와 기술적인 문제 중 어느 것이 더 큰 영향을 미쳤다고 생각하시나요? 기술적으로는 언제쯤 준비가 되었을까요?
Speaker C
저는 이게 기술이라고 생각합니다. 30분짜리 단일 데모 주행에서는 모든 걸 다 볼 수 없어요. 그들이 10년 동안 다뤄야 했던 모든 문제를 겪지 않기 때문이죠. 그래서 데모와 실제 제품 사이에는 큰 차이가 있고, 많은 부분이 규제와 관련되어 있다고 생각해요. 하지만 자율주행 분야에서는 어느 정도 AGI(일반 인공지능)를 달성했다고 생각합니다. 흥미로운 점은 그 과정에서 세계화가 전혀 이루어지지 않았다는 겁니다. 데모는 있고 시연은 할 수 있지만, 세상은 아직 바뀌지 않았습니다. 이 변화를 이루기까지는 오랜 시간이 걸릴 거예요. 데모에서 실제 세계화로 넘어가는 데는 큰 차이가 있다고 봅니다. AGI와도 비슷하다고 생각합니다. AGI를 어느 정도 달성한 후에도, 자율주행 분야에서 잠시 멈춰서 보면 사람들이 Waymo가 Tesla보다 앞서 있다고 생각할 수 있습니다. 저는 개인적으로 Tesla가 Waymo보다 앞서 있다고 생각합니다. 그렇게 보이지 않을 수도 있지만, 저는 여전히 Tesla와 그 자율주행 프로그램에 대해 낙관적입니다. Tesla는 소프트웨어 문제를 가지고 있고, Waymo는 하드웨어 문제를 가지고 있다고 생각합니다. 그리고 소프트웨어 문제는 훨씬 더 해결하기 쉽다고 봅니다. Tesla는 전 세계적으로 이 많은 차량을 배치하고 있습니다. Waymo는 그 단계에 도달해야 해요. Tesla가 실제로 이 문제를 해결하고, 자율주행이 실제로 작동하게 되는 순간, 정말 놀라운 일이 벌어질 거라고 생각합니다. 어제 최신 버전으로 운전해봤는데, 정말 많은 개선이 이루어졌습니다. 매우 최근에요.

어제 저에게는 정말 기적 같은 주행을 해줬습니다. 그래서 그 팀이 하고 있는 일에 정말 감명받았어요. 여전히 Tesla는 주로 소프트웨어 문제를 가지고 있고, Waymo는 주로 하드웨어 문제를 가지고 있다고 생각해요. 그래서 지금은 Waymo가 이기고 있는 것처럼 보이지만, 10년 후에 누가 실제로 규모를 확장하고, 수익이 어디서 나오는지를 보면 Tesla가 그 면에서 앞서 있다고 생각합니다.

Speaker B
소프트웨어 문제를 해결해서 어느 정도 동등한 수준에 도달하는 데 얼마나 남았다고 생각하나요? 분명히 말씀하신 대로, Waymo 차량을 보면 매우 비싼 라이다와 다른 센서들이 내장되어 있어서, 그것들이 차량의 주행을 돕고 있죠. 소프트웨어 시스템을 지원하는 역할을 합니다. 반면 Tesla처럼 카메라만 사용한다면, 엄청난 비용과 복잡성을 제거할 수 있고, 다양한 차종에서도 구현할 수 있잖아요. 그 전환이 언제쯤 일어날 것 같나요?
Speaker C
몇 년 내에는 가능하지 않을까요? 저는 그렇게 기대하고 있습니다. 하지만 실제로 흥미로운 점은 사람들이 이를 잘 인식하지 못하고 있다는 겁니다. Tesla도 사실은 많은 비싼 센서를 사용합니다. 다만, 그걸 훈련 단계에서만 사용하는 거죠. 많은 차량들이 라이다와 함께 주행하면서 여러 작업을 하지만, 그건 규모를 확장할 수 없는 것들이에요. 추가적인 센서와 매핑 작업 등도 훈련 단계에서 수행되고, 그걸 테스트 단계에서는 비전 기반 패키지로 압축해서 차량에 배포합니다. 이것은 센서와 비용을 절감하는 전략이라고 볼 수 있죠. 이 전략이 충분히 평가받지 못하고 있다고 생각합니다. 하지만 저는 이 방식이 잘 작동할 것이라고 봅니다. 픽셀에 정보가 담겨 있고, 네트워크가 그걸 처리할 수 있을 거라고 생각하니까요. 훈련 단계에서는 이 센서들이 매우 유용하지만, 테스트 단계에서는 그렇게 유용하지 않다고 생각합니다.
Speaker B
다른 한 가지 변화는 사실 많은 에지 케이스 기반의 설계적 휴리스틱에서 끝에서 끝까지 딥러닝으로 전환되었다는 점입니다. 이것이 최근 일어난 또 다른 변화인데, 그에 대해 조금 더 이야기해줄 수 있나요?

네, 처음부터 그게 계획이었던 것 같습니다. 제가 테슬라에 있었을 때 신경망이 어떻게 스택을 점점 먹어 들어가는지에 대해 얘기했었는데요. 제가 입사했을 때는 C 코드가 엄청나게 많았고, 이제는 테스트 타임 패키지에서 실행되는 C 코드가 훨씬 적어졌습니다. 우리가 이야기하지 않는 백엔드에는 여전히 많은 부분이 남아 있지만, 신경망이 시스템을 통해 처리합니다. 먼저 이미지 수준에서 감지를 하고, 그다음 여러 이미지를 통해 예측을 제공하고, 시간이 지나면서 여러 이미지를 통해 예측을 제공하며 C 코드를 점점 버리고, 결국에는 조향 명령을 내리게 됩니다.

그래서 테슬라가 스택을 점점 먹어 들어가고 있다고 생각합니다. 제가 이해한 바에 따르면 현재의 Waymo는 그 방향으로 가지 않았던 것 같습니다. 그들도 시도는 했지만 결국 그렇게 되지 않았다는 것이 제 생각입니다. 하지만 확실하지는 않습니다. 그들이 이에 대해 공개적으로 말하지 않기 때문이죠. 그러나 저는 이 접근 방식을 근본적으로 믿고 있으며, 이것이 마지막 남은 퍼즐 조각이라고 생각합니다. 테슬라의 끝에서 끝까지의 시스템이 10년 후쯤에는 신경망 하나로 완성될 것이라고 의심하고 있습니다. 동영상이 신경망으로 들어가고 명령이 나오죠. 이를 단계적으로 쌓아가며 한 번에 한 조각씩 해결해야 합니다. 우리가 해왔던 중간 예측과 모든 것이 실제로는 개발을 잘못 이끌었다고 생각하지 않습니다. 이 모든 것이 하나의 과정이라고 생각합니다. 끝에서 끝까지의 주행을 구현할 때 인간을 모방하면, 신경망을 훈련할 감독 정보가 거의 없습니다. 너무 적은 신호로 수십억 개의 매개변수를 훈련할 수는 없습니다. 그래서 이런 중간 표현들이 기능과 감지기를 개발하는 데 도움이 되고, 이로 인해 끝에서 끝으로 연결하는 과정이 훨씬 쉬워집니다. 그래서 저는, 팀에 속해 있지는 않지만, 끝에서 끝으로 조정할 수 있도록 많은 사전 훈련이 이루어지고 있다고 의심하고 있습니다. 그리고 결국 그것을 점진적으로 먹어들어가는 것이 필요했다고 생각합니다. 테슬라는 그렇게 해왔고, 그 방법이 옳다고 생각하며, 그게 잘 작동하는 것 같습니다. 정말 기대됩니다.

Speaker A
끝에서 끝까지의 방식으로 시작했더라면 어차피 데이터를 얻지 못했을 것입니다. 그건 말이 되네요. 네, 떠나기 전에 테슬라 휴머노이드 로봇 작업을 하셨죠. 묻고 싶은 게 많은데, 그중 하나는 여기서 시작하는 겁니다. 어떤 것이 전이됩니까?
Speaker C
기본적으로 모든 것이 전이됩니다. 사람들이 그걸 잘 모르고 있는 것 같습니다.
Speaker A
그건 대단한 주장인데요.
Speaker C
이건 아주 다른 문제라고 생각합니다. 기본적으로 로봇이죠. 실제로 보면, 자동차도 로봇입니다. 그리고 테슬라는 자동차 회사가 아니라고 생각합니다. 이건 오해를 불러일으키는 표현입니다. 테슬라는 로봇 회사입니다. 그것도 대규모로 로봇을 만드는 회사죠. 대규모로 라는 부분도 전혀 다른 변수라고 할 수 있습니다. 그들은 단일 제품을 만드는 게 아니라 그 제품을 만드는 기계를 만들고 있습니다. 완전히 다른 이야기죠. 그래서 테슬라는 대규모 로봇 회사라고 생각합니다. 자동차에서 휴머노이드로의 전이에 대해 말하자면, 거의 일이 없었습니다. 실제로 Optimus 초기 버전의 로봇은 자기가 자동차라고 생각했어요. 왜냐하면 같은 컴퓨터와 같은 카메라를 사용하고 있었기 때문입니다. 정말 웃겼던 게, 우리는 로봇에서 자동차 네트워크를 실행하고 있었는데, 로봇이 사무실을 걸어 다니고 있었거든요.
Speaker A
오, 좋네요.
Speaker C
이 시스템은 주행 가능한 공간을 인식하려고 하지만, 지금은 모두 보행 공간인 것 같아요. 그래도 어느 정도 일반화를 했고, 약간의 파인 튜닝이 필요해요. 이 시스템은 주행 중이라고 생각했지만, 사실은 환경을 이동하는 중인 거죠.
Speaker A
이걸 로봇이라고 생각하는 게 맞나요? 많은 것이 전이되지만, 예를 들어, 구동 및 행동 데이터가 부족한 것처럼 보이네요.
Speaker C
맞아요, 몇 가지 구성 요소가 빠져 있긴 하죠. 하지만 Optimus 프로젝트가 시작된 속도는 정말 놀라웠어요. Elon이 "이거 하자"고 말하자마자 사람들이 필요한 도구들을 다 들고 나타났고, CAD 모델부터 공급망 관련 자료까지 아주 빠르게 준비되었어요. Tesla는 로봇 공학을 만드는 데 엄청난 전문 지식을 가지고 있다는 게 느껴졌어요. 사용된 도구들도 다 동일하고, 단지 자동차에서 로봇으로 재구성하는 느낌이었어요. 마치 영화 "트랜스포머"처럼요. 기본적으로 같은 구성 요소들을 사용하며, 하드웨어뿐만 아니라 두뇌 부분에서도 많은 것이 전이됐어요. 네트워크만이 아니라 접근 방식, 라벨링 팀의 협업 방식 등도 전부 전이되었죠. 정말 많은 부분이 전이됐다고 생각해요.
Speaker B
휴머노이드 로봇이나 인간 형태 로봇의 첫 응용 분야에 대해 어떻게 생각하세요?
Speaker C
많은 사람들이 로봇이 빨래를 해주는 상상을 하곤 하는데, 그건 나중에나 가능할 것 같아요. 저는 B2C(기업-소비자 거래)가 시작점이 되어서는 안 된다고 생각해요. 왜냐하면, 제가 자주 말하는 것처럼, 할머니를 깔아뭉개는 로봇을 만들 수는 없으니까요. 법적 책임이 너무 크죠. 이 로봇들은 아직 완벽하지 않고, 많은 개선이 필요해요. 그래서 저는 첫 번째 고객은 자기 자신이어야 한다고 생각해요. 아마 Tesla가 그렇게 할 것 같아요. 저는 Tesla에 대해 매우 낙관적이에요. 첫 고객이 자기 자신이면, 공장에서 로봇을 인큐베이팅하고, 많은 물류 작업을 처리할 수 있을 거예요. 이렇게 하면 제3자와 계약을 맺을 필요가 없고, 법적 문제나 계약 체결, 울타리 설치 등 복잡한 절차도 피할 수 있죠. 여러 회사에서 인큐베이팅을 마친 후에는 B2B(기업 간 거래)로 확장해 물류 처리와 같은 작업을 할 수 있을 거예요. 그다음에야 B2C 로봇 시장에 진입할 수 있을 것 같아요. Unitree 같은 회사도 이미 매력적인 로봇을 만들고 있어요.

사람들이 아마도 각 플랫폼에 드는 고정 비용의 복잡성을 과소평가하고 있는 것 같습니다. 어떤 단일 플랫폼을 사용하는 데는 큰 고정 비용이 따릅니다. 그래서 저는 이를 중앙 집중화하고, 모든 작업을 수행할 수 있는 하나의 플랫폼을 가지는 것이 매우 합리적이라고 생각합니다. 저는 인간형 측면도 매우 매력적이라고 생각하는데, 사람들이 이를 매우 쉽게 원격 조작할 수 있기 때문입니다. 그리고 이는 매우 유용한 데이터 수집 도구가 될 수 있습니다. 왜냐하면 사람들이 이를 쉽게 조작할 수 있을 테니까요. 이 점이 종종 간과된다고 생각합니다. 물론 말씀하신 것처럼, 인간을 위해 설계된 세상 같은 측면도 있죠. 그래서 그것도 중요하다고 생각합니다. 제 생각에는 인간형 플랫폼에 몇 가지 변형이 있을 수 있겠지만, 큰 고정 비용이 드는 훈련 플랫폼이 존재한다고 생각합니다. 그리고 마지막으로 말하고 싶은 것은 다양한 작업 간의 전이 학습에서 얻는 이점입니다. AI에서는 하나의 신경망이 멀티태스킹을 하며 다양한 작업을 수행하는 것이 매우 중요합니다. 그곳에서 모든 지능과 능력이 나오기 때문입니다. 그리고 이것이 언어 모델이 흥미로운 이유이기도 합니다. 하나의 텍스트 도메인에서 여러 가지 문제를 멀티태스킹하면서 서로 지식을 공유하고, 이 모든 것이 하나의 신경망으로 결합되어 있습니다. 저는 이런 플랫폼이 필요하다고 생각하고, 잎을 따는 데 사용된 데이터를 다른 모든 작업에 활용할 수 있기를 바랍니다. 특정 목적을 위한 특별한 도구를 만들면 다른 작업 간의 전이에서 얻는 이점을 누릴 수 없을 것입니다. 이해되시나요?
Speaker A
네, G 모델에 대한 의견이 있죠. 하나에 3만 달러 정도 들지만, 특정 부품으로 매우 유능한 인간형 로봇을 만드는 것은 어려워 보입니다. 팔을 바퀴에 장착해서 무언가를 할 수 있게 하려면, 처음에는 더 저렴한 방식으로 일반적인 플랫폼을 접근하는 것이 가능할지 모릅니다. 이 말이 이해가 되시나요?
Speaker C
하드웨어 측면에서 더 저렴한 방식으로 일반적인 플랫폼을 접근하는 것? 네, 그게 말이 되는 것 같아요. 네, 발 대신에 바퀴를 장착하는 거죠. 하지만 저는 그게 어느 정도 지역적 최소점을 찾아내는 것인지 궁금해요. 저는 그냥 하나의 플랫폼을 선택하고, 그것을 완벽하게 만드는 것이 장기적으로 좋은 선택이라고 생각합니다. 그리고 또 하나는 사람들에게 익숙할 것이라고 생각하는 점입니다. 아마도 사람들이 그것과 대화를 하고 싶어할 수도 있다고 생각하거든요. 저는 이 심리적 측면도 인간형 플랫폼을 선호하게 만드는 요소일 것이라고 생각합니다. 물론 사람들이 그것을 무서워해서 더 추상적인 형태의 플랫폼을 선호할 수도 있지만요. 그런데 그게 정말 괴물처럼 무언가를 하는 거라면, 그게 더 나은 것인지 모르겠네요.
Speaker B
흥미로운 점은, Unitree의 다른 형태는 개라는 거죠. 맞아요. 그건 더 친숙하고, 더 친근한 느낌을 주죠.
Speaker C
맞아요. 그런데 사람들이 '블랙 미러' 같은 걸 보면, 갑자기 그 개가 무서운 존재로 변하죠. 그래서 생각하기 어려운 부분이에요. 하지만 심리적으로 사람들이 일어나는 일을 쉽게 이해할 수 있을 거라고 생각해요.
Speaker B
로봇공학의 미래를 구체화하는 데 있어서, 기술적 이정표로서 무엇이 부족하다고 생각하나요? 로봇공학에서요, 그렇죠. 인간형 로봇이나 다른 인간 형태의 것들에서요.
Speaker C
음, 잘 모르겠지만, 제가 이 분야에 대해 깊이 알고 있는 건 아닌 것 같아요. 예를 들어, 인간형 로봇 형태에서 하체 부분에 대해서는 모방 학습이나 시연을 통한 학습이 필요하지 않을 수도 있다고 생각해요. 하체는 대부분 역진자 제어 같은 것이 주요 이슈이기 때문이죠. 상체는 원격 조작과 데이터 수집이 많이 필요하지만, 그런 점에서 모든 것이 하이브리드 형태로 흘러가는 것 같아요. 그 시스템들이 어떻게 상호작용하는지는 확실히 모르겠네요.
Speaker B
제가 일하는 사람들과 대화를 나누다 보면, 그들이 집중하는 대부분은 작동과 조작에 관한 것이라고 느껴요. 디지털 조작이나 그런 것들에 대해서 말이죠.
Speaker C
네, 초기에는 원격 조작이 많이 사용될 것 같아요. 뭔가를 지면에서 들어올리고 이를 모방해서, 95%의 성공률로 작동하는 무언가를 만들어내는 거죠. 그 후에는 사람 대 로봇의 비율에 대해 논의하게 될 것이고, 시간이 지나면서 점점 사람들이 직접 작업을 수행하기보다는 로봇을 감독하는 역할을 하게 될 겁니다. 이런 모든 변화는 시간이 지나면서 서서히 이루어질 거예요. 딱히 제가 알고 있는 특정 장애물이 있는 건 아닌 것 같습니다. 그저 많은 수작업이 필요한 일이라고 생각해요. 도구들은 이미 많이 갖춰져 있습니다. 트랜스포머는 아름다운 조직과도 같은 존재죠. 다양한 임의의 작업을 수행할 수 있고, 필요한 데이터를 적절한 형식으로 입력해야 합니다. 그리고 그것을 학습시키고, 실험하고, 배포하고, 반복해서 개선하는 과정이 필요하죠. 그저 많은 기초 작업이 필요한 겁니다. 기술적으로 우리를 막고 있는 특정한 장애물은 없다고 생각해요.
Speaker A
지금 우리는 어디에 와 있을까요? 대규모 블롭 연구의 상태에 대해서요.
Speaker C
대규모 블롭 연구라... 맞아요, 지금 매우 좋은 상태에 있습니다. 제 생각에 이게 충분히 인식되고 있는지는 잘 모르겠어요. 하지만 트랜스포머는 단순한 또 다른 신경망이 아니라 정말 놀라운 신경망입니다. 굉장히 범용적인 성격을 지니고 있어요. 예를 들어, 사람들이 신경망의 스케일링 손실에 대해 이야기할 때, 그 손실은 실제로 대부분 트랜스포머의 특성이에요. 트랜스포머 이전에는 사람들이 LSTM을 가지고 여러 층을 쌓고 있었는데, 그걸로는 깨끗한 스케일링 손실을 얻지 못했어요. 그 방식으로는 학습도 제대로 안 되고, 실제로 작동하지도 않았죠. 트랜스포머가 처음으로 제대로 스케일이 가능해지고, 스케일링 손실이 발생하고 모든 것이 말이 되는 첫 번째 모델이었어요. 저는 그것을 범용 훈련 컴퓨터라고 생각해요. 마치 하나의 컴퓨터처럼, 차이점은 그것이 미분 가능한 컴퓨터라는 점이죠. 수많은 입력과 출력을 주면, 역전파로 훈련할 수 있고, 그 과정에서 그 자체로 작업을 수행하는 무언가로 변형되죠. 우리는 알고리즘 공간에서 마법 같은 무언가를 발견한 것 같아요. 이 트랜스포머에는 몇 가지 중요한 혁신이 들어갔어요. 이미 존재했던 잔차 연결, 층 정규화, 주의 메커니즘 블록, 그리고 그래디언트 신호를 죽이는 비선형 함수인 tanh 같은 요소들이 없는 것이 그 예죠. 이미 존재하던 네다섯 가지의 혁신들이 모두 결합되어 트랜스포머가 완성된 것이고, 그것이 구글이 그들의 논문에서 한 일이죠. 그래서 이 트랜스포머가 실제로 학습되기 시작했고, 갑자기 스케일링 손실을 얻고, 이 조직처럼 생긴 무언가가 아주 높은 정도로 훈련되기 시작한 겁니다. 이건 정말로 큰 돌파구였죠.
Speaker A
당신은 우리가 아직 그 잠재력을 다 발휘하지 않았다고 느끼는 거죠, 맞나요? 물론, 데이터 한계와 다음 세대의 확장이 얼마나 비쌀지에 대한 논의가 있습니다. 이 점에 대해 어떻게 생각하시나요?
Speaker C

그게 핵심입니다. 저는 이제 더 이상 신경망 아키텍처가 근본적인 장애물은 아니라고 생각합니다. 이제는 병목현상이 아니에요. 이전에는, 트랜스포머가 나오기 전에는 병목이었지만, 지금은 그렇지 않죠. 이제는 손실 함수가 무엇인지, 데이터셋이 어디 있는지에 대해 훨씬 더 많이 이야기합니다. 이들이 거의 병목이 되어가고 있죠. 신경망이 무엇이든 원하는 대로 재구성하는 일반적인 구조는 더 이상 문제가 아닙니다. 그래서 많은 활동이 이쪽으로 옮겨간 것이고, 이 기술을 적용하는 많은 회사들도 더 이상 트랜스포머의 발전에 대해 생각하지 않고 아키텍처에 대해서도 생각하지 않아요. 라마(LLAMA) 릴리스 같은 경우도, 트랜스포머 자체는 크게 변하지 않았습니다. 우리가 추가한 것은 rope positional과 rope route, 즉 위치 인코딩뿐이에요. 그게 주요 변화입니다. 나머지는 큰 차이가 없죠. 몇 가지 작은 것에서 3% 정도 향상된 것일 뿐이고, 실제로는 rope만 추가된 것입니다. 트랜스포머는 지난 5년 동안 그 정도로만 변했어요. 그래서 그다지 큰 혁신이 없었죠. 모두가 그냥 그걸 당연히 여기고, 훈련을 시킵니다. 그러면 모두가 주로 데이터셋과 손실 함수의 세부 사항에서 혁신을 일으키고 있습니다. 그래서 그쪽으로 모든 활동이 집중된 것입니다.
Speaker A
맞아요. 그런데 인터넷 데이터를 사용할 때는 더 쉬웠다는 주장이 있죠. 이제는 인터넷 데이터가 부족해졌고, 그래서 질문은 인공 데이터나 더 비싼 데이터 수집에 관한 것으로 바뀌고 있습니다. 이에 대해서는 어떻게 생각하시나요?
Speaker C
좋은 지적입니다. 그래서 지금 LLM(대형 언어 모델)에서 많은 활동이 그 부분에 집중되고 있죠. 인터넷 데이터는 사실 당신이 트랜스포머를 위해 원하는 데이터는 아닙니다. 놀랍게도 가까운 유사체일 뿐이지만 그걸로도 멀리 갈 수 있죠. 그러나 인터넷 데이터는 단순히 웹 페이지들의 집합입니다. 당신이 정말로 원하는 것은 당신의 뇌 속에서 일어나는 내면의 독백 같은 것입니다. 그게 핵심 아이디어죠.
Speaker A
당신 뇌 속의 사고 과정들이요.
Speaker C
문제 해결을 할 때 당신 뇌 속에서 일어나는 사고 과정들입니다. 만약 그 과정들을 담은 데이터를 수십억 개나 가지고 있었다면, AGI(인공지능 일반)는 이미 도달했을 것입니다, 상당 부분 말이죠. 그런데 우리는 그런 데이터를 가지고 있지 않아요. 그래서 현재 많은 활동이 이루어지는 곳은, 인터넷 데이터가 실제로 우리를 꽤나 가까이 데려다주긴 하지만, 인터넷 자체에 충분한 추론의 흔적과 지식이 존재하고, 트랜스포머가 그것들을 잘 작동하게 만들기 때문입니다. 그래서 현재 많은 활동이 이 내면 독백 형식으로 데이터를 재구성하는 데 집중되고 있다고 생각합니다. 또한, 그를 위해 많은 인공 데이터 생성이 도움이 되고 있다고 봅니다. 흥미로운 점은 현재의 모델들이 다음 세대 모델들을 만드는 데 어떻게 도움을 주는가입니다. 그래서 이게 일종의 계단과도 같죠.
Speaker B
합성 데이터가 얼마나 중요한가요? 또는 그것이 우리를 얼마나 멀리 데려갈 수 있다고 생각하시나요? 왜냐하면 말씀하신 것처럼, 각 데이터와 각 모델이 다음 모델을 더 잘 훈련시키는 데 도움을 주거나, 적어도 그 모델을 위한 도구를 만드는 데 기여할 수 있잖아요. 데이터 라벨링이나 그 외 어떤 요소든 합성 데이터의 일부일 수 있는데, 이 합성 데이터 부분이 얼마나 중요한지 궁금합니다.
Speaker C
제가 말할 때, 우리가 진전을 이루기 위한 유일한 방법은 이것을 작동시키는 것이라고 생각합니다. 합성 데이터를 사용할 때, 특히 주의해야 한다고 생각하는 이유는, 모델이 조용히 붕괴되는 현상이 주요 문제 중 하나이기 때문입니다. 예를 들어, chatGPT에게 농담을 해달라고 하면, 그 모델이 아는 농담이 거의 세 가지밖에 없다는 걸 알 수 있을 겁니다. 보통 하나의 농담을 제공하고, 가끔 세 가지 농담을 제공하는데, 이는 모델이 붕괴되었고 그것이 조용히 일어났기 때문입니다. 단일 출력만 본다면 하나의 예시만 보게 되지만, 실제로 그 분포를 보면 다양성이 부족하다는 걸 알 수 있습니다. 이것은 조용히 붕괴된 것입니다. 합성 데이터를 생성할 때, 이 문제가 발생하는데, 우리는 실제로 데이터 세트의 다양성과 풍부함을 원합니다. 그렇지 않으면 붕괴된 데이터 세트를 얻게 되고, 개별 데이터를 볼 때는 알아차리지 못하지만 분포에서 엄청난 다양성과 풍부함이 사라져 버립니다. 그래서 이것이 조용히 악화되는 거죠. 따라서 매우 신중하게 접근해야 하며, 데이터 세트의 다양성을 유지해야 합니다. 이를 위한 다양한 기술이 있습니다. 예를 들어, Persona 데이터 세트가 있습니다. Persona 데이터 세트는 10억 개의 인격을 포함한 데이터 세트입니다. 인간처럼, 다양한 배경을 가진 인물들로 구성되어 있습니다.
Speaker A
아, 네, 저도 봤습니다.
Speaker C
네, 예를 들어 "나는 교사다", "나는 예술가다", "여기 살고 있다", "이 일을 한다"와 같은 허구의 인간 배경을 담은 작은 단락들로 이루어져 있습니다. 합성 데이터 생성 시, 단순히 이 작업을 완료하는 것뿐만 아니라, 이 정보를 이 사람에게 설명하고 있다고 상상하면서 데이터를 입력하면, 더 많은 공간을 탐구하도록 유도하게 되고, 그 결과 다양성을 얻게 됩니다. 그래서 매우 신중하게 다양성을 주입하고, 분포를 유지해야 한다고 생각합니다. 사람들이 충분히 인식하지 못하는 어려운 부분이 바로 이것이라고 생각합니다. 기본적으로 합성 데이터는 분명히 미래의 핵심이며, 우리는 데이터가 부족해지지 않을 것이라고 생각합니다. 다만 주의가 필요합니다.
Speaker A
이 연구를 통해 인간 인지에 대해 우리는 무엇을 배우고 있다고 생각하십니까?
Speaker C
우리가 배우고 있는지 잘 모르겠네요.
Speaker A
예를 들어, 우리가 원하는 추론의 형태를 파악하는 것이 실제로 뇌가 어떻게 작동하는지 이해하는 데 유익하다고 주장할 수 있겠죠.
Speaker C
그런 유사성을 사용할 때는 조심해야 한다고 생각하지만, 일반적으로 아주 다른 종류의 것이라고 생각해요. 그렇지만 몇 가지 유사점은 있다고 생각해요. 예를 들면, 저는 트랜스포머가 여러 면에서 인간의 뇌보다 실제로 더 나은 점이 있다고 생각합니다. 사실 트랜스포머는 훨씬 더 효율적인 시스템이에요. 그리고 트랜스포머가 인간의 뇌처럼 잘 작동하지 않는 이유는 주로 데이터 문제 때문이라고 생각합니다. 대략적으로 말하자면 말이죠. 예를 들면, 트랜스포머가 시퀀스를 암기하는 것은 인간보다 훨씬 뛰어납니다. 시퀀스를 주고 한 번의 순방향 및 역방향 패스를 실행하면, 처음 몇 가지 요소만 주어도 나머지 시퀀스를 완성할 수 있어요. 그 시퀀스를 암기했으니까요. 정말 잘합니다. 인간에게 시퀀스를 한 번만 보여줘도 기억할 수 없을 겁니다. 그래서 트랜스포머는, 저는 실제로 그라디언트 기반 최적화, 우리가 신경망을 훈련할 때 항상 사용하는 순방향 및 역방향 업데이트가 일부 측면에서 뇌보다 더 효율적일 수 있다고 생각합니다. 이 모델들은 더 나아요. 단지 아직 빛을 발할 준비가 안 됐을 뿐이죠. 하지만 여러 인지적 측면에서, 저는 그들이 성장할 가능성이 있다고 생각해요.
Speaker A
적절한 입력이 주어지면 더 나아질 겁니다.
Speaker B
그건 모든 종류의 응용 프로그램에서 컴퓨터에도 일반적으로 적용되는 얘기죠. 메모리를 사용하는 점에서요.
Speaker C
네, 맞아요. 인간의 뇌는 많은 제약이 있다고 생각합니다. 예를 들어, 작업 기억은 매우 작죠. 트랜스포머는 훨씬 더 큰 작업 기억을 가지고 있으며, 앞으로도 그럴 겁니다. 그들은 훨씬 더 효율적인 학습자입니다. 인간의 뇌는 여러 제약 아래에서 기능하죠. 인간의 뇌가 역전파를 사용한다는 건 명확하지 않습니다. 그게 어떻게 작동하는지도 분명하지 않죠. 매우 확률적이고 동적인 시스템입니다. 제약도 많고, 주변 환경에 맞춰 작동해야 하죠. 그래서 우리가 가진 것이 뇌보다 잠재적으로 더 나을 수도 있다고 생각합니다. 다만 아직 그 단계에 도달하지 않았을 뿐입니다.
Speaker B
AI 시스템을 통한 인간의 증강에 대해 어떻게 생각하시나요? 그게 가능성 있는 방향이라고 보세요? 가능성이 낮다고 보세요? AI 모델과 함께하는 인간의 증강 말입니다.

Speaker C
아, 물론이죠. 하지만 어떤 의미에서 말인가요? 일반적으로는, 당연히 가능하다고 생각해요.
Speaker B
왜냐하면, 내 말은 그걸 도구로 사용하고 있는 추상적인 버전이 있다는 겁니다. 그게 외장(external) 버전이에요. 많은 사람들이 결국 이야기하게 되는 융합 시나리오가 있습니다.
Speaker C
우리는 이미 어느 정도 융합되고 있다고 생각해요. 문제는 입출력(I/O)의 병목 현상인데, 대부분은 손끝에서 해결되죠. 만약 이러한 모델을 가지고 있다면요.
Speaker B
네, 하지만 그건 조금 다른 이야기예요. 왜냐하면, 40~50년 동안 사람들이 기술적 도구는 인간 능력의 확장일 뿐이라고 주장해 왔거든요. 그렇죠?
Speaker C
맞아요. 컴퓨터는 인간의 정신을 위한 자전거 같은 거죠, 등등.
Speaker B
정확히요. 하지만 AI 커뮤니티 내 일부는 우리가 미래의 AI와의 잠재적 갈등을 해결하는 방식이 어떤 형태의 융합을 통해 이루어질 것이라고 생각하죠.
Speaker C
맞아요. Neuralink 같은 것들요.
Speaker B
맞아요.
Speaker C
네. 이 융합이 어떤 모습일지 아직 모르겠지만, 도구 사용에 있어서 입출력을 줄이고 싶다는 건 분명해요. 저는 이걸 신피질 위에 추가되는 외피질 같은 개념으로 봐요. 그렇죠? 그건 그냥 다음 단계일 뿐이고, 클라우드 같은 곳에 위치하게 될 겁니다. 하지만 그건 뇌의 다음 층이라고 할 수 있죠.
Speaker B
맞아요. 2000년대 초반에 나온 ‘Accelerando’라는 책에는 이와 유사한 내용이 나와요. 기본적으로 모든 것이 뇌와 계산적으로 연결된 고글에 실체화되어 있고, 그걸 착용하죠. 그리고 그걸 잃어버리면 자신의 인격이나 기억의 일부를 잃어버리는 느낌을 받는 거예요.
Speaker C
그럴 가능성이 아주 크다고 생각해요. 그리고 지금도 이미 휴대전화는 거의 그런 상태죠. 더 심해질 거라고 생각해요. 기술 장비들을 멀리 두면, 그냥 자연 속에 벌거벗은 인간처럼 되는 거죠.
Speaker A
맞아요, 지능의 일부를 잃게 되는 거죠. 정말 불안감을 유발해요.
Speaker B
그에 대한 아주 간단한 예가 지도죠. 요즘 많은 사람들이 도시에서 방향을 찾는 데 어려움을 겪는 걸 봤어요. 항상 턴바이턴 내비게이션을 사용하니까요.
Speaker C
그리고 예를 들어, 이런 보편적인 번역기가 있다면, 그게 그렇게 멀지 않았다고 생각하는데, 영어를 하지 않는 사람들과 소통하는 능력을 잃게 될 거예요, 그걸 그냥 치워버린다면요.
Speaker A
저는 제 뇌의 그 부분을 다시 활용해서 추가적인 연구를 하는 데 매우 편안함을 느껴요.
Speaker C
잡지를 가지고 있는 아이가 그 잡지를 스와이프하려고 하는 영상을 본 적 있는지 모르겠네요.
Speaker A
예.
Speaker C
제가 흥미롭게 생각하는 점은, 이 아이가 자연에서 오는 것과 그 위에 더해진 기술을 구분하지 못한다는 거예요. 그걸 너무 투명하게 만들어버린 거죠. 그리고 이 상황이 비슷하게 보일 것 같아요. 사람들이 도구들을 당연하게 여기다가 그것들을 없애면, 사람들은 뭐가 기술이고 뭐가 아닌지 모르게 될 거예요. 만약 당신이 항상 사람들을 번역해주는 걸 착용하고 있거나, 그런 일을 대신해주는 걸 사용하고 있다면, 사람들은 아마도...
Speaker B
기본적인 인지 능력을 잃게 될 수 있어요, 자연적으로 존재하지 않을 수도 있죠.
Speaker A
우리는 특화될 거예요.
Speaker C
당신이 스페인어를 하는 사람들을 이해할 수 없게 된다면요. 그럼 어떻게 되겠어요? 또는 디즈니에 가면 모든 물체들이 살아있는 것처럼요. 그리고 저는 우리가 왜 물건과 말할 수 없냐는 세상에 도달할 수 있다고 생각해요. 이미 오늘날에도 Alexa에게 말을 걸 수 있고, 그에게 여러 가지를 요청할 수 있잖아요. 맞아요, 맞아요.
Speaker B
그런 장난감 회사들을 봤어요. 그들은 기본적으로 아이와 상호작용할 수 있는 대형 언어 모델(LLM)을 장난감에 내장하려고 하더군요.
Speaker C
맞아요. 문에 다가갔을 때 "열려라"라고 말할 수 없다는 게 이상하지 않나요? 도대체 왜? 그에 대한 또 다른 예가 있어요. ‘데몰리션 맨’이나 ‘아이, 로봇’을 봤는지 모르겠지만, 사람들은 물건에게 말을 걸 수 없다는 생각을 비웃죠. 도대체 왜 그럴까요?
Speaker A
우리는 엑소코텍스에 대해 이야기하고 있습니다. 이건 접근을 민주화하는 것이 매우 중요한 주제라고 생각됩니다. 현재 LLM 연구에서 벌어지고 있는 시장 구조, 즉 차세대 훈련에서 진전을 이룰 가능성이 있는 소수의 대형 연구소들이 존재하는 상황에서, 이것이 미래에 사람들이 무엇에 접근할 수 있는지와 어떻게 연관될까요?
Speaker C
당신이 암시하고 있는 것은 아마도 생태계의 상태일 겁니다. 맞습니다. 몇몇 폐쇄형 플랫폼들의 과점 상태가 있고, 그 뒤에 다소 뒤처진 개방형 플랫폼들이 있습니다. 예를 들어 메타의 라마 같은 것들이죠. 이것은 오픈소스 생태계를 반영하는 모습과 유사합니다. 우리가 이것을 엑소코텍스처럼 생각하기 시작할 때 이런 점이 중요해집니다. 암호화폐 분야에서 “당신의 키가 아니면 당신의 것이 아니다”라는 말이 있죠.
Speaker A
네.
Speaker C
만약 그것이 당신의 가중치가 아니라면, 그런 느낌일까요?
Speaker B
뇌 말이죠. 흥미롭네요. 왜냐하면 기업이 사실상 당신의 엑소코텍스를 통제하고 있다는 의미니까요.
Speaker C
그렇죠, 그러면 그것이 내 엑소코텍스라고 할 때 뭔가 침범당하는 느낌이 들기 시작할 겁니다. 내 엑소코텍스라면 말이죠.
Speaker A
사람들은 소유권에 대해 훨씬 더 신경 쓸 겁니다. 맞습니다.
Speaker C
맞아요. 당신이 뇌를 임대하고 있다는 걸 깨닫는 거죠. 뇌를 임대한다는 건 좀 이상하죠.
Speaker A
이 사고 실험은, 더 나은 뇌를 임대하기 위해 소유권과 통제권을 포기할 용의가 있는지에 대한 질문이었어요. 저는 그렇습니다. 네.
Speaker C
그래서 이것이 바로 우리가 마주하게 되는 선택이라고 생각해요. 우리가 어떻게 될지 지켜봐야겠지만, 아마도 기본적으로는 폐쇄형 버전을 사용하는 것이 가능할 겁니다. 왜냐하면 그것들이 놀랍기 때문이죠. 하지만 다양한 상황에서 대안을 마련할 수도 있겠죠. 오늘날 이런 방식으로 형성되고 있다고 생각합니다. 일부 폐쇄형 소스 제공업체의 API가 중단되면, 사람들은 자신들이 완전히 통제할 수 있는 오픈 에코시스템으로 대체하기 시작하고, 그렇게 함으로써 힘을 얻습니다. 아마도 이것이 뇌에 대한 비유일 수도 있을 겁니다. 만약 무슨 일이 생기면, 오픈 소스 기반으로 돌아가게 될 거예요. 하지만 대부분의 시간 동안은 실제로...
Speaker A
그래서 오픈 소스가 계속 발전하는 것이 매우 중요합니다.
Speaker C
저도 그렇게 생각합니다, 100% 동의해요. 이건 명백한 포인트가 아니거나 지금 당장은 모두가 동의하는 것은 아니겠지만, 저는 100% 확신합니다.

Speaker B
제가 조금 궁금했던 부분 중 하나는 어느 정도 성능을 유지하면서도 가장 작은 모델이 어느 정도일까 하는 것입니다. 파라미터 크기든 다른 방식으로 생각하든지 간에요. 작은 모델에 대한 생각은 해보셨나요?
Speaker C
저는 모델이 놀라울 만큼 작을 수 있다고 생각합니다. 현재의 모델들이 중요하지 않은 것들을 기억하는 데 많은 용량을 낭비하고 있다고 봐요. 예를 들어, sha 해시나 오래된 것들을 기억하죠, 왜냐하면 데이터셋이 그러니까요.
Speaker A
데이터셋이 잘 정리되지 않아서 그렇죠.
Speaker C
맞아요, 정확해요. 이런 문제는 사라질 겁니다. 우리는 인지적인 핵심에 도달해야 하고, 그 인지 핵심은 매우 작을 수 있다고 생각합니다. 그냥 생각하는 장치가 될 것이고, 필요한 정보를 찾아볼 때는 다양한 도구를 사용할 줄 알게 되겠죠.
Speaker A
그게 30억 파라미터인가요? 200억 파라미터 정도인가요?
Speaker C
저는 심지어 10억 파라미터도 충분하다고 생각합니다. 우리는 아마 그 지점에 도달할 겁니다. 모델은 매우 작아질 수 있어요. 그 이유는 기본적으로 증류 방식이 잘 작동하기 때문이라고 생각합니다. 증류는 큰 모델이나 엄청난 컴퓨팅 자원이 작은 모델을 감독하는 방식인데, 이를 통해 작은 모델에 많은 능력을 집어넣을 수 있습니다.
Speaker B
그것에 대한 어떤 수학적 표현이나 정보 이론적인 공식이 있나요? 그런 것이 있을 것 같은데요.
Speaker C
네, 한 가지 생각해볼 수 있는 방법은 우리가 다루고 있는 인터넷 데이터셋으로 돌아가는 것입니다. 인터넷은 0.001% 정도가 인지이고, 나머지 99.99%는 정보, 그 중 대부분은 쓰레기죠.
Speaker A
맞아요.
Speaker C
그리고 그 대부분은 생각하는 부분에 도움이 되지 않는다고 생각해요.
Speaker B
그러니까, 또 다른 질문 방식은 모델 크기에 따른 인지 능력의 수학적 표현이 있냐는 것입니다. 또는 인지를 어떻게 포착하냐는 거죠. 최소한 또는 최대한의 목표와 관련된 것에 대해 표현할 방법이 없을 수도 있겠죠. 저는 10억 파라미터 정도가 괜찮은 인지 핵심을 만들 수 있다고 생각합니다.
Speaker C
아마 맞을 거예요. 저는 10억도 너무 많다고 생각합니다. 잘 모르겠지만, 두고 보죠.
Speaker A
흥미롭네요, 엣지 디바이스에서 사용될지 클라우드에서 사용할지의 문제를 생각해보면 말이죠.
Speaker B
그리고 모델 사용에 따른 비용 문제도 있죠. 정말 흥미로운 주제입니다.
Speaker A
맞아요. 하지만 10억 파라미터 이하의 모델이라면 제 외부 피질이 로컬 장치에 있을 수도 있죠.
Speaker C
맞아요. 아마도 단일 모델은 아닐 겁니다. 이게 어떻게 펼쳐질지 생각하는 것도 흥미롭습니다. 병렬 처리를 활용할 수 있어야 한다고 생각하니까요. 순차적인 프로세스가 아닌 병렬 프로세스가 필요합니다. 기업들도 어느 정도는 병렬적으로 작업을 하고 있지만, 기업 내에는 계층 구조가 있죠. 이는 정보를 처리하고 조직 내에서 필요한 축소를 위해 필요한 방식입니다. 그래서 결국 LLM을 위한 회사들이 생길 것이라고 봅니다. 서로 다른 능력을 가진 모델들이 특정한 도메인에 특화되는 것도 그리 놀랍지 않을 겁니다. 프로그래머나 그런 역할을 맡는 LLM들이 평행하게 작업을 하고, 함께 계산 작업을 조율하게 될 겁니다. 그러니 이를 단순하게 생각하기보다는, 일종의 집단(swarm)으로 보는 게 맞을 겁니다.
Speaker B
생태계처럼 느껴진다고 말했어요. 마치 생물학적 생태계처럼요. 우리는 전문화된 역할과 틈새를 가지고 있고, 그리고.
Speaker C
우리는 점점 그것과 닮아갈 것 같아요.
Speaker A
문제의 난이도에 따라 자동으로 무리의 다른 부분으로 단계가 올라가는 시스템이 있죠.
Speaker C
그래서 CEO는 아주 뛰어난 클라우드 모델처럼 보일 수 있지만, 일하는 사람들은 훨씬 저렴하게, 어쩌면 오픈 소스 모델이나 그런 것이 될 수 있겠죠.
Speaker A
그리고 내 비용 함수는 당신의 비용 함수와 다르죠.
Speaker C
네, 그거 재미있을 수 있겠네요.
Speaker A
당신은 OpenAI를 떠나 교육에 집중하고 있죠. 당신은 항상 교육자였어요. 왜 이런 일을 하나요?
Speaker C
저는 항상 교육자였고, 배움과 가르침을 사랑해 왔습니다. 그래서 교육은 제가 오랫동안 열정을 가지고 있던 분야였어요. 그리고 저를 움직이는 큰 그림 중 하나는, AI에서 많은 활동이 일어나고 있는데, 그 대부분이 사람들을 대체하거나 밀어내는 방향으로 가고 있다는 것입니다. 저는 그것을 사람들을 뒤로 밀어내는 테마라고 표현할 수 있을 것 같아요. 하지만 저는 항상 사람들에게 힘을 실어줄 수 있는 무언가에 더 관심이 있었습니다. 저는 고등급의 '인간 팀'에 속해 있다고 느끼고, AI가 사람들에게 힘을 실어줄 수 있는 방법에 관심이 있습니다. 저는 사람들이 자동화에 밀려나는 미래를 원하지 않습니다. 오히려 사람들이 힘을 얻고, 지금보다 훨씬 더 놀라운 존재가 되기를 원합니다. 그리고 또 하나 흥미로운 점은, 만약 모든 과목에서 완벽한 튜터가 있다면 사람은 어디까지 갈 수 있을까 하는 것입니다. 저는 사람들이 완벽한 커리큘럼을 가진다면 굉장히 멀리 갈 수 있을 것이라고 생각합니다. 우리는 실제로 어떤 부유한 사람들은 튜터를 고용해서 아주 멀리 나아가는 경우를 보기도 하잖아요. 그래서 저는 AI를 통해 그런 것을 구현하거나, 심지어는 그 이상을 달성할 수 있다고 생각합니다.
Speaker B
사실, 80년대부터 나온 명확한 문헌들이 있죠. 일대일 과외가 사람들이 블룸보다 한 표준편차 정도 더 나아지도록 도와준다는 내용이 있습니다. 두 표준편차인가요? 네, 블룸에 대한 이야기 맞습니다. 정확히 그렇습니다. 이와 관련해 흥미로운 선례들이 많이 있습니다. AI의 관점에서 이걸 어떻게 증명해 낼 수 있을까요? 또는 이를 실현하는 첫 번째 제품들은 무엇이 될까요? ‘The Diamond Age’ 같은 책을 보면, 젊은 여성을 위한 일러스트 학습서를 다루기도 하고요, 그런 것들 말이죠.
* 교육 심리학자 벤저민 블룸(Benjamin Bloom)이 제안한 '학습에 대한 2 시그마(Two Sigma) 문제'를 말하는 중: https://en.wikipedia.org/wiki/Bloom%27s_2_sigma_problem
Speaker C
저는 분명히 그런 측면에서 영감을 받았습니다. 그래서 실제로 제가 하고 있는 일은 현재 단일 강좌를 만드는 것이고, 그것이 AI를 배우고 싶을 때 찾을 수 있는 강좌와 같았으면 좋겠다고 생각합니다. 기본적으로 문제는 제가 이미 강좌들을 가르쳤다는 점입니다. 저는 스탠퍼드에서 231N을 가르쳤고, 그것은 첫 번째 딥러닝 수업이었고 꽤 성공적이었습니다. 하지만 질문은, 이런 수업들을 어떻게 진짜로 확장할 수 있을까요? 지구상에 80억 명의 사람들이 있고 그들은 모두 다른 언어를 사용하고, 다양한 능력 수준을 가지고 있는데, 하나의 교사가 그 모든 학생을 가르치는 것은 불가능합니다. 정말 훌륭한 교사를 어떻게 AI로 확장할 수 있을까요? 제가 생각하는 방식은, 교사는 여전히 많은 강의 제작과 커리큘럼을 맡고 있고, 현재 AI의 능력으로는 좋은 강좌를 만들기엔 부족하지만, AI는 학생들에게 그 강좌를 해석하고 안내하는 프런트엔드 역할을 충분히 할 수 있다고 봅니다. 그래서 교사가 사람들에게 직접 가는 것이 아니라, 이제 교사는 프런트엔드 역할을 하지 않고, 백엔드에서 교재와 강좌를 디자인하고, AI가 프런트엔드가 되어 모든 언어로 말하며 학생들을 안내해 나가는 것입니다.
Speaker A
그걸 TA(조교)와 같은 경험으로 생각해도 될까요, 아니면 그 비유는 적절하지 않나요?
Speaker C