Speaker B
제가 조금 궁금했던 부분 중 하나는 어느 정도 성능을 유지하면서도 가장 작은 모델이 어느 정도일까 하는 것입니다. 파라미터 크기든 다른 방식으로 생각하든지 간에요. 작은 모델에 대한 생각은 해보셨나요?
Speaker C
저는 모델이 놀라울 만큼 작을 수 있다고 생각합니다. 현재의 모델들이 중요하지 않은 것들을 기억하는 데 많은 용량을 낭비하고 있다고 봐요. 예를 들어, sha 해시나 오래된 것들을 기억하죠, 왜냐하면 데이터셋이 그러니까요.
Speaker A
데이터셋이 잘 정리되지 않아서 그렇죠.
Speaker C
맞아요, 정확해요. 이런 문제는 사라질 겁니다. 우리는 인지적인 핵심에 도달해야 하고, 그 인지 핵심은 매우 작을 수 있다고 생각합니다. 그냥 생각하는 장치가 될 것이고, 필요한 정보를 찾아볼 때는 다양한 도구를 사용할 줄 알게 되겠죠.
Speaker A
그게 30억 파라미터인가요? 200억 파라미터 정도인가요?
Speaker C
저는 심지어 10억 파라미터도 충분하다고 생각합니다. 우리는 아마 그 지점에 도달할 겁니다. 모델은 매우 작아질 수 있어요. 그 이유는 기본적으로 증류 방식이 잘 작동하기 때문이라고 생각합니다. 증류는 큰 모델이나 엄청난 컴퓨팅 자원이 작은 모델을 감독하는 방식인데, 이를 통해 작은 모델에 많은 능력을 집어넣을 수 있습니다.
Speaker B
그것에 대한 어떤 수학적 표현이나 정보 이론적인 공식이 있나요? 그런 것이 있을 것 같은데요.
Speaker C
네, 한 가지 생각해볼 수 있는 방법은 우리가 다루고 있는 인터넷 데이터셋으로 돌아가는 것입니다. 인터넷은 0.001% 정도가 인지이고, 나머지 99.99%는 정보, 그 중 대부분은 쓰레기죠.
Speaker A
맞아요.
Speaker C
그리고 그 대부분은 생각하는 부분에 도움이 되지 않는다고 생각해요.
Speaker B
그러니까, 또 다른 질문 방식은 모델 크기에 따른 인지 능력의 수학적 표현이 있냐는 것입니다. 또는 인지를 어떻게 포착하냐는 거죠. 최소한 또는 최대한의 목표와 관련된 것에 대해 표현할 방법이 없을 수도 있겠죠. 저는 10억 파라미터 정도가 괜찮은 인지 핵심을 만들 수 있다고 생각합니다.
Speaker C
아마 맞을 거예요. 저는 10억도 너무 많다고 생각합니다. 잘 모르겠지만, 두고 보죠.
Speaker A
흥미롭네요, 엣지 디바이스에서 사용될지 클라우드에서 사용할지의 문제를 생각해보면 말이죠.
Speaker B
그리고 모델 사용에 따른 비용 문제도 있죠. 정말 흥미로운 주제입니다.
Speaker A
맞아요. 하지만 10억 파라미터 이하의 모델이라면 제 외부 피질이 로컬 장치에 있을 수도 있죠.
Speaker C
맞아요. 아마도 단일 모델은 아닐 겁니다. 이게 어떻게 펼쳐질지 생각하는 것도 흥미롭습니다. 병렬 처리를 활용할 수 있어야 한다고 생각하니까요. 순차적인 프로세스가 아닌 병렬 프로세스가 필요합니다. 기업들도 어느 정도는 병렬적으로 작업을 하고 있지만, 기업 내에는 계층 구조가 있죠. 이는 정보를 처리하고 조직 내에서 필요한 축소를 위해 필요한 방식입니다. 그래서 결국 LLM을 위한 회사들이 생길 것이라고 봅니다. 서로 다른 능력을 가진 모델들이 특정한 도메인에 특화되는 것도 그리 놀랍지 않을 겁니다. 프로그래머나 그런 역할을 맡는 LLM들이 평행하게 작업을 하고, 함께 계산 작업을 조율하게 될 겁니다. 그러니 이를 단순하게 생각하기보다는, 일종의 집단(swarm)으로 보는 게 맞을 겁니다.
Speaker B
생태계처럼 느껴진다고 말했어요. 마치 생물학적 생태계처럼요. 우리는 전문화된 역할과 틈새를 가지고 있고, 그리고.
Speaker C
우리는 점점 그것과 닮아갈 것 같아요.
Speaker A
문제의 난이도에 따라 자동으로 무리의 다른 부분으로 단계가 올라가는 시스템이 있죠.
Speaker C
그래서 CEO는 아주 뛰어난 클라우드 모델처럼 보일 수 있지만, 일하는 사람들은 훨씬 저렴하게, 어쩌면 오픈 소스 모델이나 그런 것이 될 수 있겠죠.
Speaker A
그리고 내 비용 함수는 당신의 비용 함수와 다르죠.
Speaker C
네, 그거 재미있을 수 있겠네요.
Speaker A
당신은 OpenAI를 떠나 교육에 집중하고 있죠. 당신은 항상 교육자였어요. 왜 이런 일을 하나요?
Speaker C
저는 항상 교육자였고, 배움과 가르침을 사랑해 왔습니다. 그래서 교육은 제가 오랫동안 열정을 가지고 있던 분야였어요. 그리고 저를 움직이는 큰 그림 중 하나는, AI에서 많은 활동이 일어나고 있는데, 그 대부분이 사람들을 대체하거나 밀어내는 방향으로 가고 있다는 것입니다. 저는 그것을 사람들을 뒤로 밀어내는 테마라고 표현할 수 있을 것 같아요. 하지만 저는 항상 사람들에게 힘을 실어줄 수 있는 무언가에 더 관심이 있었습니다. 저는 고등급의 '인간 팀'에 속해 있다고 느끼고, AI가 사람들에게 힘을 실어줄 수 있는 방법에 관심이 있습니다. 저는 사람들이 자동화에 밀려나는 미래를 원하지 않습니다. 오히려 사람들이 힘을 얻고, 지금보다 훨씬 더 놀라운 존재가 되기를 원합니다. 그리고 또 하나 흥미로운 점은, 만약 모든 과목에서 완벽한 튜터가 있다면 사람은 어디까지 갈 수 있을까 하는 것입니다. 저는 사람들이 완벽한 커리큘럼을 가진다면 굉장히 멀리 갈 수 있을 것이라고 생각합니다. 우리는 실제로 어떤 부유한 사람들은 튜터를 고용해서 아주 멀리 나아가는 경우를 보기도 하잖아요. 그래서 저는 AI를 통해 그런 것을 구현하거나, 심지어는 그 이상을 달성할 수 있다고 생각합니다.
Speaker B
사실, 80년대부터 나온 명확한 문헌들이 있죠. 일대일 과외가 사람들이 블룸보다 한 표준편차 정도 더 나아지도록 도와준다는 내용이 있습니다. 두 표준편차인가요? 네, 블룸에 대한 이야기 맞습니다. 정확히 그렇습니다. 이와 관련해 흥미로운 선례들이 많이 있습니다. AI의 관점에서 이걸 어떻게 증명해 낼 수 있을까요? 또는 이를 실현하는 첫 번째 제품들은 무엇이 될까요? ‘The Diamond Age’ 같은 책을 보면, 젊은 여성을 위한 일러스트 학습서를 다루기도 하고요, 그런 것들 말이죠.
* 교육 심리학자 벤저민 블룸(Benjamin Bloom)이 제안한 '학습에 대한 2 시그마(Two Sigma) 문제'를 말하는 중: https://en.wikipedia.org/wiki/Bloom%27s_2_sigma_problem
Speaker C
저는 분명히 그런 측면에서 영감을 받았습니다. 그래서 실제로 제가 하고 있는 일은 현재 단일 강좌를 만드는 것이고, 그것이 AI를 배우고 싶을 때 찾을 수 있는 강좌와 같았으면 좋겠다고 생각합니다. 기본적으로 문제는 제가 이미 강좌들을 가르쳤다는 점입니다. 저는 스탠퍼드에서 231N을 가르쳤고, 그것은 첫 번째 딥러닝 수업이었고 꽤 성공적이었습니다. 하지만 질문은, 이런 수업들을 어떻게 진짜로 확장할 수 있을까요? 지구상에 80억 명의 사람들이 있고 그들은 모두 다른 언어를 사용하고, 다양한 능력 수준을 가지고 있는데, 하나의 교사가 그 모든 학생을 가르치는 것은 불가능합니다. 정말 훌륭한 교사를 어떻게 AI로 확장할 수 있을까요? 제가 생각하는 방식은, 교사는 여전히 많은 강의 제작과 커리큘럼을 맡고 있고, 현재 AI의 능력으로는 좋은 강좌를 만들기엔 부족하지만, AI는 학생들에게 그 강좌를 해석하고 안내하는 프런트엔드 역할을 충분히 할 수 있다고 봅니다. 그래서 교사가 사람들에게 직접 가는 것이 아니라, 이제 교사는 프런트엔드 역할을 하지 않고, 백엔드에서 교재와 강좌를 디자인하고, AI가 프런트엔드가 되어 모든 언어로 말하며 학생들을 안내해 나가는 것입니다.
Speaker A
그걸 TA(조교)와 같은 경험으로 생각해도 될까요, 아니면 그 비유는 적절하지 않나요?
Speaker C

그것도 하나의 방법입니다. ITA 같은 거죠. 저는 주로 그것을 학생에게 다가가는 프런트엔드로 생각하고 있습니다. 그 AI가 실제로 학생과 상호작용하며 그들을 강좌로 이끌어가는 것입니다. 현재로서는 이것이 가능하지만 아직 실현된 건 없고, 정말 잘 만들 수 있다고 생각합니다. 시간이 지나면서 능력이 향상되면 여러 가지 방식으로 셋업을 리팩토링할 수 있을 것입니다. 저는 오늘날 AI 능력에 맞는 모델을 찾는 것을 좋아합니다. 그리고 많은 회사들이 현재 AI의 능력에 대한 직관적인 이해를 잘 못하고 있는 것 같아요. 그 결과, 그들은 때로는 너무 앞서 나가거나, 또는 충분히 야심 차지 않은 것들을 만들게 되죠. 그래서 저는 이게 오늘날 가능한 것들 중에서도 상당히 흥미롭고, 기대할 만한 부분이라고 생각합니다.
Speaker A
제가 돌아가서 다시 이야기하고 싶은 부분이 있는데, 특히 당신의 배경과 우리가 현재 연구에서 어디쯤 있는지를 이해하는 측면에서 매우 영감을 주는 내용이라고 생각합니다. 우리는 학습 도구가 훨씬 더 좋아졌을 때, 인간의 학습 성과 한계가 어디까지인지 정확히 모릅니다. 최근 올림픽이 있었잖아요? 예를 들어, 지금의 육상 선수들이나 다른 스포츠에서 오늘날의 기록들은 10년 전보다 훨씬 나아졌습니다. 물론 약물 같은 걸 제외하고 말이죠. 왜냐하면 요즘에는 더 일찍 훈련을 시작하고, 프로그램도 다르고, 과학적 이해도 훨씬 나아졌으며, 기술도 발전했고, 장비도 좋아졌기 때문이죠. 당신이 말한 것처럼, 도구와 커리큘럼이 발전하면 인간은 훨씬 더 나아질 수 있다는 믿음은 정말 놀랍습니다.
Speaker C
네. 저는 우리가 할 수 있는 것의 가능성조차 아직 제대로 탐구하지 못했다고 생각해요. 기본적으로 두 가지 차원이 있다고 보는데요. 첫 번째는 전 세계적으로 모든 사람이 정말 좋은 교육을 받게 하자는 글로벌화 차원이고, 두 번째는 개인이 얼마나 멀리 갈 수 있을까 하는 것이죠. 이 두 가지 모두 매우 흥미롭고 기대되는 부분입니다.
Speaker B
보통 사람들이 1대1 학습에 대해 이야기할 때는 그 적응적 측면을 강조하는데, 이는 학습자의 수준에 맞춰 도전할 수 있는 환경을 의미하죠. 오늘날 AI로 그런 것을 할 수 있다고 생각하나요, 아니면 미래의 일일까요? 오늘날에는 주로 다중 언어와 도달 범위에 초점이 맞춰져 있는 것 같아요.
Speaker C
그리고 전 세계적으로는 다른 언어 같은 것이 쉽게 접근할 수 있는 과제라고 생각합니다. 현재 모델들은 번역 기능이 상당히 뛰어나서 자료를 즉석에서 번역할 수 있을 정도로 좋습니다. 그래서 이런 점들이 아주 낮은 열매(low-hanging fruit)라고 할 수 있죠. 하지만 개인의 배경에 맞춘 적응성은 쉽게 해결할 수 있는 과제가 아니라고 생각합니다. 그렇지만 너무 멀리 있는 것도 아니죠. 이것은 분명 필요한 부분입니다. 왜냐하면 모든 사람이 같은 배경을 가지고 있지는 않기 때문이죠. 그리고 과거에 다른 분야에 익숙하다면, 이미 알고 있는 것들과 유사점을 만들어내는 것이 매우 교육적으로 강력합니다. 이것이 바로 우리가 활용해야 할 미션입니다. 하지만 이 지점은 분명 명확하지 않고 어느 정도 시간이 필요한 부분입니다. 쉬운 버전으로는 모델에 "나는 물리학을 알아"라고 프롬프트를 주는 것이 가까운 미래일 수 있습니다. 하지만 제가 말하는 것은 정말로 작동하는 것이지, 가끔 작동하는 데모가 아닙니다. 저는 진짜로 사람처럼 작동하는 것을 의미합니다.
Speaker B
맞아요. 그래서 제가 적응성에 대해 물어본 거예요. 사람들은 각자 다른 속도로 배우고, 어떤 사람들은 어려워하는 부분이 다른 사람들에게는 그렇지 않기도 하잖아요. 반대의 경우도 마찬가지고요. 그런 맥락에서 어떻게 조정할 수 있을까가 중요한 문제라고 봅니다. 시간이 지나면서 그 사람의 강점이나 약점을 모델에 재도입하는 방식이 있을 수 있다고 생각합니다.
Speaker C
그게 바로 AI 학습 시스템의 문제죠. 많은 기능들이 단지 프롬프트를 입력하면 나오는 수준입니다. 그래서 늘 데모는 나오지만, 실제로 제품으로 이어지느냐는 또 다른 문제입니다. 그래서 이 점에서 저는 데모는 가까이 있지만, 제품은 아직 멀리 있다고 말하고 싶어요.
Speaker B
우리가 아까 이야기했던 것 중에 흥미롭다고 생각한 부분은 연구 커뮤니티에서의 '계보' 같은 것입니다. 특정 연구실에서 왔고 서로가 서로의 연구실 출신이라고 말하는 게 흔한 일이죠. 실제로 상당히 많은 노벨상 수상자들이 이전 노벨상 수상자의 연구실에서 일했던 경험이 있었습니다. 그래서 문화든 지식이든 아니면 브랜드든 어떤 것이 전파되고 있다는 느낌이 있죠. AI 교육 중심의 세계에서 이런 계보를 어떻게 유지할까요? 아니면 중요하지 않은 걸까요? 네트워크와 지식의 전파에 대해 어떻게 생각하나요?
Speaker C
저는 사실 계보가 너무 중요시되는 세상에서 살고 싶지 않아요. 맞아요. 그래서 AI가 그 구조를 조금은 파괴할 수 있기를 바랍니다. 제한된 자원으로 문을 걸어 잠그는 것 같은 느낌이 있죠. "계보를 가진 사람은 제한적이다"라는 식으로요. 그런 면이 좀 있는 것 같아서 AI가 그걸 없애주길 바랍니다.
Speaker A
그건 분명 일부분이죠. 실제 학습의 한 부분이면서도, 일종의 가문이기도 하니까요, 맞죠?
Speaker C
맞아요.
Speaker B
또한 이것은 집합의 문제이기도 하죠. 일종의 클러스터 효과입니다. 왜 대부분의 AI 커뮤니티가 베이 에어리어에 모여 있는지, 또는 왜 대부분의 핀테크 커뮤니티가 뉴욕에 있는지 같은 거죠. 저는 이게 정말 똑똑한 사람들이 공통의 관심사와 신념을 가지고 모이기 때문에 발생하는 현상이라고 생각합니다. 그들은 그 공통된 중심에서부터 확산되기 시작하고, 흥미로운 방식으로 지식을 공유하죠. 특히 젊은 층에서는 이러한 행동의 상당 부분이 온라인으로 전환된 것 같아요.
Speaker C
그것의 한 측면은 교육적 측면이라고 생각해요. 오늘날 어느 커뮤니티의 일원이 된다면, 엄청난 양의 교육과 견습을 받게 되는데, 이는 매우 도움이 되고 그 분야에서 강력한 상태에 이를 수 있게 해줍니다. 다른 한 측면은 무엇에 동기 부여를 받는지, 무엇을 하고 싶은지에 대한 문화적 측면이라고 생각해요. 그 문화가 무엇을 중요시하고, 무엇을 숭배하는지, 말 그대로 어떤 것을 예찬하는지 말이죠. 예를 들어, 학계에서는 h-인덱스가 중요하죠. 모든 사람이 h-인덱스, 즉 논문을 얼마나 많이 발표했는지를 중요하게 생각해요. 저도 그 커뮤니티의 일원이었고, 그런 것을 봤어요. 그리고 이제 다른 곳에 와보니, 각 커뮤니티마다 다른 우상들이 있더군요. 이런 것이 사람들에게 동기를 부여하고, 그들이 어디에서 사회적 지위를 얻고, 실제로 무엇이 중요한지에 큰 영향을 준다고 생각합니다. 저는 슬로바키아에서 자라왔고, 거긴 또 아주 다른 환경이었어요. 캐나다에 있었을 때도 역시 아주 다른 환경이었죠.
Speaker A
그곳에서는 뭐가 중요했나요?
Speaker C
하키요. 죄송해요.
Speaker A
고맙습니다.
Speaker B
하키죠.
Speaker C
예를 들어, 캐나다에서 저는 토론토 대학교에 다녔는데, 토론토는 창업하기 좋은 환경이 아니라고 생각합니다. 창업을 해야 한다는 생각조차 들지 않아요. 사람들이 그런 일을 하고 있지 않으니까요. 창업을 하는 친구들도 없고, 창업을 본받아야 한다는 생각조차 들지 않아요. 사람들은 창업자들에 대한 책을 읽고 그들을 이야기하지도 않아요. 단지 목표나 관심사가 아닌 거죠. 대신 모든 사람들이 어디에서 인턴십을 하고 있는지, 나중에 어디서 일할 것인지에 대해 이야기하고 있어요. 그리고 몇몇 고정된 회사들이 있고, 그중 하나를 선택해 자신을 맞춰 가는 것이 당연하게 받아들여져요. 그게 마치 본받아야 할 무언가인 것처럼요. 그래서 이런 문화적인 측면이 매우 강력하고, 사실상 지배적인 변수라고 생각해요. 왜냐하면 저는 오늘날 교육적인 측면은 훨씬 더 쉬운 부분이라고 느끼기 때문이에요. 이미 많은 자료들이 쉽게 접근 가능하니까요. 그래서 결국은 당신이 속한 문화적 측면이 대부분이라고 생각합니다.
Speaker A

그래서 이 부분에 대해, 몇 주 전에 우리가 이야기했던 것 중 하나는, 그리고 당신이 온라인에 이와 관련해 올렸던 것 같아요, 학습과 오락은 다르다는 점이에요. 학습은 원래 어려워야 하는 거죠. 그리고 이건 사회적 지위에 대한 문제와도 관련이 있다고 생각해요. 사회적 지위는 굉장한 동기부여가 되죠. 누가 우상인지를 말이에요. 이런 시스템을 통해 동기부여를 바꿀 수 있다고 생각하나요? 그게 만약 큰 걸림돌이라면, 당신은 사람들이 자신이 할 수 있는 능력 내에서 가능한 한 멀리 나아갈 수 있도록 자원을 제공하는 데 집중하고 있나요? 역사상 어느 때보다 더 영감을 주는 방향으로요? 아니면 사람들의 학습 의지를 바꾸고 싶나요, 혹은 최소한 그들이 스스로 학습의 길을 걷도록요? "원한다"는 단어는 굉장히 무거운 단어죠.
Speaker C
저는 학습을 훨씬 더 쉽게 만들고 싶습니다. 그리고 사람들이 학습을 원하지 않을 가능성도 있을 겁니다. 예를 들어, 오늘날 사람들은 실용적인 이유로 학습을 원하죠. 예를 들어, 취업을 하고 싶어 한다든지, 그런 것이죠. 그래서 AGI 이전 사회에서는 교육이 유용하다고 생각합니다. 그리고 사람들은 경제적으로 성장하고 있기 때문에, 그 동기부여가 된다고 생각합니다.
Speaker A
하지만 AGI 이후 사회에서는, 우리는.
Speaker C
모두가 사회로 나아가는 겁니다. 저는 교육이 오락의 일부가 될 거라고 생각합니다.
Speaker A
훨씬 더 큰 범위에서, 성공적인 결과까지 포함해서 말이죠. 단순히 콘텐츠가 스쳐 지나가는 것이 아니라요.
Speaker C
네, 그렇게 생각합니다.
Speaker A
결과라는 것은 이해, 학습, 새로운 지식을 기여할 수 있는 능력, 또는 어떻게 정의하든 그런 것들이죠.
Speaker B
200년, 300년 전으로 돌아가 보면 과학을 하고 있던 사람들이 귀족이나 부유한 사람들이었다는 것은 우연이 아니라고 생각합니다.
Speaker A
우리는 모두 귀족이 될 겁니다. Andrej와 함께 배우는 거죠.
Speaker C
네, 저는 당신이 말한 것과 매우 유사하다고 생각합니다. 무언가를 배우는 것은 일종의 뇌를 위한 체육관에 가는 것과 같다고 느낍니다. 체육관에 가는 것처럼 느껴지죠. 체육관에 가는 것은 재미있어요. 사람들은 무게를 들어올리는 걸 좋아하죠. 물론 어떤 사람들은 체육관에 가지 않기도 하지만요.
Speaker A
아니요, 아니요, 몇몇 사람들은 가지만, 그건 노력도 필요하죠.
Speaker C
맞아요, 맞아요, 노력은 필요하지만 그 과정에서 즐거움도 있습니다. 그리고 그 대가로 여러 가지 방식으로 자기 자신에 대해 만족감을 느낄 수 있죠. 교육도 그와 비슷하다고 생각합니다. 그래서 교육이 재미있을 필요는 없다고 말한 거예요. 물론 어느 정도는 재미있지만, 그건 특정한 종류의 재미라고 해야 할까요. 저는 미래에는 사람들이 실제로 체육관에 많이 가기를 바랍니다. 신체적으로뿐만 아니라 정신적으로도요. 그리고 높은 교육 수준을 가진 사람들을 존경하게 되는 것이죠. 그게 제가 바라는 겁니다.
Speaker A
Eureka에 대해 마지막 질문을 하나 드려도 될까요? 첫 번째 코스의 대상이 누구일지 궁금해서요.
Speaker C
첫 번째 코스의 대상은 주로 학부 수준의 과정으로 생각하고 있습니다. 기술 분야의 학부 과정을 하고 있는 사람들이 이상적인 대상일 것 같아요. 현재 우리가 목격하고 있는 것은 교육에 대한 낡은 개념입니다. 학교를 다니고 졸업한 후에는 일을 한다는 개념이죠. 하지만 기술이 매우 빠르게 변화하는 사회에서는 사람들이 학교로 자주 돌아오게 될 것입니다. 그래서 학부 수준의 과정이지만, 사실 나이에 관계없이 그 수준의 사람들이 모두 대상이 될 수 있습니다. 예시로 들면, 연령대가 매우 다양할 것으로 예상합니다. 하지만 주로 기술적인 분야에 관심이 있고 이를 제대로 이해하고 싶어 하는 사람들이 주요 대상이 될 것입니다.
Speaker A
언제 그 코스를 수강할 수 있나요?
Speaker C
올해 말쯤에는 개설할 수 있기를 바랐습니다. 그런데 지금 해야 할 일들이 쌓여서, 아마도 내년 초쯤이 될 것 같습니다. 정말 좋은 코스를 만들려고 노력 중이에요. 그만큼 시간이 좀 걸리네요.
Speaker B
사실 그와 관련된 마지막 질문이 하나 있는데요. 만약 지금 어린아이들이 있다면, 그들이 유용한 미래를 위해 무엇을 공부해야 한다고 생각하시나요?
Speaker C
제 생각에는 정답이 있고, 그 정답은 수학, 물리, 컴퓨터 공학 같은 학문이라고 봅니다. 제가 이렇게 말하는 이유는 그것들이 사고력을 기르는 데 도움을 주기 때문입니다. 사고력을 기르는 데 가장 좋은 핵심이 바로 이런 과목들이라고 생각해요. 물론 제 배경이 그렇기 때문에 이런 생각을 할 수도 있겠지만, 물리학 수업이나 다른 수업들이 제 사고 방식을 형성했다고 믿습니다. 일반적인 문제 해결 능력에도 아주 유용하고요. AGI 이전 세상에서도 유용하고, AGI 이후에도 다양한 역할을 수행할 수 있는 능력을 갖춘 인간이 필요하니까요. 그래서 이것이야말로 사람들이 공부해야 할 올바른 답이라고 생각합니다. 그 밖의 것들은 나중에 추가로 배울 수 있지만, 사람들이 집중력과 시간을 가장 많이 쏟을 수 있는 중요한 시기에는 이런 단순 조작이 많이 필요한 작업에 시간을 써야 한다고 봅니다. 기억력에 의존하는 작업보다는 말이죠.
Speaker B
저도 수학 전공을 했는데, 뇌에 새로운 고랑이 파여지는 느낌이 들었어요.
Speaker A
그렇죠. 나중에 그 고랑을 다시 파는 건 더 어렵죠.
Speaker C
물론 다른 것들도 많이 추가하고 싶습니다. 다른 학문들에 반대하는 것은 아니에요. 다양한 학문이 있다는 것은 정말 아름다운 일이라고 생각합니다. 하지만 저는 그중 80%는 이런 과목들로 구성되어야 한다고 생각해요.

https://ia.samaltman.com/

• 앞으로 몇 십 년 안에, 우리 조부모들에게 마법처럼 보였을 일들을 할 수 있게 될 것임.
• 이 현상은 새로운 것이 아니나, 새롭게 가속화될 것임.
• 사람들은 시간이 지남에 따라 극적으로 더 유능해짐.
• 우리는 이미 선조들이 불가능하다고 믿었을 일들을 지금 해낼 수 있음.
• 우리가 더 유능해진 것은 유전적 변화 때문이 아님.
• 사회의 인프라가 우리 개개인보다 훨씬 더 스마트하고 유능해졌기 때문임.
• 중요한 의미에서, 사회 자체가 일종의 고급 지능 형태임.
• 우리의 조부모들과 그 이전 세대들은 위대한 것들을 만들고 이루어냄.
• 그들은 우리 모두가 혜택을 받는 인류 진보의 발판을 만드는 데 기여함.
• AI는 사람들에게 어려운 문제를 해결할 도구를 제공할 것임.
• 우리 스스로는 알아내지 못했을 새로운 지지대를 그 발판에 추가하는 데 도움을 줄 것임.
• 진보의 이야기는 계속될 것이며, 우리 아이들은 우리가 할 수 없는 일들을 할 수 있게 될 것임.
• 한 번에 모든 일이 일어나지는 않을 것임.
• 곧 AI의 도움으로 우리 혼자서는 할 수 없었던 일들을 훨씬 더 많이 해낼 수 있게 될 것임.
• 결국 우리 각자가 상상할 수 있는 거의 모든 것을 만들어낼 수 있는 가상의 전문가들로 구성된 개인 AI 팀을 갖게 될 것임.
• 우리 아이들은 어떤 주제든, 어떤 언어로든, 필요한 속도로 개인화된 지도를 제공할 수 있는 가상 튜터를 갖게 될 것임.
• 더 나은 의료, 누구나 상상할 수 있는 모든 종류의 소프트웨어 제작 능력 등에 대해 비슷한 아이디어를 상상할 수 있음.
• 이러한 새로운 능력으로, 오늘날 상상할 수 없는 정도의 공동 번영을 누릴 수 있을 것임.
• 미래에는 모든 사람의 삶이 현재 누구의 삶보다도 나아질 수 있음.
• 번영만으로 반드시 사람들을 행복하게 만들지는 않음.
• 그러나 전 세계 사람들의 삶을 의미 있게 개선할 것임.
• 인류 역사를 좁은 시각으로 보면, 수천 년간의 과학적 발견과 기술 진보가 축적되어 왔음.
• 우리는 모래를 녹이고, 불순물을 추가하고, 놀라운 정밀도로 극도로 작은 규모로 배열하여 컴퓨터 칩을 만들어냄.
• 이를 통해 점점 더 유능한 인공지능을 만들어내는 시스템을 갖게 됨.
• 이것이 지금까지의 모든 역사에서 가장 중대한 사실로 판명될 수 있음.
• 몇 천 일 안에 초지능을 갖게 될 가능성이 있음.

• 더 오래 걸릴 수도 있지만, 그곳에 도달할 것이라고 확신함.
• 번영의 다음 단계로 나아가는 문턱에 서 있는 이유는 딥러닝이 작동했기 때문임.
• 딥러닝이 작동했고, 규모에 따라 예측 가능하게 개선되었으며, 우리가 이에 더 많은 자원을 투입했기 때문임.
• 인류는 모든 데이터 분포(또는 모든 데이터 분포를 생성하는 근본적인 "규칙")를 정말로, 진정으로 학습할 수 있는 알고리즘을 발견함.
• 놀라운 정도의 정밀도로, 더 많은 컴퓨팅 능력과 데이터가 사용 가능할수록 사람들이 어려운 문제를 해결하는 데 더 도움이 됨.

• 이에 대해 아무리 많은 시간을 생각해도, 이것이 얼마나 중요한지 완전히 내면화할 수 없음.
• 아직 해결해야 할 세부사항이 많지만, 특정 과제에 주의를 빼앗기는 것은 실수임.
• 딥러닝은 작동하며, 우리는 남은 문제들을 해결할 것임.

• 앞으로 일어날 일들에 대해 많은 것을 말할 수 있지만, 주요한 점은 AI가 규모와 함께 개선될 것이라는 점임.

• 이는 전 세계 사람들의 삶에 의미 있는 개선을 가져올 것임.
• AI 모델은 곧 의료 조정과 같은 특정 작업을 우리를 대신해 수행하는 자율적인 개인 비서 역할을 하게 될 것임.
• 나중에는 AI 시스템이 너무 좋아져서 더 나은 차세대 시스템을 만들고 전반적인 과학적 진보를 돕게 될 것임.
• 기술은 우리를 석기 시대에서 농업 시대로, 그리고 산업 시대로 이끌어옴.

• 여기서 지능 시대로 가는 길은 컴퓨팅 능력, 에너지, 인간의 의지로 포장되어 있음.
• AI를 가능한 한 많은 사람들의 손에 넣으려면 컴퓨팅 비용을 낮추고 풍부하게 만들어야 함.
• 이를 위해서는 많은 에너지와 칩이 필요함.
• 충분한 인프라를 구축하지 않으면 AI는 매우 제한된 자원이 될 것임.
• 그렇게 되면 전쟁의 원인이 되거나 주로 부자들의 도구가 될 수 있음.
• 우리는 지혜롭게 행동해야 하지만 확신을 가지고 행동해야 함.
• 지능 시대의 여명은 매우 복잡하고 극도로 중요한 도전과제를 가진 중대한 발전임.
• 완전히 긍정적인 이야기가 되지는 않겠지만, 그 잠재적 이익이 너무나 크기 때문에 우리 앞에 놓인 위험을 헤쳐 나가는 방법을 알아내야 함.
• 미래가 너무나 밝아서 지금 그것에 대해 글을 쓰는 것으로는 정의를 내릴 수 없다고 믿음.

• 지능 시대의 정의적 특징은 엄청난 번영이 될 것임.
• 점진적으로 일어나겠지만, 결국 기후 문제 해결, 우주 식민지 건설, 모든 물리학의 발견과 같은 놀라운 승리가 일상적인 일이 될 것임.
• 거의 무한한 지능과 풍부한 에너지, 즉 위대한 아이디어를 생성하고 그것을 실현할 수 있는 능력을 가지면 상당히 많은 일을 할 수 있음.

• 다른 기술들과 마찬가지로 단점도 있을 것이며, 우리는 지금부터 AI의 이점을 극대화하고 해악을 최소화하기 위해 노력해야 함.
• 이 기술이 향후 몇 년 내에 노동 시장에 상당한 변화를 일으킬 것으로 예상함.
• 그러나 대부분의 직업은 사람들이 생각하는 것보다 천천히 변할 것임.
• 우리가 할 일이 없어질 것이라는 두려움은 없음.
• 사람들에게는 창조하고 서로에게 유용하고자 하는 타고난 욕구가 있음.
• AI는 우리가 자신의 능력을 전례 없이 증폭시킬 수 있게 해줄 것임.

• 사회로서, 우리는 다시 확장하는 세계에 있게 될 것이며, 다시 한 번 포지티브섬 게임에 집중할 수 있을 것임.
• 오늘날 우리가 하는 많은 일들이 수백 년 전 사람들에게는 하찮은 시간 낭비로 보였을 것임.
• 그러나 아무도 과거를 돌아보며 가로등 점화원이 되기를 바라지 않음.

• 만약 가로등 점화원이 오늘날의 세계를 볼 수 있다면, 주변의 번영이 상상할 수 없을 정도라고 생각할 것임.
• 그리고 만약 우리가 오늘로부터 100년 후로 빨리 감기를 할 수 있다면, 우리 주변의 번영이 똑같이 상상할 수 없을 정도로 느껴질 것임.

https://x.com/StockMKTNewz/status/1838998703727620578

No language barrier anymore

이재웅님.

저는 우리 미디어 생태계가 잘 작동한다고 생각하지 않습니다. 물론, 인터넷 이전의 1990년대에 비해서는 미디어 혁명이라고 할 만큼 큰 변화가 만들어졌지만, 변화된 환경에서도 여전히 생태계 참여자들마다 가져가는 가치는 충분하지 않다고 생각합니다. 조금 더 구체적으로 이야기하자면, 긍정적인 부분은 지금까지 통제된 시스템에서 벗어나 누구나 미디어 생산자가 되고 자신이 원하는 미디어를 언제 어디서나 잘 소비할 수 있게 되었다는 점이 혁명적이겠지만, 부정적인 부분은 생태계 전체가 과연 잘 작동해서 가치있는 컨텐츠를 생산하는 사람들이 적절하게 보상받고, 그 컨텐츠를 소비하기 위해 지불 (자신의 관심이나 돈을 교환해서 얻는)한 사람들이 그 가치에 만족하느냐 하는 부분이 아닐까 싶습니다.

저는 잘 작동하지 않는 현재의 미디어 생태계를 다시 고쳐내는 가장 쉬운 방법은 기존의 미디어의 개선을 통해서가 아니라, 미디어 소비자의 습관뿐만 아니라 미디어 생산까지 포함한 새로운 생태계로 진화해서, 새로운 문화가 될 수 있는 시스템의 등장으로만 풀 수 있다고 생각합니다. 그런데, 이러한 시스템이나 서비스는 하루 아침에 신데렐라처럼 등장해서 모든 사람들의 습관과 문화를 바꾸는 생태계 진화를 이루어내지는 못합니다. 우리에게 이미 식상한 서비스라고 느껴지는 페이스북, 유튜브, 트위터도 20년의 세월동안 부침을 겪으면서 여러 문제를 만들어내기도 하고 해결하기도 하면서 생태계로 진화해왔습니다. 물론 한국의 네이버나 카카오, 다음같은 미디어 서비스도 마찬가지였죠. 혁신 기업가와 투자자, 그리고 그 생태계에 참여하는 사람들의 노력과 견제가 가치있는 서비스로 진화시키기도 하고, 시대를 못 따라가는 미디어로 가치를 잃어가도록 되기도 합니다.

퍼블리에 이어 두번째, 올해 헤어진 미디어 회사 리뷰는 창업한지 19년된 Reddit입니다. 투자한지 10여년만에 뉴욕증시에 기업공개 하고 6개월 뒤에 공모가의 두배에 가까운 가격으로 헤어졌으니, 결과적으로 성공적인 투자라고 할 수 있겠습니다만 더 기쁜 것은 그냥 고양이 사진 많이 올라오던 게시판에 불과했던 서비스가 성공적인 새로운 미디어로 (트래픽이나 매출등 여러 가치에서) 발돋움 해서 많은 사람들의 습관과 문화를 바꿔냈고, 저도 거기에 동참할 수 있었다는 것입니다. 하지만, 그 과정에서는 우여곡절이 많았습니다. 미디어 비즈니스가 이렇게 어렵다는 이야기를 하는 것이 아니라 꿈과 희망을 주어서 실패를 걱정하지 말고 도전하게 만들고자 하는 게 제 속마음입니다만, 실제로는 어려운 환경에서 악전고투하는 스타트업들이 더 많을 거라서 그들이 절망하지 않고 기운 내 조금 더 도전을 하게 하고자 하려면 여러 어려움 속에서도 성공한 Reddit의 성공케이스를 좀 더 들여다보면 좋지 않을까 싶어서 이야기를 해 봅니다.

Reddit은 지금은 일주일에 3억명이 넘는 사람들이 방문하고, 매출은 올해 1조원을 돌파할 것으로 예상되고 카카오의 기업가치와 엇비슷한 16조원 내외로 시장에서 평가받으면서도 여전히 연간 50%넘는 트래픽이나 매출 성장을 하고 있는 미디어 회사입니다. 게시판이 중심인 이 회사가 왜 미디어 회사냐고 생각하실 분들이 계시겠지만, 컨텐츠로 사람들과의 접점을 만들어 내는 회사들을 광의의 미디어 회사로 분류하고, 페이스북이나 유튜브, 네이버와 마찬가지로 제 관점에서는 미디어 회사입니다.

제가 다음에서 카페라는 서비스를 99년에 처음 만들었을때 사실 꿈꾸던 서비스는 Reddit같은 서비스였습니다. 제가 파리에서 공부하던 시절의 신선한 충격중 하나는 골목마다 있는 카페 문화였거든요. 그 카페들은 누구에게나 열려있고, 사람들은 모여서 동네소식도 나누고, 같이 스포츠경기도 보고, 정치,경제 이야기같은 특정 주제로 이야기도 하고, 체스도 두고, 시간을 보내는 오프라인 미디어였습니다. 그걸 온라인으로 바꿔내 보려고 했던게 다음카페였는데요, 제 꿈과는 다르게 한국의 문화에 잘 적응하려다보니 가입형, 커뮤니티형, 준폐쇄형 클럽처럼 되어서 그게 다음카페가 성공한 요인이 되었지만, 정보의 소통의 장으로서의 미디어로서의 가치는 갖기 힘든 Social Media가 아닌 Social Networking Service가 되어 버렸죠. 저는 Reddit처럼 사람들이 주제에 따라서 들어가서 대화에 끼기도 하고, 나중에 누구나 필요한 정보는 살펴볼 수도 있는 미디어 서비스가 목표였고, 그 당시 기세였다면 길게 보고 그런 습관과 문화를 만들어 나갈 수도 있었을텐데, 상장된 기업을 운영하는 기업가로서 그렇게 길게 보고 가는 결정을 하지 못했었죠. 그런 아쉬움에 Reddit은 초기부터 지켜보고 있었고, 투자할 기회가 생기자마자 투자를 하고 응원했던 그런 미디어 서비스였습니다.
이런 화려해보이는 Reddit은 지금으로부터 20여년 전에 대학생 두명이 창업해서 너무 빠르게 성장하는 서비스를 감당못하고 1년여 뒤에 Conde Nast, Vogue등으로 유명한 전통 미디어 재벌그룹 Conde Nast/Advanced에 100억 조금 넘는 돈에 매각하게 됩니다. 그래서 전통 미디어 회사의 완전 자회사로 6년여를 보냈는데요, 보통은 이런 조합이 성공하지 못하지만, 수많은 지역신문과 여러 종류의 잡지사, 방송사등을 가지고 있는 Conde Nast 그룹은 조금 다르게 접근합니다. 전통 미디어 자산이나 인력과의 결합으로 시너지를 나게 하는 것이 아니라 완전히 독립적으로, 하지만 가치있는 정보 유통이라는 미디어의 기본 자산은 지키면서 테크 플랫폼회사로 6년여를 키워 갑니다. 이게 다른 게시판들이 혐오와 편향으로 얼룩지고, 고양이 사진이나 별 가치 없는 정보의 유통으로 사람들의 피로도를 가중시키며 미디어로서의 역할을 잘 못할 때, 오히려 중심을 잡고 조금 느리지만 가치있는 미디어로의 진화를 하게 됩니다. 아마도 다양한 수많은 전통 미디어 회사들을 독립적으로 경영하는 미디어그룹이어서 가능했던 진화가 아닐까 합니다. Reddit은 언론/표현의 자유의 성지를 추구하는 것이 아니라 모든 사용자들이 열려 있고 솔직한 대화를 할 수 있는 장을 추구한다는 Mission Statement도 그 때 자리잡혔고, 일부 모더레이터들과 사용자들의 저항에도 불구하고 혐오나 편향 발언이나 발언자는 퇴출시키고 심지어는 일부 sub 게시판은 폐쇄까지도 하면서, 다른 게시판들과는 차별되는 소셜 미디어로서의 자리를 잡아가게 됩니다. 그러다가 2014년 즈음 이 서비스의 빠른 성장을 확신한 Conde Nast에서 대규모 투자를 하되, 스타트업 공식으로 해야 이 성장을 만들 수 있겠다는 생각에 벤처캐피탈 투자유치를 하게 되면서 그 전까지의 하위문화 게시판에서 본격적인 미디어로 진화하게 됩니다. 그 뒤에 수천억원의 투자를 받고 다시 10여년이 지나 올해 뉴욕증시에 기업공개까지 하게 되었는데요, 그 사이 우여곡절은 아주 많았습니다. 경영진도 세차례나 바뀌었고, 모더레이터, 사용자들과 혐오와 편향에 대한 기준과 표현의 자유, 프라이버시등에 대한 엄청난 저항과 다툼도 있었고, 전통미디어회사들과의 갈등도 있었고, 수익모델이 제대로 만들어지지 않아서 광고와 프리미엄구독, AI 학습용으로 판매등으로 여러번 실험하고 진화하는 과정에서도 이용자들의 불만과 저항, 보이콧 등에 맞닥뜨리기도 했습니다.

그런데 이러한 서비스나 회사가 문닫을 뻔한 어려움 속에서도 거버넌스는 돋보였습니다. 스타트업식의 문제해결과 전통미디어그룹의 미디어에 대한 가치지향과 뚝심이 잘 조화를 이룬데다가, 투자자를 설득해서 대규모 투자를 끌어내어 문제를 해결할 시간을 벌고, 이용자들 그리고 사회와는 바람직한 방향에 대한 꾸준한 설득과 타협, 그리고 모더레이터들과는 수익분배, 주식배분등 여러가지 모델을 실험하면서 설득하고, 끝내 답을 찾아서 지금은 AI가 학습해야할 세상의 모든 살아있는 정보와 지식이 있는 곳이 되어서 그 가치를 입증하고 있습니다. 많은 게시판이나 커뮤니티가 폐쇄성이나 편향성, 혹은 표현의 자유라는 명목하게 쓰레기장처럼 되어버리는 와중에 거의 유일무이한 사용자들이 직접 만들어내는 가치있는 정보와 컨텐츠로 사용자들과의 접점을 확대해 나가는 미디어 서비스로서의 자리를 잡아간 것입니다. 모더레이터를 포함한 이용자들과의 꾸준한 커뮤니케이션으로 사람들의 습관과 문화를 바꿔내서 1조원이 넘는 매출을 만들어내면서 사회적 책임감도 가져가는 진정한 미디어 기업이 된 것이죠.

저는 스타트업, 특히나 사람들의 습관과 문화를 바꿔낼 수 있는 임팩트 스타트업의 여정은 자기 자신, 그리고 같이 일하는 동료들, 투자자들, 이용자들, 소비자들 그리고 광고주들을 포함한 생태계 혹은 우리 사회 전체를 설득해 나가는 여정이라고 생각합니다. 그냥 우연히 멋진 서비스를 만들거나 기술을 만들어서 투자를 유치했다고 성공하는 것이 아니라, 그것을 바탕으로 그 서비스의 가치, 참여하는 생태계 사람들에게 주는 가치, 사회에 주는 가치를 꾸준히 설명하고 설득할 수 있어야 비로소 의미있는 고객이 생기고 의미있는 투자자가 생기고, 사회가 응원하는 진정한 임팩트 스타트업으로 갈 수 있고, 그런 기업이야말로 사람들의 습관과 문화를 바꿀 수 있습니다. 사람들이 습관과 문화를 바꾸는 것이 정말 어려우ㅗ니까요,
Reddit과 헤어지면서 돌아보니, 제가 미디어 기업을 직접 했을때도 그렇고, 투자를 했을때도 그렇고 조금 더 오래걸리더라도 정말 끈기를 가지고 설득을 해봤으면 그 결과가 어떻게 달라졌을까 하는 생각이 많이 들었습니다. 그리고

우리 사회도 도전을 하는 사람들이 지치지 않고 가치있는 서비스를 만들어내고 가치있는 생태계를 만들어낼 수 있도록 좀 끈기를 가지고 지켜보면서 그 도전하는 사람들에게 충분한 시간과 기회를 주고, 조금 더 마음을 열면 좀 다른 생태계가 생길 수 있지 않을까 하는 생각이 들었습니다. 아주 어려운 일입니다만, 쉬운 문제보다는 어려운 문제를 풀어야 보상이 크기도 하고, 미디어가 워낙 우리 일상에 끼치는 영향이 큰지라 누군가는 풀어 내야만 하는 문제입니다. 몇몇 회사가 실패했다고 해서 풀 수 없는 문제가 아니라, 조금 더 해답에 가까와지는 것이 아닐까 하는 생각을 합니다. 풀려고 도전했다 실패한 혁신기업가, 그리고 그 동료들에게 경의를 표하는 한편, 새롭게 도전하는, 그리고 지금도 도전하고 있는 많은 혁신기업가들과 그 동료들을 응원합니다.

beginning of ai grant

https://www.ft.com/content/a9a192e3-bfbc-461e-a4f3-112e63d0bb33

AI startups are achieving $1 million in annualized revenue within a median of 11 months after their first sales on Stripe. This is quicker than the 15 months it took for the previous generation of SaaS companies.

Companies that have scaled to over $30 million in annualized revenue have done so in just 20 months—five times faster than past SaaS firms.

Due to substantial upfront costs for computing infrastructure needed to train and run AI models, AI startups are under pressure to generate revenue swiftly.

Approximately 56% of AI companies' revenues come from international markets, indicating a strong global appetite for generative AI technologies.

Despite rapid revenue growth, there are concerns about the profitability of AI businesses due to significant operational costs. A Goldman Sachs report noted that current AI winners are no longer capital-light businesses because of the hefty investments required for computing resources.

https://chamath.substack.com/p/deep-dive-is-india-the-next-economic

Deep Dive: Is India the Next Economic Giant?

Around 20 years ago, China experienced a period of unprecedented economic growth and technological advancement. I watched many of my friends invest early in China and achieve remarkable success.

Yet, I didn't make a single investment then. Why?

I didn't feel like I understood China. I couldn't speak the language, I didn't grasp the political landscape, and I felt like an outsider looking in.

When I look at India, I feel entirely different about it. India's democratic ideals align well with those of the United States. Many Indians speak English, which removes the language barrier, and there are favorable conditions for American entrepreneurs and investors to create successful businesses.

Around 2016, when India launched UPI, a few of my friends and I made some bets then. Even though UPI was a huge success, in hindsight, 2016 was too early to invest in India and my bets didn’t pay off. Even though we saw a wave of successful startups like Flipkart and Zomato emerge during that time, in many ways, India's startup ecosystem was still nascent.

Today, India feels very different from how it was in 2016. Even though some of the same fundamental characteristics remain (e.g., the world's largest working-age population, many talented and educated individuals), the tectonic plates of India's economy have shifted significantly in the past eight years, and many of the long-standing obstacles that were holding back India's economic growth have been addressed.

All this to say, through my own experience of investing in India, I realized that focusing on narrow aspects (e.g., momentum of investment in Indian startups) is necessary but insufficient.  It is understanding how the structural pieces of India’s economy fit together that offers the clearest understanding of where India’s economy is today and if it’s the next economic giant.

Many articles have been written about India’s economic potential, but every article I came across, I felt that it was missing this foundational and multi-dimensional approach.

This deep dive builds a foundational understanding of India, from the lens of its economic potential. We will discuss India’s history, governance, demographic profile, technology sector, financial sector, infrastructure, and geopolitical position, to help you understand where India is in its economic development.

We assume the reader has no prior knowledge of India. One of our goals for this deep dive is to come at the subject with the right entry point, so you can develop an enduring perspective that you can build upon over time.