Continuous Learning_Startup & Investment
https://openai.com/index/learning-to-reason-with-llms/ We trained these models to spend more time thinking through problems before they respond, much like a person would. Through training, they learn to refine their thinking process, try different strategies…
𝐅𝐢𝐧𝐞 𝐓𝐮𝐧𝐢𝐧𝐠, 𝐈𝐧𝐟𝐞𝐫𝐞𝐧𝐜𝐞, 𝐚𝐧𝐝 𝐎𝐫𝐜𝐡𝐞𝐬𝐭𝐫𝐚𝐭𝐢𝐨𝐧. o1 represents a shift from ever scaling pre-training to fine-tuning, inference, and orchestration—similar to how single web servers evolved into complex architectures. OpenAI's blog notes, “The constraints on scaling this approach differ substantially from those of LLM pretraining,” reinforcing this change.
𝐒𝐓𝐄𝐌 𝐒𝐭𝐫𝐨𝐧𝐠. There's definite progress on the STEM front, as Kevin Scott notes. I asked about complex thermodynamics and carbon nanotube processes; the results reminded me of grading homework, where steps matter as much as answers. Coding improvements were notable, with 4o better at debugging and development. Previously, Google DeepMind had no peer in hard sciences, but OpenAI may now be entering their lane.
𝐑𝐞𝐬𝐮𝐥𝐭𝐬 𝐯𝐬. 𝐑𝐞𝐚𝐬𝐨𝐧𝐢𝐧𝐠. There's much discussion about chain-of-thought to enhance reasoning. We asked questions requiring multiple reasoning steps. What does it mean when the result is correct but reasoning is wrong? In examples below, it got the right answer but the wrong reasoning - miscounting or involving cookies (though I appreciate a fresh cookie). Our CTO, Vibhu Mittal, noted this resembles System 1 and System 2 thinking. In humans, we'd expect System 2 to override System 1, but here it seems the opposite.
𝐋𝐚𝐭𝐞𝐧𝐜𝐲 𝐢𝐬 𝐓𝐡𝐢𝐧𝐤𝐢𝐧𝐠. AI response delays will now be seen as the AI thinking hard. Increased latency for GPT's advancement seems unavoidable due to required multiple steps and non-parallelized orchestration. I appreciate clever UX touches like the phone vibrating as different processing aspects progress.
𝐋𝐚𝐧𝐠𝐮𝐚𝐠𝐞 𝐚𝐬 𝐔𝐗. There's room to grow in language, important as AI becomes the interface to computation, knowledge, culture, and action. As Ethan Mollick notes, o1 is “not a better writer than GPT-4o”. It feels more like search results than dialog and collaboration. Perhaps that's intentional?
In developing our own GPT4-class model for enterprise AI transformation, we've valued enhancing inference and orchestration layers while prioritizing dialog and collaborative intelligence. I appreciate how GPTo1 expands AI towards STEM and look forward to exploring more. Meanwhile, to celebrate, we've sent a Strawberry Pi to OpenAI headquarters and hope they enjoy it!
𝐒𝐓𝐄𝐌 𝐒𝐭𝐫𝐨𝐧𝐠. There's definite progress on the STEM front, as Kevin Scott notes. I asked about complex thermodynamics and carbon nanotube processes; the results reminded me of grading homework, where steps matter as much as answers. Coding improvements were notable, with 4o better at debugging and development. Previously, Google DeepMind had no peer in hard sciences, but OpenAI may now be entering their lane.
𝐑𝐞𝐬𝐮𝐥𝐭𝐬 𝐯𝐬. 𝐑𝐞𝐚𝐬𝐨𝐧𝐢𝐧𝐠. There's much discussion about chain-of-thought to enhance reasoning. We asked questions requiring multiple reasoning steps. What does it mean when the result is correct but reasoning is wrong? In examples below, it got the right answer but the wrong reasoning - miscounting or involving cookies (though I appreciate a fresh cookie). Our CTO, Vibhu Mittal, noted this resembles System 1 and System 2 thinking. In humans, we'd expect System 2 to override System 1, but here it seems the opposite.
𝐋𝐚𝐭𝐞𝐧𝐜𝐲 𝐢𝐬 𝐓𝐡𝐢𝐧𝐤𝐢𝐧𝐠. AI response delays will now be seen as the AI thinking hard. Increased latency for GPT's advancement seems unavoidable due to required multiple steps and non-parallelized orchestration. I appreciate clever UX touches like the phone vibrating as different processing aspects progress.
𝐋𝐚𝐧𝐠𝐮𝐚𝐠𝐞 𝐚𝐬 𝐔𝐗. There's room to grow in language, important as AI becomes the interface to computation, knowledge, culture, and action. As Ethan Mollick notes, o1 is “not a better writer than GPT-4o”. It feels more like search results than dialog and collaboration. Perhaps that's intentional?
In developing our own GPT4-class model for enterprise AI transformation, we've valued enhancing inference and orchestration layers while prioritizing dialog and collaborative intelligence. I appreciate how GPTo1 expands AI towards STEM and look forward to exploring more. Meanwhile, to celebrate, we've sent a Strawberry Pi to OpenAI headquarters and hope they enjoy it!
Forwarded from 전종현의 인사이트
구글과 비슷하게 AI 바이오 모델을 만드는 팀이 있어서 찾아보니 Dimension, Thrive Capital, OpenAI, Conviction 등으로부터 $30m 투자받은 팀이라고 한다. 창업자는 OpenAI 출신인 Joshua Meier
여담으로 얼마전에 '알파폴드: AI 신약개발 혁신'이란 책을 선물받았는데 내용이 알차보이더라. 바이오스펙테이터 책들이 퀄리티가 정말 좋은 것 같음.
https://www.chaidiscovery.com/blog/introducing-chai-1
여담으로 얼마전에 '알파폴드: AI 신약개발 혁신'이란 책을 선물받았는데 내용이 알차보이더라. 바이오스펙테이터 책들이 퀄리티가 정말 좋은 것 같음.
https://www.chaidiscovery.com/blog/introducing-chai-1
Chaidiscovery
Chai Discovery
Building frontier artificial intelligence to predict and reprogram the interactions between biochemical molecules.
To advance beyond the capabilities of today's models, we need spatially intelligent AI that can model the world and reason about objects, places, and interactions in 3D space and time.
We aim to lift AI models from the 2D plane of pixels to full 3D worlds - both virtual and real - endowing them with spatial intelligence as rich as our own. Human spatial intelligence evolved over millennia; but in this time of extraordinary progress, we see the opportunity to imbue AI with this ability in the near term.
World Labs was founded by visionary AI pioneer Fei-Fei Li along with Justin Johnson, Christoph Lassner, and Ben Mildenhall; each a world-renowned technologist in computer vision and graphics. We are bringing together the most formidable slate of pixel talent ever assembled - from AI research to systems engineering to product design - creating a tight feedback loop between our spatially intelligent foundation models and products that will empower our users.
We aim to lift AI models from the 2D plane of pixels to full 3D worlds - both virtual and real - endowing them with spatial intelligence as rich as our own. Human spatial intelligence evolved over millennia; but in this time of extraordinary progress, we see the opportunity to imbue AI with this ability in the near term.
World Labs was founded by visionary AI pioneer Fei-Fei Li along with Justin Johnson, Christoph Lassner, and Ben Mildenhall; each a world-renowned technologist in computer vision and graphics. We are bringing together the most formidable slate of pixel talent ever assembled - from AI research to systems engineering to product design - creating a tight feedback loop between our spatially intelligent foundation models and products that will empower our users.
샘젤
부모님이 내게 남긴 유산은 지능, 호기심, 추진력, 회복탄력성 그리고 자기 결단력이었다. 부모님은 내게 배움에 대한 헌신과 그것을 실생활에 적용하는 방법, 관습에 도전하는 것, 남들이 머물 때 떠나는 법, 위함을 인식하고 대비하는 것에 대한 이해를 심어주었다.
부모님이 내게 남긴 유산은 지능, 호기심, 추진력, 회복탄력성 그리고 자기 결단력이었다. 부모님은 내게 배움에 대한 헌신과 그것을 실생활에 적용하는 방법, 관습에 도전하는 것, 남들이 머물 때 떠나는 법, 위함을 인식하고 대비하는 것에 대한 이해를 심어주었다.
OnlyFans의 놀라운 경제 구조 분석
성인 플랫폼이라는 이유로 다들 흐린 눈하고 보는 OnlyFans의 수익은 8.3조원으로 5년전보다 2000% 넘게 성장했음.
2023년 기준 창작자에게 지급한 돈이 총 7조원인데,
2023~2024시즌 NBA 전체 연봉이 6.5조원, 프리미어리그가 7조원임.
구독 기반이지만 실제 매출의 60% 이상이 구독이 아닌 거래에서 발생. PornHub, RedTube, YouPorn등을 모두 소유한 포르노 대기업 Aylo(예전 MindGeek)보다 2배 이상 크고, 가입자가 3억명이 넘어감. 창작자에게 80%대의 높은 수익 분배가 가능한 이유는 웹만 지원하기 때문.
글의 마지막에 있는 질문 2가지가 재미남
- X(전 트위터)의 성인 콘텐츠 허용이 OnlyFans에 미칠 영향
- 생성형 AI가 성인 콘텐츠 산업에 미칠 영향
Breaking Down OnlyFans’ Stunning Economics : 글 내용 요약
- Fenix International (“OnlyFans”)은 영국 기반의 사기업이지만, 제한적이지만 공개적으로 사업 정보를 제공해야 함
- 2024년 OnlyFans의 총 매출은 약 8.3조 원($6.3B)으로, 5년 전인 2019년의 약 4,000억 원에서 크게 증가함
- 2023년 수익은 전년 대비 19% 증가한 약 1.4조($1.1B) 증가로, 2022년의 16% 성장률보다 3%p 높음
- 구독을 기반으로 하지만, 매출의 60% 이상이 구독이 아닌 거래에서 발생함
- 캔디크러시 같은 게임에서 보이는 소액 결제가 아닌 "수십 달러" 이상의 추가 구매가 이루어짐
- 구독 매출은 2021년 이후 9%($227M, 3000억원) 증가한 반면, 거래 지출은 70%(또는 $1.6B, 2.1조원) 증가해 전체 성장의 88%를 차지함
- OnlyFans의 매출은 'Aylo'와 같은 포르노 대기업보다 2배 이상 크고, 3억 명 이상의 가입자를 보유함
- Aylo(예전 MindGeek)은 PornHub, Brazzers, RedTube, YouPorn, XTube를 소유함
- 미국 사용자가 매출의 2/3를 차지하고, 영국과 유럽이 16%, 나머지 17%는 '기타 세계'임
# OnlyFans 수익의 성장 요인
- OnlyFans 브랜드 인지도의 증가. 이제 "OnlyFans"가 친밀한 크리에이터 구독을 의미하는 일반명사화됨
- Cardi B, Bella Thorn, Denise Richards, Carmen Electa, Larsa Pippen, Tyga, DJ Khaled, Fat Joe 등 유명 크리에이터들의 합류. 일부는 포르노 콘텐츠를 제공하지 않기도 함
- 규제로 인해 성인물 시장 리더들이 대부분의 카탈로그를 삭제하고 엄격한 신규 업로드 절차를 밟아야 함
- Reddit, Tumblr 등 소셜미디어의 성인물 금지(또는 사실상 금지) 정책으로 인한 시장 공백 발생
- 많은 팔로워를 가진 크리에이터들이 팬을 OnlyFans로 적극적으로 유도하게 됨
- OnlyFans 크리에이터들은 Reddit, Imgur, Instagram, TikTok, Twitter 등을 OnlyFans 고객 유치의 "현관문"으로 활용함
- 이들 플랫폼은 OnlyFans와 직접 경쟁하지 않고 성인물을 금지하기에, 서비스 약관을 준수하는 한도 내에서 이러한 행위를 허용함
- 오히려 이 플랫폼들은 OnlyFans 크리에이터들의 바이럴 콘텐츠 제작으로 혜택을 보게 됨
# OnlyFans 성공의 또 다른 이유
- OnlyFans의 크리에이터 수익 분배율은 80%로 매우 높아서 제작사나 에이전시에서 일하는 것보다 더 많은 수익을 올릴 수 있음
- OnlyFans는 점차 전체 성인물 산업을 잠식하고 있음
- 크리에이터와 포르노 스타는 OnlyFans에서 더 안전하게, 더 자율적인 방식으로 더 많은 수익을 올릴 수 있음
# 높은 수익분배율이 가능한 이유
- OnlyFans는 앱스토어 기반 결제를 제공하지 않기에 80%의 높은 수익 분배가 가능함
- 앱스토어 결제는 수익의 15-30%를 가져감
- iOS 앱스토어와 구글 플레이스토어 모두 성인물 앱을 허용하지 않음
- 일반적으로 이런 금지 정책은 미디어 플랫폼 비즈니스 모델을 파괴할 수 있음
- 그러나 사진, 동영상 보기와 메시지 전송에는 브라우저 기반 경험으로도 충분함
- 반면 대부분의 게임은 브라우저에서 실행조차 어려움
- 앱이 더 나은 사용자 경험과 간편한 결제 프로세스를 제공하긴 하지만,
- 대부분의 OnlyFans 고객은 브라우저 사용과 신용카드 번호 수기 입력에 크게 불편함을 느끼지 않음
- 캐주얼 게임이나 이커머스의 경우에는 덜 해당되는 말임
# 크리에이터 수익의 불평등한 분배
- 지난 5년 동안 OnlyFans 크리에이터는 20조원($15B) 이상을 수령했으며, 2023년에는 전년 대비 19% 증가한 7조원($5.3B)을 지급함
- 2023-2024 시즌 NBA 선수 총 연봉이 6.5조($4.9B)원, 프리미어 리그가 7조원($5.3B), NFL 연봉 상한이 9.5조원($7.2B) 였음
- 물론 OnlyFans에는 410만 명의 크리에이터가 있지만, 이 리그에는 500~1700 정도의 선수들만 있음
- 그러나 OnlyFans는 오픈 플랫폼(은행 계좌가 있는 합법적인 성인이라면 누구나 크리에이터가 될 수 있음)인 반면, 이러한 리그에는 세미프로, 대학, 취미 리그 등 훨씬 더 큰 규모의 리그에서 최고의 선수들만 참여할 수 있음
- OnlyFans의 수익은 대부분의 수익을 거두는 상위 크리에이터에게 집중되어 있고, 대부분의 크리에이터는 거의 가져가지 못함
- 마치 '유명' 리그에 속하지 않은 운동선수의 연봉이 적거나 아예 없는 것과 마찬가지
- 평균적으로 크리에이터는 연간 약 240만원($1,800)의 수익을 올리지만(크리에이터에게는 190만원/$1450 정도가 지급됨), 상위 0.1%는 상위 1%의 15배, 상위 10%의 100배를 벌어들임
- 워싱턴 포스트가 인용했던 2020년 연구 보고서 기준으로 계산해보면
- 상위 10%가 수익의 73% : 36만5천명, 5.1조원($3.9B), 개인별 1460만원($11000)
- 상위 1%가 33% : 36500명, 2.3조원($1.8B), 개인별 6500만원($49000)
- 상위 0.1%가 15% : 3650명, 1.1조원($800M), 개인별 2.9억원($220000)
- 상위 0.01%가 6.8% : 365명, 4790억원($361M), 개인별 13억원($1m)
- 이러한 분배 방식에서는 상위 0.1%가 15%(3650명, 8억 달러, 22만 달러씩)를, 상위 0.01%가 6.8%(365명, 3억 6100만 달러, 100만 달러씩)를 보유
- OnlyFans는 수익 배분을 공개하지 않음
- 위의 수익 배분 예제는 일관성이 없지만 소수의 스트리머가 연간 130억원($10m) 이상의 수익을 올리는 것으로 알려졌고, 이 스트리머들은 가장 높은 수익을 올리는 스트리머도 아님
- Bhad Bhabie와 같은 크리에이터의 (확인 되지 않은) 대시보드 캡쳐에 따르면
- 현재까지 약 930억($70m) 이상의 매출을 내서, 750억($57m)의 수익을 분배 받음
- 매출의 절반은 개인 사용자들과의 유료 메시지 에서 발생(커스텀 오디오/비디오 콘텐츠를 보내는)
- 수익 분배가 불균등한 만큼 팬도 불균등
- 등록된 팬 계정은 3.5억개가 넘음(모두 '활성' 팬은 아니고, 유료 구독자는 더더욱 아님)
- 크리에이터당 74명의 팬을 보유한 셈이지만, 상위 크리에이터의 계정은 수만에서 수백만 명의 팬을 보유
# 상위 크리에이터의 전략
- 무료 등급을 포함한 일련의 등급(티어)을 설정하고, 점점 더 비싸지게 만듦
- 예: Basic(무료), Standard($5/월), Premium($10/월), VIP($100/월)
- 추가 거래(예: Pay-Per-View 메시지나 이미지)는 추가 거래를 요구할 뿐만 아니라, 최상위 등급 구독자에게만 제공됨
성인 플랫폼이라는 이유로 다들 흐린 눈하고 보는 OnlyFans의 수익은 8.3조원으로 5년전보다 2000% 넘게 성장했음.
2023년 기준 창작자에게 지급한 돈이 총 7조원인데,
2023~2024시즌 NBA 전체 연봉이 6.5조원, 프리미어리그가 7조원임.
구독 기반이지만 실제 매출의 60% 이상이 구독이 아닌 거래에서 발생. PornHub, RedTube, YouPorn등을 모두 소유한 포르노 대기업 Aylo(예전 MindGeek)보다 2배 이상 크고, 가입자가 3억명이 넘어감. 창작자에게 80%대의 높은 수익 분배가 가능한 이유는 웹만 지원하기 때문.
글의 마지막에 있는 질문 2가지가 재미남
- X(전 트위터)의 성인 콘텐츠 허용이 OnlyFans에 미칠 영향
- 생성형 AI가 성인 콘텐츠 산업에 미칠 영향
- Fenix International (“OnlyFans”)은 영국 기반의 사기업이지만, 제한적이지만 공개적으로 사업 정보를 제공해야 함
- 2024년 OnlyFans의 총 매출은 약 8.3조 원($6.3B)으로, 5년 전인 2019년의 약 4,000억 원에서 크게 증가함
- 2023년 수익은 전년 대비 19% 증가한 약 1.4조($1.1B) 증가로, 2022년의 16% 성장률보다 3%p 높음
- 구독을 기반으로 하지만, 매출의 60% 이상이 구독이 아닌 거래에서 발생함
- 캔디크러시 같은 게임에서 보이는 소액 결제가 아닌 "수십 달러" 이상의 추가 구매가 이루어짐
- 구독 매출은 2021년 이후 9%($227M, 3000억원) 증가한 반면, 거래 지출은 70%(또는 $1.6B, 2.1조원) 증가해 전체 성장의 88%를 차지함
- OnlyFans의 매출은 'Aylo'와 같은 포르노 대기업보다 2배 이상 크고, 3억 명 이상의 가입자를 보유함
- Aylo(예전 MindGeek)은 PornHub, Brazzers, RedTube, YouPorn, XTube를 소유함
- 미국 사용자가 매출의 2/3를 차지하고, 영국과 유럽이 16%, 나머지 17%는 '기타 세계'임
# OnlyFans 수익의 성장 요인
- OnlyFans 브랜드 인지도의 증가. 이제 "OnlyFans"가 친밀한 크리에이터 구독을 의미하는 일반명사화됨
- Cardi B, Bella Thorn, Denise Richards, Carmen Electa, Larsa Pippen, Tyga, DJ Khaled, Fat Joe 등 유명 크리에이터들의 합류. 일부는 포르노 콘텐츠를 제공하지 않기도 함
- 규제로 인해 성인물 시장 리더들이 대부분의 카탈로그를 삭제하고 엄격한 신규 업로드 절차를 밟아야 함
- Reddit, Tumblr 등 소셜미디어의 성인물 금지(또는 사실상 금지) 정책으로 인한 시장 공백 발생
- 많은 팔로워를 가진 크리에이터들이 팬을 OnlyFans로 적극적으로 유도하게 됨
- OnlyFans 크리에이터들은 Reddit, Imgur, Instagram, TikTok, Twitter 등을 OnlyFans 고객 유치의 "현관문"으로 활용함
- 이들 플랫폼은 OnlyFans와 직접 경쟁하지 않고 성인물을 금지하기에, 서비스 약관을 준수하는 한도 내에서 이러한 행위를 허용함
- 오히려 이 플랫폼들은 OnlyFans 크리에이터들의 바이럴 콘텐츠 제작으로 혜택을 보게 됨
# OnlyFans 성공의 또 다른 이유
- OnlyFans의 크리에이터 수익 분배율은 80%로 매우 높아서 제작사나 에이전시에서 일하는 것보다 더 많은 수익을 올릴 수 있음
- OnlyFans는 점차 전체 성인물 산업을 잠식하고 있음
- 크리에이터와 포르노 스타는 OnlyFans에서 더 안전하게, 더 자율적인 방식으로 더 많은 수익을 올릴 수 있음
# 높은 수익분배율이 가능한 이유
- OnlyFans는 앱스토어 기반 결제를 제공하지 않기에 80%의 높은 수익 분배가 가능함
- 앱스토어 결제는 수익의 15-30%를 가져감
- iOS 앱스토어와 구글 플레이스토어 모두 성인물 앱을 허용하지 않음
- 일반적으로 이런 금지 정책은 미디어 플랫폼 비즈니스 모델을 파괴할 수 있음
- 그러나 사진, 동영상 보기와 메시지 전송에는 브라우저 기반 경험으로도 충분함
- 반면 대부분의 게임은 브라우저에서 실행조차 어려움
- 앱이 더 나은 사용자 경험과 간편한 결제 프로세스를 제공하긴 하지만,
- 대부분의 OnlyFans 고객은 브라우저 사용과 신용카드 번호 수기 입력에 크게 불편함을 느끼지 않음
- 캐주얼 게임이나 이커머스의 경우에는 덜 해당되는 말임
# 크리에이터 수익의 불평등한 분배
- 지난 5년 동안 OnlyFans 크리에이터는 20조원($15B) 이상을 수령했으며, 2023년에는 전년 대비 19% 증가한 7조원($5.3B)을 지급함
- 2023-2024 시즌 NBA 선수 총 연봉이 6.5조($4.9B)원, 프리미어 리그가 7조원($5.3B), NFL 연봉 상한이 9.5조원($7.2B) 였음
- 물론 OnlyFans에는 410만 명의 크리에이터가 있지만, 이 리그에는 500~1700 정도의 선수들만 있음
- 그러나 OnlyFans는 오픈 플랫폼(은행 계좌가 있는 합법적인 성인이라면 누구나 크리에이터가 될 수 있음)인 반면, 이러한 리그에는 세미프로, 대학, 취미 리그 등 훨씬 더 큰 규모의 리그에서 최고의 선수들만 참여할 수 있음
- OnlyFans의 수익은 대부분의 수익을 거두는 상위 크리에이터에게 집중되어 있고, 대부분의 크리에이터는 거의 가져가지 못함
- 마치 '유명' 리그에 속하지 않은 운동선수의 연봉이 적거나 아예 없는 것과 마찬가지
- 평균적으로 크리에이터는 연간 약 240만원($1,800)의 수익을 올리지만(크리에이터에게는 190만원/$1450 정도가 지급됨), 상위 0.1%는 상위 1%의 15배, 상위 10%의 100배를 벌어들임
- 워싱턴 포스트가 인용했던 2020년 연구 보고서 기준으로 계산해보면
- 상위 10%가 수익의 73% : 36만5천명, 5.1조원($3.9B), 개인별 1460만원($11000)
- 상위 1%가 33% : 36500명, 2.3조원($1.8B), 개인별 6500만원($49000)
- 상위 0.1%가 15% : 3650명, 1.1조원($800M), 개인별 2.9억원($220000)
- 상위 0.01%가 6.8% : 365명, 4790억원($361M), 개인별 13억원($1m)
- 이러한 분배 방식에서는 상위 0.1%가 15%(3650명, 8억 달러, 22만 달러씩)를, 상위 0.01%가 6.8%(365명, 3억 6100만 달러, 100만 달러씩)를 보유
- OnlyFans는 수익 배분을 공개하지 않음
- 위의 수익 배분 예제는 일관성이 없지만 소수의 스트리머가 연간 130억원($10m) 이상의 수익을 올리는 것으로 알려졌고, 이 스트리머들은 가장 높은 수익을 올리는 스트리머도 아님
- Bhad Bhabie와 같은 크리에이터의 (확인 되지 않은) 대시보드 캡쳐에 따르면
- 현재까지 약 930억($70m) 이상의 매출을 내서, 750억($57m)의 수익을 분배 받음
- 매출의 절반은 개인 사용자들과의 유료 메시지 에서 발생(커스텀 오디오/비디오 콘텐츠를 보내는)
- 수익 분배가 불균등한 만큼 팬도 불균등
- 등록된 팬 계정은 3.5억개가 넘음(모두 '활성' 팬은 아니고, 유료 구독자는 더더욱 아님)
- 크리에이터당 74명의 팬을 보유한 셈이지만, 상위 크리에이터의 계정은 수만에서 수백만 명의 팬을 보유
# 상위 크리에이터의 전략
- 무료 등급을 포함한 일련의 등급(티어)을 설정하고, 점점 더 비싸지게 만듦
- 예: Basic(무료), Standard($5/월), Premium($10/월), VIP($100/월)
- 추가 거래(예: Pay-Per-View 메시지나 이미지)는 추가 거래를 요구할 뿐만 아니라, 최상위 등급 구독자에게만 제공됨
- 이탈을 최소화하기 위해 많은 혜택(예: 백 카탈로그 - 이전 콘텐츠를 보는 것)은 장기 구독자에게만 제공됨
- 최상위 구독자는 크리에이터와 직접 소통할 수 있는 권한을 받음
- 이는 추가 요금을 이끌어낼 수 있는 요청으로 이어질 수 있음
- 많은 경우, 실제 응답은 크리에이터의 여러 팀원이 작성함
- 많은 크리에이터가 이제 수백만 달러 규모의 기업이 되었기 때문
- Bhad Bhabie와 같은 크리에이터가 수많은 VIP 구독자와 일일이 상세하고 개인화된 대화를 나누는 것은 불가능함
- 이러한 위장 행위로 인해 일부 법적 소송이 제기되기도 함
- 많은 팬들은 사진과 동영상뿐만 아니라, 파라소셜(준 사회적) 관계와 연결에 대한 환상에 돈을 지불하고 있음을 인식해야 함
- 많은 상위 계정은 성인 등급이 아니며, Patreon이나 Substack에서 기대할 만한 콘텐츠에 초점을 맞추기도 함
- 또는 단순히 추가 기능과 업셀링이 있는 비공개(PG-13 등급) 인스타그램에 대한 유료 접근일 뿐인 경우도 있음
# OnlyFans의 수익성과 직원 생산성
- 크리에이터에게 총수익의 80%를 지급함에도 OnlyFans는 상당한 이익을 냄
- 2023년 순수익은 1.7조원($1.3B), 매출총이익은 1.08조원($819M), 영업이익은 8600억($649M, 순수익의 50%, 총수익의 10%)
- 지난 5년 동안 총 2.3조원($1.74B)의 영업이익을 냈고, 5300억원($400M)의 세금을 냄
- 2023년 평균 직원 수는 42명으로 2년 전의 61명에서 감소함
- 해당 년도에 직원 1인당 순수익은 410억원($31M)으로 아마존, 애플, 구글, 마이크로소프트의 13-28배, 영업이익은 200억원($15.5M)으로 27-560배
- 2019년 이후 소유주 2명에게 1.4조원($1.1B)의 배당금을 지급했고, 2023년에만 6275억원($472M)을 지급함
- 이전에 포르노 라이브스트림 회사를 설립한 바 있는 Leonid Radvinsky가 2018년 OnlyFans의 75%를 인수함
- 당시 OnlyFans의 누적 이익은 13억원($1m)을 넘지 않았을 것으로 추정됨
- 지난 몇 년 동안 OnlyFans의 직접적인 경쟁사들이 등장했고, 일부는 크리에이터와의 수익 분배율을 더 높게 제공하기도 함
- 그러나 OnlyFans의 양면시장 규모(즉, 사용자와 크리에이터를 모두 보유)는 수익성뿐만 아니라 지속 가능한 것으로 입증됨
# OnlyFans의 성장 가능성을 넘어선 두 가지 흥미로운 질문
- X(전 트위터)의 성인 콘텐츠 허용이 OnlyFans에 미칠 영향
- 2024년 6월, 일론 머스크는 X에서 성인물에 대한 금지를 해제함
- 이는 유료 구독과 게이트 메시징을 도입한 지 얼마 지나지 않아 이루어진 움직임
- X가 성인 콘텐츠 카테고리 공략에 성공할 것인가?
- 이것이 OnlyFans에 어떤 영향을 미칠 것인가?
- 생성형 AI가 성인 콘텐츠 산업에 미칠 영향
- 생성형 AI는 이미지와 동영상뿐만 아니라 개인화된 에이전트까지 포함
- 이러한 기술이 성인 콘텐츠 카테고리에 어떤 영향을 미칠까?
- 더 많은 대체재의 등장으로 인해 "진짜"에 대한 수요가 감소할 수 있음
- 반대로 진정한 인간 상호작용과 연결에 대한 가치는 오히려 증가할 수도 있음
- 생성형 AI "크리에이터"는 오직 "당신"이 원하는 것을 진정으로 해줄수 있고, 실제 크리에이터와 달리 모든 언어로 소통하고 언제든 이용 가능
- 궁극적으로는 몰입형 3D로도 제공될 수 있을 것
권정혁님
- 최상위 구독자는 크리에이터와 직접 소통할 수 있는 권한을 받음
- 이는 추가 요금을 이끌어낼 수 있는 요청으로 이어질 수 있음
- 많은 경우, 실제 응답은 크리에이터의 여러 팀원이 작성함
- 많은 크리에이터가 이제 수백만 달러 규모의 기업이 되었기 때문
- Bhad Bhabie와 같은 크리에이터가 수많은 VIP 구독자와 일일이 상세하고 개인화된 대화를 나누는 것은 불가능함
- 이러한 위장 행위로 인해 일부 법적 소송이 제기되기도 함
- 많은 팬들은 사진과 동영상뿐만 아니라, 파라소셜(준 사회적) 관계와 연결에 대한 환상에 돈을 지불하고 있음을 인식해야 함
- 많은 상위 계정은 성인 등급이 아니며, Patreon이나 Substack에서 기대할 만한 콘텐츠에 초점을 맞추기도 함
- 또는 단순히 추가 기능과 업셀링이 있는 비공개(PG-13 등급) 인스타그램에 대한 유료 접근일 뿐인 경우도 있음
# OnlyFans의 수익성과 직원 생산성
- 크리에이터에게 총수익의 80%를 지급함에도 OnlyFans는 상당한 이익을 냄
- 2023년 순수익은 1.7조원($1.3B), 매출총이익은 1.08조원($819M), 영업이익은 8600억($649M, 순수익의 50%, 총수익의 10%)
- 지난 5년 동안 총 2.3조원($1.74B)의 영업이익을 냈고, 5300억원($400M)의 세금을 냄
- 2023년 평균 직원 수는 42명으로 2년 전의 61명에서 감소함
- 해당 년도에 직원 1인당 순수익은 410억원($31M)으로 아마존, 애플, 구글, 마이크로소프트의 13-28배, 영업이익은 200억원($15.5M)으로 27-560배
- 2019년 이후 소유주 2명에게 1.4조원($1.1B)의 배당금을 지급했고, 2023년에만 6275억원($472M)을 지급함
- 이전에 포르노 라이브스트림 회사를 설립한 바 있는 Leonid Radvinsky가 2018년 OnlyFans의 75%를 인수함
- 당시 OnlyFans의 누적 이익은 13억원($1m)을 넘지 않았을 것으로 추정됨
- 지난 몇 년 동안 OnlyFans의 직접적인 경쟁사들이 등장했고, 일부는 크리에이터와의 수익 분배율을 더 높게 제공하기도 함
- 그러나 OnlyFans의 양면시장 규모(즉, 사용자와 크리에이터를 모두 보유)는 수익성뿐만 아니라 지속 가능한 것으로 입증됨
# OnlyFans의 성장 가능성을 넘어선 두 가지 흥미로운 질문
- X(전 트위터)의 성인 콘텐츠 허용이 OnlyFans에 미칠 영향
- 2024년 6월, 일론 머스크는 X에서 성인물에 대한 금지를 해제함
- 이는 유료 구독과 게이트 메시징을 도입한 지 얼마 지나지 않아 이루어진 움직임
- X가 성인 콘텐츠 카테고리 공략에 성공할 것인가?
- 이것이 OnlyFans에 어떤 영향을 미칠 것인가?
- 생성형 AI가 성인 콘텐츠 산업에 미칠 영향
- 생성형 AI는 이미지와 동영상뿐만 아니라 개인화된 에이전트까지 포함
- 이러한 기술이 성인 콘텐츠 카테고리에 어떤 영향을 미칠까?
- 더 많은 대체재의 등장으로 인해 "진짜"에 대한 수요가 감소할 수 있음
- 반대로 진정한 인간 상호작용과 연결에 대한 가치는 오히려 증가할 수도 있음
- 생성형 AI "크리에이터"는 오직 "당신"이 원하는 것을 진정으로 해줄수 있고, 실제 크리에이터와 달리 모든 언어로 소통하고 언제든 이용 가능
- 궁극적으로는 몰입형 3D로도 제공될 수 있을 것
권정혁님
Continuous Learning_Startup & Investment
https://matthewcontinuouslearning.notion.site/101-9e603deaf44f4323a438d57852bcbd02?pvs=4
"운동도 일이라고 생각하세요."
정기적으로 만나는 멘토분께 연초에 조언을 구하다가 운동 이야기가 나왔다.
일과 성장에 관련된 대화만 수년째 나누다가 성장을 더 하려면 운동을 하라는 강한 조언이였다. 평소 월드컵도 안보고 프로야구팀이 몇개인지도 모르는 나보고? 운동을 하라고?
"시간이 없어서요." 했더만 없으면 만들어서 하면 되고 잠을 줄이면 되잖아요. 저는 2시간 일찍 일어나서 주3회 정도해요. (나보다 더 바쁜 대표님이라 할말이 없었다. ㅎㅎㅎ)
멘토분 왈 "건강한 육체에서 올바른 의사결정이 나옵니다. 그래서 운동을 해야하구요. 주변에 평소 존경하는 배우고 싶은 대표님들에게도 물어보세요."
진짜로 우리보다 큰회사를 경영하는 대표님들에게 연락을 돌려봤다. 적게는 주2회 많게는 매일 꾸준히 운동을 하시는 대표님들이 대부분이였다.
이유는 모두 비슷. 일을 더 잘하기 위해서, 체력을 키워야 맑은 정신에서 결정들을 할 수 있어서였다.
자건거 타기가 솔직히 싫다.
너무 힘든데 일이라 생각하면 하게 된다.
이번주 운동 지라 티켓 2장이 끊긴거다.
안하면 스푼 사용자가 줄어든다.
안하면 비글루 매출이 줄어든다.
안하면 대표 배임이다.
생각하고 이 악물고 하는거다.
그래 일이니깐 하는거다.
무조건 해야만 하는 일이잖아.
일하는데? 체력이 좋아지는 건 덤?
아무생각 없이 타자.
이 야밤에 70km 첫 도전 나와서
절반오고 뻗어서 횡설수설중 ㅎㅎ
그나저나 서울 한강 야경은 관광상품 만들고 싶은 정도로 정말 예술이다.
집에 가자. 반이나 왔자녀
35km 얼마 안 남았다. ㅎㅎㅎ
최혁재님
정기적으로 만나는 멘토분께 연초에 조언을 구하다가 운동 이야기가 나왔다.
일과 성장에 관련된 대화만 수년째 나누다가 성장을 더 하려면 운동을 하라는 강한 조언이였다. 평소 월드컵도 안보고 프로야구팀이 몇개인지도 모르는 나보고? 운동을 하라고?
"시간이 없어서요." 했더만 없으면 만들어서 하면 되고 잠을 줄이면 되잖아요. 저는 2시간 일찍 일어나서 주3회 정도해요. (나보다 더 바쁜 대표님이라 할말이 없었다. ㅎㅎㅎ)
멘토분 왈 "건강한 육체에서 올바른 의사결정이 나옵니다. 그래서 운동을 해야하구요. 주변에 평소 존경하는 배우고 싶은 대표님들에게도 물어보세요."
진짜로 우리보다 큰회사를 경영하는 대표님들에게 연락을 돌려봤다. 적게는 주2회 많게는 매일 꾸준히 운동을 하시는 대표님들이 대부분이였다.
이유는 모두 비슷. 일을 더 잘하기 위해서, 체력을 키워야 맑은 정신에서 결정들을 할 수 있어서였다.
자건거 타기가 솔직히 싫다.
너무 힘든데 일이라 생각하면 하게 된다.
이번주 운동 지라 티켓 2장이 끊긴거다.
안하면 스푼 사용자가 줄어든다.
안하면 비글루 매출이 줄어든다.
안하면 대표 배임이다.
생각하고 이 악물고 하는거다.
그래 일이니깐 하는거다.
무조건 해야만 하는 일이잖아.
일하는데? 체력이 좋아지는 건 덤?
아무생각 없이 타자.
이 야밤에 70km 첫 도전 나와서
절반오고 뻗어서 횡설수설중 ㅎㅎ
그나저나 서울 한강 야경은 관광상품 만들고 싶은 정도로 정말 예술이다.
집에 가자. 반이나 왔자녀
35km 얼마 안 남았다. ㅎㅎㅎ
최혁재님
❤2
This is the inside story with Akshay Kothari 👇
1. We Raised $50M Purely to Make New Talent Feel Safe to Join
- The people we wanted to hire wanted signal that the company’s stable.
- Raising $50M from Index and Coatue was a stamp of approval.
- We didn’t have immediate cash needs but it helped us recruit.
Three Ways to Increase Your Valuation Multiple
- Three things:
1. Faster growth rate.
2. Better cash flow margin.
3. Operate in an industry that can maintain a high terminal growth rate.
3. Build Your Board Like Your Exec Team
- There’s five seats to fill:
1. CEO Whisperer: Advisor to CEO, preferably a fmr CEO.
2. Audit chair: Partner to CFO
3. GTM: Has expertise in sales/marketing.
4. Governance & compensation: Partner to Head of People.
5. Investor with macro perspective
- It’s a great one-on-one system to your exec team.
4. How the Best CFOs Use Test Budgets**
- They look at each part of the business through an unit economic lens.
- Have test budgets but only double down when your team can prove the unit economics for that channel.
- You shouldn’t worry about the rule of 40 in that period.
5. The Long Term Mindset of Sequoia
- We reported to Mike Vernal & Pat Grady when we missed our number one quarter.
- They said we shouldn’t be worrying about this quarter but whether we can scale it to 100M+ users.
- They believe in the long-term mission.
6. Thoughts on Founder Mode
- It is really good for founders who are right a lot.
- If not, god bless that company.
https://www.linkedin.com/posts/harrystebbings_founder-funding-business-activity-7242173767353798657-7eJx?utm_source=share&utm_medium=member_desktop
1. We Raised $50M Purely to Make New Talent Feel Safe to Join
- The people we wanted to hire wanted signal that the company’s stable.
- Raising $50M from Index and Coatue was a stamp of approval.
- We didn’t have immediate cash needs but it helped us recruit.
Three Ways to Increase Your Valuation Multiple
- Three things:
1. Faster growth rate.
2. Better cash flow margin.
3. Operate in an industry that can maintain a high terminal growth rate.
3. Build Your Board Like Your Exec Team
- There’s five seats to fill:
1. CEO Whisperer: Advisor to CEO, preferably a fmr CEO.
2. Audit chair: Partner to CFO
3. GTM: Has expertise in sales/marketing.
4. Governance & compensation: Partner to Head of People.
5. Investor with macro perspective
- It’s a great one-on-one system to your exec team.
4. How the Best CFOs Use Test Budgets**
- They look at each part of the business through an unit economic lens.
- Have test budgets but only double down when your team can prove the unit economics for that channel.
- You shouldn’t worry about the rule of 40 in that period.
5. The Long Term Mindset of Sequoia
- We reported to Mike Vernal & Pat Grady when we missed our number one quarter.
- They said we shouldn’t be worrying about this quarter but whether we can scale it to 100M+ users.
- They believe in the long-term mission.
6. Thoughts on Founder Mode
- It is really good for founders who are right a lot.
- If not, god bless that company.
https://www.linkedin.com/posts/harrystebbings_founder-funding-business-activity-7242173767353798657-7eJx?utm_source=share&utm_medium=member_desktop
Linkedin
#founder #funding #business #investing #vc #venturecapital #startup… | Harry Stebbings | 65 comments
Notion is a freaking insane story.
This is a company that has been profitable for years.
It never needed to raise a dollar that it raised.
And it has never had as much cash in the bank as it does today.
This is the inside story with Akshay Kothari 👇
…
This is a company that has been profitable for years.
It never needed to raise a dollar that it raised.
And it has never had as much cash in the bank as it does today.
This is the inside story with Akshay Kothari 👇
…
❤2
스크린샷_2024_09_19_오후_10_52_22.png
125.5 KB
Compounding interest
https://maily.so/founderstory/posts/ccea6d6c
3️⃣ 일 하는 방식
우리는 A급 플레이어와만 일합니다
여러분이 얼마나 오래 일하는지는 중요하지 않습니다. 결과가 중요하죠. 우리 회사에는 A급 플레이어를 위한 자리만 있습니다. 집착이 강하고, 실수로부터 배우고, 똑똑하고, 변명하지 않고, 유튜브의 가치를 믿는 사람들이요. 자신의 업무에서 세계 최고가 되는 사람들 말입니다. 여러분이 제작이든, 크리에이티브든, 카메라든, 편집이든 유튜브에만 집착했으면 좋겠어요.
마감 기한을 똑똑하게 지켜내세요
모든 직원들에게 “더 골”이라는 책을 읽으라고 추천해요. 병목 현상이 어디인지 파악하고, 그걸 없애기 위해 노력해야 합니다. 상대의 눈을 똑바로 보고 너가 지금 우리 작업의 병목 현상이라고 말할 수 있어야 해요. 회사에서 핑계를 대는 일이 없었으면 좋겠어요. 주인 의식을 가지고 프로젝트가 실패할 여지를 주지 마세요. 마감 기한이 있다면, 잘 진행되고 있는지 담당자에게 매일 전화해서 물어봐야 해요. 계약 업체에게 일을 맡긴 뒤, 촬영 전날에 준비가 되지 않았다고 계약 업체를 비난하는 건 참을 수 없습니다. 그건 계약 업체가 아니라 여러분의 책임이에요.
가장 중요한 일이 무엇인지 파악하세요
모든 동영상에는 핵심 요소가 있습니다. 100명의 사람들을 섬에 넣어놓고, 한명에게 섬을 선물하는 컨텐츠가 있다고 해볼게요. 이때 핵심 요소는 “섬”을 구하는 것입니다. 섬에서 진행할 챌린지나 날씨는 두번째로 중요한 요소에요. 섬이 없으면 영상을 촬영할 수 없으니까요.
업무를 배정받을 때는 우선 순위 리스트를 명확하게 작성하세요. 당신의 우선순위 1번이 2억 미만의 람보르기니를 구하는 것이라고 해 볼게요. 다른 사람의 일을 도와주느라 람보르기니를 구하지 못한다면 안됩니다. 다른 어떤 것도 우선순위 1번보다 중요하게 생각하지 마세요
먼저 경험해 본 사람들을 찾아 물어보세요
세상에서 가장 큰 조각 케이크를 만들어야 하나요? 세계에서 가장 큰 케이크를 만든 사람을 찾은 뒤 전화해서 물어보세요. 그는 이미 수많은 테스트를 해봤을 거예요. 당신이 연구했어야 할 시간을 몇 주는 아껴줄 수 있을 겁니다. 저는 거의 10년 동안 유튜브에 몰두해 왔어요. 새로 유튜브를 시작하는 사람에게 구독자 100명을 1만명으로 만들 수 있는 방법을 쉽게 알려줄 수 있습니다. 혼자 한다면 훨씬 오랜 시간이 걸리겠지만요. 여러분에게 주어진 모든 업무에 도움을 줄 수 있는 컨설턴트가 없는지 생각해 보세요.
창의적으로 생각하면 비용을 절감할 수 있습니다
게임 팀에서는 종종 큰 금액의 상금을 주자고 제안해요. 그런데 2000만원을 상금으로 주는 것과 도리토스 1년치를 선물로 주는 것 중에 어떤 게 더 재밌나요? 저는 도리토스를 주는게 훨씬 재밌을 것 같아요. 도리토스 1년치는 약 200만원 밖에 하지 않습니다. 상금에 써야할 돈이 10분의 1로 줄어든거죠. 창의력을 발휘했기 때문입니다. 영상에 사용할 포크레인을 찾거나, 상금을 결정하거나, 장소를 찾을 때 창의력을 활용해 비용을 절감하세요.
안된다는 말을 듣고 바로 포기하지 마세요
장소 섭외가 필요해 전화했는데 직원이 안된다고 했다고 가정해 볼게요. 거기서 포기하면 안됩니다. 다른 직원들에게 통화를 시도해 보세요. 미스터 비스트 채널의 팬일 수도 있는 사람을 찾을 때까지 모든 방법을 시도해 보세요. 트위터로 DM을 보낼 수도 있고, 메일을 보낼 수도 있습니다. 우리의 열렬한 팬을 찾는다면, 그들은 규정을 어기고라도 우리를 도와줄 수 있을 겁니다. 한 사람이 안된다고 했다고 해서 멈추지 마세요. 당신이 생각할 수 있는 모든 옵션이 소진되어 더이상 할 수 있는 게 없다고 느껴질 때 멈추세요. 여러가지도 도구를 사용해 여러번 시도하면 성공 확률이 높아질 거예요.
실수에서 배우세요
저는 변명을 싫어합니다. 실수를 통해 배우기보다 체면을 살리려고만 하는 것을 경멸해요. 실수하는 건 당연해요. 초기 멤버들 모두 10억 이상의 손해를 본 실수를 해봤어요. 실수해도 괜찮은 이유는 배우는 과정이기 때문입니다. 한번 실수했다고 해고한 적이 없으니 두려워 할 필요가 없습니다. 실수를 인정하고 어떻게 고칠지 고민하면 앞으로 나아갈 수 있을 거예요.
어떤 컨텐츠를 볼 것인지 신중하게 생각하세요
작가나 감독이라면, 어떤 음식을 먹을지 관리하는 것처럼 어떤 컨텐츠를 소비할 지 완벽하게 관리해야 할 겁니다. 지난 3년 동안 경제 뉴스만 봐 왔던 사람은 코미디언처럼 웃기기 힘들 거예요.
좋은 컨텐츠를 만들 수 있는 방법에는 한계가 없습니다
아기 인형을 소재로 영상을 만든다고 가정해 볼까요? 5명으로 구성된 그룹에서 누가 가장 멀리 인형을 던지는지 경쟁하는 컨텐츠를 만들 수 있습니다. 단, 왼손으로만 던져야 해요. 동작이 서툴 것이고, 재밌는 효과음을 넣으면 꽤 웃긴 영상을 만들 수 있을 거예요. 다른 예시로 아기 인형 1000개를 준비한 다음에 50미터 떨어진 아기침대에 던지는 컨텐츠를 만들 수도 있습니다. 아기 인형을 반으로 부수는 컨텐츠를 만들 수도 있고요. 제가 말하고자 하는 건 아기 인형처럼 단순한 소재로도 무궁무진한 컨텐츠를 만들 수 있다는 것입니다. 낡은 사고 방식에 얽매이지 않고 어떤 컨텐츠도 만드는 것이 우리의 무기입니다.
3️⃣ 일 하는 방식
우리는 A급 플레이어와만 일합니다
여러분이 얼마나 오래 일하는지는 중요하지 않습니다. 결과가 중요하죠. 우리 회사에는 A급 플레이어를 위한 자리만 있습니다. 집착이 강하고, 실수로부터 배우고, 똑똑하고, 변명하지 않고, 유튜브의 가치를 믿는 사람들이요. 자신의 업무에서 세계 최고가 되는 사람들 말입니다. 여러분이 제작이든, 크리에이티브든, 카메라든, 편집이든 유튜브에만 집착했으면 좋겠어요.
마감 기한을 똑똑하게 지켜내세요
모든 직원들에게 “더 골”이라는 책을 읽으라고 추천해요. 병목 현상이 어디인지 파악하고, 그걸 없애기 위해 노력해야 합니다. 상대의 눈을 똑바로 보고 너가 지금 우리 작업의 병목 현상이라고 말할 수 있어야 해요. 회사에서 핑계를 대는 일이 없었으면 좋겠어요. 주인 의식을 가지고 프로젝트가 실패할 여지를 주지 마세요. 마감 기한이 있다면, 잘 진행되고 있는지 담당자에게 매일 전화해서 물어봐야 해요. 계약 업체에게 일을 맡긴 뒤, 촬영 전날에 준비가 되지 않았다고 계약 업체를 비난하는 건 참을 수 없습니다. 그건 계약 업체가 아니라 여러분의 책임이에요.
가장 중요한 일이 무엇인지 파악하세요
모든 동영상에는 핵심 요소가 있습니다. 100명의 사람들을 섬에 넣어놓고, 한명에게 섬을 선물하는 컨텐츠가 있다고 해볼게요. 이때 핵심 요소는 “섬”을 구하는 것입니다. 섬에서 진행할 챌린지나 날씨는 두번째로 중요한 요소에요. 섬이 없으면 영상을 촬영할 수 없으니까요.
업무를 배정받을 때는 우선 순위 리스트를 명확하게 작성하세요. 당신의 우선순위 1번이 2억 미만의 람보르기니를 구하는 것이라고 해 볼게요. 다른 사람의 일을 도와주느라 람보르기니를 구하지 못한다면 안됩니다. 다른 어떤 것도 우선순위 1번보다 중요하게 생각하지 마세요
먼저 경험해 본 사람들을 찾아 물어보세요
세상에서 가장 큰 조각 케이크를 만들어야 하나요? 세계에서 가장 큰 케이크를 만든 사람을 찾은 뒤 전화해서 물어보세요. 그는 이미 수많은 테스트를 해봤을 거예요. 당신이 연구했어야 할 시간을 몇 주는 아껴줄 수 있을 겁니다. 저는 거의 10년 동안 유튜브에 몰두해 왔어요. 새로 유튜브를 시작하는 사람에게 구독자 100명을 1만명으로 만들 수 있는 방법을 쉽게 알려줄 수 있습니다. 혼자 한다면 훨씬 오랜 시간이 걸리겠지만요. 여러분에게 주어진 모든 업무에 도움을 줄 수 있는 컨설턴트가 없는지 생각해 보세요.
창의적으로 생각하면 비용을 절감할 수 있습니다
게임 팀에서는 종종 큰 금액의 상금을 주자고 제안해요. 그런데 2000만원을 상금으로 주는 것과 도리토스 1년치를 선물로 주는 것 중에 어떤 게 더 재밌나요? 저는 도리토스를 주는게 훨씬 재밌을 것 같아요. 도리토스 1년치는 약 200만원 밖에 하지 않습니다. 상금에 써야할 돈이 10분의 1로 줄어든거죠. 창의력을 발휘했기 때문입니다. 영상에 사용할 포크레인을 찾거나, 상금을 결정하거나, 장소를 찾을 때 창의력을 활용해 비용을 절감하세요.
안된다는 말을 듣고 바로 포기하지 마세요
장소 섭외가 필요해 전화했는데 직원이 안된다고 했다고 가정해 볼게요. 거기서 포기하면 안됩니다. 다른 직원들에게 통화를 시도해 보세요. 미스터 비스트 채널의 팬일 수도 있는 사람을 찾을 때까지 모든 방법을 시도해 보세요. 트위터로 DM을 보낼 수도 있고, 메일을 보낼 수도 있습니다. 우리의 열렬한 팬을 찾는다면, 그들은 규정을 어기고라도 우리를 도와줄 수 있을 겁니다. 한 사람이 안된다고 했다고 해서 멈추지 마세요. 당신이 생각할 수 있는 모든 옵션이 소진되어 더이상 할 수 있는 게 없다고 느껴질 때 멈추세요. 여러가지도 도구를 사용해 여러번 시도하면 성공 확률이 높아질 거예요.
실수에서 배우세요
저는 변명을 싫어합니다. 실수를 통해 배우기보다 체면을 살리려고만 하는 것을 경멸해요. 실수하는 건 당연해요. 초기 멤버들 모두 10억 이상의 손해를 본 실수를 해봤어요. 실수해도 괜찮은 이유는 배우는 과정이기 때문입니다. 한번 실수했다고 해고한 적이 없으니 두려워 할 필요가 없습니다. 실수를 인정하고 어떻게 고칠지 고민하면 앞으로 나아갈 수 있을 거예요.
어떤 컨텐츠를 볼 것인지 신중하게 생각하세요
작가나 감독이라면, 어떤 음식을 먹을지 관리하는 것처럼 어떤 컨텐츠를 소비할 지 완벽하게 관리해야 할 겁니다. 지난 3년 동안 경제 뉴스만 봐 왔던 사람은 코미디언처럼 웃기기 힘들 거예요.
좋은 컨텐츠를 만들 수 있는 방법에는 한계가 없습니다
아기 인형을 소재로 영상을 만든다고 가정해 볼까요? 5명으로 구성된 그룹에서 누가 가장 멀리 인형을 던지는지 경쟁하는 컨텐츠를 만들 수 있습니다. 단, 왼손으로만 던져야 해요. 동작이 서툴 것이고, 재밌는 효과음을 넣으면 꽤 웃긴 영상을 만들 수 있을 거예요. 다른 예시로 아기 인형 1000개를 준비한 다음에 50미터 떨어진 아기침대에 던지는 컨텐츠를 만들 수도 있습니다. 아기 인형을 반으로 부수는 컨텐츠를 만들 수도 있고요. 제가 말하고자 하는 건 아기 인형처럼 단순한 소재로도 무궁무진한 컨텐츠를 만들 수 있다는 것입니다. 낡은 사고 방식에 얽매이지 않고 어떤 컨텐츠도 만드는 것이 우리의 무기입니다.
파운더 스토리
26살에 연매출 9000억을 만든 세계 1위 유튜버가 팀을 운영하는 방법
팀원들에게만 공개하는 문서가 유출되었습니다.
농업 문명 시대에는 지리적 위치가 서유럽의 약점이었다. 풍요로운 중국과 인도와 거리가 멀었지만, 인도/중국 무역로는 중동의 이슬람이 점령하고 있었고, 이 무역로를 통과할 수 있는 것은 유럽에 흩어져 있는 베네치아 상인들이었다.
인도와 중국으로 향하는 항로를 찾기 위해 서양에서는 대항해시대가 시작되었다. 바르톨로메우스 디아스와 크리스토퍼 콜럼버스는 각각 희망봉과 신대륙을 발견했다. 16세기 초 유럽은 완전히 새로운 대륙을 발견했다는 사실에 축배를 들었다. 신대륙의 면적은 서유럽의 9배에 달했고, 천연자원도 풍부했다. 스페인은 16-18세기 동안 남미에서 약 50톤의 은을 가져왔으며, 이로 인해 그동안 성장을 가로막았던 토지 병목 현상을 단번에 해결하고 인구 이동의 가능성을 열었다.
유럽인들은 아프리카 대륙에 소량의 사치품을 가져가 노예와 교환했고, 노예를 아메리카로 데려가 사탕수수, 목화, 나무를 재배해 유럽으로 보냈다. 이 과정에서 대서양을 횡단하는 거대한 무역 고리를 형성했고, 농업 경제의 병목을 돌파할 수 있게 되었다.
초기에 신대륙은 스페인 왕실이 은을 약탈하는 수단이었다. 그러나 네덜란드와 영국은 새로운 방식으로 접근했다. 영국은 마그나 카르타를 시작으로 의회가 왕실의 권력을 넘겨받았으며, 개인 재산을 가진 상인의 수가 증가하고 있었다. 네덜란드 역시 주로 상인의 이익을 대변하는 하원이 있었다.
왕권의 이익을 대변하는 식민지가 아닌, 상인의 이익을 대변하고 개인의 재산을 보호하는 것을 목표로 하는 식민지를 건립했고, 식민지로 오는 자들은 부와 종교의 자유를 추구했다. 아프리카 대륙-범대서양 경제의 형성은 유럽 전역의 지식인들에게 새로운 질문을 제기했다. 정부의 기원, 경제의 본질과 같은 문제에 다가가기 위해 기존의 지식에 안주하지 않고 새로운 지식 체계와 세계관을 제시하고자 했다. 신대륙이 가져온 새로운 문제를 해석하기 위해 관찰과 실험을 기반으로 반복 검증하고 예측할 수 있는 더 견고한 지식이 필요해졌다. 아이작 뉴턴의 자연철학의 수학적 원리는 현대 과학 혁명의 시발점이 되었고 새로운 세계관을 가져다주었다. 세상을 시계 같은 기계처럼, 예측 가능하고 원리와 법칙으로 통제되는 세계로 이해하게 했다. 사람들은 인류 문명의 대부분 영역에 대해 이성적이고 과학적인 접근 방식을 사용해 비판적으로 사고하고 숨겨진 법칙을 찾기 시작했다.
1776년에는 애덤 스미스가 국부론을 출간했고, 미국 건국의 아버지들이 독립 선언문을 발표했으며, 제임스 와트가 세계 최초의 증기 기관을 만들었다. 애덤 스미스의 국부론에서는 범대서양 경제가 100년 넘게 계속된 후 정부의 통제를 전혀 받지 않는 경제가 지속 가능하고 성공할 수 있는지에 대해 다루었다. 그는 고귀한 동기 없이도 자신의 이익이라는 동기에서 출발한 개인이 자유 경쟁을 통해 제품을 더 풍부하게, 원가를 더 낮게 생산하고, 사회적 자원 배분을 더 효율적으로 함으로써 사회 전체의 부가 늘어난다는 것을 증명하고자 했다. 애덤 스미스의 후계자인 데이비드 리카도는 사회적 분업에 대한 분석을 바탕으로 자유 무역의 장점을 더욱 정교하게 설명했다. 자유 무역과 분업을 실행하는 사회에서는 누군가가 상대방보다 모든 면에서 우위를 점하고 있다고 해도, 분업과 교환은 쌍방 모두에게 이익이 된다는 것이다.
증기 기관은 열을 운동 에너지로 거의 손실 없이 변환할 수 있는 최초의 기계였다. 그 무렵 화석 연료가 발견되었다. 이는 지구가 수억 년 동안 인류를 위해 보존해온 것으로, 자연계에서 식용 가능한 농작물이나 가축화할 수 있는 동물보다 위력이 막강하고, 내포한 에너지도 무궁무진했다. 산업혁명은 동력 혁명에서 시작되어 과학과 기술이 선순환하며 서로 영향을 주고받아 인간의 자연에 대한 장악 능력을 전례 없는 수준으로 끌어올렸다. 과학기술과 현대 범대서양 자유시장 경제가 결합하면서 급속히 부를 이루고, 새로운 생산력으로 급속히 전환되고, 제품화되었으며, 왕궁에서나 사용할 수 있었던 제품들을 최저 비용으로 생산해 모든 사람에게 공급했다. 이에 따라 짧은 시간에 소비자 사회가 형성되었다. 인간은 본성적으로는 결과의 평등을, 이성적으로는 기회의 평등을 추구한다. 결과의 평등은 이룰 수도 없고 포기할 수도 없는 꿈인 만큼, 인간이 진정으로 받아들일 수 있는 것은 기회의 평등이다.
리루 문명 현대화 가치투자와 중국
인도와 중국으로 향하는 항로를 찾기 위해 서양에서는 대항해시대가 시작되었다. 바르톨로메우스 디아스와 크리스토퍼 콜럼버스는 각각 희망봉과 신대륙을 발견했다. 16세기 초 유럽은 완전히 새로운 대륙을 발견했다는 사실에 축배를 들었다. 신대륙의 면적은 서유럽의 9배에 달했고, 천연자원도 풍부했다. 스페인은 16-18세기 동안 남미에서 약 50톤의 은을 가져왔으며, 이로 인해 그동안 성장을 가로막았던 토지 병목 현상을 단번에 해결하고 인구 이동의 가능성을 열었다.
유럽인들은 아프리카 대륙에 소량의 사치품을 가져가 노예와 교환했고, 노예를 아메리카로 데려가 사탕수수, 목화, 나무를 재배해 유럽으로 보냈다. 이 과정에서 대서양을 횡단하는 거대한 무역 고리를 형성했고, 농업 경제의 병목을 돌파할 수 있게 되었다.
초기에 신대륙은 스페인 왕실이 은을 약탈하는 수단이었다. 그러나 네덜란드와 영국은 새로운 방식으로 접근했다. 영국은 마그나 카르타를 시작으로 의회가 왕실의 권력을 넘겨받았으며, 개인 재산을 가진 상인의 수가 증가하고 있었다. 네덜란드 역시 주로 상인의 이익을 대변하는 하원이 있었다.
왕권의 이익을 대변하는 식민지가 아닌, 상인의 이익을 대변하고 개인의 재산을 보호하는 것을 목표로 하는 식민지를 건립했고, 식민지로 오는 자들은 부와 종교의 자유를 추구했다. 아프리카 대륙-범대서양 경제의 형성은 유럽 전역의 지식인들에게 새로운 질문을 제기했다. 정부의 기원, 경제의 본질과 같은 문제에 다가가기 위해 기존의 지식에 안주하지 않고 새로운 지식 체계와 세계관을 제시하고자 했다. 신대륙이 가져온 새로운 문제를 해석하기 위해 관찰과 실험을 기반으로 반복 검증하고 예측할 수 있는 더 견고한 지식이 필요해졌다. 아이작 뉴턴의 자연철학의 수학적 원리는 현대 과학 혁명의 시발점이 되었고 새로운 세계관을 가져다주었다. 세상을 시계 같은 기계처럼, 예측 가능하고 원리와 법칙으로 통제되는 세계로 이해하게 했다. 사람들은 인류 문명의 대부분 영역에 대해 이성적이고 과학적인 접근 방식을 사용해 비판적으로 사고하고 숨겨진 법칙을 찾기 시작했다.
1776년에는 애덤 스미스가 국부론을 출간했고, 미국 건국의 아버지들이 독립 선언문을 발표했으며, 제임스 와트가 세계 최초의 증기 기관을 만들었다. 애덤 스미스의 국부론에서는 범대서양 경제가 100년 넘게 계속된 후 정부의 통제를 전혀 받지 않는 경제가 지속 가능하고 성공할 수 있는지에 대해 다루었다. 그는 고귀한 동기 없이도 자신의 이익이라는 동기에서 출발한 개인이 자유 경쟁을 통해 제품을 더 풍부하게, 원가를 더 낮게 생산하고, 사회적 자원 배분을 더 효율적으로 함으로써 사회 전체의 부가 늘어난다는 것을 증명하고자 했다. 애덤 스미스의 후계자인 데이비드 리카도는 사회적 분업에 대한 분석을 바탕으로 자유 무역의 장점을 더욱 정교하게 설명했다. 자유 무역과 분업을 실행하는 사회에서는 누군가가 상대방보다 모든 면에서 우위를 점하고 있다고 해도, 분업과 교환은 쌍방 모두에게 이익이 된다는 것이다.
증기 기관은 열을 운동 에너지로 거의 손실 없이 변환할 수 있는 최초의 기계였다. 그 무렵 화석 연료가 발견되었다. 이는 지구가 수억 년 동안 인류를 위해 보존해온 것으로, 자연계에서 식용 가능한 농작물이나 가축화할 수 있는 동물보다 위력이 막강하고, 내포한 에너지도 무궁무진했다. 산업혁명은 동력 혁명에서 시작되어 과학과 기술이 선순환하며 서로 영향을 주고받아 인간의 자연에 대한 장악 능력을 전례 없는 수준으로 끌어올렸다. 과학기술과 현대 범대서양 자유시장 경제가 결합하면서 급속히 부를 이루고, 새로운 생산력으로 급속히 전환되고, 제품화되었으며, 왕궁에서나 사용할 수 있었던 제품들을 최저 비용으로 생산해 모든 사람에게 공급했다. 이에 따라 짧은 시간에 소비자 사회가 형성되었다. 인간은 본성적으로는 결과의 평등을, 이성적으로는 기회의 평등을 추구한다. 결과의 평등은 이룰 수도 없고 포기할 수도 없는 꿈인 만큼, 인간이 진정으로 받아들일 수 있는 것은 기회의 평등이다.
리루 문명 현대화 가치투자와 중국
Forwarded from SNEW스뉴
현재 상용화에 가장 앞서 있는 기업은 오픈AI 창업자 샘 올트먼이 투자한 ‘헬리온에너지’, 빌게이츠와 제프 베이조스가 지원하는 ‘커먼웰스퓨전시스템’이 꼽힌다.
헬리온에너지는 2028년까지 세계 최초의 핵융합 발전소를 건설하고, 마이크로소프트(MS)에 에너지를 공급할 계획이다. 예정된 발전 규모는 50메가와트(㎿)로 일반 천연가스 발전소의 10분의 1 수준에 불과하다. 다만 계획이 실현될 경우 핵융합발전이 상업적으로 이용되는 첫 사례가 될 수 있다.
…
중국 역시 핵융합발전 경쟁에서 우위를 확보하기 위해 막대한 자본을 투자하고 인력을 동원하고 있다.
월스트리트저널(WSJ)에 따르면 중국은 지난해 말 중국핵공업그룹(CNNC) 중심으로 25개 기업과 대학으로 구성된 핵융합발전 컨소시엄을 구성했다.
중국은 24시간 3교대 근무시스템으로 핵융합 프로젝트를 연구하고 있고, 핵융합 관련 박사 학위 보유자가 미국의 10배가 넘는다고 WSJ는 보도했다. 정부 투자 규모도 미국을 훌쩍 뛰어넘는다.
https://n.news.naver.com/article/015/0005034311?sid=104
헬리온에너지는 2028년까지 세계 최초의 핵융합 발전소를 건설하고, 마이크로소프트(MS)에 에너지를 공급할 계획이다. 예정된 발전 규모는 50메가와트(㎿)로 일반 천연가스 발전소의 10분의 1 수준에 불과하다. 다만 계획이 실현될 경우 핵융합발전이 상업적으로 이용되는 첫 사례가 될 수 있다.
…
중국 역시 핵융합발전 경쟁에서 우위를 확보하기 위해 막대한 자본을 투자하고 인력을 동원하고 있다.
월스트리트저널(WSJ)에 따르면 중국은 지난해 말 중국핵공업그룹(CNNC) 중심으로 25개 기업과 대학으로 구성된 핵융합발전 컨소시엄을 구성했다.
중국은 24시간 3교대 근무시스템으로 핵융합 프로젝트를 연구하고 있고, 핵융합 관련 박사 학위 보유자가 미국의 10배가 넘는다고 WSJ는 보도했다. 정부 투자 규모도 미국을 훌쩍 뛰어넘는다.
https://n.news.naver.com/article/015/0005034311?sid=104
Naver
미국 스타트업 vs 중국 국영기업…'꿈의 에너지' 패권전쟁
미국과 중국이 ‘꿈의 에너지’로 불리는 핵융합발전을 상용화하기 위해서 치열하게 경쟁하고 있다. 민간 영역에서는 빅테크 수장들의 막대한 투자를 등에 업은 미국 스타트업들이 앞서고 있지만 학계·국영기업을 동원해 국가 차
❤1
Forwarded from 최선생네 반지하
«한마디로 요약하자면, 너무 싼 중국산 태양광 패널이 전 세계 옥상을 빠르게 뒤덮고 있습니다.»
«결국 태양광 발전이 이렇게 기하급수적으로 커진다는 건 그만큼 전기를 저장하거나 운반하는 일이 중요해진다는 뜻»
→ 중요한 내용입니다. 일독을 권합니다.
https://n.news.naver.com/mnews/article/020/0003588254
https://news.1rj.ru/str/guroguru/13951
«결국 태양광 발전이 이렇게 기하급수적으로 커진다는 건 그만큼 전기를 저장하거나 운반하는 일이 중요해진다는 뜻»
→ 중요한 내용입니다. 일독을 권합니다.
https://n.news.naver.com/mnews/article/020/0003588254
https://news.1rj.ru/str/guroguru/13951
Naver
태양이 승리한다…3년에 2배로 커지는 햇빛의 마법[딥다이브]
‘거의 영원히 지속될 마법의 실리콘’. 1954년 미국 벨연구소(현 AT&T)가 세계 최초로 개발한 태양전지를 두고 당시 뉴욕타임스 기사는 이렇게 흥분했습니다. 그리고 70년이 지난 지금, 햇빛의 마법이 현실로 다가
Continuous Learning_Startup & Investment
https://youtu.be/hM_h0UA7upI?si=_OhkaRM43iPqPQE4
No Priors Ep. 80 | Andrej Karpathy (1/2)
저는 자율주행과 AGI(인공지능 일반)의 많은 유사점을 끌어내는 편인데, 아마도 제가 자율주행에 익숙해서 그런 것일지도 모르지만, 저는 자율주행에서 어느 정도 AGI에 도달했다고 생각합니다. 왜냐하면 오늘날 우리가 실제로 사용할 수 있는 시스템들이 존재하기 때문이죠. 여기 샌프란시스코에서는 Waymo가 아주 흔합니다. 아마도 여러분도 Waymo를 이용해 보셨을 겁니다. 저도 여러 번 이용했는데 정말 놀랍습니다. Waymo는 도시 어디든 운전해 줄 수 있고, 우리는 그것을 제품으로 구매하고 있는 겁니다. Waymo와 관련해서 흥미로운 점은 제가 처음 Waymo를 탔던 것이 거의 10년 전, 정확히 2014년경이었다는 겁니다. 그때 제 친구가 Waymo에서 일하고 있었고, 그가 저에게 데모를 보여주면서 저를 블록 한 바퀴 돌려줬는데, 그때도 이미 거의 완벽한 주행이었습니다. 그리고 데모에서 제품으로 발전하는 데 10년이 걸렸고, 이제는 도시 규모로 확장되고 있습니다.
Speaker B
그 과정에서 규제와 기술적인 문제 중 어느 것이 더 큰 영향을 미쳤다고 생각하시나요? 기술적으로는 언제쯤 준비가 되었을까요?
Speaker C
저는 이게 기술이라고 생각합니다. 30분짜리 단일 데모 주행에서는 모든 걸 다 볼 수 없어요. 그들이 10년 동안 다뤄야 했던 모든 문제를 겪지 않기 때문이죠. 그래서 데모와 실제 제품 사이에는 큰 차이가 있고, 많은 부분이 규제와 관련되어 있다고 생각해요. 하지만 자율주행 분야에서는 어느 정도 AGI(일반 인공지능)를 달성했다고 생각합니다. 흥미로운 점은 그 과정에서 세계화가 전혀 이루어지지 않았다는 겁니다. 데모는 있고 시연은 할 수 있지만, 세상은 아직 바뀌지 않았습니다. 이 변화를 이루기까지는 오랜 시간이 걸릴 거예요. 데모에서 실제 세계화로 넘어가는 데는 큰 차이가 있다고 봅니다. AGI와도 비슷하다고 생각합니다. AGI를 어느 정도 달성한 후에도, 자율주행 분야에서 잠시 멈춰서 보면 사람들이 Waymo가 Tesla보다 앞서 있다고 생각할 수 있습니다. 저는 개인적으로 Tesla가 Waymo보다 앞서 있다고 생각합니다. 그렇게 보이지 않을 수도 있지만, 저는 여전히 Tesla와 그 자율주행 프로그램에 대해 낙관적입니다. Tesla는 소프트웨어 문제를 가지고 있고, Waymo는 하드웨어 문제를 가지고 있다고 생각합니다. 그리고 소프트웨어 문제는 훨씬 더 해결하기 쉽다고 봅니다. Tesla는 전 세계적으로 이 많은 차량을 배치하고 있습니다. Waymo는 그 단계에 도달해야 해요. Tesla가 실제로 이 문제를 해결하고, 자율주행이 실제로 작동하게 되는 순간, 정말 놀라운 일이 벌어질 거라고 생각합니다. 어제 최신 버전으로 운전해봤는데, 정말 많은 개선이 이루어졌습니다. 매우 최근에요.
어제 저에게는 정말 기적 같은 주행을 해줬습니다. 그래서 그 팀이 하고 있는 일에 정말 감명받았어요. 여전히 Tesla는 주로 소프트웨어 문제를 가지고 있고, Waymo는 주로 하드웨어 문제를 가지고 있다고 생각해요. 그래서 지금은 Waymo가 이기고 있는 것처럼 보이지만, 10년 후에 누가 실제로 규모를 확장하고, 수익이 어디서 나오는지를 보면 Tesla가 그 면에서 앞서 있다고 생각합니다.
Speaker B
소프트웨어 문제를 해결해서 어느 정도 동등한 수준에 도달하는 데 얼마나 남았다고 생각하나요? 분명히 말씀하신 대로, Waymo 차량을 보면 매우 비싼 라이다와 다른 센서들이 내장되어 있어서, 그것들이 차량의 주행을 돕고 있죠. 소프트웨어 시스템을 지원하는 역할을 합니다. 반면 Tesla처럼 카메라만 사용한다면, 엄청난 비용과 복잡성을 제거할 수 있고, 다양한 차종에서도 구현할 수 있잖아요. 그 전환이 언제쯤 일어날 것 같나요?
Speaker C
몇 년 내에는 가능하지 않을까요? 저는 그렇게 기대하고 있습니다. 하지만 실제로 흥미로운 점은 사람들이 이를 잘 인식하지 못하고 있다는 겁니다. Tesla도 사실은 많은 비싼 센서를 사용합니다. 다만, 그걸 훈련 단계에서만 사용하는 거죠. 많은 차량들이 라이다와 함께 주행하면서 여러 작업을 하지만, 그건 규모를 확장할 수 없는 것들이에요. 추가적인 센서와 매핑 작업 등도 훈련 단계에서 수행되고, 그걸 테스트 단계에서는 비전 기반 패키지로 압축해서 차량에 배포합니다. 이것은 센서와 비용을 절감하는 전략이라고 볼 수 있죠. 이 전략이 충분히 평가받지 못하고 있다고 생각합니다. 하지만 저는 이 방식이 잘 작동할 것이라고 봅니다. 픽셀에 정보가 담겨 있고, 네트워크가 그걸 처리할 수 있을 거라고 생각하니까요. 훈련 단계에서는 이 센서들이 매우 유용하지만, 테스트 단계에서는 그렇게 유용하지 않다고 생각합니다.
Speaker B
다른 한 가지 변화는 사실 많은 에지 케이스 기반의 설계적 휴리스틱에서 끝에서 끝까지 딥러닝으로 전환되었다는 점입니다. 이것이 최근 일어난 또 다른 변화인데, 그에 대해 조금 더 이야기해줄 수 있나요?
네, 처음부터 그게 계획이었던 것 같습니다. 제가 테슬라에 있었을 때 신경망이 어떻게 스택을 점점 먹어 들어가는지에 대해 얘기했었는데요. 제가 입사했을 때는 C 코드가 엄청나게 많았고, 이제는 테스트 타임 패키지에서 실행되는 C 코드가 훨씬 적어졌습니다. 우리가 이야기하지 않는 백엔드에는 여전히 많은 부분이 남아 있지만, 신경망이 시스템을 통해 처리합니다. 먼저 이미지 수준에서 감지를 하고, 그다음 여러 이미지를 통해 예측을 제공하고, 시간이 지나면서 여러 이미지를 통해 예측을 제공하며 C 코드를 점점 버리고, 결국에는 조향 명령을 내리게 됩니다.
그래서 테슬라가 스택을 점점 먹어 들어가고 있다고 생각합니다. 제가 이해한 바에 따르면 현재의 Waymo는 그 방향으로 가지 않았던 것 같습니다. 그들도 시도는 했지만 결국 그렇게 되지 않았다는 것이 제 생각입니다. 하지만 확실하지는 않습니다. 그들이 이에 대해 공개적으로 말하지 않기 때문이죠. 그러나 저는 이 접근 방식을 근본적으로 믿고 있으며, 이것이 마지막 남은 퍼즐 조각이라고 생각합니다. 테슬라의 끝에서 끝까지의 시스템이 10년 후쯤에는 신경망 하나로 완성될 것이라고 의심하고 있습니다. 동영상이 신경망으로 들어가고 명령이 나오죠. 이를 단계적으로 쌓아가며 한 번에 한 조각씩 해결해야 합니다. 우리가 해왔던 중간 예측과 모든 것이 실제로는 개발을 잘못 이끌었다고 생각하지 않습니다. 이 모든 것이 하나의 과정이라고 생각합니다. 끝에서 끝까지의 주행을 구현할 때 인간을 모방하면, 신경망을 훈련할 감독 정보가 거의 없습니다. 너무 적은 신호로 수십억 개의 매개변수를 훈련할 수는 없습니다. 그래서 이런 중간 표현들이 기능과 감지기를 개발하는 데 도움이 되고, 이로 인해 끝에서 끝으로 연결하는 과정이 훨씬 쉬워집니다. 그래서 저는, 팀에 속해 있지는 않지만, 끝에서 끝으로 조정할 수 있도록 많은 사전 훈련이 이루어지고 있다고 의심하고 있습니다. 그리고 결국 그것을 점진적으로 먹어들어가는 것이 필요했다고 생각합니다. 테슬라는 그렇게 해왔고, 그 방법이 옳다고 생각하며, 그게 잘 작동하는 것 같습니다. 정말 기대됩니다.
저는 자율주행과 AGI(인공지능 일반)의 많은 유사점을 끌어내는 편인데, 아마도 제가 자율주행에 익숙해서 그런 것일지도 모르지만, 저는 자율주행에서 어느 정도 AGI에 도달했다고 생각합니다. 왜냐하면 오늘날 우리가 실제로 사용할 수 있는 시스템들이 존재하기 때문이죠. 여기 샌프란시스코에서는 Waymo가 아주 흔합니다. 아마도 여러분도 Waymo를 이용해 보셨을 겁니다. 저도 여러 번 이용했는데 정말 놀랍습니다. Waymo는 도시 어디든 운전해 줄 수 있고, 우리는 그것을 제품으로 구매하고 있는 겁니다. Waymo와 관련해서 흥미로운 점은 제가 처음 Waymo를 탔던 것이 거의 10년 전, 정확히 2014년경이었다는 겁니다. 그때 제 친구가 Waymo에서 일하고 있었고, 그가 저에게 데모를 보여주면서 저를 블록 한 바퀴 돌려줬는데, 그때도 이미 거의 완벽한 주행이었습니다. 그리고 데모에서 제품으로 발전하는 데 10년이 걸렸고, 이제는 도시 규모로 확장되고 있습니다.
Speaker B
그 과정에서 규제와 기술적인 문제 중 어느 것이 더 큰 영향을 미쳤다고 생각하시나요? 기술적으로는 언제쯤 준비가 되었을까요?
Speaker C
저는 이게 기술이라고 생각합니다. 30분짜리 단일 데모 주행에서는 모든 걸 다 볼 수 없어요. 그들이 10년 동안 다뤄야 했던 모든 문제를 겪지 않기 때문이죠. 그래서 데모와 실제 제품 사이에는 큰 차이가 있고, 많은 부분이 규제와 관련되어 있다고 생각해요. 하지만 자율주행 분야에서는 어느 정도 AGI(일반 인공지능)를 달성했다고 생각합니다. 흥미로운 점은 그 과정에서 세계화가 전혀 이루어지지 않았다는 겁니다. 데모는 있고 시연은 할 수 있지만, 세상은 아직 바뀌지 않았습니다. 이 변화를 이루기까지는 오랜 시간이 걸릴 거예요. 데모에서 실제 세계화로 넘어가는 데는 큰 차이가 있다고 봅니다. AGI와도 비슷하다고 생각합니다. AGI를 어느 정도 달성한 후에도, 자율주행 분야에서 잠시 멈춰서 보면 사람들이 Waymo가 Tesla보다 앞서 있다고 생각할 수 있습니다. 저는 개인적으로 Tesla가 Waymo보다 앞서 있다고 생각합니다. 그렇게 보이지 않을 수도 있지만, 저는 여전히 Tesla와 그 자율주행 프로그램에 대해 낙관적입니다. Tesla는 소프트웨어 문제를 가지고 있고, Waymo는 하드웨어 문제를 가지고 있다고 생각합니다. 그리고 소프트웨어 문제는 훨씬 더 해결하기 쉽다고 봅니다. Tesla는 전 세계적으로 이 많은 차량을 배치하고 있습니다. Waymo는 그 단계에 도달해야 해요. Tesla가 실제로 이 문제를 해결하고, 자율주행이 실제로 작동하게 되는 순간, 정말 놀라운 일이 벌어질 거라고 생각합니다. 어제 최신 버전으로 운전해봤는데, 정말 많은 개선이 이루어졌습니다. 매우 최근에요.
어제 저에게는 정말 기적 같은 주행을 해줬습니다. 그래서 그 팀이 하고 있는 일에 정말 감명받았어요. 여전히 Tesla는 주로 소프트웨어 문제를 가지고 있고, Waymo는 주로 하드웨어 문제를 가지고 있다고 생각해요. 그래서 지금은 Waymo가 이기고 있는 것처럼 보이지만, 10년 후에 누가 실제로 규모를 확장하고, 수익이 어디서 나오는지를 보면 Tesla가 그 면에서 앞서 있다고 생각합니다.
Speaker B
소프트웨어 문제를 해결해서 어느 정도 동등한 수준에 도달하는 데 얼마나 남았다고 생각하나요? 분명히 말씀하신 대로, Waymo 차량을 보면 매우 비싼 라이다와 다른 센서들이 내장되어 있어서, 그것들이 차량의 주행을 돕고 있죠. 소프트웨어 시스템을 지원하는 역할을 합니다. 반면 Tesla처럼 카메라만 사용한다면, 엄청난 비용과 복잡성을 제거할 수 있고, 다양한 차종에서도 구현할 수 있잖아요. 그 전환이 언제쯤 일어날 것 같나요?
Speaker C
몇 년 내에는 가능하지 않을까요? 저는 그렇게 기대하고 있습니다. 하지만 실제로 흥미로운 점은 사람들이 이를 잘 인식하지 못하고 있다는 겁니다. Tesla도 사실은 많은 비싼 센서를 사용합니다. 다만, 그걸 훈련 단계에서만 사용하는 거죠. 많은 차량들이 라이다와 함께 주행하면서 여러 작업을 하지만, 그건 규모를 확장할 수 없는 것들이에요. 추가적인 센서와 매핑 작업 등도 훈련 단계에서 수행되고, 그걸 테스트 단계에서는 비전 기반 패키지로 압축해서 차량에 배포합니다. 이것은 센서와 비용을 절감하는 전략이라고 볼 수 있죠. 이 전략이 충분히 평가받지 못하고 있다고 생각합니다. 하지만 저는 이 방식이 잘 작동할 것이라고 봅니다. 픽셀에 정보가 담겨 있고, 네트워크가 그걸 처리할 수 있을 거라고 생각하니까요. 훈련 단계에서는 이 센서들이 매우 유용하지만, 테스트 단계에서는 그렇게 유용하지 않다고 생각합니다.
Speaker B
다른 한 가지 변화는 사실 많은 에지 케이스 기반의 설계적 휴리스틱에서 끝에서 끝까지 딥러닝으로 전환되었다는 점입니다. 이것이 최근 일어난 또 다른 변화인데, 그에 대해 조금 더 이야기해줄 수 있나요?
네, 처음부터 그게 계획이었던 것 같습니다. 제가 테슬라에 있었을 때 신경망이 어떻게 스택을 점점 먹어 들어가는지에 대해 얘기했었는데요. 제가 입사했을 때는 C 코드가 엄청나게 많았고, 이제는 테스트 타임 패키지에서 실행되는 C 코드가 훨씬 적어졌습니다. 우리가 이야기하지 않는 백엔드에는 여전히 많은 부분이 남아 있지만, 신경망이 시스템을 통해 처리합니다. 먼저 이미지 수준에서 감지를 하고, 그다음 여러 이미지를 통해 예측을 제공하고, 시간이 지나면서 여러 이미지를 통해 예측을 제공하며 C 코드를 점점 버리고, 결국에는 조향 명령을 내리게 됩니다.
그래서 테슬라가 스택을 점점 먹어 들어가고 있다고 생각합니다. 제가 이해한 바에 따르면 현재의 Waymo는 그 방향으로 가지 않았던 것 같습니다. 그들도 시도는 했지만 결국 그렇게 되지 않았다는 것이 제 생각입니다. 하지만 확실하지는 않습니다. 그들이 이에 대해 공개적으로 말하지 않기 때문이죠. 그러나 저는 이 접근 방식을 근본적으로 믿고 있으며, 이것이 마지막 남은 퍼즐 조각이라고 생각합니다. 테슬라의 끝에서 끝까지의 시스템이 10년 후쯤에는 신경망 하나로 완성될 것이라고 의심하고 있습니다. 동영상이 신경망으로 들어가고 명령이 나오죠. 이를 단계적으로 쌓아가며 한 번에 한 조각씩 해결해야 합니다. 우리가 해왔던 중간 예측과 모든 것이 실제로는 개발을 잘못 이끌었다고 생각하지 않습니다. 이 모든 것이 하나의 과정이라고 생각합니다. 끝에서 끝까지의 주행을 구현할 때 인간을 모방하면, 신경망을 훈련할 감독 정보가 거의 없습니다. 너무 적은 신호로 수십억 개의 매개변수를 훈련할 수는 없습니다. 그래서 이런 중간 표현들이 기능과 감지기를 개발하는 데 도움이 되고, 이로 인해 끝에서 끝으로 연결하는 과정이 훨씬 쉬워집니다. 그래서 저는, 팀에 속해 있지는 않지만, 끝에서 끝으로 조정할 수 있도록 많은 사전 훈련이 이루어지고 있다고 의심하고 있습니다. 그리고 결국 그것을 점진적으로 먹어들어가는 것이 필요했다고 생각합니다. 테슬라는 그렇게 해왔고, 그 방법이 옳다고 생각하며, 그게 잘 작동하는 것 같습니다. 정말 기대됩니다.
👍1
Continuous Learning_Startup & Investment
https://youtu.be/hM_h0UA7upI?si=_OhkaRM43iPqPQE4
Speaker A
끝에서 끝까지의 방식으로 시작했더라면 어차피 데이터를 얻지 못했을 것입니다. 그건 말이 되네요. 네, 떠나기 전에 테슬라 휴머노이드 로봇 작업을 하셨죠. 묻고 싶은 게 많은데, 그중 하나는 여기서 시작하는 겁니다. 어떤 것이 전이됩니까?
Speaker C
기본적으로 모든 것이 전이됩니다. 사람들이 그걸 잘 모르고 있는 것 같습니다.
Speaker A
그건 대단한 주장인데요.
Speaker C
이건 아주 다른 문제라고 생각합니다. 기본적으로 로봇이죠. 실제로 보면, 자동차도 로봇입니다. 그리고 테슬라는 자동차 회사가 아니라고 생각합니다. 이건 오해를 불러일으키는 표현입니다. 테슬라는 로봇 회사입니다. 그것도 대규모로 로봇을 만드는 회사죠. 대규모로 라는 부분도 전혀 다른 변수라고 할 수 있습니다. 그들은 단일 제품을 만드는 게 아니라 그 제품을 만드는 기계를 만들고 있습니다. 완전히 다른 이야기죠. 그래서 테슬라는 대규모 로봇 회사라고 생각합니다. 자동차에서 휴머노이드로의 전이에 대해 말하자면, 거의 일이 없었습니다. 실제로 Optimus 초기 버전의 로봇은 자기가 자동차라고 생각했어요. 왜냐하면 같은 컴퓨터와 같은 카메라를 사용하고 있었기 때문입니다. 정말 웃겼던 게, 우리는 로봇에서 자동차 네트워크를 실행하고 있었는데, 로봇이 사무실을 걸어 다니고 있었거든요.
Speaker A
오, 좋네요.
Speaker C
이 시스템은 주행 가능한 공간을 인식하려고 하지만, 지금은 모두 보행 공간인 것 같아요. 그래도 어느 정도 일반화를 했고, 약간의 파인 튜닝이 필요해요. 이 시스템은 주행 중이라고 생각했지만, 사실은 환경을 이동하는 중인 거죠.
Speaker A
이걸 로봇이라고 생각하는 게 맞나요? 많은 것이 전이되지만, 예를 들어, 구동 및 행동 데이터가 부족한 것처럼 보이네요.
Speaker C
맞아요, 몇 가지 구성 요소가 빠져 있긴 하죠. 하지만 Optimus 프로젝트가 시작된 속도는 정말 놀라웠어요. Elon이 "이거 하자"고 말하자마자 사람들이 필요한 도구들을 다 들고 나타났고, CAD 모델부터 공급망 관련 자료까지 아주 빠르게 준비되었어요. Tesla는 로봇 공학을 만드는 데 엄청난 전문 지식을 가지고 있다는 게 느껴졌어요. 사용된 도구들도 다 동일하고, 단지 자동차에서 로봇으로 재구성하는 느낌이었어요. 마치 영화 "트랜스포머"처럼요. 기본적으로 같은 구성 요소들을 사용하며, 하드웨어뿐만 아니라 두뇌 부분에서도 많은 것이 전이됐어요. 네트워크만이 아니라 접근 방식, 라벨링 팀의 협업 방식 등도 전부 전이되었죠. 정말 많은 부분이 전이됐다고 생각해요.
Speaker B
휴머노이드 로봇이나 인간 형태 로봇의 첫 응용 분야에 대해 어떻게 생각하세요?
Speaker C
많은 사람들이 로봇이 빨래를 해주는 상상을 하곤 하는데, 그건 나중에나 가능할 것 같아요. 저는 B2C(기업-소비자 거래)가 시작점이 되어서는 안 된다고 생각해요. 왜냐하면, 제가 자주 말하는 것처럼, 할머니를 깔아뭉개는 로봇을 만들 수는 없으니까요. 법적 책임이 너무 크죠. 이 로봇들은 아직 완벽하지 않고, 많은 개선이 필요해요. 그래서 저는 첫 번째 고객은 자기 자신이어야 한다고 생각해요. 아마 Tesla가 그렇게 할 것 같아요. 저는 Tesla에 대해 매우 낙관적이에요. 첫 고객이 자기 자신이면, 공장에서 로봇을 인큐베이팅하고, 많은 물류 작업을 처리할 수 있을 거예요. 이렇게 하면 제3자와 계약을 맺을 필요가 없고, 법적 문제나 계약 체결, 울타리 설치 등 복잡한 절차도 피할 수 있죠. 여러 회사에서 인큐베이팅을 마친 후에는 B2B(기업 간 거래)로 확장해 물류 처리와 같은 작업을 할 수 있을 거예요. 그다음에야 B2C 로봇 시장에 진입할 수 있을 것 같아요. Unitree 같은 회사도 이미 매력적인 로봇을 만들고 있어요.
끝에서 끝까지의 방식으로 시작했더라면 어차피 데이터를 얻지 못했을 것입니다. 그건 말이 되네요. 네, 떠나기 전에 테슬라 휴머노이드 로봇 작업을 하셨죠. 묻고 싶은 게 많은데, 그중 하나는 여기서 시작하는 겁니다. 어떤 것이 전이됩니까?
Speaker C
기본적으로 모든 것이 전이됩니다. 사람들이 그걸 잘 모르고 있는 것 같습니다.
Speaker A
그건 대단한 주장인데요.
Speaker C
이건 아주 다른 문제라고 생각합니다. 기본적으로 로봇이죠. 실제로 보면, 자동차도 로봇입니다. 그리고 테슬라는 자동차 회사가 아니라고 생각합니다. 이건 오해를 불러일으키는 표현입니다. 테슬라는 로봇 회사입니다. 그것도 대규모로 로봇을 만드는 회사죠. 대규모로 라는 부분도 전혀 다른 변수라고 할 수 있습니다. 그들은 단일 제품을 만드는 게 아니라 그 제품을 만드는 기계를 만들고 있습니다. 완전히 다른 이야기죠. 그래서 테슬라는 대규모 로봇 회사라고 생각합니다. 자동차에서 휴머노이드로의 전이에 대해 말하자면, 거의 일이 없었습니다. 실제로 Optimus 초기 버전의 로봇은 자기가 자동차라고 생각했어요. 왜냐하면 같은 컴퓨터와 같은 카메라를 사용하고 있었기 때문입니다. 정말 웃겼던 게, 우리는 로봇에서 자동차 네트워크를 실행하고 있었는데, 로봇이 사무실을 걸어 다니고 있었거든요.
Speaker A
오, 좋네요.
Speaker C
이 시스템은 주행 가능한 공간을 인식하려고 하지만, 지금은 모두 보행 공간인 것 같아요. 그래도 어느 정도 일반화를 했고, 약간의 파인 튜닝이 필요해요. 이 시스템은 주행 중이라고 생각했지만, 사실은 환경을 이동하는 중인 거죠.
Speaker A
이걸 로봇이라고 생각하는 게 맞나요? 많은 것이 전이되지만, 예를 들어, 구동 및 행동 데이터가 부족한 것처럼 보이네요.
Speaker C
맞아요, 몇 가지 구성 요소가 빠져 있긴 하죠. 하지만 Optimus 프로젝트가 시작된 속도는 정말 놀라웠어요. Elon이 "이거 하자"고 말하자마자 사람들이 필요한 도구들을 다 들고 나타났고, CAD 모델부터 공급망 관련 자료까지 아주 빠르게 준비되었어요. Tesla는 로봇 공학을 만드는 데 엄청난 전문 지식을 가지고 있다는 게 느껴졌어요. 사용된 도구들도 다 동일하고, 단지 자동차에서 로봇으로 재구성하는 느낌이었어요. 마치 영화 "트랜스포머"처럼요. 기본적으로 같은 구성 요소들을 사용하며, 하드웨어뿐만 아니라 두뇌 부분에서도 많은 것이 전이됐어요. 네트워크만이 아니라 접근 방식, 라벨링 팀의 협업 방식 등도 전부 전이되었죠. 정말 많은 부분이 전이됐다고 생각해요.
Speaker B
휴머노이드 로봇이나 인간 형태 로봇의 첫 응용 분야에 대해 어떻게 생각하세요?
Speaker C
많은 사람들이 로봇이 빨래를 해주는 상상을 하곤 하는데, 그건 나중에나 가능할 것 같아요. 저는 B2C(기업-소비자 거래)가 시작점이 되어서는 안 된다고 생각해요. 왜냐하면, 제가 자주 말하는 것처럼, 할머니를 깔아뭉개는 로봇을 만들 수는 없으니까요. 법적 책임이 너무 크죠. 이 로봇들은 아직 완벽하지 않고, 많은 개선이 필요해요. 그래서 저는 첫 번째 고객은 자기 자신이어야 한다고 생각해요. 아마 Tesla가 그렇게 할 것 같아요. 저는 Tesla에 대해 매우 낙관적이에요. 첫 고객이 자기 자신이면, 공장에서 로봇을 인큐베이팅하고, 많은 물류 작업을 처리할 수 있을 거예요. 이렇게 하면 제3자와 계약을 맺을 필요가 없고, 법적 문제나 계약 체결, 울타리 설치 등 복잡한 절차도 피할 수 있죠. 여러 회사에서 인큐베이팅을 마친 후에는 B2B(기업 간 거래)로 확장해 물류 처리와 같은 작업을 할 수 있을 거예요. 그다음에야 B2C 로봇 시장에 진입할 수 있을 것 같아요. Unitree 같은 회사도 이미 매력적인 로봇을 만들고 있어요.
👍1
Continuous Learning_Startup & Investment
https://youtu.be/hM_h0UA7upI?si=_OhkaRM43iPqPQE4
사람들이 아마도 각 플랫폼에 드는 고정 비용의 복잡성을 과소평가하고 있는 것 같습니다. 어떤 단일 플랫폼을 사용하는 데는 큰 고정 비용이 따릅니다. 그래서 저는 이를 중앙 집중화하고, 모든 작업을 수행할 수 있는 하나의 플랫폼을 가지는 것이 매우 합리적이라고 생각합니다. 저는 인간형 측면도 매우 매력적이라고 생각하는데, 사람들이 이를 매우 쉽게 원격 조작할 수 있기 때문입니다. 그리고 이는 매우 유용한 데이터 수집 도구가 될 수 있습니다. 왜냐하면 사람들이 이를 쉽게 조작할 수 있을 테니까요. 이 점이 종종 간과된다고 생각합니다. 물론 말씀하신 것처럼, 인간을 위해 설계된 세상 같은 측면도 있죠. 그래서 그것도 중요하다고 생각합니다. 제 생각에는 인간형 플랫폼에 몇 가지 변형이 있을 수 있겠지만, 큰 고정 비용이 드는 훈련 플랫폼이 존재한다고 생각합니다. 그리고 마지막으로 말하고 싶은 것은 다양한 작업 간의 전이 학습에서 얻는 이점입니다. AI에서는 하나의 신경망이 멀티태스킹을 하며 다양한 작업을 수행하는 것이 매우 중요합니다. 그곳에서 모든 지능과 능력이 나오기 때문입니다. 그리고 이것이 언어 모델이 흥미로운 이유이기도 합니다. 하나의 텍스트 도메인에서 여러 가지 문제를 멀티태스킹하면서 서로 지식을 공유하고, 이 모든 것이 하나의 신경망으로 결합되어 있습니다. 저는 이런 플랫폼이 필요하다고 생각하고, 잎을 따는 데 사용된 데이터를 다른 모든 작업에 활용할 수 있기를 바랍니다. 특정 목적을 위한 특별한 도구를 만들면 다른 작업 간의 전이에서 얻는 이점을 누릴 수 없을 것입니다. 이해되시나요?
Speaker A
네, G 모델에 대한 의견이 있죠. 하나에 3만 달러 정도 들지만, 특정 부품으로 매우 유능한 인간형 로봇을 만드는 것은 어려워 보입니다. 팔을 바퀴에 장착해서 무언가를 할 수 있게 하려면, 처음에는 더 저렴한 방식으로 일반적인 플랫폼을 접근하는 것이 가능할지 모릅니다. 이 말이 이해가 되시나요?
Speaker C
하드웨어 측면에서 더 저렴한 방식으로 일반적인 플랫폼을 접근하는 것? 네, 그게 말이 되는 것 같아요. 네, 발 대신에 바퀴를 장착하는 거죠. 하지만 저는 그게 어느 정도 지역적 최소점을 찾아내는 것인지 궁금해요. 저는 그냥 하나의 플랫폼을 선택하고, 그것을 완벽하게 만드는 것이 장기적으로 좋은 선택이라고 생각합니다. 그리고 또 하나는 사람들에게 익숙할 것이라고 생각하는 점입니다. 아마도 사람들이 그것과 대화를 하고 싶어할 수도 있다고 생각하거든요. 저는 이 심리적 측면도 인간형 플랫폼을 선호하게 만드는 요소일 것이라고 생각합니다. 물론 사람들이 그것을 무서워해서 더 추상적인 형태의 플랫폼을 선호할 수도 있지만요. 그런데 그게 정말 괴물처럼 무언가를 하는 거라면, 그게 더 나은 것인지 모르겠네요.
Speaker B
흥미로운 점은, Unitree의 다른 형태는 개라는 거죠. 맞아요. 그건 더 친숙하고, 더 친근한 느낌을 주죠.
Speaker C
맞아요. 그런데 사람들이 '블랙 미러' 같은 걸 보면, 갑자기 그 개가 무서운 존재로 변하죠. 그래서 생각하기 어려운 부분이에요. 하지만 심리적으로 사람들이 일어나는 일을 쉽게 이해할 수 있을 거라고 생각해요.
Speaker B
로봇공학의 미래를 구체화하는 데 있어서, 기술적 이정표로서 무엇이 부족하다고 생각하나요? 로봇공학에서요, 그렇죠. 인간형 로봇이나 다른 인간 형태의 것들에서요.
Speaker C
음, 잘 모르겠지만, 제가 이 분야에 대해 깊이 알고 있는 건 아닌 것 같아요. 예를 들어, 인간형 로봇 형태에서 하체 부분에 대해서는 모방 학습이나 시연을 통한 학습이 필요하지 않을 수도 있다고 생각해요. 하체는 대부분 역진자 제어 같은 것이 주요 이슈이기 때문이죠. 상체는 원격 조작과 데이터 수집이 많이 필요하지만, 그런 점에서 모든 것이 하이브리드 형태로 흘러가는 것 같아요. 그 시스템들이 어떻게 상호작용하는지는 확실히 모르겠네요.
Speaker B
제가 일하는 사람들과 대화를 나누다 보면, 그들이 집중하는 대부분은 작동과 조작에 관한 것이라고 느껴요. 디지털 조작이나 그런 것들에 대해서 말이죠.
Speaker C
네, 초기에는 원격 조작이 많이 사용될 것 같아요. 뭔가를 지면에서 들어올리고 이를 모방해서, 95%의 성공률로 작동하는 무언가를 만들어내는 거죠. 그 후에는 사람 대 로봇의 비율에 대해 논의하게 될 것이고, 시간이 지나면서 점점 사람들이 직접 작업을 수행하기보다는 로봇을 감독하는 역할을 하게 될 겁니다. 이런 모든 변화는 시간이 지나면서 서서히 이루어질 거예요. 딱히 제가 알고 있는 특정 장애물이 있는 건 아닌 것 같습니다. 그저 많은 수작업이 필요한 일이라고 생각해요. 도구들은 이미 많이 갖춰져 있습니다. 트랜스포머는 아름다운 조직과도 같은 존재죠. 다양한 임의의 작업을 수행할 수 있고, 필요한 데이터를 적절한 형식으로 입력해야 합니다. 그리고 그것을 학습시키고, 실험하고, 배포하고, 반복해서 개선하는 과정이 필요하죠. 그저 많은 기초 작업이 필요한 겁니다. 기술적으로 우리를 막고 있는 특정한 장애물은 없다고 생각해요.
Speaker A
지금 우리는 어디에 와 있을까요? 대규모 블롭 연구의 상태에 대해서요.
Speaker C
대규모 블롭 연구라... 맞아요, 지금 매우 좋은 상태에 있습니다. 제 생각에 이게 충분히 인식되고 있는지는 잘 모르겠어요. 하지만 트랜스포머는 단순한 또 다른 신경망이 아니라 정말 놀라운 신경망입니다. 굉장히 범용적인 성격을 지니고 있어요. 예를 들어, 사람들이 신경망의 스케일링 손실에 대해 이야기할 때, 그 손실은 실제로 대부분 트랜스포머의 특성이에요. 트랜스포머 이전에는 사람들이 LSTM을 가지고 여러 층을 쌓고 있었는데, 그걸로는 깨끗한 스케일링 손실을 얻지 못했어요. 그 방식으로는 학습도 제대로 안 되고, 실제로 작동하지도 않았죠. 트랜스포머가 처음으로 제대로 스케일이 가능해지고, 스케일링 손실이 발생하고 모든 것이 말이 되는 첫 번째 모델이었어요. 저는 그것을 범용 훈련 컴퓨터라고 생각해요. 마치 하나의 컴퓨터처럼, 차이점은 그것이 미분 가능한 컴퓨터라는 점이죠. 수많은 입력과 출력을 주면, 역전파로 훈련할 수 있고, 그 과정에서 그 자체로 작업을 수행하는 무언가로 변형되죠. 우리는 알고리즘 공간에서 마법 같은 무언가를 발견한 것 같아요. 이 트랜스포머에는 몇 가지 중요한 혁신이 들어갔어요. 이미 존재했던 잔차 연결, 층 정규화, 주의 메커니즘 블록, 그리고 그래디언트 신호를 죽이는 비선형 함수인 tanh 같은 요소들이 없는 것이 그 예죠. 이미 존재하던 네다섯 가지의 혁신들이 모두 결합되어 트랜스포머가 완성된 것이고, 그것이 구글이 그들의 논문에서 한 일이죠. 그래서 이 트랜스포머가 실제로 학습되기 시작했고, 갑자기 스케일링 손실을 얻고, 이 조직처럼 생긴 무언가가 아주 높은 정도로 훈련되기 시작한 겁니다. 이건 정말로 큰 돌파구였죠.
Speaker A
당신은 우리가 아직 그 잠재력을 다 발휘하지 않았다고 느끼는 거죠, 맞나요? 물론, 데이터 한계와 다음 세대의 확장이 얼마나 비쌀지에 대한 논의가 있습니다. 이 점에 대해 어떻게 생각하시나요?
Speaker C
Speaker A
네, G 모델에 대한 의견이 있죠. 하나에 3만 달러 정도 들지만, 특정 부품으로 매우 유능한 인간형 로봇을 만드는 것은 어려워 보입니다. 팔을 바퀴에 장착해서 무언가를 할 수 있게 하려면, 처음에는 더 저렴한 방식으로 일반적인 플랫폼을 접근하는 것이 가능할지 모릅니다. 이 말이 이해가 되시나요?
Speaker C
하드웨어 측면에서 더 저렴한 방식으로 일반적인 플랫폼을 접근하는 것? 네, 그게 말이 되는 것 같아요. 네, 발 대신에 바퀴를 장착하는 거죠. 하지만 저는 그게 어느 정도 지역적 최소점을 찾아내는 것인지 궁금해요. 저는 그냥 하나의 플랫폼을 선택하고, 그것을 완벽하게 만드는 것이 장기적으로 좋은 선택이라고 생각합니다. 그리고 또 하나는 사람들에게 익숙할 것이라고 생각하는 점입니다. 아마도 사람들이 그것과 대화를 하고 싶어할 수도 있다고 생각하거든요. 저는 이 심리적 측면도 인간형 플랫폼을 선호하게 만드는 요소일 것이라고 생각합니다. 물론 사람들이 그것을 무서워해서 더 추상적인 형태의 플랫폼을 선호할 수도 있지만요. 그런데 그게 정말 괴물처럼 무언가를 하는 거라면, 그게 더 나은 것인지 모르겠네요.
Speaker B
흥미로운 점은, Unitree의 다른 형태는 개라는 거죠. 맞아요. 그건 더 친숙하고, 더 친근한 느낌을 주죠.
Speaker C
맞아요. 그런데 사람들이 '블랙 미러' 같은 걸 보면, 갑자기 그 개가 무서운 존재로 변하죠. 그래서 생각하기 어려운 부분이에요. 하지만 심리적으로 사람들이 일어나는 일을 쉽게 이해할 수 있을 거라고 생각해요.
Speaker B
로봇공학의 미래를 구체화하는 데 있어서, 기술적 이정표로서 무엇이 부족하다고 생각하나요? 로봇공학에서요, 그렇죠. 인간형 로봇이나 다른 인간 형태의 것들에서요.
Speaker C
음, 잘 모르겠지만, 제가 이 분야에 대해 깊이 알고 있는 건 아닌 것 같아요. 예를 들어, 인간형 로봇 형태에서 하체 부분에 대해서는 모방 학습이나 시연을 통한 학습이 필요하지 않을 수도 있다고 생각해요. 하체는 대부분 역진자 제어 같은 것이 주요 이슈이기 때문이죠. 상체는 원격 조작과 데이터 수집이 많이 필요하지만, 그런 점에서 모든 것이 하이브리드 형태로 흘러가는 것 같아요. 그 시스템들이 어떻게 상호작용하는지는 확실히 모르겠네요.
Speaker B
제가 일하는 사람들과 대화를 나누다 보면, 그들이 집중하는 대부분은 작동과 조작에 관한 것이라고 느껴요. 디지털 조작이나 그런 것들에 대해서 말이죠.
Speaker C
네, 초기에는 원격 조작이 많이 사용될 것 같아요. 뭔가를 지면에서 들어올리고 이를 모방해서, 95%의 성공률로 작동하는 무언가를 만들어내는 거죠. 그 후에는 사람 대 로봇의 비율에 대해 논의하게 될 것이고, 시간이 지나면서 점점 사람들이 직접 작업을 수행하기보다는 로봇을 감독하는 역할을 하게 될 겁니다. 이런 모든 변화는 시간이 지나면서 서서히 이루어질 거예요. 딱히 제가 알고 있는 특정 장애물이 있는 건 아닌 것 같습니다. 그저 많은 수작업이 필요한 일이라고 생각해요. 도구들은 이미 많이 갖춰져 있습니다. 트랜스포머는 아름다운 조직과도 같은 존재죠. 다양한 임의의 작업을 수행할 수 있고, 필요한 데이터를 적절한 형식으로 입력해야 합니다. 그리고 그것을 학습시키고, 실험하고, 배포하고, 반복해서 개선하는 과정이 필요하죠. 그저 많은 기초 작업이 필요한 겁니다. 기술적으로 우리를 막고 있는 특정한 장애물은 없다고 생각해요.
Speaker A
지금 우리는 어디에 와 있을까요? 대규모 블롭 연구의 상태에 대해서요.
Speaker C
대규모 블롭 연구라... 맞아요, 지금 매우 좋은 상태에 있습니다. 제 생각에 이게 충분히 인식되고 있는지는 잘 모르겠어요. 하지만 트랜스포머는 단순한 또 다른 신경망이 아니라 정말 놀라운 신경망입니다. 굉장히 범용적인 성격을 지니고 있어요. 예를 들어, 사람들이 신경망의 스케일링 손실에 대해 이야기할 때, 그 손실은 실제로 대부분 트랜스포머의 특성이에요. 트랜스포머 이전에는 사람들이 LSTM을 가지고 여러 층을 쌓고 있었는데, 그걸로는 깨끗한 스케일링 손실을 얻지 못했어요. 그 방식으로는 학습도 제대로 안 되고, 실제로 작동하지도 않았죠. 트랜스포머가 처음으로 제대로 스케일이 가능해지고, 스케일링 손실이 발생하고 모든 것이 말이 되는 첫 번째 모델이었어요. 저는 그것을 범용 훈련 컴퓨터라고 생각해요. 마치 하나의 컴퓨터처럼, 차이점은 그것이 미분 가능한 컴퓨터라는 점이죠. 수많은 입력과 출력을 주면, 역전파로 훈련할 수 있고, 그 과정에서 그 자체로 작업을 수행하는 무언가로 변형되죠. 우리는 알고리즘 공간에서 마법 같은 무언가를 발견한 것 같아요. 이 트랜스포머에는 몇 가지 중요한 혁신이 들어갔어요. 이미 존재했던 잔차 연결, 층 정규화, 주의 메커니즘 블록, 그리고 그래디언트 신호를 죽이는 비선형 함수인 tanh 같은 요소들이 없는 것이 그 예죠. 이미 존재하던 네다섯 가지의 혁신들이 모두 결합되어 트랜스포머가 완성된 것이고, 그것이 구글이 그들의 논문에서 한 일이죠. 그래서 이 트랜스포머가 실제로 학습되기 시작했고, 갑자기 스케일링 손실을 얻고, 이 조직처럼 생긴 무언가가 아주 높은 정도로 훈련되기 시작한 겁니다. 이건 정말로 큰 돌파구였죠.
Speaker A
당신은 우리가 아직 그 잠재력을 다 발휘하지 않았다고 느끼는 거죠, 맞나요? 물론, 데이터 한계와 다음 세대의 확장이 얼마나 비쌀지에 대한 논의가 있습니다. 이 점에 대해 어떻게 생각하시나요?
Speaker C
Continuous Learning_Startup & Investment
https://youtu.be/hM_h0UA7upI?si=_OhkaRM43iPqPQE4
그게 핵심입니다. 저는 이제 더 이상 신경망 아키텍처가 근본적인 장애물은 아니라고 생각합니다. 이제는 병목현상이 아니에요. 이전에는, 트랜스포머가 나오기 전에는 병목이었지만, 지금은 그렇지 않죠. 이제는 손실 함수가 무엇인지, 데이터셋이 어디 있는지에 대해 훨씬 더 많이 이야기합니다. 이들이 거의 병목이 되어가고 있죠. 신경망이 무엇이든 원하는 대로 재구성하는 일반적인 구조는 더 이상 문제가 아닙니다. 그래서 많은 활동이 이쪽으로 옮겨간 것이고, 이 기술을 적용하는 많은 회사들도 더 이상 트랜스포머의 발전에 대해 생각하지 않고 아키텍처에 대해서도 생각하지 않아요. 라마(LLAMA) 릴리스 같은 경우도, 트랜스포머 자체는 크게 변하지 않았습니다. 우리가 추가한 것은 rope positional과 rope route, 즉 위치 인코딩뿐이에요. 그게 주요 변화입니다. 나머지는 큰 차이가 없죠. 몇 가지 작은 것에서 3% 정도 향상된 것일 뿐이고, 실제로는 rope만 추가된 것입니다. 트랜스포머는 지난 5년 동안 그 정도로만 변했어요. 그래서 그다지 큰 혁신이 없었죠. 모두가 그냥 그걸 당연히 여기고, 훈련을 시킵니다. 그러면 모두가 주로 데이터셋과 손실 함수의 세부 사항에서 혁신을 일으키고 있습니다. 그래서 그쪽으로 모든 활동이 집중된 것입니다.
Speaker A
맞아요. 그런데 인터넷 데이터를 사용할 때는 더 쉬웠다는 주장이 있죠. 이제는 인터넷 데이터가 부족해졌고, 그래서 질문은 인공 데이터나 더 비싼 데이터 수집에 관한 것으로 바뀌고 있습니다. 이에 대해서는 어떻게 생각하시나요?
Speaker C
좋은 지적입니다. 그래서 지금 LLM(대형 언어 모델)에서 많은 활동이 그 부분에 집중되고 있죠. 인터넷 데이터는 사실 당신이 트랜스포머를 위해 원하는 데이터는 아닙니다. 놀랍게도 가까운 유사체일 뿐이지만 그걸로도 멀리 갈 수 있죠. 그러나 인터넷 데이터는 단순히 웹 페이지들의 집합입니다. 당신이 정말로 원하는 것은 당신의 뇌 속에서 일어나는 내면의 독백 같은 것입니다. 그게 핵심 아이디어죠.
Speaker A
당신 뇌 속의 사고 과정들이요.
Speaker C
문제 해결을 할 때 당신 뇌 속에서 일어나는 사고 과정들입니다. 만약 그 과정들을 담은 데이터를 수십억 개나 가지고 있었다면, AGI(인공지능 일반)는 이미 도달했을 것입니다, 상당 부분 말이죠. 그런데 우리는 그런 데이터를 가지고 있지 않아요. 그래서 현재 많은 활동이 이루어지는 곳은, 인터넷 데이터가 실제로 우리를 꽤나 가까이 데려다주긴 하지만, 인터넷 자체에 충분한 추론의 흔적과 지식이 존재하고, 트랜스포머가 그것들을 잘 작동하게 만들기 때문입니다. 그래서 현재 많은 활동이 이 내면 독백 형식으로 데이터를 재구성하는 데 집중되고 있다고 생각합니다. 또한, 그를 위해 많은 인공 데이터 생성이 도움이 되고 있다고 봅니다. 흥미로운 점은 현재의 모델들이 다음 세대 모델들을 만드는 데 어떻게 도움을 주는가입니다. 그래서 이게 일종의 계단과도 같죠.
Speaker B
합성 데이터가 얼마나 중요한가요? 또는 그것이 우리를 얼마나 멀리 데려갈 수 있다고 생각하시나요? 왜냐하면 말씀하신 것처럼, 각 데이터와 각 모델이 다음 모델을 더 잘 훈련시키는 데 도움을 주거나, 적어도 그 모델을 위한 도구를 만드는 데 기여할 수 있잖아요. 데이터 라벨링이나 그 외 어떤 요소든 합성 데이터의 일부일 수 있는데, 이 합성 데이터 부분이 얼마나 중요한지 궁금합니다.
Speaker C
제가 말할 때, 우리가 진전을 이루기 위한 유일한 방법은 이것을 작동시키는 것이라고 생각합니다. 합성 데이터를 사용할 때, 특히 주의해야 한다고 생각하는 이유는, 모델이 조용히 붕괴되는 현상이 주요 문제 중 하나이기 때문입니다. 예를 들어, chatGPT에게 농담을 해달라고 하면, 그 모델이 아는 농담이 거의 세 가지밖에 없다는 걸 알 수 있을 겁니다. 보통 하나의 농담을 제공하고, 가끔 세 가지 농담을 제공하는데, 이는 모델이 붕괴되었고 그것이 조용히 일어났기 때문입니다. 단일 출력만 본다면 하나의 예시만 보게 되지만, 실제로 그 분포를 보면 다양성이 부족하다는 걸 알 수 있습니다. 이것은 조용히 붕괴된 것입니다. 합성 데이터를 생성할 때, 이 문제가 발생하는데, 우리는 실제로 데이터 세트의 다양성과 풍부함을 원합니다. 그렇지 않으면 붕괴된 데이터 세트를 얻게 되고, 개별 데이터를 볼 때는 알아차리지 못하지만 분포에서 엄청난 다양성과 풍부함이 사라져 버립니다. 그래서 이것이 조용히 악화되는 거죠. 따라서 매우 신중하게 접근해야 하며, 데이터 세트의 다양성을 유지해야 합니다. 이를 위한 다양한 기술이 있습니다. 예를 들어, Persona 데이터 세트가 있습니다. Persona 데이터 세트는 10억 개의 인격을 포함한 데이터 세트입니다. 인간처럼, 다양한 배경을 가진 인물들로 구성되어 있습니다.
Speaker A
아, 네, 저도 봤습니다.
Speaker C
네, 예를 들어 "나는 교사다", "나는 예술가다", "여기 살고 있다", "이 일을 한다"와 같은 허구의 인간 배경을 담은 작은 단락들로 이루어져 있습니다. 합성 데이터 생성 시, 단순히 이 작업을 완료하는 것뿐만 아니라, 이 정보를 이 사람에게 설명하고 있다고 상상하면서 데이터를 입력하면, 더 많은 공간을 탐구하도록 유도하게 되고, 그 결과 다양성을 얻게 됩니다. 그래서 매우 신중하게 다양성을 주입하고, 분포를 유지해야 한다고 생각합니다. 사람들이 충분히 인식하지 못하는 어려운 부분이 바로 이것이라고 생각합니다. 기본적으로 합성 데이터는 분명히 미래의 핵심이며, 우리는 데이터가 부족해지지 않을 것이라고 생각합니다. 다만 주의가 필요합니다.
Speaker A
이 연구를 통해 인간 인지에 대해 우리는 무엇을 배우고 있다고 생각하십니까?
Speaker C
우리가 배우고 있는지 잘 모르겠네요.
Speaker A
예를 들어, 우리가 원하는 추론의 형태를 파악하는 것이 실제로 뇌가 어떻게 작동하는지 이해하는 데 유익하다고 주장할 수 있겠죠.
Speaker C
그런 유사성을 사용할 때는 조심해야 한다고 생각하지만, 일반적으로 아주 다른 종류의 것이라고 생각해요. 그렇지만 몇 가지 유사점은 있다고 생각해요. 예를 들면, 저는 트랜스포머가 여러 면에서 인간의 뇌보다 실제로 더 나은 점이 있다고 생각합니다. 사실 트랜스포머는 훨씬 더 효율적인 시스템이에요. 그리고 트랜스포머가 인간의 뇌처럼 잘 작동하지 않는 이유는 주로 데이터 문제 때문이라고 생각합니다. 대략적으로 말하자면 말이죠. 예를 들면, 트랜스포머가 시퀀스를 암기하는 것은 인간보다 훨씬 뛰어납니다. 시퀀스를 주고 한 번의 순방향 및 역방향 패스를 실행하면, 처음 몇 가지 요소만 주어도 나머지 시퀀스를 완성할 수 있어요. 그 시퀀스를 암기했으니까요. 정말 잘합니다. 인간에게 시퀀스를 한 번만 보여줘도 기억할 수 없을 겁니다. 그래서 트랜스포머는, 저는 실제로 그라디언트 기반 최적화, 우리가 신경망을 훈련할 때 항상 사용하는 순방향 및 역방향 업데이트가 일부 측면에서 뇌보다 더 효율적일 수 있다고 생각합니다. 이 모델들은 더 나아요. 단지 아직 빛을 발할 준비가 안 됐을 뿐이죠. 하지만 여러 인지적 측면에서, 저는 그들이 성장할 가능성이 있다고 생각해요.
Speaker A
적절한 입력이 주어지면 더 나아질 겁니다.
Speaker B
그건 모든 종류의 응용 프로그램에서 컴퓨터에도 일반적으로 적용되는 얘기죠. 메모리를 사용하는 점에서요.
Speaker C
네, 맞아요. 인간의 뇌는 많은 제약이 있다고 생각합니다. 예를 들어, 작업 기억은 매우 작죠. 트랜스포머는 훨씬 더 큰 작업 기억을 가지고 있으며, 앞으로도 그럴 겁니다. 그들은 훨씬 더 효율적인 학습자입니다. 인간의 뇌는 여러 제약 아래에서 기능하죠. 인간의 뇌가 역전파를 사용한다는 건 명확하지 않습니다. 그게 어떻게 작동하는지도 분명하지 않죠. 매우 확률적이고 동적인 시스템입니다. 제약도 많고, 주변 환경에 맞춰 작동해야 하죠. 그래서 우리가 가진 것이 뇌보다 잠재적으로 더 나을 수도 있다고 생각합니다. 다만 아직 그 단계에 도달하지 않았을 뿐입니다.
Speaker B
AI 시스템을 통한 인간의 증강에 대해 어떻게 생각하시나요? 그게 가능성 있는 방향이라고 보세요? 가능성이 낮다고 보세요? AI 모델과 함께하는 인간의 증강 말입니다.
Speaker A
맞아요. 그런데 인터넷 데이터를 사용할 때는 더 쉬웠다는 주장이 있죠. 이제는 인터넷 데이터가 부족해졌고, 그래서 질문은 인공 데이터나 더 비싼 데이터 수집에 관한 것으로 바뀌고 있습니다. 이에 대해서는 어떻게 생각하시나요?
Speaker C
좋은 지적입니다. 그래서 지금 LLM(대형 언어 모델)에서 많은 활동이 그 부분에 집중되고 있죠. 인터넷 데이터는 사실 당신이 트랜스포머를 위해 원하는 데이터는 아닙니다. 놀랍게도 가까운 유사체일 뿐이지만 그걸로도 멀리 갈 수 있죠. 그러나 인터넷 데이터는 단순히 웹 페이지들의 집합입니다. 당신이 정말로 원하는 것은 당신의 뇌 속에서 일어나는 내면의 독백 같은 것입니다. 그게 핵심 아이디어죠.
Speaker A
당신 뇌 속의 사고 과정들이요.
Speaker C
문제 해결을 할 때 당신 뇌 속에서 일어나는 사고 과정들입니다. 만약 그 과정들을 담은 데이터를 수십억 개나 가지고 있었다면, AGI(인공지능 일반)는 이미 도달했을 것입니다, 상당 부분 말이죠. 그런데 우리는 그런 데이터를 가지고 있지 않아요. 그래서 현재 많은 활동이 이루어지는 곳은, 인터넷 데이터가 실제로 우리를 꽤나 가까이 데려다주긴 하지만, 인터넷 자체에 충분한 추론의 흔적과 지식이 존재하고, 트랜스포머가 그것들을 잘 작동하게 만들기 때문입니다. 그래서 현재 많은 활동이 이 내면 독백 형식으로 데이터를 재구성하는 데 집중되고 있다고 생각합니다. 또한, 그를 위해 많은 인공 데이터 생성이 도움이 되고 있다고 봅니다. 흥미로운 점은 현재의 모델들이 다음 세대 모델들을 만드는 데 어떻게 도움을 주는가입니다. 그래서 이게 일종의 계단과도 같죠.
Speaker B
합성 데이터가 얼마나 중요한가요? 또는 그것이 우리를 얼마나 멀리 데려갈 수 있다고 생각하시나요? 왜냐하면 말씀하신 것처럼, 각 데이터와 각 모델이 다음 모델을 더 잘 훈련시키는 데 도움을 주거나, 적어도 그 모델을 위한 도구를 만드는 데 기여할 수 있잖아요. 데이터 라벨링이나 그 외 어떤 요소든 합성 데이터의 일부일 수 있는데, 이 합성 데이터 부분이 얼마나 중요한지 궁금합니다.
Speaker C
제가 말할 때, 우리가 진전을 이루기 위한 유일한 방법은 이것을 작동시키는 것이라고 생각합니다. 합성 데이터를 사용할 때, 특히 주의해야 한다고 생각하는 이유는, 모델이 조용히 붕괴되는 현상이 주요 문제 중 하나이기 때문입니다. 예를 들어, chatGPT에게 농담을 해달라고 하면, 그 모델이 아는 농담이 거의 세 가지밖에 없다는 걸 알 수 있을 겁니다. 보통 하나의 농담을 제공하고, 가끔 세 가지 농담을 제공하는데, 이는 모델이 붕괴되었고 그것이 조용히 일어났기 때문입니다. 단일 출력만 본다면 하나의 예시만 보게 되지만, 실제로 그 분포를 보면 다양성이 부족하다는 걸 알 수 있습니다. 이것은 조용히 붕괴된 것입니다. 합성 데이터를 생성할 때, 이 문제가 발생하는데, 우리는 실제로 데이터 세트의 다양성과 풍부함을 원합니다. 그렇지 않으면 붕괴된 데이터 세트를 얻게 되고, 개별 데이터를 볼 때는 알아차리지 못하지만 분포에서 엄청난 다양성과 풍부함이 사라져 버립니다. 그래서 이것이 조용히 악화되는 거죠. 따라서 매우 신중하게 접근해야 하며, 데이터 세트의 다양성을 유지해야 합니다. 이를 위한 다양한 기술이 있습니다. 예를 들어, Persona 데이터 세트가 있습니다. Persona 데이터 세트는 10억 개의 인격을 포함한 데이터 세트입니다. 인간처럼, 다양한 배경을 가진 인물들로 구성되어 있습니다.
Speaker A
아, 네, 저도 봤습니다.
Speaker C
네, 예를 들어 "나는 교사다", "나는 예술가다", "여기 살고 있다", "이 일을 한다"와 같은 허구의 인간 배경을 담은 작은 단락들로 이루어져 있습니다. 합성 데이터 생성 시, 단순히 이 작업을 완료하는 것뿐만 아니라, 이 정보를 이 사람에게 설명하고 있다고 상상하면서 데이터를 입력하면, 더 많은 공간을 탐구하도록 유도하게 되고, 그 결과 다양성을 얻게 됩니다. 그래서 매우 신중하게 다양성을 주입하고, 분포를 유지해야 한다고 생각합니다. 사람들이 충분히 인식하지 못하는 어려운 부분이 바로 이것이라고 생각합니다. 기본적으로 합성 데이터는 분명히 미래의 핵심이며, 우리는 데이터가 부족해지지 않을 것이라고 생각합니다. 다만 주의가 필요합니다.
Speaker A
이 연구를 통해 인간 인지에 대해 우리는 무엇을 배우고 있다고 생각하십니까?
Speaker C
우리가 배우고 있는지 잘 모르겠네요.
Speaker A
예를 들어, 우리가 원하는 추론의 형태를 파악하는 것이 실제로 뇌가 어떻게 작동하는지 이해하는 데 유익하다고 주장할 수 있겠죠.
Speaker C
그런 유사성을 사용할 때는 조심해야 한다고 생각하지만, 일반적으로 아주 다른 종류의 것이라고 생각해요. 그렇지만 몇 가지 유사점은 있다고 생각해요. 예를 들면, 저는 트랜스포머가 여러 면에서 인간의 뇌보다 실제로 더 나은 점이 있다고 생각합니다. 사실 트랜스포머는 훨씬 더 효율적인 시스템이에요. 그리고 트랜스포머가 인간의 뇌처럼 잘 작동하지 않는 이유는 주로 데이터 문제 때문이라고 생각합니다. 대략적으로 말하자면 말이죠. 예를 들면, 트랜스포머가 시퀀스를 암기하는 것은 인간보다 훨씬 뛰어납니다. 시퀀스를 주고 한 번의 순방향 및 역방향 패스를 실행하면, 처음 몇 가지 요소만 주어도 나머지 시퀀스를 완성할 수 있어요. 그 시퀀스를 암기했으니까요. 정말 잘합니다. 인간에게 시퀀스를 한 번만 보여줘도 기억할 수 없을 겁니다. 그래서 트랜스포머는, 저는 실제로 그라디언트 기반 최적화, 우리가 신경망을 훈련할 때 항상 사용하는 순방향 및 역방향 업데이트가 일부 측면에서 뇌보다 더 효율적일 수 있다고 생각합니다. 이 모델들은 더 나아요. 단지 아직 빛을 발할 준비가 안 됐을 뿐이죠. 하지만 여러 인지적 측면에서, 저는 그들이 성장할 가능성이 있다고 생각해요.
Speaker A
적절한 입력이 주어지면 더 나아질 겁니다.
Speaker B
그건 모든 종류의 응용 프로그램에서 컴퓨터에도 일반적으로 적용되는 얘기죠. 메모리를 사용하는 점에서요.
Speaker C
네, 맞아요. 인간의 뇌는 많은 제약이 있다고 생각합니다. 예를 들어, 작업 기억은 매우 작죠. 트랜스포머는 훨씬 더 큰 작업 기억을 가지고 있으며, 앞으로도 그럴 겁니다. 그들은 훨씬 더 효율적인 학습자입니다. 인간의 뇌는 여러 제약 아래에서 기능하죠. 인간의 뇌가 역전파를 사용한다는 건 명확하지 않습니다. 그게 어떻게 작동하는지도 분명하지 않죠. 매우 확률적이고 동적인 시스템입니다. 제약도 많고, 주변 환경에 맞춰 작동해야 하죠. 그래서 우리가 가진 것이 뇌보다 잠재적으로 더 나을 수도 있다고 생각합니다. 다만 아직 그 단계에 도달하지 않았을 뿐입니다.
Speaker B
AI 시스템을 통한 인간의 증강에 대해 어떻게 생각하시나요? 그게 가능성 있는 방향이라고 보세요? 가능성이 낮다고 보세요? AI 모델과 함께하는 인간의 증강 말입니다.