Continuous Learning_Startup & Investment
프론티어 모델은 트레이닝 비용이 점점 더 비싸지는 반면, 커머셜 모델은 성능이 향상됨에 따라 매년 가격이 하락합니다(예: 2년 전보다 현재 GPT-3.5 동급을 트레이닝하는 데 약 5배 저렴함). 모델 규모가 커짐에 따라 자금은 주로 클라우드 제공업체/대형 기술 업체에서 점점 더 많이 조달되고 있습니다. 예를 들어, Microsoft는 OpenAI에 100억 달러 이상을 투자했고, Anthropic은 Amazon과 Google 사이에서 70억 달러를 모금했습니다.…
NAVER
AI 에 대해 모르는 것들 (ft. Elad Gil)
대부분의 시장에서는 시간이 지날수록 더 명확해집니다. 하지만 생성 AI("AI")에서는 그 반...
지난주 작년에 첫 회사를 엑싯하신 한 대표님과 이야기를 나눴는데 창업이 육아와 정말 비슷한 점이 많다고 하셨다. 첫 아이를 기를때는 아이가 성장하는 과정에서 어떤 것을 기대해야 되는지 몰라 실수를 하고 생각했던 것보다 육아하는 것이 너무 힘들어 그 고통이 큰데 두번째 아이 부터는 아이가 성장하면서 어떤 문제들이 생기는지 알기 때문에 좀 더 수월하다고 하셨다.
나는 이 말이 너무 공감되었다. 창업하면서 가장 힘든 부분은 사람과 관련된 문제들이라는 이야기를 듣기는 했지만 작년을 돌이켜보면 구체적으로 어떤 것을 기대해야 되는지 몰라 고통이 정말 컸던 것 같다. 작년에 팀이 한번 리빌딩 되면서 팀원들 간의 갈등을 겪게 되었는데 이때 매니저로써 나의 역량에 한계를 느끼면서 번아웃이 왔다.
최근 인간에게 발달단계가 있듯이 팀에도 발달단계가 있다는 것을 알게 되었다. 팀의 발달단계에서 어떤 현상이 발생하게 되는지 미리 알았더라면 내 스스로의 역량이 부족해서 문제가 발생했다는 생각보다는 원래 자연스럽게 발생하는 생리 현상임을 인지하고 이에 적절한 대응을 했을 것 같다.
모든 팀은 Forming → Storming → Norming → Performing의 4단계를 거치게 된다.
1) Forming
나타나는 현상
• 팀원들이 롤, 목표, 프로세스에 대한 이해가 부족한 상태. 매니저에게 의존도가 가장 높은 상태. 심리적으로 불안한 상태이며 이해하고 적응하는 것에 우선순위를 두고 리스크 지는 행동이나 사람들과 논쟁하는 것을 기피함.
이전 실수
• 팀원들에게 자율성 부여하고 자기 주도성을 요구해야 된다는 막연한 생각으로 디스콰이엇에서 어떤 것을 하고 싶은지와 같은 open-ended question을 물어보고 지표와 해결해야 되는 문제만 던져준 후 주체적으로 해결책을 가져올 것을 요구함.
• 1-on-1, 회의때 질문을 많이 하고 의견을 많이 낼 것을 요구함.
올바른 가이드
• 각 롤, 목표, 프로세스에 대해서 커뮤니케이션을 자주 하고 태스크 수행을 통해 이에 대한 이해가 생기는 것을 목표로 훨씬 세부적으로 태스크를 지정해줘야 됨.
• 심리적 안정감을 느끼기 전까지는 질문이나 의견내는 것이 없을 것이라는 것을 기대하고 롤, 목표, 프로세스에 대해서 설명하는 시간을 훨씬 많이 갖고 먼저 적극적으로 이해가 안되는 부분이 있는지, 설명이 필요한 부분이 있는지를 체킹. 심리적 안정감을 만들기 위한 활동들, 유대감을 쌓기 위한 활동들을 의도적으로 많이 해야 됨.
2) Storming
나타나는 현상
• 롤, 목표, 프로세스에 대한 경계가 아직 모호한 상태. 이때문에 서로 일하는 영역에 침범하는 것이 발생.
• 심리적 안정감이 생기면서 일하는 스타일이나 성격 차이로 인해 생기는 갈등을 표출하기 시작함. 조금씩 자신감을 얻으면서 매니저의 가이드를 거부하기 시작함.
개개인이 자기의 정체성에 대해서 고민을 많이 하고 팀보다는 이를 표현하는 것을 더 우선시함. 위계 질서에 대한 걱정을 하기 시작함
이전 실수
• 일하는 상황에서 기대치를 충족하지 못하는 결과물이나 생각의 부족함이 보였을때 이를 바로 잡기위해서 즉각적으로 행동함. 이로 인해 자신감이 떨어지는 상황이 발생하고 방어적인 태도를 보이는 경우가 잦아짐. 심리적 안정감이 없어짐.
• 갈등상황이 있을때 개인의 성향, 스타일에 대한 메타 인지로 넘어가는데 시간이 너무 오래 걸림.
올바른 가이드
• 각자 성향, 장단점, 일하는 스타일에 대해서 메타 인지를 할 수 있도록 가이드를 주고 롤, 목표, 프로세스를 명료하게 하는데 시간을 써야됨. 심리적 안정감을 느낄 수 있는 환경을 조성하는데 노력을 기울여야 됨.
• 마찰이 나는 것이 좋은 현상이라는 것을 인지 시키고 발전을 위해서 꼭 필요한 것이라는 것을 강조.
3) Norming
나타나는 현상
• 목표, 롤, 프로세스의 경계가 생기기 시작함. 서로의 성향 차이를 이해하기 시작하고 어떻게 하면 상호보완적으로 일할 수 있는지 이해를 하기 시작함.
• 개인의 정체성보다는 팀에 대해서 고민을 더 많이 하기 시작하고 일을 잘하기 위한 프로세스를 잡아나가기 시작함.
이전 실수
• 팀 내부에서 일부는 Norming 단계에 와있고 일부는 그렇지 않은 경우가 있었는데 그렇지 않은 팀원들에게 개인이 아닌 팀과 고객을 고민할 것을 더 명확히 요구하지 못했음. 요구했는데도 개선되지 않은 팀원들과 더 빨리 헤어졌어야 됐는데 그러지 못했음.
• 위임을 못하고 모든 일을 내가 해야된다는 생각을 했음.
• 심리적 안정감, 팀웍을 쌓기 위한 활동을 적극적으로 고민하고 장려하지 않았음.
올바른 가이드
• Storming 단계를 넘어선 것을 축하하고 심리적 안정감, 팀웍을 쌓을 수 있는 환경을 만드는데 더 적극적으로 관여
• 목표 설정하고 이를 소통하는 것에 더 집중하고 팀에게 높은 기준을 요구
• 지시자가 아닌 질문자로써 코칭
4) Performing
나타나는 현상
• 팀에 대한 고민이 줄고 일을 수행하는 것에 대한 고민만 하게 되는 몰입 상태에 이름. 소통 비용이 낮고 팀으로써 문제 해결 역량이 올라감.
• 결정의 속도가 빨라지고 갈등 상황을 건강하게 잘 해결함.
내가 했던 실수
• 여기까지 잘가보지 못함.
올바른 가이드
• 리더쉽 양성에 신경쓰고 리더에게 완벽한 위임.
• 비전에 신경쓰고 이를 달성하기 위한 챌린지들을 제시하고 적절한 보상과 구조를 통해 챌린지들이 해결되는 속도를 높임.
• Performing 단계가 영원하지 않다는 것을 인지하고 다시 회귀할 것을 대비.
나는 이 말이 너무 공감되었다. 창업하면서 가장 힘든 부분은 사람과 관련된 문제들이라는 이야기를 듣기는 했지만 작년을 돌이켜보면 구체적으로 어떤 것을 기대해야 되는지 몰라 고통이 정말 컸던 것 같다. 작년에 팀이 한번 리빌딩 되면서 팀원들 간의 갈등을 겪게 되었는데 이때 매니저로써 나의 역량에 한계를 느끼면서 번아웃이 왔다.
최근 인간에게 발달단계가 있듯이 팀에도 발달단계가 있다는 것을 알게 되었다. 팀의 발달단계에서 어떤 현상이 발생하게 되는지 미리 알았더라면 내 스스로의 역량이 부족해서 문제가 발생했다는 생각보다는 원래 자연스럽게 발생하는 생리 현상임을 인지하고 이에 적절한 대응을 했을 것 같다.
모든 팀은 Forming → Storming → Norming → Performing의 4단계를 거치게 된다.
1) Forming
나타나는 현상
• 팀원들이 롤, 목표, 프로세스에 대한 이해가 부족한 상태. 매니저에게 의존도가 가장 높은 상태. 심리적으로 불안한 상태이며 이해하고 적응하는 것에 우선순위를 두고 리스크 지는 행동이나 사람들과 논쟁하는 것을 기피함.
이전 실수
• 팀원들에게 자율성 부여하고 자기 주도성을 요구해야 된다는 막연한 생각으로 디스콰이엇에서 어떤 것을 하고 싶은지와 같은 open-ended question을 물어보고 지표와 해결해야 되는 문제만 던져준 후 주체적으로 해결책을 가져올 것을 요구함.
• 1-on-1, 회의때 질문을 많이 하고 의견을 많이 낼 것을 요구함.
올바른 가이드
• 각 롤, 목표, 프로세스에 대해서 커뮤니케이션을 자주 하고 태스크 수행을 통해 이에 대한 이해가 생기는 것을 목표로 훨씬 세부적으로 태스크를 지정해줘야 됨.
• 심리적 안정감을 느끼기 전까지는 질문이나 의견내는 것이 없을 것이라는 것을 기대하고 롤, 목표, 프로세스에 대해서 설명하는 시간을 훨씬 많이 갖고 먼저 적극적으로 이해가 안되는 부분이 있는지, 설명이 필요한 부분이 있는지를 체킹. 심리적 안정감을 만들기 위한 활동들, 유대감을 쌓기 위한 활동들을 의도적으로 많이 해야 됨.
2) Storming
나타나는 현상
• 롤, 목표, 프로세스에 대한 경계가 아직 모호한 상태. 이때문에 서로 일하는 영역에 침범하는 것이 발생.
• 심리적 안정감이 생기면서 일하는 스타일이나 성격 차이로 인해 생기는 갈등을 표출하기 시작함. 조금씩 자신감을 얻으면서 매니저의 가이드를 거부하기 시작함.
개개인이 자기의 정체성에 대해서 고민을 많이 하고 팀보다는 이를 표현하는 것을 더 우선시함. 위계 질서에 대한 걱정을 하기 시작함
이전 실수
• 일하는 상황에서 기대치를 충족하지 못하는 결과물이나 생각의 부족함이 보였을때 이를 바로 잡기위해서 즉각적으로 행동함. 이로 인해 자신감이 떨어지는 상황이 발생하고 방어적인 태도를 보이는 경우가 잦아짐. 심리적 안정감이 없어짐.
• 갈등상황이 있을때 개인의 성향, 스타일에 대한 메타 인지로 넘어가는데 시간이 너무 오래 걸림.
올바른 가이드
• 각자 성향, 장단점, 일하는 스타일에 대해서 메타 인지를 할 수 있도록 가이드를 주고 롤, 목표, 프로세스를 명료하게 하는데 시간을 써야됨. 심리적 안정감을 느낄 수 있는 환경을 조성하는데 노력을 기울여야 됨.
• 마찰이 나는 것이 좋은 현상이라는 것을 인지 시키고 발전을 위해서 꼭 필요한 것이라는 것을 강조.
3) Norming
나타나는 현상
• 목표, 롤, 프로세스의 경계가 생기기 시작함. 서로의 성향 차이를 이해하기 시작하고 어떻게 하면 상호보완적으로 일할 수 있는지 이해를 하기 시작함.
• 개인의 정체성보다는 팀에 대해서 고민을 더 많이 하기 시작하고 일을 잘하기 위한 프로세스를 잡아나가기 시작함.
이전 실수
• 팀 내부에서 일부는 Norming 단계에 와있고 일부는 그렇지 않은 경우가 있었는데 그렇지 않은 팀원들에게 개인이 아닌 팀과 고객을 고민할 것을 더 명확히 요구하지 못했음. 요구했는데도 개선되지 않은 팀원들과 더 빨리 헤어졌어야 됐는데 그러지 못했음.
• 위임을 못하고 모든 일을 내가 해야된다는 생각을 했음.
• 심리적 안정감, 팀웍을 쌓기 위한 활동을 적극적으로 고민하고 장려하지 않았음.
올바른 가이드
• Storming 단계를 넘어선 것을 축하하고 심리적 안정감, 팀웍을 쌓을 수 있는 환경을 만드는데 더 적극적으로 관여
• 목표 설정하고 이를 소통하는 것에 더 집중하고 팀에게 높은 기준을 요구
• 지시자가 아닌 질문자로써 코칭
4) Performing
나타나는 현상
• 팀에 대한 고민이 줄고 일을 수행하는 것에 대한 고민만 하게 되는 몰입 상태에 이름. 소통 비용이 낮고 팀으로써 문제 해결 역량이 올라감.
• 결정의 속도가 빨라지고 갈등 상황을 건강하게 잘 해결함.
내가 했던 실수
• 여기까지 잘가보지 못함.
올바른 가이드
• 리더쉽 양성에 신경쓰고 리더에게 완벽한 위임.
• 비전에 신경쓰고 이를 달성하기 위한 챌린지들을 제시하고 적절한 보상과 구조를 통해 챌린지들이 해결되는 속도를 높임.
• Performing 단계가 영원하지 않다는 것을 인지하고 다시 회귀할 것을 대비.
1) Inflection will likely be the first of many VC-backed Foundation Model companies to fail.
Foundation models without proprietary, real-time data AND massive distribution for RLHF are the fastest depreciating assets in history.
2) Irony is that while models are commodities today, the ultimate future is likely one where there are only a few truly massive models with proprietary real time data and vast distribution.
Only a few will make it. And they will be super valuable.
3) Smaller open source models will be used for most vertical tasks to save on inference costs.
As ever, there are no barriers to entry on the internet, only barriers to scale. And once at scale, the returns are very high.
Foundation models are becoming a “Game of Emperors” and the empires on the other side of this winnowing are really large.
4) Also respect to the Inflection team for trying. They built a great model - just wasn’t valuable enough without proprietary real-time data and massive internet distribution.
And yes, technically it hasn’t entirely failed yet but I think fair to say has effectively failed.
Inflection Deal
> too much capital and talent needed for next generation
> no real way to exit
> Reid Hoffmann looking to engineer an acquihire
> MSFT unwilling to bite at $4 bil
> so they engineered an earn-out deal
> allowing founders and research team to leave
> investors get back some capital over time
> surprising Reid managed to persuade everyone to get this done
Foundation models without proprietary, real-time data AND massive distribution for RLHF are the fastest depreciating assets in history.
2) Irony is that while models are commodities today, the ultimate future is likely one where there are only a few truly massive models with proprietary real time data and vast distribution.
Only a few will make it. And they will be super valuable.
3) Smaller open source models will be used for most vertical tasks to save on inference costs.
As ever, there are no barriers to entry on the internet, only barriers to scale. And once at scale, the returns are very high.
Foundation models are becoming a “Game of Emperors” and the empires on the other side of this winnowing are really large.
4) Also respect to the Inflection team for trying. They built a great model - just wasn’t valuable enough without proprietary real-time data and massive internet distribution.
And yes, technically it hasn’t entirely failed yet but I think fair to say has effectively failed.
Inflection Deal
> too much capital and talent needed for next generation
> no real way to exit
> Reid Hoffmann looking to engineer an acquihire
> MSFT unwilling to bite at $4 bil
> so they engineered an earn-out deal
> allowing founders and research team to leave
> investors get back some capital over time
> surprising Reid managed to persuade everyone to get this done
Forwarded from 전종현의 인사이트
장병규 의장의 생각
"특정 기획자가 아니라 시스템이 게임을 만드는 프랜차이즈 체계를 갖춰야 20~30년 존속이 가능하다. 외부 제작사와도 협업해 펍지 IP로 다양한 시도를 하겠다. 전세계 번화가에 맥도날드가 있듯 어느 게임 분야를 가더라도 펍지라는 프랜차이즈가 보이도록 하겠다”
“가상자산으로서의 비트코인과 이더리움은 일리가 있지만 화폐를 대체하는 등 다른 용도로는 아직까지 보수적으로 본다”
“애플 비전프로가 보여준 위력이 있지만 대중화까지는 시간이 필요할 것”
https://n.news.naver.com/article/015/0004962360?sid=101
"특정 기획자가 아니라 시스템이 게임을 만드는 프랜차이즈 체계를 갖춰야 20~30년 존속이 가능하다. 외부 제작사와도 협업해 펍지 IP로 다양한 시도를 하겠다. 전세계 번화가에 맥도날드가 있듯 어느 게임 분야를 가더라도 펍지라는 프랜차이즈가 보이도록 하겠다”
“가상자산으로서의 비트코인과 이더리움은 일리가 있지만 화폐를 대체하는 등 다른 용도로는 아직까지 보수적으로 본다”
“애플 비전프로가 보여준 위력이 있지만 대중화까지는 시간이 필요할 것”
https://n.news.naver.com/article/015/0004962360?sid=101
Naver
장병규 크래프톤 창업자, 올해 결단 "대형 M&A 준비"
게임 업계에서 7년째 깨지지 않는 기록이 있다. 크래프톤이 2017년 슈팅(총쏘기) 액션 게임으로 내놨던 ‘펍지: 배틀그라운드’의 최대 동시 접속자 수다. 2018년 1월 세계 최대 PC 게임 플랫폼인 스팀에서 32
Forwarded from 전종현의 인사이트
이 회사가 내부적으로 가지고있는 플레이북(시스템)이 있다는데 본적이 없어서 궁금하다. 이분 인터뷰 보면 이게 핵심이라고 자주 언급하시는데 공개가 안된 것 같음.
https://www.colinkeeley.com/blog/robert-f-smith-vista-equity-partners-operating-manual
https://www.colinkeeley.com/blog/robert-f-smith-vista-equity-partners-operating-manual
Colinkeeley
Robert F. Smith (Vista Equity Partners) Operating Manual · Colin Keeley
The ultimate business breakdown of Robert F. Smith and Vista Equity Partners.
👍1
Forwarded from Nikkei Asia
Shohei Ohtani fever drives $150m windfall from MLB Seoul Series
Major League Baseball's tour through Thursday in Seoul is expected to produce a financial boon locally thanks largely to the appearance of Japanese superstar Shohei Ohtani.
Read more here
Major League Baseball's tour through Thursday in Seoul is expected to produce a financial boon locally thanks largely to the appearance of Japanese superstar Shohei Ohtani.
Read more here
Forwarded from Nikkei Asia
Japanese startup generates AI models from 'evolutionary' process
Sakana AI, a Japanese artificial intelligence startup, said Thursday that it has invented a new way of creating generative AI models that applies the concepts of evolution and natural selection. This approach, according to the company, allows significantly cheaper and faster AI development.
Read more here
Sakana AI, a Japanese artificial intelligence startup, said Thursday that it has invented a new way of creating generative AI models that applies the concepts of evolution and natural selection. This approach, according to the company, allows significantly cheaper and faster AI development.
Read more here
지난 밤에 테슬라 FSD 버전 업그레이드.
FSD beta v12.3인데 드디어 end to end single stack이 올라왔다.
2012년 개와 고양이를 구분하던 단순한 AlexNet 모델이 2015년 자율주행 기술에 좀 더 진보된 CNN모델 형태로 적용되어 좌 우 중앙카메라 세대와 스티어링휠 각도만를 입력으로 주고 트레이닝 시켜 하나의 딥러닝 모델로도 차선이 없는 산길에서도 길을 찾아가더라는 신기한 실험결과를 공개했고 이를 end to end autonomous driving이라고 명명했다. (그 당시에는 각각의 모델이 차선, 물체, open space등을 각각 따로 인식하는 방식이 대세였다.)
이 연구에는 Nvidia의 Tegra X1 SoC가 2개들어가는 Drive PX platform을 사용했다. 다만, 이 end to end 기술은 너무 많은 문제점을 내포하고 있어 이후 실용화 단계로는 적용되지 못했다.
그 이후 테슬라는 Nvidia Parker SoC +Pascal GPU를 활용한 자율주행 시스템 HW2.0/2.5를 개발해서 자율주행 기술을 리드 하기 시작했다.
그리고 자체 개발한 칩으로 넘어가서 HW3.0/4.0까지가 양산되었고 현재 약 50TOPs의 성능으로 개선된 SoC에 여러 딥러닝 모델을 통합해서 크게 두개의 perception / planning 으로 나눈 아키텍쳐의 FSD을 배포해서 사용해 왔다.
그리고 오늘 End to end(한개의 거대모델)을 활용한 transformer구조로의 소프트웨어가 마침 내 차에 들어와서 사용해 볼 수 있게 됐다.
실제로 사용해본 느낌은 이전버전 대비 차선변경이나 혼잡상황에서의 주행이 좀 더 조심스러워진 느낌. 소비자 입장에선 큰
체감상의 차이를 느끼진 못하겠다.
릴리즈 노트의 내용이 재밌는건 single end to end 뉴럴네트웍을 사용했고 이로 인해 300k line의 (인간이 만든) c++코드를 대체했다고 나와있다.
어떤 기능이 추가 됐어요가 아니라 2015년 엔비디아에서 소개한 미완성의 기술을 우리가 결국 증명해냈어요!라고 기뻐하는 모습 같다고 할까.
엔비디아가 GTC2024 keynote에서 발표한 제품이나 기술들은 많은 엔지니어들의 노력과 염원이 담겨 있다.
그저 지금의 수준과 이해의 눈으로 FP4가 왜 필요한지 모르겠다고 폄하하기 보다는 그런 시도가 갖는 의미를 무엇인지를 먼저 들여다 보았으면.
그리고 여력이 된다면 테슬라처럼 더 나은 세상을 스스로 증명을 하면 되지 않을까?
FSD beta v12.3인데 드디어 end to end single stack이 올라왔다.
2012년 개와 고양이를 구분하던 단순한 AlexNet 모델이 2015년 자율주행 기술에 좀 더 진보된 CNN모델 형태로 적용되어 좌 우 중앙카메라 세대와 스티어링휠 각도만를 입력으로 주고 트레이닝 시켜 하나의 딥러닝 모델로도 차선이 없는 산길에서도 길을 찾아가더라는 신기한 실험결과를 공개했고 이를 end to end autonomous driving이라고 명명했다. (그 당시에는 각각의 모델이 차선, 물체, open space등을 각각 따로 인식하는 방식이 대세였다.)
이 연구에는 Nvidia의 Tegra X1 SoC가 2개들어가는 Drive PX platform을 사용했다. 다만, 이 end to end 기술은 너무 많은 문제점을 내포하고 있어 이후 실용화 단계로는 적용되지 못했다.
그 이후 테슬라는 Nvidia Parker SoC +Pascal GPU를 활용한 자율주행 시스템 HW2.0/2.5를 개발해서 자율주행 기술을 리드 하기 시작했다.
그리고 자체 개발한 칩으로 넘어가서 HW3.0/4.0까지가 양산되었고 현재 약 50TOPs의 성능으로 개선된 SoC에 여러 딥러닝 모델을 통합해서 크게 두개의 perception / planning 으로 나눈 아키텍쳐의 FSD을 배포해서 사용해 왔다.
그리고 오늘 End to end(한개의 거대모델)을 활용한 transformer구조로의 소프트웨어가 마침 내 차에 들어와서 사용해 볼 수 있게 됐다.
실제로 사용해본 느낌은 이전버전 대비 차선변경이나 혼잡상황에서의 주행이 좀 더 조심스러워진 느낌. 소비자 입장에선 큰
체감상의 차이를 느끼진 못하겠다.
릴리즈 노트의 내용이 재밌는건 single end to end 뉴럴네트웍을 사용했고 이로 인해 300k line의 (인간이 만든) c++코드를 대체했다고 나와있다.
어떤 기능이 추가 됐어요가 아니라 2015년 엔비디아에서 소개한 미완성의 기술을 우리가 결국 증명해냈어요!라고 기뻐하는 모습 같다고 할까.
엔비디아가 GTC2024 keynote에서 발표한 제품이나 기술들은 많은 엔지니어들의 노력과 염원이 담겨 있다.
그저 지금의 수준과 이해의 눈으로 FP4가 왜 필요한지 모르겠다고 폄하하기 보다는 그런 시도가 갖는 의미를 무엇인지를 먼저 들여다 보았으면.
그리고 여력이 된다면 테슬라처럼 더 나은 세상을 스스로 증명을 하면 되지 않을까?