성공 확률을 높이는 방법은 무엇인가요?

저의 큰 장점 중 하나는 기대치가 매우 낮다는 것입니다. 대부분의 스탠포드 졸업생들은 명문 학교 출신이기 때문에 기대치가 매우 높으며, 당연히 그럴 만합니다. 그들은 매우 성공적이었고, 학급에서 최상위권을 차지했으며, 학비를 감당할 수 있었습니다. 지구상에서 가장 훌륭한 교육 기관 중 하나를 졸업하고 다른 뛰어난 학생들에 둘러싸여 졸업하면 자연스럽게 기대치가 높아집니다. 하지만 기대치가 높은 사람은 성공에 필수적인 회복탄력성이 낮은 경우가 많습니다. 고통을 경험하지 않고서는 회복탄력성을 가르치기가 어렵습니다. 저는 운이 좋게도 성공의 조건을 제공한 부모님 밑에서 자랐지만 많은 좌절과 고통에 직면하기도 했습니다. 우리 회사에서는 고통과 아픔이 인성을 다듬는 데 도움이 되기 때문에 고통과 아픔의 개념을 받아들입니다. 위대함은 지능이 아니라 인성에서 나오며, 인성은 고통을 통해 만들어집니다.

모든 스탠퍼드 학생 여러분, 해를 끼치는 것이 아니라 회복력과 인성을 키우기 위해 충분한 고통과 고통을 겪기를 바랍니다. 직원들의 동기 부여와 관련하여 저는 55명으로 구성된 관리팀에 둘러싸여 있습니다. 저는 직원들을 위해 리뷰를 작성하지는 않지만, 직원들이 저에게 하는 것처럼 지속적인 피드백을 제공합니다. 직원들의 보상은 간단하며 놀랍게도 많은 직원이 똑같은 보수를 받고 있어 우리에게 잘 맞습니다. 저는 꼭 필요한 경우가 아니면 일대일 미팅을 하지 않으며, 일부 소수에게만 비밀 정보를 공유하지 않습니다. 우리 회사는 민첩성을 위해 설계되었으며, 정보는 빠르게 흐르고 사람들은 자신이 아는 것뿐만 아니라 자신의 능력에 따라 권한을 부여받습니다.

저의 행동은 성공을 축하하고 실패를 처리하는 방식에 대한 분위기를 조성하며 회사의 문화와 가치를 지속적으로 주입합니다. 매일 중요한 것을 강화하고 무엇이 좋은 성과를 구성하는지를 정의할 수 있는 기회가 주어집니다.

공부를 하면 할수록 답하기 어려운 AI의 미래. 세계 최고의 투자자들 또한 마찬가지인가보다. 퓨

https://blog.eladgil.com/p/things-i-dont-know-about-ai

번지에서는 AI 가 미팅을 받아쓰고 요약을 하고 있습니다. 계산해 봤더니 한건당 300원 정도더라고요. 좋은 요약을 만들기까지와 과정과 시행착오를 공유하려 합니다.

“STT(받아쓰기) 퀄리티가 너무 좋지 않아요. 개선할 수 없을까요?"

제가 번지와 함께 하고 처음 받은 요청입니다. 이때 까지는 사람이 미팅을 요약하고 공유하고 있었는데 받아쓰기 퀄리티가 좋지 않으니 미팅 영상을 다시 돌려가면서 봐야하니 엄청난 리소스가 소비되고 있었죠. 그래서 받아쓰기가 잘 되면 영상을 보지 않고 텍스트만 읽어서 요약하면 되니 훨씬 시간이 줄어들 것이라는 생각이었죠.

왜 영상을 봐야하고 받아쓰기를 해야 하냐고요?
번지는 인재가 필요한 고객사에게 문제를 해결할 수 있는 인재를 매칭하는 플랫폼입니다. 그렇기에 인재를 요청한 고객사와 꼭 30분 이상의 미팅을 하고 문제를 정의하는데요. 이 과정에서 고객사에서 말한 문제와 실제 문제가 다른 경우가 많죠. 그렇기에 고객사와 깊이있는 대화를 주고 받으며 문제를 다시 정의해야 하고 이 정보를 기반으로 인재 매칭을 준비하게 됩니다. 그래서 당연하게도 이 미팅 데이터가 저희에게는 너무너무 중요한 정보인거죠.


< 문제 해결하러 가기 >

Step 1. 받아쓰기 잘하게 만들기

처음 받아쓰기 문제를 받았을때는 다양한 STT 모델을 찾아보기 시작했어요. 제가 Data Scientist 로도 오랫동안 일했기에 좋은 STT 모델을 찾아서 적용하면 충분히 개선할 수 있을 것 같았거든요. 그래서 허깅페이스, 구글등 여러 곳을 돌아다니면서 모델을 찾아봤고 OpenAI 의 Whisper 모델이 가장 뛰어나다고 판단할 수 있게 되었습니다. 그리고 Whisper 모델은 공개되어 있어서 무료기도 하고요. 특히 Whisper 는 세가지 모델이 있는데 가장 큰 large-v2 모델을 쓰면 한국어도 아주 잘 받아쓸 수 있다고 하더라고요. 그래서 이래저래 테스트를 해 보았고 이 모델을 쓰기로 결정했습니다. Medium, small 모델의 수준은 기대에 미치지 못하더라고요.


Step 2. 모델 구축하기

이제 모델이 정해졌으니 서버를 구축해서 모델을 서비스 할 준비를 하면 됩니다. API 서버를 만들고 모델과 연동해서 미팅영상파일을 받아서 처리후에 Whisper 모델이 받아쓰기 한 텍스트를 응답해주면 됩니다. 장비를 산정해 봈고 꽤 비싼 장비를 준비해야 하더라고요. 비용이 꽤 크게 필요할 것 같았습니다. 이때부터 고민이 시작되었습니다. 
지금은 하루에 10~20개의 미팅을 처리할텐데… 이렇게 구축하고 비용을 쓰는 게 맞나?
내가 지금 해결하려는 문제에 가장 적절한 방법은 찾은 것이 맞나?
제가 해왔던 일들을 의심하기 시작했습니다.


Reset. 다시 처음부터 시작하기

“STT(받아쓰기) 퀄리티가 너무 좋지 않아요. 개선할 수 없을까요?
제가 받은 요청은 분명 이것이었습니다. 이 문제에 대한 해결이라면 저는 적절한 방식으로 접근하고 있었습니다.

하지만, 저는 문제를 더 깊이 살펴보지 못했습니다.
팀이 필요한 것은 단순히 “STT 고도화” 가 아니었습니다.
팀이 필요한 것은 모든 미팅을 “접근 하기 쉬운 형태로 변환(STT)” 하고 “잘 정리(요약)” 하는 것이었습니다.
그래야 그 정보를 번지팀의 본업인 "고객사의 요구사항을 이해하고 적절한 인재를 매칭하는 일"에 활용할 수 있기 때문입니다.


이 때부터 저는 STT모델이 아니라 번지가 고객사를 만나고 인재를 추천하는 모든 순간을 AI를 이용해서 더 효율화 할 수 없을까 고민하기 시작했습니다.
그래서 좋은 받아쓰기와 요약을 만들기 위해 아래 과정들을 진행하게 됩니다.
1. ChatGPT API (STT, Chat Completion) 를 적극 사용한다
2. API 를 잘 쓰기 위해서 우리의 데이터를 거기에 맞춘다 
3. 요약 자동화 하기 위해 미팅 솔루션을 콜라보에서 줌으로 바꾼다
4. 팀원들의 피드백을 들으면서 ChatGPT 프롬프트를 바꾸고 여러 버전을 테스트 한다.
5. 슬랙을 이용해서 쉽게 접근할 수 있도록 만든다.
6. 쌓인 데이터로 더 큰 가능성을 발견한다.

글이 길어져서 이번에는 저희 생각의 과정들을 적어 보았습니다.
다음 글에는 위의 자세한 과정과 시도했던 방법들을 더 적어보려 합니다.

ChatGPT 를 처음 써보면 뭐든지 다 해줄 것 같습니다.
내 업무에도 적용하면 모든 게 다 자동화 될 것 같은 기분이 들죠.
하지만 막상 그렇게 했을 때 뭔가 부족하고 아쉬울 때가 많습니다. 그리고는 아직 AI는 멀었네... 하고 생각하죠.

가장 중요한 것은 문제를 제대로 이해하고 AI 를 어떻게 쓸지 판단하는 것이라고 생각합니다.
PO로 전향하면서 많이 했던 고민들인데 요즘 AI를 활용하면서 더 많이 고민하고 있습니다.
AI 를 어떻게 쓸지 고민을 하는 분들이 있다면 함께 얘기 나누면 좋을 것 같습니다.

https://youtu.be/mqJ5YKlMIaM?si=ExGciQShPnWMF7oh

시즌제 운영:
약 40일 정도의 기간을 시즌으로 설정하고, 시즌마다 명확한 목표를 세워 달성하고자 함.
시즌이 끝나면 회고를 통해 성공 요인을 분석하고, 이를 바탕으로 핵심 가치를 정립해 나감.
시즌 사이에는 피트스탑(Pit-stop) 기간을 두어 문제점과 기회 요인을 파악하고 우선순위를 설정.
구성원 주도의 문제 해결:
구성원들이 함께 문제를 정의하고 해결 방안을 모색하는 것을 중시함.
스쿼드 단위로 구성원들이 자발적으로 모여 문제를 해결하고자 함.
대표가 일방적으로 문제와 해답을 제시하기보다는, 구성원들의 의견을 존중하고 합의를 이끌어 내고자 함.
핵심 가치 기반의 의사결정:
회사의 핵심 가치를 의사결정의 기준으로 삼음.
대표의 결정이라도 핵심 가치에 부합하지 않으면 구성원들이 자유롭게 의견을 개진할 수 있음.
이를 통해 조직의 유연성과 적응력을 높이고자 함.
정보의 투명한 공유:
개인의 연봉과 보상을 제외한 모든 정보를 구성원들과 공유함.
경영진의 법인 카드 사용 내역과 회사의 재무 상황 등을 공개하여 구성원들이 정보에 기반한 의사결정을 할 수 있도록 함.
자율과 책임의 조화:
구성원들에게 문제 해결의 자율성을 부여하되, 그에 따른 책임도 함께 짐.
스스로 문제를 찾고 해결하고자 하는 구성원들의 열정과 몰입을 이끌어 내고자 함.

We live in such strange times. Apple, a company famous for its secrecy, published a paper with staggering amount of details on their multimodal foundation model. Those who are supposed to be open are now wayyy less than Apple.

MM1 is a treasure trove of analysis. They discuss lots of architecture designs and even disclose that they train on GPT-4V-generated data. They provide exact scaling law coefficients (to 4 significant figures), MoE settings, and even optimal learning rate functions.

I have not seen this level of details from a big tech's whitepaper for a very, very long time. I'm also shocked they didn't put any effort on PR. MM1 just gets dropped, like a Mistral magnet link, on Arxiv out of nowhere.

Apple's so back! Paper: https://lnkd.in/g5hDiU2k

AI code asisstant -> AI Coder

Chatbot -> Assistant -> Agent.

처음엔 특정 직군의 생산성을 높이는 수준이지만 장기적으로 그 직군의 워크 플로우를 대체해가면서 여러 Agent를 다루는 1명의 생산성이 급격히 오르는 게 일반화되지 않을지.

Frontier models keep getting more and more expensive to train, while commodity models drop in price each year as performance goes up (for example, it is probably ~5X cheaper to train GPT-3.5 equivalent now than 2 years ago)

As model scale has gotten larger, funding increasingly has been primarily coming from the cloud providers / big tech. For example, Microsoft invested $10B+ in OpenAI, while Anthropic raised $7B between Amazon and Google. NVIDIA is also a big investor in foundation model companies of many types. The venture funding for these companies in contrast is a tiny drop in the ocean in comparison

For example, Azure from Microsoft generates $25B in revenue a quarter. The ~$10B OpenAI investment by Microsoft is roughly 6 weeks of Azure revenue. AI is having a big impact on Azure revenue revently. Indeed Azure grew 6 percentage points in Q2 2024 from AI - which would put it at an annualized increase of $5-6B (or 50% of its investment in OpenAI! Per year!). Obviously revenue is not net income but this is striking nonetheless, and suggests the big clouds have an economic reason to fund more large scale models over time.

How does this impact the long term economics and market structure for LLMs? Does this mean we will see the end of new frontier LLM companies soon due to a lack of enough capital and talent for new entrants? Or do they keep funding large models hoping some will convert on their clouds to revenue?

Do governments back (or direct their purchasing to) regional AI champions? Will national governments differentially spend on local models a la Boeing vs Airbus in aerospace? Do governments want to support models that reflect their local values, languages, etc? Besides cloud providers and global big tech (think also e.g. Alibaba, Rakuten etc) the other big sources of potential capital are countries. There are now great model companies in Europe (e.g. Mistral), Japan, India, UAE, China and other countries. If so, there may be a few multi-billion AI foundation model regional companies created just off of government revenue.

A number of these have open but less existential questions (for example how much of RLHF turns into RLAIF).

to constrained GPU / GPU arb? In the absence of GPU on the main cloud providers companies are scrambling to find sufficient GPU for their needs, accelerating adoption of new startups with their own GPU clouds. One potential strategy NVIDIA could be doing is preferentially allocating GPU to these new providers to decrease bargaining power of hyperscalers and to fragment the market, as well as to accelerate the industry via startups. When does the GPU bottleneck end and how does that impact new AI cloud providers? It seems like an end to GPU shortages on the main clouds would be negative for companies whose only business is GPU cloud, while those with more tools and services should have an easier transition if this were to happen.

What else gets consolidated into AI clouds? Do they cross sell embeddings & RAG? Continuous updates? Fine tuning? Other services? How does that impact data labelers or others with overlapping offerings? What gets consolidated directly into model providers vs via the clouds?

Which companies in the AI cloud will pursue which business model?
◦ It is important to note there are really 2 market segments in the AI cloud world (a) startups (b) mid-market and enterprise. It seems likely that “GPU only” business model default works with the startup segment(who have fewer cloud needs), but for large enterprises adoption may be more driven by GPU cloud constraints on major platforms. Do companies providing developer tooling, API endpoints, and/or specialized hardware, or other aspects morph into two other analogous models - (a) “Snowflake/Databricks for AI” model or (b) “Cloudflare for AI”? If so, which ones adopt which model?

How big do the new AI clouds become? As large as Heroku, Digital Ocean, Snowflake, or AWS? What is the size of outcome and utilization scale for this class of company?