https://youtu.be/YQcFKngO0b8?si=viEfADIfYQcLedQw

검증된 비즈니스가 훌륭한 경영진을 만나면 어떻게 되는지 보여주는 사례.

과거 미국에서는 시즈캔디였고 한국에서는 동서이고, 지금의 미국에서는 치폴레.

인도 시장에서 10년 뒤 동서는 어디일까?

식품만 그럴까? 의류는? 다른 브랜드에서 같은 성장방정식을 쓰고 있는 곳들은 어디일까?

You have your goals. I call the way you will operate to achieve your goals your machine. It consists of a design (the things that have to get done) and the people (who will do the things that need getting done). Those people include you and those who help you.

For example, imagine that your goal is a military one: to take a hill from an enemy. Your design for your "machine" might include two scouts, two snipers, four infantrymen, and so on. While the right design is essential, it is only half the battle. It is equally important to put the right people in each of those positions. They need different qualities to do their jobs well--the scouts must be fast runners, the snipers must be good marksmen--so that the machine will produce the outcomes you seek.

Visited Bay Area for 2.5 days, met IRL w some super sharp folks. Key lessons:

1. Long sales cycles are *always* an excuse;

2. Negative feedback is best delivered in *public*;

3. All “growth” techniques revolve around either increasing motivation or decreasing friction.

실리콘밸리에서 사는 것의 단점

(지난 장점편의 속편)

지난 24년간 실리콘밸리에 살면서 이 지역이 장점도 많지만 단점도 많구나 하는 점을 느끼게 된다. 혁신이 일어나고 똑똑하고 야망이 많은 사람들이 많고 다양성이 인정되는 곳이며 실패도 배움으로 받아들여지는 좋은 곳이지만 어떤 점이 안 좋을까?

집값 등 물가가 비싸고 사회 인프라(의료, 교통, 전기 등등)가 안 좋다는 점은 분명한 것 같다. 다양성이 인정되는 곳이지만 역설적이게도 무엇보다 남과 비교하며 살기 쉽다. 일종의 peer-pressure가 크다고 할까? 이게 내가 생각하는 실리콘밸리의 가장 큰 단점이다. 이게 컨트롤이 안되면 항상 나보다 잘된 사람을 바라보며 조금은 불행하게 살기 쉬운 곳이 실리콘밸리가 아닌가 싶다.

기회가 많은 동네이다보니 능력과 상관없이 도전하는 사람이라면 약간의 운이 따라준다면 큰 돈 벌고 인정받을 수 있다. 그러다보니 주변에 돈 많이 버는 사람들도 많이 보이고 가끔 친했던 회사동료나 친구들이 대박치는 것을 보다보면 자괴감에 빠지기 쉽다. 그래서 (외적인 이유로) 창업이나 작은 스타트업 조인을 꿈꾸지만 계절병처럼 주기적으로 생각만 하다가 마는 사람들로 넘쳐난다.

야망과 성장욕구가 큰 사람들이 많은 동네이다보니 때로는 회사 동료 포함 지인들과 이야기하면서 피로감을 느낀 적도 많다. 팀원들과 일대일 미팅하다보면 보상과 승진에 관한 이야기가 끊임없이 나오는데 이거 듣고 내 생각을 잘 이야기해주는 것도 가끔은 피곤한 일이다. 특수한 동네이다보니 대화 주제나 관심사가 굉장히 한정된 곳이다.

스타트업 창업자들만 봐도 실리콘 밸리 내 창업자들은 다른 지역보다도 조금 더 힘들게 사는 듯 하다. 주변에 워낙 잘 나가는 스타트업들이 많다보니 자신이 만들고자 하는 서비스나 제품에 집중하기 보다는 펀딩 좀더 크게 받고 성장을 더 빠르게 해야만 할 것 같은 그런 생각에 사로 잡히기 쉽다는 거다. 내 갈 길 가기도 힘든데 주변에서 누구는 얼마 펀딩받았더라 그런 이야기하는 것을 듣는 것이 그리 마음 편한 일은 아닐 것이다. 여러가지 이유로 창업자는 좋은 서포트 네트웍을 갖고 있는 것이 중요하다고 생각한다. 좋은 조언까지는 아니어도 내 고민을 들어주고 나를 지지해주는 그런 사람들이 있다면 견디기가 더 쉬울 것이다. 과부 사정은 홀아비가 안다고 다른 창업자들과 많이 만나는 것이 가장 좋은 방법이 아닌가 싶다.

또 교육을 잘 받은 사람들이 많다보니 (특히 중국과 인도) 자식 교육도 열심히 해서 동네마다 다르긴 하지만 애들 키우는 것도 보통 일이 아니다. 한국 사람들 교육열 높다고 하지만 중국계와 비교할 정도는 아닌 듯 하다. 딸내미가 자기 중국 친구들 엄마랑 비교하면 우리 엄마는 키티 맘이라고 할 정도로 중국 엄마들 극성보면 타이거 맘이란 말이 딱 맞다. 또 좋은 일이지만 운동도 많이 하는 분위기라 소프트볼, 축구, 농구, 수영, 태권도, 테니스 등등 정말 주말에는 운전사로 일하느라 바빴다. 미국 대학은 꼭 실력만으로 뽑는 것이 아니라 Affirmative Action으로 인해 인종적 다양성을 고려해서 뽑기 때문에 좋은 공립대학의 경우 아시안들이 받는 불이익이 상대적으로 크다. 즉 아시안들끼리 경쟁을 해야하니 정말 힘들다. 미국 대학들은 학비가 비싸서 캘리포니아 같으면 주립 대학으로 많이 몰리는데 여기라고 싸지 않다. UC 계열도 일년에 학비만 만오천불이고 여기에 거주 비용과 생활비를 더하면 4만불 정도 나온다. 사립가면 대충 2배라고 보면 된다. 연소득이 아주 높거나 재정지원(financial aid)이나 장학금(merit scholarship)을 받지 않는한 부담스러운 금액이다.

(이건 실리콘밸리만의 문제가 아니라 미국의 문제) 정말 형편없는 의료보험 시스템(약속 잡기도 힘들고 전문의보려면 두 배로 시간 걸리고)이지만 의료보험 비용도 보통이 아니다. 회사 다닐 때는 이게 얼마나 비싼지 느끼기 힘든데 퇴사하고 독립한다면 (지금의 나처럼) 회사에서 해주던 보험을 개인이 이어서 하는 것이 하나의 옵션(COBRA라고 부름)인데 한달에 (일년 아님) 대략 2천5백불 정도 내야한다. 3번째 쉬다보니 둔감해질 때도 되었는데 아직도 이 돈을 낸다는게 적응이 잘 안 된다. 회사 다닐 때는 이 비용을 회사와 개인이 분담하는 셈인데 그 관점에서는 회사 운영 비용도 정말 크다.

사실 어디에 살아도 비슷한 결론일 수 있겠지만 삶에 대한 나름의 확고한 가치관이 없다면 행복하게 살기 힘든 곳이 실리콘밸리다. FOMO가 아닌 JOMO(Joy Of Missing Out)를 실천할 수 있고 일상에서 감사함을 느낄 줄 안다면 실리콘밸리는 좋은 동네다. 하지만 여기서 계속 살지는 잘 모르겠다 :)

한기용님

“Fear is a reaction; courage is a decision.”

– Winston Churchill

An oligopoly is shaping up
i.e. scaling training to internet-wide data and aligning models with human feedback, finally made these technologies usable by many; these breakthroughs were made by very few actors, the largest of which (OpenAI) appears to have hegemonic intention over the market.

We believe that most of the value in the emerging generative AI market will be located in the hard-to-make technology, i.e. the generative models themselves.

Those models need to be trained on thousands of very powerful machines, on trillions of words coming from high quality sources, which is one factor that sets a high barrier to entry.

The second important barrier lies in the difficulty to assemble an experienced team, something that mistral.ai will be in a unique position of doing.

Current generative AI do not meet market constraints

1. Businesses wishing to use generative AI technology are forced to feed their valuable business data and sensitive user data to a black-box model, typically deployed in the public cloud.

2. Only exposing the output of models, instead of exposing the model entirely, makes it harder to connect with other components (retrieval databases, structure inputs, images and sounds).

Technological counter-positioning

1. Take a more open approach to model development. We will release models with a permissive open-source-software licence, that will be largely above the competition in that category. We will distribute tools to leverage the power of these white box models, and create a developer community around our trademark. This approach is an ideological differentiator from OpenAI; it is a very strong point argument for hiring highly coveted top researchers, and a strong accelerator for development, as it will open the doors for many downstream applications from motivated hackers.

2. Whether open-source or licensed, the internals (architecture and trained weights) of our models will always be accessible to our customers. This will allow tighter integration with customer’s workflows, whose content can be fed into different parts of the deep model, instead of serialising all content into input text, fed to black box APIs.

3. Increase the focus on data sources and data control. Our models will be trained on high quality data content (in addition to scraped content) for which we will negotiate licence agreements. This will allow us to train models much better than currently available ones (e.g. Llama). Using deeply involved technology (mixtures-of-experts and retrieval-augmented models), we will service models with optional data sources access: for a paid premium, a certain model can be specialised on finance/law/etc (this provides a substantial performance boost).

On the business side, we will provide the most valuable technology brick to the emerging AI-as-a-service industry that will revolutionise business workflows with generative AI. We will co-build integrated solutions with European integrators and industry clients, and get extremely valuable feedback from this to become the main tool for all companies wanting to leverage AI in Europe.

Integration with verticals can take different marketing forms, including licensing full access to the models (including the trained weights), specialisation of models on demand, partnering with integrators/consulting companies to establish commercial contracts for fully integrated solutions. As detailed in our roadmap, we will explore and identify the best approach in parallel to technological development.

Infrastructure

We have already negotiated competitive deals for renting computational power in Tier 1 cloud service providers (we are planning to reserve 1536 H100 starting in September, with a summer ramp up). As mistral.ai has a strong European grounding, we will also be working with both emerging European cloud providers as they grow their deep learning offers.

Roadmap
On the technical side, during Q1-Q2 2024, we will focus on two major aspects that have been under-estimated by incumbent companies:
● Train a model small enough to run on a 16GB laptop, while being a helpful AI assistant
● Train models with hot-pluggable extra-context, ranging in the millions of extra words, effectively merging language models and retriever systems.

과점 체제가 형성되고 있습니다.
즉, 인터넷 전반의 데이터로 학습을 확장하고 모델을 인간의 피드백에 맞춰 조정함으로써 마침내 많은 사람들이 이러한 기술을 사용할 수 있게 되었습니다. 이러한 혁신은 극소수의 주체들에 의해 이루어졌으며, 그 중 가장 큰 주체(OpenAI)가 시장을 지배하려는 의도를 가지고 있는 것으로 보입니다.

우리는 떠오르는 제너레이티브 AI 시장에서 대부분의 가치는 제작하기 어려운 기술, 즉 제너레이티브 모델 자체에 있을 것이라고 생각합니다.

이러한 모델은 수천 대의 매우 강력한 기계에서 고품질 소스에서 제공되는 수조 개의 단어를 학습해야 하며, 이는 높은 진입 장벽을 설정하는 한 가지 요소입니다.

두 번째 중요한 장벽은 숙련된 팀을 구성하기 어렵다는 점인데, 이 부분은 미스트랄닷에이아이가 독보적인 위치를 점할 수 있는 부분입니다.

현재의 제너레이티브 AI는 시장의 제약 조건을 충족하지 못합니다.

1. 제너레이티브 AI 기술을 사용하고자 하는 기업은 중요한 비즈니스 데이터와 민감한 사용자 데이터를 일반적으로 퍼블릭 클라우드에 배포되는 블랙박스 모델에 제공해야 합니다.

2. 모델을 완전히 노출하지 않고 모델의 출력만 노출하면 다른 구성 요소(검색 데이터베이스, 구조 입력, 이미지 및 사운드)와 연결하기가 더 어려워집니다.

기술적 대응

1. 모델 개발에 보다 개방적인 접근 방식을 취합니다. 허용적인 오픈소스 소프트웨어 라이선스가 적용된 모델을 출시할 것이며, 이는 해당 카테고리의 경쟁사보다 월등히 높은 수준일 것입니다. 이러한 화이트박스 모델을 활용할 수 있는 도구를 배포하고, 상표를 중심으로 개발자 커뮤니티를 구축할 것입니다. 이러한 접근 방식은 OpenAI와의 이념적 차별화 요소이며, 우수한 연구자들을 고용하는 데 있어 매우 강력한 논거가 되고, 의욕적인 해커들로부터 많은 다운스트림 애플리케이션의 문을 열어줄 수 있는 강력한 개발 촉진제가 될 것입니다.

2. 오픈소스든 라이선스든 관계없이 고객이 모델의 내부(아키텍처 및 훈련된 가중치)에 항상 액세스할 수 있습니다. 이를 통해 모든 콘텐츠를 입력 텍스트로 직렬화하여 블랙박스 API에 공급하는 대신 콘텐츠를 심층 모델의 다른 부분에 공급할 수 있는 고객의 워크플로우와 더욱 긴밀하게 통합할 수 있습니다.

3. 데이터 소스 및 데이터 제어에 대한 집중도를 높입니다. 스크랩된 콘텐츠 외에도 고품질의 데이터 콘텐츠에 대해 모델을 학습시키고 라이선스 계약을 협상할 것입니다. 이를 통해 현재 사용 가능한 모델(예: 라마)보다 훨씬 더 나은 모델을 훈련할 수 있습니다. 심층적인 기술(전문가 혼합 및 검색 증강 모델)을 사용하여 데이터 소스 액세스 옵션이 있는 모델을 서비스할 것입니다. 유료 프리미엄을 지불하면 특정 모델을 금융/법률 등에 특화할 수 있습니다(이는 상당한 성능 향상을 제공합니다).

비즈니스

비즈니스 측면에서는 제너레이티브 AI를 통해 비즈니스 워크플로우를 혁신할 새로운 서비스형 AI 산업에 가장 가치 있는 기술 브릭을 제공할 것입니다. 우리는 유럽의 통합업체 및 업계 고객과 통합 솔루션을 공동 구축하고, 이를 통해 매우 귀중한 피드백을 얻어 유럽에서 AI를 활용하고자 하는 모든 기업의 주요 도구가 될 것입니다.

업종과의 통합은 모델(학습된 가중치 포함)에 대한 전체 액세스 라이선스, 주문형 모델 전문화, 통합업체/컨설팅 회사와의 제휴를 통한 완전 통합 솔루션에 대한 상업적 계약 체결 등 다양한 마케팅 형태를 취할 수 있습니다. 로드맵에 자세히 설명된 대로 기술 개발과 병행하여 최적의 접근 방식을 모색하고 파악할 것입니다.

인프라

저희는 이미 티어 1 클라우드 서비스 제공업체의 컴퓨팅 성능을 임대하기 위한 경쟁력 있는 계약을 협상했습니다(9월부터 1536 H100을 예약하고 여름에 증설할 계획입니다). 또한, 미스트랄.ai는 유럽에 강력한 기반을 두고 있기 때문에 유럽의 신흥 클라우드 서비스 제공업체들이 딥 러닝 서비스를 확대함에 따라 이들과도 협력할 것입니다.

로드맵

기술적 측면에서는 2024년 1분기와 2분기 동안 기존 기업들이 과소평가하고 있는 두 가지 주요 측면에 집중할 것입니다:
16GB 노트북에서 실행할 수 있을 만큼 작으면서도 유용한 AI 비서 역할을 하는 모델 훈련
수백만 개의 추가 단어에 이르는 핫 플러그 가능한 추가 컨텍스트로 모델을 훈련하여 언어 모델과 검색 시스템을 효과적으로 병합합니다.

OpenAI/Anthroupic/Google이 Closed AI Model로 모델-서비스까지 모두 독점하거나 일부 기능에 대해서 API로 열어주는 것과 달리 (과거 Apple Appstore), Open Source AI Model은 모델 학습만 제외하고 Finetunnig, Middle Layers(ML ops, Prompt Ops etc)가 모두 열려있다. (안드로이드)

Mistral과 Meta가 이 산업을 주도하고 있고 AI 스타트업 중에 인프라/B2B를 하는 회사들은 이들을 더 적극적으로 활용해야한다.

OpenAI/Anthropic/Google과 협업하면 물건을 떼다파는 도매만 할 수 있는데, Mistral과 Meta와 협업하면 OEM, 자체브랜드까지 해볼 수 있는게 훨씬 많다. 그리고, 모델-Infra-고객의 수요가 이렇게 빨리 바뀌는 상황에는 고객 중심적으로 빠르게 제품 개발하고 개선하는 팀이 우위에 설 수 있고 스타트업들이 잘해볼 수 있다.

Mistral, META도 Opensource 진형에서 경쟁하면서 각 모델과 협업해줄 파트너들을 적극적으로 찾고 있다. 오픈 소스 진형에도 경쟁이 생기면서 스타트업에게 더 좋은 기회들이 많이 생겨나고 있다.