“창업가의 길에 들어서면 회사가 여러분의 가족보다 중요해져요. 가족들의 대소사를 챙길 수 없고, 자녀들에게 굿나잇 키스를 할 수 없게 될 거예요. 또 현금 자산이 필요해 좋은 집과 좋은 차는 포기해야할 거고요. 친구나 지인들은 여러분을 이해하지 못하고, 인생에서 길을 잃고 방황한다고 생각할 거예요. 부디 방황이 짧아야할 텐데 하겠죠.”
“팀원들의 월급을 줄 수 없는 시기가 올 거예요. 이 여정에서 누군가는 당신(창업가)을 고소할 거예요. 여러분을 고소하는 사람이 공동 창업자일 수도 있고 투자자일 수도 있어요. 또 자주 틀릴 것이고, 이 문제들을 팀원들이 다 보게 될 거예요. 쪽팔린 단계를 넘어서면 내가 하는 게 맞나, (대표직에서) 내려와야겠구나라는 생각도 들게 되죠. 팀원들도 계속 여러분을 실망시킬 테지만, 그럼에도 계속 예수처럼 사랑을 퍼줘야 해요. 팀원들을 위해 격리 시켜야 마땅한 직원에게도 웃어야 하는 시기가 있습니다.”
(이승건 비바리퍼블리카 대표, 정주영 창업경진대회 데모데이 2023)
정말 리얼한 창업자의 삶. 지금 상황이 너무 힘든데 무슨 부귀영화를 누리겠다고 이걸 하나 싶지만 또 나름의 이유가 생겨서 지속하는 것이죠. 개인적으로는 이 삶이 당연하기보다는 점차 개선됐으면 좋겠습니다. 창업자에 대한 존중과 보호도 커져야 하고요.

----
Navigating "corporate speak" isn't easy.

Here's a helpful guide I put together:

"Let me check with my team" = No

"Possibly" = No

"On my roadmap" = Not happening

"This will be done in Q4" = This will be done in Q2 next year

"Disagree and commit" = I hate you

"Per my last email" = Try reading, for once in your life

"Challenging landscape" = We're going out of business, quickly

"Digital transformation" = We're going out of business, slowly

"Let's circle back" = We'll never speak of this again

"Take it offline" = We'll never speak of this again

"30,000 foot view" = I don't know what I'm saying

"Low hanging fruit" = Easy promotion

"Open up the kimono" = HR violation

"We use AI" = We don't use AI

"We use machine learning" = We don't use machine learning

"All hands on deck" = Let's actually try for once, please

😂

아이폰 출시 후 첫 4~5년 정도는 앱을 출시하는 것만으로도 유저의 wow를 이끌어 낼 수 있었던 시절이 있었다. 이동하며 인터넷도 할 수 있고 터치스크린을 활용할 수 있는 스마트폰에서 구동이 된다는 것만으로도 wow 였던 것이다.

그 이후 기존 레가시 산업의 패러다임을 바꾼 서비스들이 등장하여 wow 를 선사했다. 유투브/넷플릭스는 TV/미디어 산업을 바꿨고, 페북/구글은 미디어/포털산업을 바꿔놓았으며, 아마존은 쇼핑/서버시스템을, 테슬라는 자동차 산업을, 우버는 택시 산업을, 에어비엔비를 호텔 산업에 큰 영향을 줬다.

위와 같은 2000년 초반 이후 격동의 20년 정도를 겪으며, 현대사회의 많은 사람들은 모바일 및 웹 중심의 서비스에 꽤 많이 익숙해진 듯 하다. 그래서, 새로 출시되는 앱을 봐도 그 감흥이 과거 대비 무뎌지고 있음을 느낀다.

오히려, 요즘은 과거에는 만족하며 사용하던 Big Tech 사의 서비스 조차도 슬슬 '지겨워진다' 느끼는 분들이 증가하는 듯하다. 동시에 '과거부터 많이 이용하던 서비스들이 최근에는 예전만 못해서 실망감이 크고, 어쩔 수 없이 이용하고 있다'고 말하는 분들도 많아지는 듯하다. OpenAI 가 chatGPT 를 출시하며 새로운 활력을 불어넣고 있지만, 그 파급력이 과거의 아이폰 모멘트처럼 엄청나지 않은 것도 사실이다. (chatGPT는 소비자 보다는 스타트업에 활력을 불어넣고 있는 듯하다. 그래서 걱정이기도 하다. 소비자가 반응하지 않으면 결국 imapct 가 제한적일 수밖에 없기 때문이다) 요즘은 유저분들이 대다수 서비스에 과거 대비 뜨뜨미지근한 반응을 보이는 시기인 것 같기도 하다.

다만, 유저들은 여전히 더 나은 삶을 살고 싶어하는 욕구가 강하다. 더 성장하고 싶어하고, 더 행복한 삶을 살고 싶어하고, 더 즐거운 시간을 보내고 싶어 한다. 본인 인생에 강렬하게 다가올 수 있는 서비스를 만나, 해당 서비스와 함께 더 만족스러운 삶을 살기를 희망하는 분들이 꽤 있다.

그래서, 미래에는 어떤 서비스가 많은 유저로부터 wow를 이끌어 낼 수 있을지... 궁금하다. 유저의 성장과 만족에 더 많이 집착하는 서비스가 그 wow 를 이끌어 낼 수 있으리라 믿지만, 과거 대비 유저의 wow 를 이끌어 내기 위한 난이도가 높아져서 과거 만큼 '급성장하는 스타트업'이 많이 나올 것 같지는 않다. 그래도, 이런 난세를 이겨내는 가장 좋은 방법은 '더 힘들어지는 환경'에 반응하기 보다는 '유저'에 집중하여 하루 하루 더 좋은 서비스를 만들어 내는 것이라 생각한다. 물론 과거에는 1년 노력하면 만족을 이끌어 낼 수 있었다면, 최근에는 3~5배는 더 해야하는 어려움이 존재하지만 말이다.

그래서 요즘 같은 시대는 Why? 가 더 중요해지는 것 같다. 왜 시작했는지? 무엇을 위해 서비스를 만들어 내고 있는지?에 대한 명확하고 솔직한 답을 가지고 있는지가 더 중요해지는 시대가 왔다. 그 이유에 대한 답을 전체 팀이 공유하고 있어야, wow 를 만들어 내기 위한 노력/시간이 증가한 시대를 묵묵히 이겨나갈 수 있기 때문이다.

서비스를 이어나가고 있는 본질적 이유는 무엇인가? 우리 서비스는 누구를 위해 존재하며 왜 존재해야 하는가? 깊은 밤, 링글을 더 성장시켜 나가기 위한 방법을 고민하다가, 원론적인 질문에 대해 다시 한 번 생각해본다.

“Machine learning costs, talent and chip shortages… any AI and machine learning company faces at least one of these challenges, and most face a few at a time,” Pekhimenko told TechCrunch in an email interview. “The highest-end chips are commonly unavailable due to the large demand from enterprises and startups alike. This leads to companies sacrificing on the size of the model they can deploy or results in higher inference latencies for their deployed models.”

With spending on AI-focused chips expected to hit $53 billion this year and more than double in the next four years, according to Gartner, Pekhimenko felt the time was right to launch software that could make models run more efficiently on existing hardware.

“Training AI and machine learning models is increasingly expensive,” Pekhimenko said. “With CentML’s optimization technology, we’re able to reduce expenses up to 80% without compromising speed or accuracy.”

“For one of our customers, we optimized their Llama 2 model to work 3x faster by using Nvidia A10 GPU cards,”

CentML isn’t the first to take a software-based approach to model optimization. It has competitors in MosaicML, which Databricks acquired in June for $1.3 billion, and OctoML, which landed an $85 million cash infusion in November 2021 for its machine learning acceleration platform.

“The CentML platform can run any model,” Pekhimenko said. “CentML produces optimized code for a variety of GPUs and reduces the memory needed to deploy models, and, as such, allows teams to deploy on smaller and cheaper GPUs.”

A new solution to the high-end chip shortage.

Read in @WSJ about how Together worked with large former crypto mining farms to repurpose their best GPUs and acquire new GPUs to train AI models — all with a specialized training stack for a fraction of the price.

https://www.wsj.com/articles/crypto-miners-seek-a-new-life-in-ai-boom-after-an-implosion-in-mining-92a181fd

얼마전 구글 브레인, 딥마인드에서 코어 딥러닝 팀에 있었던 친구와 이야기 나누면서 인상싶었던 부분들 (이세종님)

지난번 세션에서 인상깊은 부분입니다.

quantization 등 모델 최적화나 모델 아키텍처 효율화로 모델 학습/인퍼런스 컴퓨트(GPU) 비용이 일시적으로 감소할 수 있지만, 장기적 관점에서 컴퓨트의 절대적 수요는 빠르게 증가할것
- 딥마인드에서 알파폴드를 3명의 연구원이 해낼 수 있었던 것은 이들이 더 똑똑해서가 아니라 1인당 활용 가능한 컴퓨트가 다른 기업, 연구소 보다 압도적으로 많았기 때문
- 컴퓨트가 보편화되어 가격이 저렴해질 수록 알파폴드 급의 혁신이 모든 산업과 영역에서 펼쳐질것
- 나아가 우리는 컴퓨트의 한계로 기본적인 텍스트 데이터 프로세싱에 발이 묶여 있었는데 앞으로 영상 등 복잡도 높고 무거운 데이터 처리 수요가 기하급수적으로 늘어날것

이미 헤지펀드에서 주가 예측에 특화된 모델을 적극 활용해 막대한 수익 창출중
- 모델 학습에 얼마 들고, 모델 경쟁우위의 지속성과 기대 매출을 고려했을 때 ROI가 어떻게 될지를 계산해서 동시 여러개 모델 학습중
- 그외 모든 기업엔 레거시 코드와 데이터가 있는데 보관된 방식과 코드의 형태 때문에 매년 어마한 고정비용이 발생. AI 모델 도움을 받아 코드 업데이트와 마이그레이션을 통해 회사 전반의 수익성을 개선하는 경우도 자주 보임

"사람을 때려박아" 스케일을 추구하는 블리츠스케일링 방법은 AI 시대에서 유효하지 않을 수도
- 기업에서 전통적으로 인건비가 돈이 가장 많이 들어갔는데 최근에 구글에선 컴퓨트 비용이 개발자 비용을 앞서
- 오픈AI도 400명 되는 기업인데 컴퓨트 비용이 인당 개발자 비용의 4배
- 앞으로는 작지만 프로덕트부터 세일즈까지 전사 오퍼레이션에 얼라인된 단단한 팀이 경쟁력 있지 않을지

크고 작은 여러 유형의 제너럴리스트와 특화된 SOTA 모델이 공존하게될것
- 유저가 원하는 요청에 맞는 모델이 자동 추천되어 태스크가 처리되는 Model of Experts 형태
- 모델은 크게 두 축의 교집합으로 존재할건데 한 축은 intelligence (예: 80 IQ ~ 150 IQ), 그리고 다른 축은 버티컬 (예: 코딩, 법률, 의료 등)
- 모델 검색/추천/연결을 돕는orchestration 레이어가 핵심 기술로 부상할것

출처: 이세종님 페이스북

https://www.facebook.com/Saejlee

Today, Satoshi Spain’s machines are handling AI workloads for startups, universities and individual developers in Europe.

“You can still make money from your mining rig,” Satoshi Spain founder Alejandro Ibáñez de Pedro said. “It’s mining 2.0.”

Around 20% of the freed-up chips can be repurposed to train AI models, said Vipul Ved Prakash, the CEO of alternative cloud provider Together.

Together is using former crypto miners for GPUs and other hardware to build virtual server farms. It has leased thousands of GPUs to help power Together’s cloud service for AI developers. In May, it raised $20 million in seed funding.

Demi Guo, the founder of an AI applications startup called Mellis AI, couldn’t get the data processing pricing or capacity she needed at the leading cloud providers so she is using repurposed hardware available through Together’s cloud.

Saurabh Vij has built an AI business around chips formerly used for mining. His startup, Monster, has access to more than 30,000 chips—most of them once used for mining—that its customers can lease.

1950

Here's some AI “math” from today's baseline:

- Chips improve by 2x next year
- Models improve by 2x next year
- Capex scales capacity by 10x next year

This means that whatever you see today will be ~40x better in a year and another ~20-40x better a year after that.

So we can expect an ~800-1,600x improvement by 2026.

What *won’t* be possible is probably the better question.