The Inflamed Mind: A Radical New Approach to Depression —This book reveals the new breakthrough on the link between depression and inflammation of the body and brain. A new thesis on what is a major disease state of the brain.

https://www.amazon.com/dp/B07G133P1F/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

Groq’s pivot to become a high speed inference cloud through the acquisition of
@DefinitiveIO
and
@sundeep
was brilliant - but Chamath’s comments on
@theallinpod
comparing
@GroqInc
and $NVDA misses the mark. Groq provides tremendous price / speed on smaller models - and there is a big market for that - especially among the long tail of developers - but it will not compete with $NVDA in their core markets.

Let's break it down.

Larger models are still more capable - and current evidence suggests that scaling laws remain intact and that the next gen models from later this year from OpenAI, Anthropic, Google, Meta and others will continue to get much bigger. They will have trillions of parameters that will enable higher performance and more capabilities like reasoning and action.

You can put these large models onto a single node of Blackwell NVDA chips (GB200 NVL72 can hold a ~13T parameter model on FP8) but currently would require a huge datacenter for Groq chips (1,000+ racks / 150MW+ DC) to run 1 copy of GPT-5. The upfront investment / architectural differences are huge. So for inference on these large models, Nvidia wins before we even get started.

As for smaller models, Blackwell also offers massive improvements. Inference is really constrained by memory bandwidth and H100 was historically constrained to 8x3.35TB/s = 26.8 TB/s of memory bandwidth per node. But now with GB200 NVL72, Blackwell is 72x8 TB/s = 576 TB/s of memory bandwidth. A 21x performance increase. This increase opens up larger model inferencing, as well as speed ups for inferencing on current models. The main breakthrough here is you pay a lot less of a communication tax for scaling up because of NVLink and NVswitch.

Great articles recently from
@SemiAnalysis_
and
@_fabknowledge_
make this same point. Based on analysis from
@dylan522p
, the inferencing performance of Blackwell chips could improve from 5-21x for a ~2x increase in compute costs.

With that said, the market for inference is massive and Groq’s developer engagement is impressive - there will be plenty to go around. And don’t count out
@CerebrasSystems
- they are deploying clusters at exaflop production scale & and have their own inference breakthroughs launching in the months ahead.

All of these developments suggest the cost of inference at scale is about to plummet for end customers - which is just the thing we need to unleash even more massive demand for productivity enhancing AI workloads.

Tesla FSD v13 will likely be grokking language tokens. What excites me the most about the Grok-1.5V announcement is the potential to solve edge cases in self-driving. Using language for "chain of thought" will help the car break down a complex scenario, reason with rules and counterfactuals, and explain its decisions. What Grok-1.5V can help is to lift pixel->action mapping to pixel->language->action instead.

With Tesla's highly mature data pipeline, it is not hard to label tons of edge cases with high-quality human explanation traces, and finetune Grok to be far better than GPT-4V and Gemini for multimodal FSD reasoning.

There were previous efforts on similar ideas, such as LINGO-1 (Wayve). But Tesla is spinning an unparalleled data flywheel that could scale far beyond.

Grok-1.5V: https://lnkd.in/gq2QYmf2
LINGO-1: https://lnkd.in/gvYCUQu4
NVIDIA Dolphins: https://lnkd.in/gcckP87g

[인텔 협력 관련 추가 이야기]

인텔과의 협력에 대해 이렇게나 많은 분들이 관심을 주실 줄 몰랐습니다. 신기한 경험입니다 🙂 태어나서 처음으로 기자회견도 (온라인이지만) 해보게 되었고요.. 인텔 키노트에서 정우님이 온스테이지로 올라가주시고 네이버 CEO 영상도 나오고, 양사 협력에 대해 키노트 직후로 MOU 행사를 하였는데 이 행사에서 팻 겔싱어 CEO 비롯한 인텔의 높은 임원들이 다들 출동해주실 정도로 환대를 받아서 얼떨떨하기도 했습니다. 물론 이 모든 일을 꾸민 것은 권세중 리더와 하정우 센터장님 비롯한 많은 네이버 분들과 인텔코리아 분들과 작년부터 시작한 일이기도 합니다. 이 과정에서 아주아주 많은 네이버와 인텔분들의 노고가 있었습니다.

네이버에서 워낙 많은 서비스들이 AI와 접목이 되다보니 좋은 AI 반도체를 찾는 것은 매우 중요한 업무였습니다. 그래서 수많은 전세계 반도체들을 검토하고 미팅도 상당히 많이 가져보게 되었는데요, 놀랍게도 LLM을 구동할 수 있는 반도체 자체가 매우 드문 상황이었습니다 (검토할 때 문제점이라면.. CUDA같은 SW가 issue가 아니라 그냥 LLM을 말이 되게 구동할 수 있는 하드웨어 자체가 없었다는 점이었어요..)

LLM을 구동하는 것 자체에만 목적을 두면 AI 반도체가 따로 필요없을 지도 모릅니다. 예를 들어 CPU를 이용하면 엄청 느리지만 구동 자체는 가능하겠지요. 그러나 현실적인 가성비를 두고 고민하자면 구동 시나리오가 나오는 반도체가 한손에 꼽을 지경이었습니다.

예를 들어 CPU를 이용하였는데 학습/추론에 GPU보다 100배의 시간이 필요하다면, 전력은 GPU보다 1/100 이하로 소모되어야 전체 전기사용/비용 측면에서 어느정도 말이 되지만 당연하게도 이런 칩은 없습니다. 반대로 Groq을 비롯한 SRAM 중심의 칩들은 LLM 모델 하나 구동하는데에 칩이 수백개가 필요한 실정이니 이 또한 가성비가 나오는 칩 범위에 속하지가 않습니다. 그렇게 좌절을 많이 느끼던 와중, 가우디 라는 칩을 보니.. LLM에 특화되었다고 할만한 칩이 있구나 라는 생각이 들었고, 사실 많은 반도체 회사들이 그렇지만 가우디도 MLPerf같은, 전혀 LLM에서는 어떤 성능을 보여줄 지 예측이 안되는 성능 지표밖에 없다보니 저희가 직접 인텔을 찾아서 이것저것 확인을 해봐야겠다는 생각을 하게 되었습니다. (MLPerf같은 지표만 보여준다는 것은 LLM 구동 준비가 안되어있다는 반증이기도 하니까요) 그래도 일단 직접 자세히 물어보고 싶은 칩이 발견되었다는 것 자체가 흥미로웠습니다.

이렇게 직접 찾아봐야겠다는 생각을 하게 된건 또 다른 이유가 있기도 합니다. 즉, 저희가 냉정하고 날카로운 질문과 피드백을 해줄수록 인텔에서 저희를 더 만나보고 싶어하고 더 많은 피드백을 받고 싶어했다는 것인데요, 이런 감사하고 놀라운 회사가 몇개 더 있기는 했지만 안타깝게도 저희 입장에서 더 궁금해지는 칩은 가우디가 유일했습니다. 그렇게 인텔과 몇차례 연락을 하다가 아무래도 직접 만나서 더 자세한 이야기를 나눠야겠다고 연락을 했더니 놀랍게도 CEO 제외한 거의 AI 관련 임원이 모두 총출동을 할거라는 얘기를 들었습니다. 그래서 저희도 몇몇 주요 임원들이 함께 참석하는 것으로 하고 인텔 본사를 방문하게 되었습니다. 이렇게나 크게 확대될만한 일인가 하고 의아해했는데 인텔 엔지니어분들이 네이버를 높게 평가하고 있다, 네이버의 연구성과물들을 평소에도 관심있게 보고 있었다 라는 말씀들에 참 감사함도 느끼게 되기도 했습니다.

첫 출장에서는 3일간 거의 full-time으로 회의를 진행하였는데요, 아침 8시부터 아침을 차려주시고 제일 좋은 고급스러운 회의실을 예약해주고 점심도 회의실에서 차려놓은 점심 먹으면서 저녁시간이 될때까지 한 회의실에서 정말 어마어마한 토론을 진행했습니다. 그리고나서 저녁도 같이 먹고 심지어 그것도 모잘라서 밤에 와인까지 마시면서 토론을 진행하고 그리고 나서 다시 그 다음날 아침부터 회의를 이어가는 강행군을 해나갔는데, 이렇게 된 것에는 네이버의 AI 기술력을 높게 평가해주신 것이 가장 크지 않았나 (+네이버에서는 인텔의 열정에 감탄했다는 점도 큽니다) 그리고 공개할 수 없는 극비사항을 제외하면 모든 것을 서로 터놓고 이야기해보자는 방향이 먹히지 않았나 싶기도 합니다. 저를 비롯한 많은 네이버 분들은 분야를 가리지 않고 어느 관점이든 토론이 가능한 넓은 범위의 경험과 식견이 있다는 점도 인텔에서 좋게 보아주셨습니다.

그 후로 실무자들을 중심으로 한번 더 출장을 다녀온 뒤에는 (이때도 3일간 강행군 ㅠㅠ) 놀랍게도 팻 겔싱어 CEO가 저를 직접 보자고 하셨고 마침 한국 방문을 맞이해서 서울 모 호텔 회의실에서 한시간동안 단독 미팅을 하는 행운을 가져보기도 했습니다. 사실 그간 저희가 피드백과 냉정한 코멘트를 드릴 수록 인텔에서는 이것들을 반영해서 최적화를 정말 많이 진행해주었고, 매달 놀라운 성능향상을 보면서 정말 가우디가 뭔가를 해낼지도 모른다는 생각까지 가지게 된 상황에서, 마침 CEO를 만나게 되다보니 이런 메세지도 드렸습니다 즉: 그간의 GPU를 통한 생태계를 보더라도 모든 SW를 반도체 회사가 만드는게 아니라 오히려 고객사들, 특히 스타트업과 학계에서 많은 오픈소스를 만들어서 생태계를 확장하는 추세입니다. 가우디도 마찬가지로 고객사들이 이용할 수 있는 SW 생태계가 풍부하고 또 필요한 것들은 스스로 개발할 수 있을 것이라는 분위기 조성이 필요합니다. 그래서 혹시 가능하다면 공동연구소를 통해서 한국이 이러한 가우디 생태계 확장에 기여할 기회가 있으면 좋겠습니다. 네이버를 비롯한 한국의 스타트업/연구소들에서 오픈소스 형태의 가우디 기반 SW들을 만들고, 학교에서는 가우디를 이용한 연구결과물들을 발표함과 동시에 이러한 연구들을 다른 사람들도 그대로 돌려볼 수 있는 SW들을 많이 contribution 한다면 가우디의 성공 가능성이 한층 높아집니다. 한국의 LLM 연구는 매우 뛰어납니다…. 라는 메세지를 전달할 수 있었습니다.

물론 이런 제안이 쉬운 것은 아닌데 (왜 미국회사가 미국도 아니고 하바나 기반의 이스라엘도 아니고 한국의 네이버에게?) 놀랍게도 인텔에서 흔쾌히 수용을 해주셨고, 이에 따라 정말 한국의 힘으로 지금까지의 AI 생태계를 뒤엎을 수 있는 일이 일어날지도 모른다는 약간의 흥분감을 가지고 있습니다. 물론 아직은 할일이 많습니다. 그간의 AI 관련 SW 생태계가 하루아침에 만들어진 것도 아니기 때문이고 한두명이 할 수 있는 일도 아니기 때문입니다. 하지만 단기간에 일단 가장 중요한 기본적인 SW 생태계를 만들어갈 청사진과 스케쥴이 있습니다. 이렇게 되면 일단 많은 연구원들이 가우디 기반의 시스템에 관심을 가지게 될테고 자발적으로 오픈소스들을 만들기 시작한다면 순식간에 시장 변화도 가능할 수 있다는 생각이 있습니다. 많은 네이버 협력 스타트업/연구실들과 올해 의미있는 많은 일들을 진행해서 AI 업계에 뭔가 의미있는 메세지를 만들어볼 생각입니다.
많은 분들 도움과 응원이 필요한 일입니다. 계속해서 큰 관심 부탁드립니다!

(아, 그리고 삼성/네이버 마하 프로젝트와 인텔 협력과는 일단 아무 상관이 없습니다. 삼성/네이버 마하, 인텔 가우디 두가지는, 이렇게나 큰 AI 반도체 생태계를 키워나가기 위한 서로 다른 노력들이고, 결국 조만간 서로 보완되거나 협력되는 방향으로까지 진행될 것으로 예상합니다)

산업에 큰 변화가 생길 때 그 변화의 레버를 가지고 있는 기업이 구사할 수 있는 전략들도 다양하겠군요. LLM 학습 자체에 큰 비용이 들다보니 이런 시행착오를 겪은 회사가 많이 없고, 그중에 자체 칩 생산을 하지 않는 네이버는 인텔/삼성전자와 협업해서 반도체 사업쪽으로도 확장을 하는 군요.