오늘 같은 날 읽어보면 좋을 찰리 멍거의 데일리저널 주주총회 기록

https://blog.naver.com/salmonic/223363414741
https://blog.naver.com/salmonic/223367287668
https://blog.naver.com/salmonic/223370981026

👤인식 주체가 나를 정의한다
당신 누구세요'라고 물으면, 외적 속성이 아닌 알아차리는 주체가 진짜 '나'다.
이름과 외모는 진짜 '나'가 아니며, 변할 수 있다. 진짜는 바뀌지 않는다.
고통의 이유는 '나'를 고통 주체로 착각하기 때문이며, 알아차리면 불행이 사라질 수 있다.
진짜 '나'는 조용히 바라보는 인식 주체이고, 대부분의 고통은 대상적 경험에 집중해있는 것이다.

'나는 누구인가'에 대한 간결하고 통찰력 있는 답변이 포함된 책을 소개한다.
진짜 '나'를 가려내기 위해 역할, 소유물, 관계 등을 제외하고 찾아내야 한다.
'진짜 나'는 자신의 행위를 알아차리고 지켜보는 존재이며, 이를 알아채는 것은 어려운 일이 아니다.

3.💭착각의 심리: '내가 가진 것' vs '나 자신을'.
우리는 내 것과 배경자아를 분리해야한다.
휴대폰이나 다른 소지품, 지위나 명예 등은 우리의 본질이 아님.
우리는 '내가 가진 것'을 '나 자신'으로 착각하며 괴로움을 불러일으킴.
자신을 소유물이나 외형으로 정의할 때, 번뇌와 괴로움이 생기게 됨.

4.🧠나만의 인식 및 경험: '나'가 아닌 것들에 대한 인식
소유하는 모든 것은 본질과 상관 없는 것들, 우연히 만나 잠시 지나가는 것들이다.
생각, 감정, 경험, 기억, 느낌은 나의 일부가 아닌 사건이며, 나 자신이 아니다.
인식가능하고 설명 가능한 것은 내 경험과 인식의 대상, 나 자신이 아니다.
나라고 할 만한 것은 하나도 없음, '나'는 존재하지 않는다.

5.️🧠주체성과 공간: 인식과 경험
나는 내 모습을 휴대폰으로 인식하고 경험한다.
진짜 나는 인식과 경험의 주체로, 온갖 소유물은 그 자체로 나가 아닌 인식과 경험 주체다.
나는 공간과 같이 존재하면서, 고요함 속에 머무르는 진정한 나다.
모든 사물의 배경에 존재하는 공간과 같이, 늘 존재하지만 고요함이면서도 의식의 주체다.

6.🧘‍♂️감정과 사건에 휩쓸리지 않고 고요함으로 살아가는 자아의 인식 변화
내 감정과 느낌을 일 내용의 사건으로 바라보며 한 걸음 떨어져서 휩쓸리지 않게 된다.
자아는 고요하고 평온하며 흔들리지 않는 존재로서 변화를 알아가며 강조된다.
세상이 혼란스러울 때에도 마치 물이 닿지 않는 모래 섬에서 홍수를 바라보듯이 하나로 거듭나는 태도를 취한다.
자신을 섬으로 삼고, 피난처로 삼음을 통해 내적 안정을 발견한다.

https://youtu.be/c6fVMmHQxYE

https://www.aladin.co.kr/m/mproduct.aspx?ItemId=317405069

When one door of happiness closes, another opens; but often we look so long at the closed door that we do not see the one which has been opened for us.
Helen Keller

희망은 볼 수 없는 것을 보고, 만져질 수 없는 것을 느끼고, 불가능한 것을 이룬다. - 헬렌 켈러

https://cs.lbl.gov/news-media/news/2023/the-m-o-of-ml-can-ai-foundation-models-drive-accelerated-scientific-discovery/

사전 학습된 SciML 모델과 신중한 도메인별 미세 조정을 사용하여 복잡한 SciML 문제를 우아하게 해결하는 유망한 ML 방식이 포함됩니다. 특히, 이 연구는 모델이 한 작업에서 인사이트를 얻고 전이 학습을 통해 다른 작업을 개선하기 위해 해당 지식을 원활하게 전달할 수 있음을 보여줍니다. 이러한 발견은 학제 간 SciML 프레임워크의 초석을 마련하고 SciML 기초 모델을 구축할 수 있는 길을 열어 잠재적으로 달성하는 데 더 오랜 시간이 걸릴 수 있는 발견을 실현할 수 있는 가능성을 열어줍니다.
또한 MLA 그룹은 이 일반적인 접근법을 특정 과학 문제에 적용하기 위해 국립 에너지 연구 과학 컴퓨팅 센터(NERSC), 응용 수학 및 계산 연구 부문(AMCR), 미국 에너지부(DOE)의 첨단 컴퓨팅을 통한 과학적 발견(SciDAC) 프로그램 파트너 등 버클리 랩을 비롯한 여러 그룹과 협력하고 있습니다.
이 연구를 위한 사전 훈련 워크플로는 NERSC의 Perlmutter 시스템에서 실행되었습니다. “우리는 슈퍼컴퓨팅과 AI 및 과학의 미래를 연결할 수 있는 잠재력을 가진 흥미로운 예비 결과를 얻었습니다.“라고 NERSC의 수석 저자이자 머신러닝 엔지니어인 샤샨크 수브라마니안(Shashank Subramanian)이 말했습니다. 그는 이러한 기초 모델을 구축하려면 NERSC와 같은 HPC 리소스의 상당한 컴퓨팅 성능이 필요할 수 있다고 강조했습니다. “일단 훈련이 완료되면 이러한 모델은 복잡한 시뮬레이션을 가속화하고 과학적 이해를 향상시키는 데 엄청난 잠재력을 가지고 있습니다.”

OpenAI and Meta are on the brink of releasing new artificial intelligence models that they say will be capable of reasoning and planning, critical steps towards achieving superhuman cognition in machines. Executives at OpenAI and Meta both signalled this week that they were preparing to launch the next versions of their large language models, the systems that power generative AI applications such as ChatGPT. Meta said it would begin rolling out Llama 3 in the coming weeks, while Microsoft-backed OpenAI indicated that its next model, expected to be called GPT-5, was coming “soon”.

“We’re going to start to see AI that can take on more complex tasks in a more sophisticated way,” he said in an interview. “I think we’re just starting to scratch the surface on the ability that these models have to reason.”

Today’s AI systems are “really good at one-off small tasks”, Lightcap added, but were still “pretty narrow” in their capabilities.

What is learning?

https://twitter.com/MajmudarAdam/status/1778235769150423121

The Inflamed Mind: A Radical New Approach to Depression —This book reveals the new breakthrough on the link between depression and inflammation of the body and brain. A new thesis on what is a major disease state of the brain.

https://www.amazon.com/dp/B07G133P1F/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

Groq’s pivot to become a high speed inference cloud through the acquisition of
@DefinitiveIO
and
@sundeep
was brilliant - but Chamath’s comments on
@theallinpod
comparing
@GroqInc
and $NVDA misses the mark. Groq provides tremendous price / speed on smaller models - and there is a big market for that - especially among the long tail of developers - but it will not compete with $NVDA in their core markets.

Let's break it down.

Larger models are still more capable - and current evidence suggests that scaling laws remain intact and that the next gen models from later this year from OpenAI, Anthropic, Google, Meta and others will continue to get much bigger. They will have trillions of parameters that will enable higher performance and more capabilities like reasoning and action.

You can put these large models onto a single node of Blackwell NVDA chips (GB200 NVL72 can hold a ~13T parameter model on FP8) but currently would require a huge datacenter for Groq chips (1,000+ racks / 150MW+ DC) to run 1 copy of GPT-5. The upfront investment / architectural differences are huge. So for inference on these large models, Nvidia wins before we even get started.

As for smaller models, Blackwell also offers massive improvements. Inference is really constrained by memory bandwidth and H100 was historically constrained to 8x3.35TB/s = 26.8 TB/s of memory bandwidth per node. But now with GB200 NVL72, Blackwell is 72x8 TB/s = 576 TB/s of memory bandwidth. A 21x performance increase. This increase opens up larger model inferencing, as well as speed ups for inferencing on current models. The main breakthrough here is you pay a lot less of a communication tax for scaling up because of NVLink and NVswitch.

Great articles recently from
@SemiAnalysis_
and
@_fabknowledge_
make this same point. Based on analysis from
@dylan522p
, the inferencing performance of Blackwell chips could improve from 5-21x for a ~2x increase in compute costs.

With that said, the market for inference is massive and Groq’s developer engagement is impressive - there will be plenty to go around. And don’t count out
@CerebrasSystems
- they are deploying clusters at exaflop production scale & and have their own inference breakthroughs launching in the months ahead.

All of these developments suggest the cost of inference at scale is about to plummet for end customers - which is just the thing we need to unleash even more massive demand for productivity enhancing AI workloads.

Tesla FSD v13 will likely be grokking language tokens. What excites me the most about the Grok-1.5V announcement is the potential to solve edge cases in self-driving. Using language for "chain of thought" will help the car break down a complex scenario, reason with rules and counterfactuals, and explain its decisions. What Grok-1.5V can help is to lift pixel->action mapping to pixel->language->action instead.

With Tesla's highly mature data pipeline, it is not hard to label tons of edge cases with high-quality human explanation traces, and finetune Grok to be far better than GPT-4V and Gemini for multimodal FSD reasoning.

There were previous efforts on similar ideas, such as LINGO-1 (Wayve). But Tesla is spinning an unparalleled data flywheel that could scale far beyond.

Grok-1.5V: https://lnkd.in/gq2QYmf2
LINGO-1: https://lnkd.in/gvYCUQu4
NVIDIA Dolphins: https://lnkd.in/gcckP87g