Friendship

"I think a life properly lived is just learn, learn, learn all the time."

— Charlie Munger

딥마인드가 단백질 구조예측, 기상 예측에 이어서 물질 구조예측을 내놨는데 이것도 그래프 네트워크를 활용했네요.

Today at Google DeepMind we’re introducing Graph Networks for Materials Exploration (GNoME) - a computational tool that has already led to the discovery of 2.2 million new crystals. Crystals are essential materials to our everyday lives, from solar cells to computer chips.

Given that roughly 28,000 stable materials were discovered in the last decade, this new discovery is equivalent to nearly 800 years of knowledge!

#GNoME was trained using a technique called ‘active learning’ and helps to predict the stability of the materials, and therefore pinpoint the most usable ones for real-world applications. The work also represents a leap forward in efficiency for this type of model - this could have a significant impact on how much compute is required to discover a new material.

We believe scaling up materials discovery breakthroughs like this could help us tackle some of the major challenges of the 21st century - like finding cleaner forms of producing electricity.  Read in our blog post about what this research could mean for the future of materials science:

https://deepmind.google/discover/blog/millions-of-new-materials-discovered-with-deep-learning/

GNoME shows the potential of using AI to discover and develop new materials at scale. External researchers in labs around the world have independently created 736 of these new structures experimentally in concurrent work.

OpenAI 코파운더인 Greg Brockman이 트윗으로 올렸던 내용.
"놀랍게도 GPT-4에서 생성된 영상의학 보고서 요약이 어떤 경우에는 숙련된 영상의학 전문의가 작성한 보고서 요약보다 선호된다는 것을 발견했다."
어쩌면 약간 침소봉대하는 내용일수도 있는데, 어쨌든 MS와 함께 EMNLP 2023에 발표했던 논문에서 그렇다고 하네요. arXiv에는 10월말에 공개했던 내용이기도.... 아마 RSNA에 가신 분들이 많아서 조용히 넘어가는 듯 싶네요.
제목:
Exploring the Boundaries of GPT-4 in Radiology
요약:
최근 일반 도메인 대규모 언어 모델(LLM)의 성공으로 자연어 처리 패러다임이 여러 도메인과 애플리케이션에 걸쳐 통합된 기반 모델로 크게 변화했습니다. 이 백서에서는 지금까지 가장 성능이 뛰어난 LLM인 GPT-4의 성능을 영상의학 보고서의 텍스트 기반 애플리케이션에서 평가하여 최첨단(SOTA) 영상의학 전용 모델과 비교하는 데 중점을 둡니다. 다양한 프롬프트 전략을 탐색하면서 다양한 범위의 일반적인 방사선 작업에서 GPT-4를 평가한 결과, GPT-4가 최신 SOTA 방사선 모델보다 성능이 뛰어나거나 동등한 수준인 것으로 나타났습니다. 제로 샷 프롬프트를 통해 GPT-4는 이미 시간적 문장 유사성 분류(정확도) 및 자연어 추론(F1)에서 방사선학 모델보다 상당한 이득(≈ 10% 절대적 개선)을 얻었습니다. 데이터 세트별 스타일이나 스키마를 학습해야 하는 작업(예: 결과 요약)의 경우, GPT-4는 예제 기반 프롬프트를 통해 개선되고 감독된 SOTA와 일치합니다. 보드 인증 방사선 전문의와 함께 실시한 광범위한 오류 분석에 따르면 GPT-4는 미묘한 도메인 지식이 필요한 복잡한 맥락에서 가끔 발생하는 오류만 제외하고 충분한 수준의 방사선학 지식을 갖추고 있는 것으로 나타났습니다. 결과를 요약하면, GPT-4의 결과물은 기존의 수기로 작성된 인상과 전반적으로 비슷한 수준인 것으로 나타났습니다.
https://www.microsoft.com/en-us/research/blog/gpt-4s-potential-in-shaping-the-future-of-radiology/?fbclid=IwAR0gfYDT9lX4YSjMhnaYU17DqAvQELAM7HwrS1prf4amwBi1PEEs_ZNIqD0

27살에 Varda라는 우주 기업을 공동 창업하고 & 동시에 파운더스 펀드에서 파트너로 일하고 있는 Delian Asparouhov가 30살을 마주하면서 남긴 글.

https://delian.io/thirty

그저께 PIKA 1.0이 나왔는데

오늘은 오픈소스 Video Generation 오픈소스인 Vchitect 라는 프로젝트가공개되었네요. T2V, I2V 두 모델을 공개했습니다.

T2V
- 코드: https://t.co/sT24IvlhD2
- 스페이스: https://t.co/bhF6TDUZ67

I2V
- 코드: https://t.co/IryTCXbiiJ
- 스페이스: https://t.co/joJ2jUMmZB

Video Generation도 이제 치열한 경쟁이 시작되겠군요. 과연.. 현타가 올 기업들이 얼마나 생길지..

Labor market place

https://youtu.be/qHDAKevRrvw?si=uogJV_kKl4HJNBjc

기존 플레이어들이 메뉴얼하게 오랫동안 과점해온 산업에서 새로운 형식의 마켓플레이스를 만들 수 있는 기회를 포착.

Khosla got a full scholarship to Carnegie-Mellon University in Pittsburgh for a master’s in biomedical engineering, graduating in 1978. After that, he wanted to go to Stanford Business School but was rejected. He applied again, only to be waitlisted. In a pattern that would be repeated many times, he didn’t take maybe for an answer. He called the admissions office repeatedly, finally just driving across the country and showing up. The details are complicated, but he got in.

One historic anecdote from his Kleiner days concerns early search engine and web portal Excite, which Khosla had invested in for the firm. In early 1999, “Vinod tried to get the founders of Excite to buy Google for $2 million,” said Doerr, who believes Google co-founders Larry Page and Sergei Brin might have accepted the offer. “But they would only offer Google $1 million. It drove Vinod crazy. But it then left the opportunity for Kleiner to go ahead and invest in Google.”

“he’s the person who can see the future, see around corners. That’s his magic weapon. He can see what other people don’t.”

Remembering my teacher Charlie Munger

Thursday, November 30, 2023

I was on a business trip in Asia on Tuesday when I got the call from the Munger family informing me that Charlie was in his final hours. I hopped onto the next flight I could find to California, and before departure, was able to talk to Charlie through the help of his daughter. Charlie had largely lost consciousness, but still I could clearly hear him trying to make a sound to acknowledge he had heard me. Upon landing, I learned that Charlie had left us a few hours earlier.

I arrived at his Santa Barbara home and had the opportunity to spend cherished time with family members, reminiscing about all things Charlie. Charlie was engaging, humorous and full of wit even at Thanksgiving dinner just a few days ago, family members told me. I visited his home library again. In that very room, exactly 20 years ago, also on a post-Thanksgiving weekend afternoon, following the introduction by our mutual friend Ron Olson, Charlie and I first struck up a deep conversation which ran for several hours. It began an investment partnership that has now endured two decades. Charlie became my mentor, partner, dear friend and above all, life-long role model.

I was so deeply grateful that the Munger family made a special arrangement the next day for me to say a proper and private goodbye to Charlie.

There, lying quietly with eyes closed, Charlie looked the same as ever, peaceful and sincere with a subtle smile on his face. There was a serenity about him. For a moment, I was reminded of the Living Buddhas I once saw in the Buddhist temples of Thailand. In the Buddhist tradition, the bodies of truly enlightened monks, through life-long self-cultivation, can remain incorrupt, without any traces of mummification after death. In that moment, it is what I saw in Charlie, an enlightened sage with an incorruptible body, surrounded by a glimmer of eternal light.

Charlie was not a Buddhist. That vision can never be tested. But it is incontrovertible that his legacy and impact will live on for generations to come.

In our capitalist society, where do virtue, moral responsibility, truth-seeking and public service fit in? Charlie Munger answered these questions through his long exemplary life. He insisted on making money in the most morally sound way, entering transactions only when, if positions were reversed, he would comfortably take the other side. He sought worldly wisdom through life-long learning. He guided life with rationality devoid of mental deficiencies such as envy, resentment and self-pity. He faced and persevered through countless adversities with stoicism and equanimity. As he gained in wealth and stature, he showed little appetite for the trappings of that success, and instead spent his wealth on worthy causes and tirelessly spread his worldly wisdom to those who would listen, often with humor. He remained deeply engaged with family, friends, partners and the broader world with loving assiduousness through his last days.

In his later decades, Charlie Munger’s ideas began to spread across the world, particularly in the most populous countries of China and India. In China, the Mandarin language version of “Poor Charlie’s Almanack,” an anthology by and about Charlie Munger, sold over 1.2 million copies over the last 10 years. There, the educated class increasingly came to view Charlie as the embodiment of the modern-day Confucianism, maintaining a virtuous and enlightened life while embracing the market forces of capitalism. In time, that vision of modern Confucianism will be crucial for Chinese modernization and how China interacts with the rest of the world.

Charlie’s teachings will continue to spread, inspire and impact the world even more profoundly. That will be his eternal legacy.

타인이 귀한 줄 모르고, 자기만 잘난 줄 아는 사람은 결국 외로워지는 것 같다. 사실 사람이 잘나봐야 얼마나 잘나겠으며, 그 잘남이라는 것도 타인들 없이는 대개 아무것도 아닌 경우가 많다. 자기만 잘난 줄 아는 사람일수록, 그 잘남을 인정해줄 누군가를 간절히 필요로 한다. 아무도 알아주지 않는 잘남을 결코 견디지 못하는 것이다.

오히려 타인이 귀한 줄 아는 사람일수록, 보다 온전한 '잘남'을 지니고 있을 수도 있다. 그는 자신의 기반이 타인이라는 것, 인정이든, 사랑이든, 자존감이든 그 많은 것들이 결국 타인들과의 관계로부터 비롯된다는 것을 알고 있다. 그렇기에 자기에게 주어진 타인들의 호의에 감사하게 되고, 자기기만 없이 그러한 호의 속에 머물러 있다. 그 '머물러 있음'이야말로 그를 단단하게 한다.

살아가다 보니, 그렇게 두 종류의 사람을 만나게 된다. 타인이 귀한 줄 모르고 자기의 잘남에만 극도로 몰입하는 사람은 마치 말라가는 물웅덩이처럼, 더 왜소해지고, 히스테리컬해지며, 방어적이 된다. 실제로 그에게 '인정해줄 만한' 무언가 있더라도, 사람들은 그에게 그런 인정, 호의, 선의를 주기를 점점 더 꺼린다. 그는 외로워질수록 한 줌 안 되는 '잘남'에 더욱 몰두하는 나르시시즘적 인간이 된다.

반면, 타인이 귀하고 소중한 줄 알며, 누구에게나 배울 점이 있고, 환대하며 대접할 줄 아는 사람은 점점 더 강인해진다. 타인에게 관대하면 관대할수록 그는 방어할 게 없어진다. 대신 타인을 향해가는 더 힘찬 에너지 속에서 강한 자존감을 얻고 자신의 결점과 장점을 있는 그대로 받아들인다. 고슴도치처럼 자기 안에 파고들어 자기의 '잘남'을 찾지 않아도, 그의 주위에 머물러 있는 호의적인 울타리가 그의 잘남 자체를 증명한다.

언젠가 나도 스스로가 무엇이라도 되는냥, 잘났다고 믿었던 때가 있었다. 그런데 생각해보면, 그 시절에 나는 인생에서 가장 불안할 때였고, 어찌 보면 가장 방어적이며 왜소할 때였다. 그러나 점점 그런 시절도 지나가면서, 나의 부족함이나 불완전함을 많이 알게 되었고, 그럼에도 불구하고 나에게 손내밀어주는 타인들에게 감사할 줄 알게 되어간다. 내가 볼 때 그다지 현명하지 못한 사람이 과거 나의 모습이었다는 걸 인지하면서, 스스로 성장하고 싶은 방향도 알게 되어가는 듯하다.

그 방향이란, 내가 사실 나를 둘러싼 사람들 없이는 아무것도 아니라는 것을 자각하는 방향이다. 아주 어릴 적부터, 인간은 부모나 친구, 스승의 시선을 받고, 그 관심과 마음에 의존하며 생을 시작한다. 그리고 살아가면서 여전히 사랑하는 사람과 마음을 주고받는 사람, 또 보다 넓은 관심으로 서로에게 호의와 선의를 보내는 사람으로 삶을 견딘다. 그 모든 것은 마치 시냇물 위를 건널 수 있는 돌다리와 같아서, 그것 없이는 삶이라는 시냇물을 건널 수조차 없는 것이다. 그저 그것이 적어도 내가 믿는 삶이라는 것을 알아가는 여정에 있다.

A man can be himself only so long as he is alone; and if he does not love solitude, he will not love freedom; for it is only when he is alone that he is really free.

Boundless compassion for all living beings is the surest and most certain guarantee of pure moral conduct, and needs no casuistry.

Arthur Schopenhauer

OpenAI signed a deal to order $51M worth of “neuromorphic” AI chips in advance from a startup called Rain AI. The first hardware was planned for Oct. 2024, but likely delayed due to funding issues.

The WIRED article then talks about the removal of Rain’s Saudi Arabia-affiliated funding, change of CEO, and Sam’s personal investment. Very little discussion on the technical side.

I remember last time I heard about a serious Brain-inspired chip was IBM’s TrueNorth in 2015. Interesting to see how this space evolves.

https://www.wired.com/story/openai-buy-ai-chips-startup-sam-altman/