Forwarded this email? Subscribe here for more

2024년 1월 18일
KIM SEONGHYEON
JAN 18

 




READ IN APP
 
HippoAttention

FP8 Attention들이 나오기 시작하는군요. (https://blog.fireworks.ai/fireattention-serving-open-source-models-4x-faster-than-vllm-by-quantizing-with-no-tradeoffs-a29a85ad28d0) Flash Attention v2의 1.5 ~ 3배 가량의 수치를 보여주고 있네요.

저도 FP8을 써보고 싶네요. 4090이라도 구해와야할지.

#efficiency

Solving olympiad geometry without human demonstrations

(Trie H. Trinh, Yukuai Wu, Quoc V. Le, He He, Thang Luong)


Proving mathematical theorems at the olympiad level represents a notable milestone in human-level automated reasoning, owing to their reputed difficulty among the world’s best talents in pre-university mathematics. Current machine-learning approaches, however, are not applicable to most mathematical domains owing to the high cost of translating human proofs into machine-verifiable format. The problem is even worse for geometry because of its unique translation challenges, resulting in severe scarcity of training data. We propose AlphaGeometry, a theorem prover for Euclidean plane geometry that sidesteps the need for human demonstrations by synthesizing millions of theorems and proofs across different levels of complexity. AlphaGeometry is a neuro-symbolic system that uses a neural language model, trained from scratch on our large-scale synthetic data, to guide a symbolic deduction engine through infinite branching points in challenging problems. On a test set of 30 latest olympiad-level problems, AlphaGeometry solves 25, outperforming the previous best method that only solves ten problems and approaching the performance of an average International Mathematical Olympiad (IMO) gold medallist. Notably, AlphaGeometry produces human-readable proofs, solves all geometry problems in the IMO 2000 and 2015 under human expert evaluation and discovers a generalized version of a translated IMO theorem in 2004.

https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/ https://github.com/google-deepmind/alphageometry

딥마인드의 올림피아드 기하학 문제를 푸는 시스템. LM이 정의를 만들고 기호 기반 엔진이 전제와 정의로부터 결론들을 연역해나가는 것을 반복해서 증명에 도달해나가는 방법이군요.

데이터 전체를 합성해서 만들었는데 이 데이터의 구성 과정이 핵심이라고 할 수 있겠네요. 전제를 랜덤 샘플한 다음 이 전제에서 유도되는 결론들을 연역하고 이 연역 과정을 기반으로 결론들의 그래프를 만듭니다. 이렇게 하면 임의의 문제와 그에 대한 답을 생성하는 것이 되죠.

여기서 증명 시스템을 만들기 위해서는 정의를 생성할 수 있어야 하는데 이 정의는 결론에 포함되지 않지만 그래프에는 포함된 전제들을 사용합니다. 전제와 결론을 주고 정의들을 예측하게 만드는 것이죠. (이 부분이 좀 헷갈리긴 합니다.)

https://arxiv.org/abs/2401.08525

As the AI community increasingly adopts large-scale models, it is crucial to develop general and flexible tools to integrate them. We introduce Gather-Attend-Scatter (GATS), a novel module that enables seamless combination of pretrained foundation models, both trainable and frozen, into larger multimodal networks. GATS empowers AI systems to process and generate information across multiple modalities at different rates. In contrast to traditional fine-tuning, GATS allows for the original component models to remain frozen, avoiding the risk of them losing important knowledge acquired during the pretraining phase. We demonstrate the utility and versatility of GATS with a few experiments across games, robotics, and multimodal input-output systems.

여러 모델들을 연결하는 방법. 서로 다른 모델의 레이어들 사이에 GATS라는 모델의 레이어들을 끼워넣는 방식입니다. GATS는 서로 다른 모델의 임베딩에서 각각 최근 임베딩 N개를 가져와서 Attention하고 원 모델의 임베딩으로 Projection 하는 구조네요.

로봇 조작이나 게임 같은 걸 하다가 아주 가볍게(?) MaskGIT과 Chinchilla LM을 GATS로 연결해서 ViT를 학습하는 것과 ViT와 Chinchilla LM을 GATS로 조합하고 MaskGIT & Autoregressive LM으로 학습해서 이미지 캡셔닝과 Text2Image 학습을 한 사례를 보여줍니다.

인도증시 시가총액이 전세계 4위 홍콩을 넘어섰습니다.

It's not India's decade, it's India's century.

#김민상

https://www.facebook.com/share/cRrrg2c8AV7BYYHq/?mibextid=xfxF2i

Samsung bets on smart ring as fitness tech gathers pace

Samsung Electronics plans to launch a smart ring later this year as it ramps up its mobile health business, looking to become the world's first major tech company to roll out such a device to track fitness around the clock.

Read more here

Australian government to meet battery metal producers as prices slump

Nickel and lithium producers in Australia are halting or slowing operations amid a persistent price slump, with the government saying it plans to meet with companies to discuss possible support measures for the industry.

Read more here

Made-in-Asia generative AI race heats up amid U.S. dominance

Vietnam has joined the race in Asia to develop generative artificial intelligence programs that cater to local languages and cultures, as well as shedding dependency on services offered by U.S. tech groups.

Read more here

#원자력 #원전 #AI

Microsoft는 AI를 활용해 수년/수억 비용이 드는 원자력 규제 및 라이센스 작업 관련 LLM 모델 교육 진행. 이는 NRC 허가 절차를 신속히 진행 위한 일로, 시간/비용 절감 부분 잠재적 엄청난 효과.

NRC 승인을 받은 마지막 원자력 운영업체 NuScale은, 12000페이지에 달하는 신청서를 제출했으며 그 과정에 $5억 이상 지출. 승인에도 불구하고 유틸리티 대한 수요가 임계 수준에 도달하지 않아, 이익 관련 로드맵은 무너진 상황. 이처럼 원전 스타트업이 관련 승인 프로세스를 진행하기엔 비용/시간 부분 어려움 존재, AI는 신규 플레이어의 장애물을 낮춰줄 수 있는 측면.

마이크로소프트는 프로세스에 소요되는 인력/시간을 90%까지 줄여, 잠재적으로 시간/비용 절약 가능한 AI 교육 위해 원자력 단체와 협력 중. 이러한 프로세스를 정형화 시키기 위해 매우 구체적이고 구조화된 모델을 교육 중. 실제로 규제 승인 절차에 소요되는 시간을 단축할 수 있다면, 이는 새로운 원자로 설계만큼이나 큰 혁신이 될 수 있는 측면.

https://www.wsj.com/tech/ai/microsoft-targets-nuclear-to-power-ai-operations-e10ff798?utm_source=substack&utm_medium=email

I think we can all agree that GPT-4 completes many tasks at human-level proficiency. It is imperfect in odd ways -- it can write software like a smart MIT undergrad, but can't do basic task planning like an entry-level EA. It speaks all languages, but can barely do math. Suppose the progress doesn't stop, just like GPT-4 was better than 3, GPT-5 is capable of basic agentic behavior -- i.e. able to accept a task, work on it for a while, and return results.
Some modest fraction of Upwork tasks can now be done with a handful of electrons. Suppose everyone has an agent like this they can hire. Suppose everyone has 1,000 agents like this they can hire...
What does one do in a world like this? What do you long or short?
Markets
• In a post-AGI world, where does value accrue?
• What happens to NVIDIA, Microsoft?
• What happens to Internet bandwidth? Should we buy copper?
Real-estate
• If globalization is the metaphor, and the thing can just write all software, is SF the new Detroit?
• How does AI change wealth inequality? Is all beachfront property mispriced?
Energy and datacenter
• If it does become an energy game, what's the trade?
• Across the entire datacenter supply chain, which components are hardest to scale up 10x? What is the CoWoS of datacenter?
• Is coal mispriced?
Nations
• Who wins and loses?
• $250b of India’s GDP exports are essentially GPT-4 tokens… what happens now?
• Are there any relevant analogies from history we can compare to?
• What is the euclidean distance of reskilling in prior revolutions, and how does AGI compare? The typist became an EA, can the software engineer become a machinist?
• Electrification and assembly lines lead to high unemployment and the New Deal, including the Works Progress Administration, a federal project that employed 8.5m Americans with a tremendous budget… does that repeat?
Inflation
• If AI is truly deflationary, how would we know? What chart or metric would show that first?
• How should one think of deflation if demand for intellectual goods continues to grow as production costs go down?
Geopolitics
• What happens with China? With Russia?
• What is the likely "Taiwan event", and what would be a leading indicator for it?

https://www.cadgraphics.co.kr/newsview.php?pages=news&sub=news01&catecode=2&num=72382


중국의 전기자동차 스타트업인 니오(NIO)는 버추얼 트윈으로 가상 시뮬레이션을 진행했다. 물리적인 프로토타입 없이 제품에서 일어날 수 있는 문제를 개발 단계에서 발견하고 해결할 수 있었고, 그 결과를 전세계 조직에 공유함으로써 의사결정 속도를 높여 3년이 채 되지 않는 기간에 친환경 자동차를 개발할 수 있었다.

프랑스의 건설 기업인 부이그(Bouygues Construction)는 빌딩을 건축하고 도시를 건설하는 과정에서 건물의 버추얼 트윈으로 단열 및 통풍 성능을 가상 시험으로 진행해 폐기물을 줄일 수 있었다. 또한, 국내 건설 기업인 포스코A&C에서는 버추얼 트윈 모델을 활용해 건설 현장의 장비와 기존 건축물의 간섭을 검증했고, 고난이도/고위험 작업 전에 엔지니어를 교육하는 데에 버추얼 트윈을 활용해 효과를 높였다.

스위스의 포장재 기업인 앰코(AMCOR)는 무게를 줄이면서 구조 강성은 높인 포장재 및 재활용 가능한 친환경 소재를 개발하는 데에 분자 스케일의 버추얼 트윈 모델링을 활용했다. 이외에 생명과학 산업에서는 신약을 개발하기 위한 실험 과정에서 소모되는 시간 및 비용과 화학물질 배출을 줄이기 위해 디지털 인체 모델과 시뮬레이션을 활용해 최적의 실험방안을 찾을 수 있었다.

유체역학의 역사 1/15 : https://youtu.be/ykZU0RNLwlo
유체역학의 역사 2/15 : https://youtu.be/yGim8RWkcUE
유체역학의 역사 3/15 : https://youtu.be/CZhJzKLQfTE (본영상)
유체역학의 역사 4/15 : https://youtu.be/_sbwxdqXwV0
유체역학의 역사 5/15 : https://youtu.be/fJ9jhTT8R5o
유체역학의 역사 6/15 : https://youtu.be/DF_1apjaq70
유체역학의 역사 7/15 : https://youtu.be/lUmNhdZK7-U
유체역학의 역사 8/15 : https://youtu.be/NUyWnCk0Zds
유체역학의 역사 9/15 : https://youtu.be/RPtYidFkzrg
유체역학의 역사 10/15 : https://youtu.be/rjhYnnH7rA0
유체역학의 역사 11/15 : https://youtu.be/TrHrAsAJhbI
유체역학의 역사 12/15 : https://youtu.be/DtlF_4FuRaw
유체역학의 역사 13/15 : https://youtu.be/4SPYdbuumB8
유체역학의 역사 14/15 : https://youtu.be/zYd-LztSC7k
유체역학의 역사 15/15 : https://youtu.be/rv8phdMB5XA

폼 나지 않는 것들에는 천재들이나 큰 회사들이 들어오지 않으며 일류대 출신도 오지 않는다. 그저 보통 사람들이 들어올 뿐이므로 우리가 열심히 하면 충분히 이길 수 있다. 그리고 경쟁이 약할 때 최대로 수익을 창출한다(나는 원가 5만 원짜리 기계 장치를 만들어 50만 원에 정신없이 판 적도 있는데 그 물건을 파는 사람이 나밖에 없었기 때문이다.
------------------------------------
미래의 야망은 던져 버려라. 꿈과 야망은 성공의 원동력이 아니다. 보잘것없어 보이는 1인치 전진을 위하여 오늘 외롭게 최선을 다하는 힘이 바로 성공의 원동력이다.
------------------------------------
차고에 살던 내가 스스로를 이끌어 지금에 이르렀듯이, 크고 작은 삶의 변화를 이뤄 냈다는 독자들의 연락이 종종 온다. 카드빚을 갚고자 공사장에서 막노동을 하면서도 “보상의 수레바퀴는 천천히 돈다“는 말을 되뇌며 일하여 인력사무소 지명도 1순위에 올랐다던 독자가 떠오른다. 약 15년 후인 현재 그는 연매출 7~8백억 원대, 영업이익 수십억 원대 회사의 대표가 되었다.
------------------------------------
“행복은 우리가 소유한 것들과 비례하는 것도 아니고 그렇다고 해서 반비례하는 것도 아니다. 내 경험에 비추어 말한다면, 행복은 우리가 소유한 것들이 유형의 것이건 무형의 것이건 상관없이 그 양과 질이 증가하는 과정이 계속될 때 얻어진다. 미국 심리학자 데이비드 마이어스David G. Myers 역시 〈행복의 추구〉에서 ‘고정된 고소득보다는 소득이 증가하는 상태가 더 낫다‘고 결론지었다. 소득의 많고 적음 그 자체가 아니라 소득이 매년 오르고 있을 때 인간은 행복을 더 많이 느낀다는 것이다. 매년 연봉 백만 달러를 계속 받는 사람보다는 10만 달러의 연봉이 매년 증가되는 사람이 더 행복하다는 말이다.
나는 그의 말에 한 가지 더 붙이고 싶다. “사람은 자신의 삶에 변화를 스스로 일으켜 그 어떤 분야에서든지 자신의 가치를 계속 증대시켜 나갈 때 행복을 맛볼 수 있다“고 말이다.”
------------------------------------------------------------
거주 공간에 대해 남들과 비교하지 말아라. 20대 중반에, 나는 약수동 언덕 위로 한참 올라가야 하는 개인주택의 차고를 월세 몇만 원에 빌려서 약 4년 동안 그곳에서 살았다(서울 중구 신당동인데 현재는 94년에 세워진 작은 연립주택이 있다. 거리뷰로 찾아본 현재의 모습은 아래와 같다. 당시 ①부분은 축대였고, 지금 차고로 쓰이는 ②부분에 대문이 있었으며, 작은 창고처럼 보이는 ③에 차고가 있었다). 그 4년 동안 내가 이생망을 얘기하고 있었을까? 나는 내 몸을 편히 누일 수 있고 책을 읽을 수 있고 음악을 들을 수 있는 공간이라면 아무리 교통이 불편하고 작고 허름하여도 행복해하였다. 정말이다. 처지에 맞는 공간을 찾아라(‘미래를 미리 계산하지 마라‘, ‘부자가 되지 못하게 만드는 심리‘를 여러 번 집중하여 읽어라―참조―그렇게 읽어 봐도 무슨 뜻인지 모르겠다면 당신은 더 이상 이 책을 읽지 말고 중고로 팔아 버려라).
아 물론 내 말이 ‘라떼’로 들리기도 할 것이다. “당신이 그런 곳에서 살았다고해서 나도 그렇게 살아야 해?“라고 말이다. 내 대답: “그렇다. 개뿔도 내세울 것이 없다면 당연히 거지 수준으로 살면서 시간을 아끼고 능력을 키워 나가며 돈을 모아야 한다. 그래야 가난에서 탈출할 수 있다. 지금 그렇게 살기는 싫다고? 그렇다면 평생 그 모양 그 꼴로 계속 살아라.”
-----
진정한 행복은 사람들로 하여금 몰입하게 만들고, 도전하게 만들고, 빠져들게 만드는 흥미로운 것들과 관련이 있다.“―맞다. 나 역시 여전히 어딘가에 몰입하고 도전하며 빠져드는 것을 아주 좋아하는데 그것이 무슨 커다란 사업 프로젝트를 의미하는 것은 전혀 아니다. 아내가 사 온 너무나도 특색 없는 유니클로 셔츠를 내가 좋아하는 색상으로 직접 염색하는 것에서도, 우연히 발견한 책에서 무릎을 탁 치게 하는 글을 발견하는 것에서도, 루도비코 에이나우디Ludovico Einaudi의 피아노 연주를 듣는 것에서도 나는 충분히 몰입하고 빠져든다

세이노의 가르침_최혜원님