Forwarded from Nikkei Asia
Shohei Ohtani fever drives $150m windfall from MLB Seoul Series
Major League Baseball's tour through Thursday in Seoul is expected to produce a financial boon locally thanks largely to the appearance of Japanese superstar Shohei Ohtani.
Read more here
Major League Baseball's tour through Thursday in Seoul is expected to produce a financial boon locally thanks largely to the appearance of Japanese superstar Shohei Ohtani.
Read more here
Forwarded from Nikkei Asia
Japanese startup generates AI models from 'evolutionary' process
Sakana AI, a Japanese artificial intelligence startup, said Thursday that it has invented a new way of creating generative AI models that applies the concepts of evolution and natural selection. This approach, according to the company, allows significantly cheaper and faster AI development.
Read more here
Sakana AI, a Japanese artificial intelligence startup, said Thursday that it has invented a new way of creating generative AI models that applies the concepts of evolution and natural selection. This approach, according to the company, allows significantly cheaper and faster AI development.
Read more here
지난 밤에 테슬라 FSD 버전 업그레이드.
FSD beta v12.3인데 드디어 end to end single stack이 올라왔다.
2012년 개와 고양이를 구분하던 단순한 AlexNet 모델이 2015년 자율주행 기술에 좀 더 진보된 CNN모델 형태로 적용되어 좌 우 중앙카메라 세대와 스티어링휠 각도만를 입력으로 주고 트레이닝 시켜 하나의 딥러닝 모델로도 차선이 없는 산길에서도 길을 찾아가더라는 신기한 실험결과를 공개했고 이를 end to end autonomous driving이라고 명명했다. (그 당시에는 각각의 모델이 차선, 물체, open space등을 각각 따로 인식하는 방식이 대세였다.)
이 연구에는 Nvidia의 Tegra X1 SoC가 2개들어가는 Drive PX platform을 사용했다. 다만, 이 end to end 기술은 너무 많은 문제점을 내포하고 있어 이후 실용화 단계로는 적용되지 못했다.
그 이후 테슬라는 Nvidia Parker SoC +Pascal GPU를 활용한 자율주행 시스템 HW2.0/2.5를 개발해서 자율주행 기술을 리드 하기 시작했다.
그리고 자체 개발한 칩으로 넘어가서 HW3.0/4.0까지가 양산되었고 현재 약 50TOPs의 성능으로 개선된 SoC에 여러 딥러닝 모델을 통합해서 크게 두개의 perception / planning 으로 나눈 아키텍쳐의 FSD을 배포해서 사용해 왔다.
그리고 오늘 End to end(한개의 거대모델)을 활용한 transformer구조로의 소프트웨어가 마침 내 차에 들어와서 사용해 볼 수 있게 됐다.
실제로 사용해본 느낌은 이전버전 대비 차선변경이나 혼잡상황에서의 주행이 좀 더 조심스러워진 느낌. 소비자 입장에선 큰
체감상의 차이를 느끼진 못하겠다.
릴리즈 노트의 내용이 재밌는건 single end to end 뉴럴네트웍을 사용했고 이로 인해 300k line의 (인간이 만든) c++코드를 대체했다고 나와있다.
어떤 기능이 추가 됐어요가 아니라 2015년 엔비디아에서 소개한 미완성의 기술을 우리가 결국 증명해냈어요!라고 기뻐하는 모습 같다고 할까.
엔비디아가 GTC2024 keynote에서 발표한 제품이나 기술들은 많은 엔지니어들의 노력과 염원이 담겨 있다.
그저 지금의 수준과 이해의 눈으로 FP4가 왜 필요한지 모르겠다고 폄하하기 보다는 그런 시도가 갖는 의미를 무엇인지를 먼저 들여다 보았으면.
그리고 여력이 된다면 테슬라처럼 더 나은 세상을 스스로 증명을 하면 되지 않을까?
FSD beta v12.3인데 드디어 end to end single stack이 올라왔다.
2012년 개와 고양이를 구분하던 단순한 AlexNet 모델이 2015년 자율주행 기술에 좀 더 진보된 CNN모델 형태로 적용되어 좌 우 중앙카메라 세대와 스티어링휠 각도만를 입력으로 주고 트레이닝 시켜 하나의 딥러닝 모델로도 차선이 없는 산길에서도 길을 찾아가더라는 신기한 실험결과를 공개했고 이를 end to end autonomous driving이라고 명명했다. (그 당시에는 각각의 모델이 차선, 물체, open space등을 각각 따로 인식하는 방식이 대세였다.)
이 연구에는 Nvidia의 Tegra X1 SoC가 2개들어가는 Drive PX platform을 사용했다. 다만, 이 end to end 기술은 너무 많은 문제점을 내포하고 있어 이후 실용화 단계로는 적용되지 못했다.
그 이후 테슬라는 Nvidia Parker SoC +Pascal GPU를 활용한 자율주행 시스템 HW2.0/2.5를 개발해서 자율주행 기술을 리드 하기 시작했다.
그리고 자체 개발한 칩으로 넘어가서 HW3.0/4.0까지가 양산되었고 현재 약 50TOPs의 성능으로 개선된 SoC에 여러 딥러닝 모델을 통합해서 크게 두개의 perception / planning 으로 나눈 아키텍쳐의 FSD을 배포해서 사용해 왔다.
그리고 오늘 End to end(한개의 거대모델)을 활용한 transformer구조로의 소프트웨어가 마침 내 차에 들어와서 사용해 볼 수 있게 됐다.
실제로 사용해본 느낌은 이전버전 대비 차선변경이나 혼잡상황에서의 주행이 좀 더 조심스러워진 느낌. 소비자 입장에선 큰
체감상의 차이를 느끼진 못하겠다.
릴리즈 노트의 내용이 재밌는건 single end to end 뉴럴네트웍을 사용했고 이로 인해 300k line의 (인간이 만든) c++코드를 대체했다고 나와있다.
어떤 기능이 추가 됐어요가 아니라 2015년 엔비디아에서 소개한 미완성의 기술을 우리가 결국 증명해냈어요!라고 기뻐하는 모습 같다고 할까.
엔비디아가 GTC2024 keynote에서 발표한 제품이나 기술들은 많은 엔지니어들의 노력과 염원이 담겨 있다.
그저 지금의 수준과 이해의 눈으로 FP4가 왜 필요한지 모르겠다고 폄하하기 보다는 그런 시도가 갖는 의미를 무엇인지를 먼저 들여다 보았으면.
그리고 여력이 된다면 테슬라처럼 더 나은 세상을 스스로 증명을 하면 되지 않을까?
<두가지 멘탈리티>
예를 들어서 밴드가 오랜만에 합주를 하려고 연주실을 빌렸다. 멤버 한명이 수고를 해서 공금으로 예약을 했다고 한다.
밤 8시에 멤버들과 함께 합주실로 들어갔는데, 어라 사용하는 사람들이 이미 있다. 확인해 봤더니 예약한 사람이 실수로 다음날 오전 8시로 예약을 해버렸던 거다.
이때 반응 하는 걸 보면 두가지 멘탈리티가 보인다.
1) 왜 이런 걸 실수를 합니까. 나참. 이시간에 여러 사람 모아놓고. 나 그냥 갈래요. 다음부터 좀 똑바로 하세요.
2) 괜찮아요. 그럴 수도 있지. 지금 빨리 근처 연습실 다 같이 찾아볼까요? 어 여기 연습실에 9시에 비는 방이 하나 있네요? 오히려 잘됐네. 나가서 근처 카페에서 이야기하다가 옵시다!
리더와 팀 기후(team climate)로 대응해서 생각해 보라. 우리는 이런 예상 못한 실수 상황에 대해 어떤 멘탈리티를 갖고 있는가.
단, 이것은 좋은 게 좋다고 하면서 매사를 넘기는 "회피형"이 바람직하다는 말이 아니다. 중요 포인트는 "우리가 힘을 합치면 어떤 예상 못한 어려움도 함께 극복할 수 있지 않겠어? 걱정하지마. 우리를 믿어"라는 마음이다.
예를 들어서 밴드가 오랜만에 합주를 하려고 연주실을 빌렸다. 멤버 한명이 수고를 해서 공금으로 예약을 했다고 한다.
밤 8시에 멤버들과 함께 합주실로 들어갔는데, 어라 사용하는 사람들이 이미 있다. 확인해 봤더니 예약한 사람이 실수로 다음날 오전 8시로 예약을 해버렸던 거다.
이때 반응 하는 걸 보면 두가지 멘탈리티가 보인다.
1) 왜 이런 걸 실수를 합니까. 나참. 이시간에 여러 사람 모아놓고. 나 그냥 갈래요. 다음부터 좀 똑바로 하세요.
2) 괜찮아요. 그럴 수도 있지. 지금 빨리 근처 연습실 다 같이 찾아볼까요? 어 여기 연습실에 9시에 비는 방이 하나 있네요? 오히려 잘됐네. 나가서 근처 카페에서 이야기하다가 옵시다!
리더와 팀 기후(team climate)로 대응해서 생각해 보라. 우리는 이런 예상 못한 실수 상황에 대해 어떤 멘탈리티를 갖고 있는가.
단, 이것은 좋은 게 좋다고 하면서 매사를 넘기는 "회피형"이 바람직하다는 말이 아니다. 중요 포인트는 "우리가 힘을 합치면 어떤 예상 못한 어려움도 함께 극복할 수 있지 않겠어? 걱정하지마. 우리를 믿어"라는 마음이다.
🫡1
Forwarded from 전종현의 인사이트
Hippocratic이 만들고 있는게 AI 간호사였나보네요? 실제 사람은 시간당 $90 필요했는데 이제 AI 에이전트로 $9만 있어도 내 간호사 이용할 수 있다는 컨셉인듯
(개인적으로는 저는 니즈를 느껴본 적이 없어서 아직 잘 모르겠습니다...)
https://qz.com/nvidia-wants-replace-nurses-with-ai-1851349522
(개인적으로는 저는 니즈를 느껴본 적이 없어서 아직 잘 모르겠습니다...)
https://qz.com/nvidia-wants-replace-nurses-with-ai-1851349522
Quartz
Nvidia is now powering AI nurses
The cheap AI agents offer medical advice to patients over video calls in real-time
https://news.hada.io/topic?id=13929&fbclid=IwAR1L5cA56ADb4A9sJ2iKQSYFAZScAgvtFQHMlhDinfk92ailyKyOiaUKaUU
Sora(소라)는 Diffusion Transformers(DiT), Latent Diffusion을 기반으로 하며, 모델과 훈련 데이터셋을 대규모로 확장
소라는 비디오 모델을 확장하는 것이 가치가 있으며, 대규모 언어 모델(LLM)과 유사한 추가 확장이 모델을 빠르게 개선하는 주요 동력이 될 것임을 보여줌
Runway, Genmo, Pika와 같은 회사들이 Sora와 같은 비디오 생성 모델을 위한 직관적인 인터페이스와 워크플로우를 구축 중임
소라 훈련에는 1개월 동안 4,200~10,500개의 Nvidia H100 GPU로 추정되는 엄청난 양의 컴퓨팅 파워가 필요
추론의 경우, Sora는 Nvidia H100 GPU당 시간당 최대 약 5분 분량의 동영상을 생성할 수 있는 것으로 추정. LLM과 비교했을 때, 소라와 같은 확산 기반 모델의 추론은 몇 배나 더 비쌈
소라와 같은 모델이 널리 배포됨에 따라 추론 컴퓨팅이 훈련 컴퓨팅을 지배할 것이며, ‘손익분기점’은 1,530만~3,810만 분의 동영상이 생성될 때로 추정되며, 그 이후에는 원래 학습보다 추론에 더 많은 컴퓨팅이 소요. 이에 비해 하루에 업로드되는 동영상은 1,700만 분(TikTok)과 4,300만 분(YouTube)
TikTok과 YouTube에서 AI가 생성하는 비디오의 비중을 고려할 때, 추론을 위한 Nvidia H100 GPU의 최대 수요는 약 72만개로 추정됨
배경
Sora 는 확산 모델에 속함. 확산 모델은 이미지 생성에 인기 있는 선택으로, OpenAI의 DALL-E나 Stability AI의 Stable Diffusion과 같은 유명 모델들이 있음. 최근에는 Runway, Genmo, Pika와 같은 회사들이 비디오 생성을 탐구하고 있으며, 이는 확산 모델을 활용할 가능성이 높음.
확산 모델은 데이터에 임의의 노이즈를 추가하는 과정을 점차적으로 역전시켜 이미지나 비디오와 같은 데이터를 생성하는 방법을 학습하는 생성적 기계학습 모델의 한 종류임. 이 모델들은 순수한 노이즈 패턴에서 시작하여 점차 이 노이즈를 제거하고, 패턴을 정제하여 이해할 수 있고 상세한 출력으로 변환함.
소라의 기술적 세부 사항
OpenAI는 소라 발표와 함께 기술 보고서를 공개함. 이 보고서는 세부 사항이 부족하지만, 그 설계는 “Transformers를 사용한 확장 가능한 확산 모델” 연구 논문에 크게 영향을 받은 것으로 보임
이 논문의 저자들은 이미지 생성을 위한 Transformer 기반 아키텍처인 DiT(확산 트랜스포머를 의미하는 Diffusion Transformers의 약자)을 제안함
소라는 이 작업을 비디오 생성으로 확장하는 것으로 보임. 소라 기술 보고서와 DiT 논문을 결합함으로써, 소라 모델이 어떻게 작동하는지에 대해 상당히 정확한 그림을 얻을 수 있음
소라에는 세 가지 중요한 부분이 있음:
픽셀 공간에서 작동하지 않고 대신 잠재 공간에서 확산을 수행함(잠재 확산이라고 함)
Transformer 아키텍처를 사용함
매우 큰 데이터셋을 사용하는 것으로 보임
잠재 확산
첫 번째 포인트인 잠재 확산을 이해하기 위해, 이미지 생성을 고려해보면
각 픽셀을 확산을 사용하여 생성할 수 있지만, 이는 매우 비효율적임(예를 들어, 512x512 이미지는 262,144 픽셀을 가짐)
대신, 픽셀에서 어떤 압축 요소를 가진 잠재 표현으로 매핑한 다음, 이 더욱 컴팩트한 잠재 공간에서 확산을 수행하고 마지막으로 잠재에서 픽셀 공간으로 다시 디코딩할 수 있음
이 매핑은 계산 복잡성을 상당히 개선함: 512x512 = 262,144 픽셀에 대해 확산 과정을 실행하는 대신, 예를 들어 64x64 = 4,096 잠재체를 생성하기만 하면 됨
이 아이디어는 “고해상도 이미지 합성을 위한 잠재 확산 모델” 연구 논문의 핵심 돌파구였으며, Stable Diffusion의 기반이 됨.
픽셀에서 잠재 표현으로의 매핑 예시는 Sora 기술 보고서에서 가져온 이미지임.
DiT와 Sora 모두 이 접근 방식을 활용함. Sora의 경우 추가 고려 사항으로 비디오에는 시간 차원이 있음: 비디오는 이미지의 시간 순서인 프레임으로 구성됨
Sora 기술 보고서에서는 픽셀에서 잠재 공간으로 매핑하는 인코딩 단계가 공간적(각 프레임의 너비와 높이를 압축하는 것을 의미) 및 시간적(시간을 걸쳐 압축하는 것을 의미)으로 발생하는 것으로 보임
트랜스포머
두 번째 포인트로, DiT와 Sora 모두 일반적으로 사용되는 U-Net 아키텍처 대신 바닐라 트랜스포머 아키텍처를 사용함
이는 DiT 논문의 저자들이 트랜스포머 사용이 예측 가능한 스케일링을 초래한다고 관찰한 것이 중요한데, 더 많은 훈련 계산을 적용하면(모델을 더 오래 훈련시키거나, 모델을 더 크게 만들거나, 또는 둘 다) 성능이 향상됨을 의미함
이러한 스케일링 행위는 소위 스케일링 법칙으로 정량화될 수 있는 중요한 속성이며, 대규모 언어 모델(LLMs)과 다른 모달리티에서의 자기회귀 모델의 맥락에서 이전에 연구됨
더 나은 모델을 얻기 위해 스케일을 적용하는 능력은 LLMs에 대한 빠른 진보의 주요 동력 중 하나였음
이미지와 비디오 생성에도 같은 속성이 존재하므로, 여기에서도 같은 스케일링 레시피가 작동할 것으로 예상할 수 있음
데이터셋
모델 훈련에 필요한 마지막 핵심 요소는 레이블이 붙은 데이터이며, 이는 Sora와 같은 모델을 훈련시키는 데 있어 가장 중요한 비밀 요소로 여겨짐
Sora와 같은 텍스트-투-비디오 모델을 훈련시키려면, 비디오와 그에 대한 텍스트 설명의 쌍이 필요함
OpenAI는 자신들의 데이터셋에 대해 많이 언급하지 않지만, 그것이 매우 크다는 것을 암시함: “인터넷 규모의 데이터에 대한 훈련을 통해 일반적인 능력을 획득하는 대규모 언어 모델에서 영감을 받았다.”
OpenAI는 또한 이미지에 자세한 텍스트 라벨을 부착하는 방법을 공개했으며, 이는 DALLE-3 데이터셋을 수집하는 데 사용됨
일반적인 아이디어는 데이터셋의 레이블이 붙은 부분 집합에서 캡셔너 모델을 훈련시키고, 그 캡셔너 모델을 사용하여 나머지를 자동으로 라벨링하는 것임
Sora의 데이터셋에도 같은 기술이 적용된 것으로 보임
영향력
Sora가 몇 가지 중요한 영향을 미칠 것으로 믿음. 이제 그 영향들에 대해 간략히 살펴보면
비디오 모델의 실용성 시작
Sora가 생성할 수 있는 비디오의 품질은 세부 수준뿐만 아니라 시간적 일관성 측면에서도 분명한 돌파구임(예를 들어, 객체가 일시적으로 가려졌을 때 객체의 영속성을 올바르게 처리하고, 물에 반사를 정확하게 생성할 수 있음)
이제 비디오의 품질이 실제 애플리케이션에서 사용될 수 있는 특정 유형의 장면에 충분하다고 믿음
예를 들어, Sora는 곧 일부 스톡 비디오 푸티지 사용을 대체할 수 있음
그러나 여전히 남아 있는 도전 과제들이 있음:
현재 Sora 모델이 얼마나 조절 가능한지 명확하지 않음
모델이 픽셀을 출력하기 때문에 생성된 비디오를 편집하는 것은 어렵고 시간이 많이 소요됨
또한 이 모델들을 유용하게 만들기 위해서는 직관적인 사용자 인터페이스(UI)와 워크플로우를 구축하는 것도 필요함
Runway, Genmo, Pika 등과 같은 회사들이 이미 이러한 문제들에 대해 작업 중임
비디오 모델의 빠른 발전 예상
DiT 논문의 핵심 통찰 중 하나는 모델 품질이 추가적인 계산으로 직접 개선된다는 것이었으며, 이는 위에서 논의된 바와 같음
이는 LLMs에 대해 관찰된 스케일링 법칙과 유사함
따라서 이러한 모델들이 점점 더 많은 계산으로 훈련됨에 따라 비디오 생성 모델의 품질에 대한 빠른 추가 진보를 기대할 수 있음
Sora는 이 레시피가 실제로 작동한다는 것을 명확히 보여주며, OpenAI를 비롯한 다른 회사들도 이 방향으로 더욱 집중할 것으로 예상됨
Sora(소라)는 Diffusion Transformers(DiT), Latent Diffusion을 기반으로 하며, 모델과 훈련 데이터셋을 대규모로 확장
소라는 비디오 모델을 확장하는 것이 가치가 있으며, 대규모 언어 모델(LLM)과 유사한 추가 확장이 모델을 빠르게 개선하는 주요 동력이 될 것임을 보여줌
Runway, Genmo, Pika와 같은 회사들이 Sora와 같은 비디오 생성 모델을 위한 직관적인 인터페이스와 워크플로우를 구축 중임
소라 훈련에는 1개월 동안 4,200~10,500개의 Nvidia H100 GPU로 추정되는 엄청난 양의 컴퓨팅 파워가 필요
추론의 경우, Sora는 Nvidia H100 GPU당 시간당 최대 약 5분 분량의 동영상을 생성할 수 있는 것으로 추정. LLM과 비교했을 때, 소라와 같은 확산 기반 모델의 추론은 몇 배나 더 비쌈
소라와 같은 모델이 널리 배포됨에 따라 추론 컴퓨팅이 훈련 컴퓨팅을 지배할 것이며, ‘손익분기점’은 1,530만~3,810만 분의 동영상이 생성될 때로 추정되며, 그 이후에는 원래 학습보다 추론에 더 많은 컴퓨팅이 소요. 이에 비해 하루에 업로드되는 동영상은 1,700만 분(TikTok)과 4,300만 분(YouTube)
TikTok과 YouTube에서 AI가 생성하는 비디오의 비중을 고려할 때, 추론을 위한 Nvidia H100 GPU의 최대 수요는 약 72만개로 추정됨
배경
Sora 는 확산 모델에 속함. 확산 모델은 이미지 생성에 인기 있는 선택으로, OpenAI의 DALL-E나 Stability AI의 Stable Diffusion과 같은 유명 모델들이 있음. 최근에는 Runway, Genmo, Pika와 같은 회사들이 비디오 생성을 탐구하고 있으며, 이는 확산 모델을 활용할 가능성이 높음.
확산 모델은 데이터에 임의의 노이즈를 추가하는 과정을 점차적으로 역전시켜 이미지나 비디오와 같은 데이터를 생성하는 방법을 학습하는 생성적 기계학습 모델의 한 종류임. 이 모델들은 순수한 노이즈 패턴에서 시작하여 점차 이 노이즈를 제거하고, 패턴을 정제하여 이해할 수 있고 상세한 출력으로 변환함.
소라의 기술적 세부 사항
OpenAI는 소라 발표와 함께 기술 보고서를 공개함. 이 보고서는 세부 사항이 부족하지만, 그 설계는 “Transformers를 사용한 확장 가능한 확산 모델” 연구 논문에 크게 영향을 받은 것으로 보임
이 논문의 저자들은 이미지 생성을 위한 Transformer 기반 아키텍처인 DiT(확산 트랜스포머를 의미하는 Diffusion Transformers의 약자)을 제안함
소라는 이 작업을 비디오 생성으로 확장하는 것으로 보임. 소라 기술 보고서와 DiT 논문을 결합함으로써, 소라 모델이 어떻게 작동하는지에 대해 상당히 정확한 그림을 얻을 수 있음
소라에는 세 가지 중요한 부분이 있음:
픽셀 공간에서 작동하지 않고 대신 잠재 공간에서 확산을 수행함(잠재 확산이라고 함)
Transformer 아키텍처를 사용함
매우 큰 데이터셋을 사용하는 것으로 보임
잠재 확산
첫 번째 포인트인 잠재 확산을 이해하기 위해, 이미지 생성을 고려해보면
각 픽셀을 확산을 사용하여 생성할 수 있지만, 이는 매우 비효율적임(예를 들어, 512x512 이미지는 262,144 픽셀을 가짐)
대신, 픽셀에서 어떤 압축 요소를 가진 잠재 표현으로 매핑한 다음, 이 더욱 컴팩트한 잠재 공간에서 확산을 수행하고 마지막으로 잠재에서 픽셀 공간으로 다시 디코딩할 수 있음
이 매핑은 계산 복잡성을 상당히 개선함: 512x512 = 262,144 픽셀에 대해 확산 과정을 실행하는 대신, 예를 들어 64x64 = 4,096 잠재체를 생성하기만 하면 됨
이 아이디어는 “고해상도 이미지 합성을 위한 잠재 확산 모델” 연구 논문의 핵심 돌파구였으며, Stable Diffusion의 기반이 됨.
픽셀에서 잠재 표현으로의 매핑 예시는 Sora 기술 보고서에서 가져온 이미지임.
DiT와 Sora 모두 이 접근 방식을 활용함. Sora의 경우 추가 고려 사항으로 비디오에는 시간 차원이 있음: 비디오는 이미지의 시간 순서인 프레임으로 구성됨
Sora 기술 보고서에서는 픽셀에서 잠재 공간으로 매핑하는 인코딩 단계가 공간적(각 프레임의 너비와 높이를 압축하는 것을 의미) 및 시간적(시간을 걸쳐 압축하는 것을 의미)으로 발생하는 것으로 보임
트랜스포머
두 번째 포인트로, DiT와 Sora 모두 일반적으로 사용되는 U-Net 아키텍처 대신 바닐라 트랜스포머 아키텍처를 사용함
이는 DiT 논문의 저자들이 트랜스포머 사용이 예측 가능한 스케일링을 초래한다고 관찰한 것이 중요한데, 더 많은 훈련 계산을 적용하면(모델을 더 오래 훈련시키거나, 모델을 더 크게 만들거나, 또는 둘 다) 성능이 향상됨을 의미함
이러한 스케일링 행위는 소위 스케일링 법칙으로 정량화될 수 있는 중요한 속성이며, 대규모 언어 모델(LLMs)과 다른 모달리티에서의 자기회귀 모델의 맥락에서 이전에 연구됨
더 나은 모델을 얻기 위해 스케일을 적용하는 능력은 LLMs에 대한 빠른 진보의 주요 동력 중 하나였음
이미지와 비디오 생성에도 같은 속성이 존재하므로, 여기에서도 같은 스케일링 레시피가 작동할 것으로 예상할 수 있음
데이터셋
모델 훈련에 필요한 마지막 핵심 요소는 레이블이 붙은 데이터이며, 이는 Sora와 같은 모델을 훈련시키는 데 있어 가장 중요한 비밀 요소로 여겨짐
Sora와 같은 텍스트-투-비디오 모델을 훈련시키려면, 비디오와 그에 대한 텍스트 설명의 쌍이 필요함
OpenAI는 자신들의 데이터셋에 대해 많이 언급하지 않지만, 그것이 매우 크다는 것을 암시함: “인터넷 규모의 데이터에 대한 훈련을 통해 일반적인 능력을 획득하는 대규모 언어 모델에서 영감을 받았다.”
OpenAI는 또한 이미지에 자세한 텍스트 라벨을 부착하는 방법을 공개했으며, 이는 DALLE-3 데이터셋을 수집하는 데 사용됨
일반적인 아이디어는 데이터셋의 레이블이 붙은 부분 집합에서 캡셔너 모델을 훈련시키고, 그 캡셔너 모델을 사용하여 나머지를 자동으로 라벨링하는 것임
Sora의 데이터셋에도 같은 기술이 적용된 것으로 보임
영향력
Sora가 몇 가지 중요한 영향을 미칠 것으로 믿음. 이제 그 영향들에 대해 간략히 살펴보면
비디오 모델의 실용성 시작
Sora가 생성할 수 있는 비디오의 품질은 세부 수준뿐만 아니라 시간적 일관성 측면에서도 분명한 돌파구임(예를 들어, 객체가 일시적으로 가려졌을 때 객체의 영속성을 올바르게 처리하고, 물에 반사를 정확하게 생성할 수 있음)
이제 비디오의 품질이 실제 애플리케이션에서 사용될 수 있는 특정 유형의 장면에 충분하다고 믿음
예를 들어, Sora는 곧 일부 스톡 비디오 푸티지 사용을 대체할 수 있음
그러나 여전히 남아 있는 도전 과제들이 있음:
현재 Sora 모델이 얼마나 조절 가능한지 명확하지 않음
모델이 픽셀을 출력하기 때문에 생성된 비디오를 편집하는 것은 어렵고 시간이 많이 소요됨
또한 이 모델들을 유용하게 만들기 위해서는 직관적인 사용자 인터페이스(UI)와 워크플로우를 구축하는 것도 필요함
Runway, Genmo, Pika 등과 같은 회사들이 이미 이러한 문제들에 대해 작업 중임
비디오 모델의 빠른 발전 예상
DiT 논문의 핵심 통찰 중 하나는 모델 품질이 추가적인 계산으로 직접 개선된다는 것이었으며, 이는 위에서 논의된 바와 같음
이는 LLMs에 대해 관찰된 스케일링 법칙과 유사함
따라서 이러한 모델들이 점점 더 많은 계산으로 훈련됨에 따라 비디오 생성 모델의 품질에 대한 빠른 추가 진보를 기대할 수 있음
Sora는 이 레시피가 실제로 작동한다는 것을 명확히 보여주며, OpenAI를 비롯한 다른 회사들도 이 방향으로 더욱 집중할 것으로 예상됨
GeekNews
OpenAI의 Sora 모델 작동 원리 | GeekNews
Sora(소라)는 Diffusion Transformers(DiT), Latent Diffusion을 기반으로 하며, 모델과 훈련 데이터셋을 대규모로 확장소라는 비디오 모델을 확장하는 것이 가치가 있으며, 대규모 언어 모델(LLM)과 유사한 추가 확장이 모델을 빠르게 개선하는 주요 동력이 될 것임을 보여줌Runway, Genmo, Pika와 같은 회사들이
👍1
합성 데이터 생성 및 데이터 증강
로보틱스 및 자율 주행 차량과 같은 영역에서는 데이터가 본질적으로 희귀함: 인터넷에는 작업을 수행하는 로봇이나 운전하는 차량의 영상이 풍부하지 않음.
일반적으로 이러한 문제들은 시뮬레이션에서 훈련하거나 실제 세계에서 대규모로 데이터를 수집하는 방법(또는 둘 다의 조합)으로 접근해왔음
하지만, 두 접근법 모두 시뮬레이션 데이터가 종종 비현실적이라는 문제에 직면함
실제 세계 데이터를 대규모로 수집하는 것은 비용이 많이 들며, 드문 이벤트에 대한 충분한 데이터를 수집하는 것은 도전적임
Sora와 같은 모델이 여기에서 매우 유용할 수 있음. 직접 완전한 합성 데이터를 생성하는 데 사용될 수 있다고 생각함
Sora는 기존 비디오를 다른 모습으로 변환하는 데이터 증강에도 사용될 수 있음
위에서 설명한 두 번째 포인트는 Sora가 숲길을 달리는 빨간 차의 비디오를 울창한 정글 풍경으로 변환하는 것을 보여줌
같은 기술을 사용하여 장면을 낮 대 밤으로 재렌더링하거나 날씨 조건을 변경하는 것을 상상할 수 있음
시뮬레이션과 월드 모델
소위 월드 모델을 학습하는 것은 유망한 연구 방향임
충분히 정확하다면, 이러한 월드 모델은 에이전트를 직접 내부에서 훈련시키거나 계획 및 탐색에 사용될 수 있음.
Sora와 같은 모델은 비디오 데이터로부터 직접 실제 세계가 어떻게 작동하는지에 대한 기본적인 시뮬레이션을 암시적으로 학습하는 것으로 보임
이러한 “등장하는 시뮬레이션“은 현재 결함이 있지만 그럼에도 불구하고 흥미로움: 비디오로부터 이러한 월드 모델을 대규모로 훈련시킬 수 있을지도 모른다는 것을 시사함
더욱이, Sora는 액체, 빛의 반사, 직물 및 머리카락 움직임과 같이 매우 복잡한 장면을 시뮬레이션할 수 있는 것으로 보임.
OpenAI는 기술 보고서의 제목을 “월드 시뮬레이터로서의 비디오 생성 모델“로 하여, 이를 모델의 가장 중요한 측면으로 여긴다는 것을 분명히 함.
매우 최근에, DeepMind는 비디오 게임의 비디오만으로 훈련함으로써 유사한 효과를 보인 Genie 모델을 시연함: 모델은 이 게임들을 시뮬레이션하는 방법을 학습하고(새로운 것들을 창조함)
이 경우 모델은 직접 관찰하지 않고도 행동에 조건을 부여하는 방법을 학습함
다시 말해, 목표는 이러한 시뮬레이션에서 직접 학습을 가능하게 하는 것임.
두개를 결합하여, Sora와 Genie와 같은 모델이 실제 세계의 작업에서 대규모로 구체화된 에이전트(예: 로보틱스에서)를 훈련시키는 데 매우 유용하게 사용될 수 있을 것으로 봄
하지만 한계가 있음: 이 모델들은 픽셀 공간에서 훈련되기 때문에, 바람이 풀잎을 어떻게 움직이는지와 같은 모든 세부 사항을 모델링하게 되며, 이는 수행 중인 작업에 전혀 관련이 없을 수 있음
잠재 공간은 압축되지만, 픽셀로 다시 매핑할 수 있어야 하므로 많은 정보를 유지해야 하며, 따라서 이 잠재 공간에서 계획이 효율적으로 이루어질 수 있는지는 불분명함
계산 추정치(Compute Estimates)
팩토리얼 펀즈에서는 훈련과 추론에 사용된 계산량을 살펴보는 것을 선호함. 미래에 필요할 계산량의 예측에 정보를 제공할 수 있기 때문에 유용함
하지만, Sora를 훈련시키는 데 사용된 모델 크기와 데이터셋에 대한 세부 사항이 거의 없기 때문에 이러한 수치를 추정하는 것도 어려움
따라서 이 섹션의 추정치는 매우 불확실하므로, 이를 유념하고 참고해야 함
(추정치 일뿐이므로, 이 부분은 생략합니다)
로보틱스 및 자율 주행 차량과 같은 영역에서는 데이터가 본질적으로 희귀함: 인터넷에는 작업을 수행하는 로봇이나 운전하는 차량의 영상이 풍부하지 않음.
일반적으로 이러한 문제들은 시뮬레이션에서 훈련하거나 실제 세계에서 대규모로 데이터를 수집하는 방법(또는 둘 다의 조합)으로 접근해왔음
하지만, 두 접근법 모두 시뮬레이션 데이터가 종종 비현실적이라는 문제에 직면함
실제 세계 데이터를 대규모로 수집하는 것은 비용이 많이 들며, 드문 이벤트에 대한 충분한 데이터를 수집하는 것은 도전적임
Sora와 같은 모델이 여기에서 매우 유용할 수 있음. 직접 완전한 합성 데이터를 생성하는 데 사용될 수 있다고 생각함
Sora는 기존 비디오를 다른 모습으로 변환하는 데이터 증강에도 사용될 수 있음
위에서 설명한 두 번째 포인트는 Sora가 숲길을 달리는 빨간 차의 비디오를 울창한 정글 풍경으로 변환하는 것을 보여줌
같은 기술을 사용하여 장면을 낮 대 밤으로 재렌더링하거나 날씨 조건을 변경하는 것을 상상할 수 있음
시뮬레이션과 월드 모델
소위 월드 모델을 학습하는 것은 유망한 연구 방향임
충분히 정확하다면, 이러한 월드 모델은 에이전트를 직접 내부에서 훈련시키거나 계획 및 탐색에 사용될 수 있음.
Sora와 같은 모델은 비디오 데이터로부터 직접 실제 세계가 어떻게 작동하는지에 대한 기본적인 시뮬레이션을 암시적으로 학습하는 것으로 보임
이러한 “등장하는 시뮬레이션“은 현재 결함이 있지만 그럼에도 불구하고 흥미로움: 비디오로부터 이러한 월드 모델을 대규모로 훈련시킬 수 있을지도 모른다는 것을 시사함
더욱이, Sora는 액체, 빛의 반사, 직물 및 머리카락 움직임과 같이 매우 복잡한 장면을 시뮬레이션할 수 있는 것으로 보임.
OpenAI는 기술 보고서의 제목을 “월드 시뮬레이터로서의 비디오 생성 모델“로 하여, 이를 모델의 가장 중요한 측면으로 여긴다는 것을 분명히 함.
매우 최근에, DeepMind는 비디오 게임의 비디오만으로 훈련함으로써 유사한 효과를 보인 Genie 모델을 시연함: 모델은 이 게임들을 시뮬레이션하는 방법을 학습하고(새로운 것들을 창조함)
이 경우 모델은 직접 관찰하지 않고도 행동에 조건을 부여하는 방법을 학습함
다시 말해, 목표는 이러한 시뮬레이션에서 직접 학습을 가능하게 하는 것임.
두개를 결합하여, Sora와 Genie와 같은 모델이 실제 세계의 작업에서 대규모로 구체화된 에이전트(예: 로보틱스에서)를 훈련시키는 데 매우 유용하게 사용될 수 있을 것으로 봄
하지만 한계가 있음: 이 모델들은 픽셀 공간에서 훈련되기 때문에, 바람이 풀잎을 어떻게 움직이는지와 같은 모든 세부 사항을 모델링하게 되며, 이는 수행 중인 작업에 전혀 관련이 없을 수 있음
잠재 공간은 압축되지만, 픽셀로 다시 매핑할 수 있어야 하므로 많은 정보를 유지해야 하며, 따라서 이 잠재 공간에서 계획이 효율적으로 이루어질 수 있는지는 불분명함
계산 추정치(Compute Estimates)
팩토리얼 펀즈에서는 훈련과 추론에 사용된 계산량을 살펴보는 것을 선호함. 미래에 필요할 계산량의 예측에 정보를 제공할 수 있기 때문에 유용함
하지만, Sora를 훈련시키는 데 사용된 모델 크기와 데이터셋에 대한 세부 사항이 거의 없기 때문에 이러한 수치를 추정하는 것도 어려움
따라서 이 섹션의 추정치는 매우 불확실하므로, 이를 유념하고 참고해야 함
(추정치 일뿐이므로, 이 부분은 생략합니다)
GeekNews
OpenAI의 Sora 모델 작동 원리 | GeekNews
Sora(소라)는 Diffusion Transformers(DiT), Latent Diffusion을 기반으로 하며, 모델과 훈련 데이터셋을 대규모로 확장소라는 비디오 모델을 확장하는 것이 가치가 있으며, 대규모 언어 모델(LLM)과 유사한 추가 확장이 모델을 빠르게 개선하는 주요 동력이 될 것임을 보여줌Runway, Genmo, Pika와 같은 회사들이
👍1
Continuous Learning_Startup & Investment
https://youtu.be/r_8XClnnvIk
Vietnam's prime minister has met with U.S. chip equipment maker Lam Research as the company looks at diversifying its supply chain and warns of a hit to its China business from U.S. export controls.
Lam Research told Nikkei Asia on Friday that its Group Vice President of Global Operations Karthik Rammohan went to Hanoi to "evaluate opportunities to diversify our supply chain and support our manufacturing operations in Asia." He was hosted by Prime Minister Pham Minh Chinh. Vietnam is urging the company to invest $1 billion in local production.
The government said on its website on Thursday that Lam Research would work with Seojin, a South Korean business with factories in the provinces of Bac Ninh and Bac Giang, a Vietnamese stronghold of Samsung phone and semiconductor production. Seojin, a supplier to Samsung and Intel, declined to confirm its involvement.
China comprised 26% of Lam Research's income in 2023, down from 31% in 2022. The California company said in a securities filing that U.S. restrictions on exports to Chinese customers "adversely" affected revenues and "could potentially do so to an even greater extent in the future."
It sources tin and tungsten from eight companies in Vietnam, including Alibaba-backed conglomerate Masan, but said it had no current plans for expansion.
"We believe that Vietnam, with its infrastructure and skilled workforce, will play an important role in the semiconductor value chain as the industry continues to geographically diversify," Jeanette Tan, Lam Research vice president for Asia communications, told Nikkei.
https://asia.nikkei.com/Business/Tech/Semiconductors/Lam-Research-eyes-Vietnam-chip-supply-chain-as-China-curbs-bite?utm_source=telegram&utm_medium=referral&utm_campaign=IC_telegram_channel&utm_content=telegram_channel_posts
Lam Research told Nikkei Asia on Friday that its Group Vice President of Global Operations Karthik Rammohan went to Hanoi to "evaluate opportunities to diversify our supply chain and support our manufacturing operations in Asia." He was hosted by Prime Minister Pham Minh Chinh. Vietnam is urging the company to invest $1 billion in local production.
The government said on its website on Thursday that Lam Research would work with Seojin, a South Korean business with factories in the provinces of Bac Ninh and Bac Giang, a Vietnamese stronghold of Samsung phone and semiconductor production. Seojin, a supplier to Samsung and Intel, declined to confirm its involvement.
China comprised 26% of Lam Research's income in 2023, down from 31% in 2022. The California company said in a securities filing that U.S. restrictions on exports to Chinese customers "adversely" affected revenues and "could potentially do so to an even greater extent in the future."
It sources tin and tungsten from eight companies in Vietnam, including Alibaba-backed conglomerate Masan, but said it had no current plans for expansion.
"We believe that Vietnam, with its infrastructure and skilled workforce, will play an important role in the semiconductor value chain as the industry continues to geographically diversify," Jeanette Tan, Lam Research vice president for Asia communications, told Nikkei.
https://asia.nikkei.com/Business/Tech/Semiconductors/Lam-Research-eyes-Vietnam-chip-supply-chain-as-China-curbs-bite?utm_source=telegram&utm_medium=referral&utm_campaign=IC_telegram_channel&utm_content=telegram_channel_posts
Nikkei Asia
Lam Research eyes Vietnam chip supply chain as China curbs bite
Steady stream of semiconductor players enters country amid tech war
-필즈상 이후 근황이 궁금합니다.
“본질적으론 달라진 게 없어요. 수학 바깥에서 해야 할 일이 좀 더 생겼습니다. 연락과 이메일이 많아지고, 인터뷰나 강연 요청을 받으면서 시간을 빼앗겨요. 무게감을 느끼지만, 수학자는 세상과 소통이 안 될수록 좋아요(웃음). 속 편하게 연구에만 집중할 수 있으니까요.”
-제가 ‘언론계의 라이징 스타’ ‘하늘이 내린 천재 기자’ 소리를 듣는다면 잠깐 기분이 좋다가도 머리가 무겁고 소화가 안 될 것 같습니다만.
“필즈상의 기쁨도 며칠 안 갔어요. 그 이후에도 수십 년 동안 일상을 살아가야 하잖아요. 필즈상은 사전에 통보를 받았으니까, 좋은 기분은 시상식 열리기도 전에 사라져 버렸지요. 하하.”
-한때 시인을 꿈꾸고 고교도 중퇴했는데, ‘내가 걸어온 구불구불한 길이 내게는 가장 빠른 길이었다’는 수상 소감이 인상적이었습니다. 지금은 직선 활주로 위에 있다고 생각하나요?
“그렇지는 않고 현실은 정반대에 가깝습니다. 아무래도 신경 쓸 게 많아져서 연구자로서는 페널티(벌칙)를 받은 기분이에요.”
-상이 아니라 벌이라고요?
“네. 노벨상이나 필즈상을 받은 과학자들이 평생 어떤 결과물을 냈는지 통계적으로 살펴본 연구가 있습니다. 수상자들 대부분은 연구 아웃풋이 떨어졌어요. (그 흐름에 저항하는지 묻자) 모두가 최선을 다해 저항하겠지요. 저도 그렇고요.”
-허준이의 전성시대는 끝난 건가요?
“아직 안 왔습니다. 젊을 때는 너무 열심히 하는 것을 경계할 만큼 공부를 많이 했어요. 하루 24시간 주구장창 달리던 시절이 종종 그립습니다. 요즘에는 집에 가면 열 살과 세 살 난 아이들이 있으니까 자연스럽게 초기화가 돼요. 제 전성시대는 둘째를 대학에 보내고 나서 올 겁니다(웃음).”
-서울대 시절 히로나카 헤이스케 교수(필즈상 수상자)가 멘토가 돼준 것처럼, 이제 교수님이 누군가의 멘토가 됐습니다.
“멘토 역할이 부담스러웠어요. 뚜렷한 생각을 밝히고 조언하는 성격이 아니거든요. 제 코가 석 자예요(웃음). 좋은 연구를 하는 방법론을 가진 것도 아닙니다. 그런데 저를 잘 정립된 학자로 인식하던 분들이 제 고민과 막연함, 망설이는 모습 등을 보면서 거꾸로 안도감과 자신감을 갖는 것 같아요. 필즈상 받은 허준이도 본질적으론 별 차이가 없구나, 어려운 과정을 거치는 건 매한가지구나….”
-가르치는 기쁨은 어떻게 다른가요?
“가르칠 때는 즉각적으로 보상이 와요. 연구는 100번, 1000번 시도해도 계속 실패의 연속입니다. 아주 긴 시간 동안 아무 보상이 없다가 어느 날 ‘아, 이렇게 되는구나’ 하며 큰 즐거움을 주지요. 저도 100일 중 99일은 ‘오늘도 허탕쳤구나’예요.”
-수학의 가장 큰 매력이라면.
“많은 사람이 독립적 과정을 거쳐 같은 결론에 닿고 깨끗하게 소통하는 것이지요. 결론까지 가는 과정은 고통스럽지만 한번 도달하고 난 사람들끼리는 완벽히 동의하게 됩니다. 또 하나의 매력은 수학에는 우리가 이해하지 못하는 문제나 구조가 어마어마하게 많다는 거예요. 어느 방향으로든 조금만 걸어가면 미지의 영역에 도착해요.”
-그건 답답한 것 아닌가요?
“수학자에게는 대부분의 경우 굉장히 큰 즐거움입니다. 모르는 것을 이해할 가능성이 열려 있으니까요. 종교인이 초월적 존재에게 배우고 마음의 평화를 얻는 것처럼, 이따금 굉장히 신비하면서도 만족스러운 상태를 경험하게 됩니다. 시시해질 틈이 없어요.”
-수학 공부를 하면서 보람이라면.
“여러 문화권에서 다른 방식으로 성장한, 굉장히 재능 있는 사람들과 교류하며 생각을 섞을 수 있다는 점이에요. 그들 틈에 들어가면 ‘나는 똑똑하구나’는 저절로 사라집니다. 자아가 작아졌고 겸손해졌어요. 땅에 발을 붙이고 현실을 정확히 보며 살고 있습니다.”
-어느 분야에서 어떤 연구를 하는지 쉽게 설명해 주십시오.
“수학은 역사가 길어서 몇몇 분야로 갈라졌어요. 먼저 셀 수 있는 구조를 말하는 이산(離散)수학적인 대상이 있습니다. 다음으로 대수(代數)적인 분야, 기하학이라는 공간에 대한 분야도 있습니다. 제가 하는 일은 서로 다른 종류의 수학적 대상들 사이에 ‘다리’를 놓아 한 가지 분야에서 연구되는 대상을 다른 분야의 도구나 사고방식으로 이해하고자 하는 거예요. 대수기하학과 조합론을 연결 짓는 데 집중합니다.”
-그런 연결점을 어떻게 찾습니까.
“어떤 대상을 이해하는 데 첫 번째 겪는 어려움은 적당한 언어를 가지고 있지 않아서예요. 인간은 언어에 기반해 사고하는 종(種)이니까요. 적당한 언어를 개발해 그 대상을 기술하는 시기가 오지만, 그 언어라는 틀이 강제하는 편견도 있어서 결국 더는 나아갈 수 없는 지점에 도착합니다. 그럴 땐 허물어야 해요. 그동안 발전을 가능하게 한 프레임의 편견을. 저는 정확히 그 일에 종사하고 있습니다.”
-수학적 편견 또는 고정관념을 허무는 작업이군요.
“(고개를 끄덕이며) 그렇게 언어를 쌓고 허물고 쌓고 허물고 하면서 조금씩 나아가는 게 아닐까 생각해요.”
-평범한 일과가 궁금합니다.
“오전 7시 52분에 큰아들을 학교 셔틀에 태웁니다. 8시에 집 근처 카페에 도착해 커피를 마시고, 9시에 지하철을 타고 세 번 환승해 회기역에 내립니다. 고등과학원까지 걷는 데 20분 걸려요. 10시에 연구실에 도착하죠. 오후 5시에 퇴근하고요.”
-귀가하면 평범한 가장이 됩니까.
“제가 평범하지 않은 가장이라는 것을 전제한 질문 같군요. 아이들과 잘 놀아줍니다. 수학자라고 특별하지 않아요. 집중이 안 될 땐 유튜브도 보고요.”
-허 교수를 만난다니까 수학 교육법을 궁금해하더군요. 2년 전엔 큰아들이 수학 문제를 내고 허 교수가 풀고 큰아들이 채점한다고 했는데 이제 초등학교 3학년이죠?
“네, 동그라미 개수 맞히는 수준은 벗어났어요. 요즘 귀가하면 ‘숙제했니?’ ‘숙제 왜 안 하니?’ ‘지금 해야 되지 않을까?’ 이렇게 말하는 단계가 됐습니다. 하하.”
-어려서 부친(허명회 고려대 통계학과 명예교수)에게 당한 수학 문제집 숙제의 대물림인가요?
“아휴, 그래도 숙제는 해야죠! 요즘은 ‘아드님’이 학교에 있는 시간도 길어지고 바빠졌어요. (구구단은 뗐는지 묻자) 외우게 하지는 않았는데 시간은 좀 걸려도 정확한 답을 찾아내더라고요. 궁금한 게 생기면 묻기도 하는데, 아내도 수학자지만 제가 더 친절하게 가르쳐준다고 저는 생각합니다.”
-음식 기다리는 시간도 아까워서 손님 없는 식당에 가고, 물건 구매할 때도 가격 비교 따위는 안 하셨다면서요. 요즘도 시간을 아끼며 사나요?
“아내가 들으면 웃음이 빵 터지겠네요. 그 시절에는 수학에 몰입하면 생각을 멈추지 않는 습성이 있었어요. 문제에서 빠져나오면 다시 들어가기 어려우니까요. 아까 말했듯이 지식은 휘발성이 강해요. 10까지 가야 하는데 5에서 멈추면 돌아갈 때 5부터 시작하는 게 아니라 다시 처음부터 올라가야 해요. 등산할 때 어느 높이까지는 도착해야 쉬기 적당한 장소가 있듯이, 수학에도 그런 지점들이 있습니다. 뭉텅이 시간과 뭉텅이 주의력을 요구해요.”
수학은 어떤 쓸모가 있을까. 허 교수는 “다른 수학자라면 구글 검색엔진에 행렬이 사용되고 AI 모델에 그래프 이론을 활용한다고 답할 텐데, 더 근본적으로 수학은 우리가 생각하는 데 필요한 언어를 개발하는 일”이라며 수학을 변호했다.
-좀 더 설명해 주신다면.
“예컨대 30만년 정도 거슬러 올라가서 인간이 언어를 자연스럽게 사용할락 말락 하고 있을 때, 언어를 가지는 게 농사나 사냥에는 별 도움이 되지 않았을 거예요. 하지만 현대에 우리가 누리는 대부분은 언어를 통해 서로 다른 개체, 서로 다른 세대와 소통함으로써 지식을 축적한 결과물입니다. 수학도 자연적이거나 추상적인 것을 이해할 때 가장 유용하게 쓸 수 있는 언어예요.”
-수학의 오랜 난제를 AI가 먼저 푸는 날도 올까요?
“저는 그렇지 않을 거라고 봅니다. 다만 가까운 미래에 인간 수학자와 AI가 협력하면서 이전 세대 연구자들이 가지 못한 깊이까지 도달하게 될 거예요. 말하자면 그동안 이해하지 못한 것을 두뇌 외에 AI를 이용해 이해하게 되는 거죠. (수학자로서 허탈하진 않은지 묻자) 전혀요. AI도 인간이 만든 거잖아요.”
-스탠퍼드와 프린스턴에서 강의해 보니 한국 학생들이 더 잘 준비돼 있다는 느낌은 받지 않았다면서요?
“본질적으론 달라진 게 없어요. 수학 바깥에서 해야 할 일이 좀 더 생겼습니다. 연락과 이메일이 많아지고, 인터뷰나 강연 요청을 받으면서 시간을 빼앗겨요. 무게감을 느끼지만, 수학자는 세상과 소통이 안 될수록 좋아요(웃음). 속 편하게 연구에만 집중할 수 있으니까요.”
-제가 ‘언론계의 라이징 스타’ ‘하늘이 내린 천재 기자’ 소리를 듣는다면 잠깐 기분이 좋다가도 머리가 무겁고 소화가 안 될 것 같습니다만.
“필즈상의 기쁨도 며칠 안 갔어요. 그 이후에도 수십 년 동안 일상을 살아가야 하잖아요. 필즈상은 사전에 통보를 받았으니까, 좋은 기분은 시상식 열리기도 전에 사라져 버렸지요. 하하.”
-한때 시인을 꿈꾸고 고교도 중퇴했는데, ‘내가 걸어온 구불구불한 길이 내게는 가장 빠른 길이었다’는 수상 소감이 인상적이었습니다. 지금은 직선 활주로 위에 있다고 생각하나요?
“그렇지는 않고 현실은 정반대에 가깝습니다. 아무래도 신경 쓸 게 많아져서 연구자로서는 페널티(벌칙)를 받은 기분이에요.”
-상이 아니라 벌이라고요?
“네. 노벨상이나 필즈상을 받은 과학자들이 평생 어떤 결과물을 냈는지 통계적으로 살펴본 연구가 있습니다. 수상자들 대부분은 연구 아웃풋이 떨어졌어요. (그 흐름에 저항하는지 묻자) 모두가 최선을 다해 저항하겠지요. 저도 그렇고요.”
-허준이의 전성시대는 끝난 건가요?
“아직 안 왔습니다. 젊을 때는 너무 열심히 하는 것을 경계할 만큼 공부를 많이 했어요. 하루 24시간 주구장창 달리던 시절이 종종 그립습니다. 요즘에는 집에 가면 열 살과 세 살 난 아이들이 있으니까 자연스럽게 초기화가 돼요. 제 전성시대는 둘째를 대학에 보내고 나서 올 겁니다(웃음).”
-서울대 시절 히로나카 헤이스케 교수(필즈상 수상자)가 멘토가 돼준 것처럼, 이제 교수님이 누군가의 멘토가 됐습니다.
“멘토 역할이 부담스러웠어요. 뚜렷한 생각을 밝히고 조언하는 성격이 아니거든요. 제 코가 석 자예요(웃음). 좋은 연구를 하는 방법론을 가진 것도 아닙니다. 그런데 저를 잘 정립된 학자로 인식하던 분들이 제 고민과 막연함, 망설이는 모습 등을 보면서 거꾸로 안도감과 자신감을 갖는 것 같아요. 필즈상 받은 허준이도 본질적으론 별 차이가 없구나, 어려운 과정을 거치는 건 매한가지구나….”
-가르치는 기쁨은 어떻게 다른가요?
“가르칠 때는 즉각적으로 보상이 와요. 연구는 100번, 1000번 시도해도 계속 실패의 연속입니다. 아주 긴 시간 동안 아무 보상이 없다가 어느 날 ‘아, 이렇게 되는구나’ 하며 큰 즐거움을 주지요. 저도 100일 중 99일은 ‘오늘도 허탕쳤구나’예요.”
-수학의 가장 큰 매력이라면.
“많은 사람이 독립적 과정을 거쳐 같은 결론에 닿고 깨끗하게 소통하는 것이지요. 결론까지 가는 과정은 고통스럽지만 한번 도달하고 난 사람들끼리는 완벽히 동의하게 됩니다. 또 하나의 매력은 수학에는 우리가 이해하지 못하는 문제나 구조가 어마어마하게 많다는 거예요. 어느 방향으로든 조금만 걸어가면 미지의 영역에 도착해요.”
-그건 답답한 것 아닌가요?
“수학자에게는 대부분의 경우 굉장히 큰 즐거움입니다. 모르는 것을 이해할 가능성이 열려 있으니까요. 종교인이 초월적 존재에게 배우고 마음의 평화를 얻는 것처럼, 이따금 굉장히 신비하면서도 만족스러운 상태를 경험하게 됩니다. 시시해질 틈이 없어요.”
-수학 공부를 하면서 보람이라면.
“여러 문화권에서 다른 방식으로 성장한, 굉장히 재능 있는 사람들과 교류하며 생각을 섞을 수 있다는 점이에요. 그들 틈에 들어가면 ‘나는 똑똑하구나’는 저절로 사라집니다. 자아가 작아졌고 겸손해졌어요. 땅에 발을 붙이고 현실을 정확히 보며 살고 있습니다.”
-어느 분야에서 어떤 연구를 하는지 쉽게 설명해 주십시오.
“수학은 역사가 길어서 몇몇 분야로 갈라졌어요. 먼저 셀 수 있는 구조를 말하는 이산(離散)수학적인 대상이 있습니다. 다음으로 대수(代數)적인 분야, 기하학이라는 공간에 대한 분야도 있습니다. 제가 하는 일은 서로 다른 종류의 수학적 대상들 사이에 ‘다리’를 놓아 한 가지 분야에서 연구되는 대상을 다른 분야의 도구나 사고방식으로 이해하고자 하는 거예요. 대수기하학과 조합론을 연결 짓는 데 집중합니다.”
-그런 연결점을 어떻게 찾습니까.
“어떤 대상을 이해하는 데 첫 번째 겪는 어려움은 적당한 언어를 가지고 있지 않아서예요. 인간은 언어에 기반해 사고하는 종(種)이니까요. 적당한 언어를 개발해 그 대상을 기술하는 시기가 오지만, 그 언어라는 틀이 강제하는 편견도 있어서 결국 더는 나아갈 수 없는 지점에 도착합니다. 그럴 땐 허물어야 해요. 그동안 발전을 가능하게 한 프레임의 편견을. 저는 정확히 그 일에 종사하고 있습니다.”
-수학적 편견 또는 고정관념을 허무는 작업이군요.
“(고개를 끄덕이며) 그렇게 언어를 쌓고 허물고 쌓고 허물고 하면서 조금씩 나아가는 게 아닐까 생각해요.”
-평범한 일과가 궁금합니다.
“오전 7시 52분에 큰아들을 학교 셔틀에 태웁니다. 8시에 집 근처 카페에 도착해 커피를 마시고, 9시에 지하철을 타고 세 번 환승해 회기역에 내립니다. 고등과학원까지 걷는 데 20분 걸려요. 10시에 연구실에 도착하죠. 오후 5시에 퇴근하고요.”
-귀가하면 평범한 가장이 됩니까.
“제가 평범하지 않은 가장이라는 것을 전제한 질문 같군요. 아이들과 잘 놀아줍니다. 수학자라고 특별하지 않아요. 집중이 안 될 땐 유튜브도 보고요.”
-허 교수를 만난다니까 수학 교육법을 궁금해하더군요. 2년 전엔 큰아들이 수학 문제를 내고 허 교수가 풀고 큰아들이 채점한다고 했는데 이제 초등학교 3학년이죠?
“네, 동그라미 개수 맞히는 수준은 벗어났어요. 요즘 귀가하면 ‘숙제했니?’ ‘숙제 왜 안 하니?’ ‘지금 해야 되지 않을까?’ 이렇게 말하는 단계가 됐습니다. 하하.”
-어려서 부친(허명회 고려대 통계학과 명예교수)에게 당한 수학 문제집 숙제의 대물림인가요?
“아휴, 그래도 숙제는 해야죠! 요즘은 ‘아드님’이 학교에 있는 시간도 길어지고 바빠졌어요. (구구단은 뗐는지 묻자) 외우게 하지는 않았는데 시간은 좀 걸려도 정확한 답을 찾아내더라고요. 궁금한 게 생기면 묻기도 하는데, 아내도 수학자지만 제가 더 친절하게 가르쳐준다고 저는 생각합니다.”
-음식 기다리는 시간도 아까워서 손님 없는 식당에 가고, 물건 구매할 때도 가격 비교 따위는 안 하셨다면서요. 요즘도 시간을 아끼며 사나요?
“아내가 들으면 웃음이 빵 터지겠네요. 그 시절에는 수학에 몰입하면 생각을 멈추지 않는 습성이 있었어요. 문제에서 빠져나오면 다시 들어가기 어려우니까요. 아까 말했듯이 지식은 휘발성이 강해요. 10까지 가야 하는데 5에서 멈추면 돌아갈 때 5부터 시작하는 게 아니라 다시 처음부터 올라가야 해요. 등산할 때 어느 높이까지는 도착해야 쉬기 적당한 장소가 있듯이, 수학에도 그런 지점들이 있습니다. 뭉텅이 시간과 뭉텅이 주의력을 요구해요.”
수학은 어떤 쓸모가 있을까. 허 교수는 “다른 수학자라면 구글 검색엔진에 행렬이 사용되고 AI 모델에 그래프 이론을 활용한다고 답할 텐데, 더 근본적으로 수학은 우리가 생각하는 데 필요한 언어를 개발하는 일”이라며 수학을 변호했다.
-좀 더 설명해 주신다면.
“예컨대 30만년 정도 거슬러 올라가서 인간이 언어를 자연스럽게 사용할락 말락 하고 있을 때, 언어를 가지는 게 농사나 사냥에는 별 도움이 되지 않았을 거예요. 하지만 현대에 우리가 누리는 대부분은 언어를 통해 서로 다른 개체, 서로 다른 세대와 소통함으로써 지식을 축적한 결과물입니다. 수학도 자연적이거나 추상적인 것을 이해할 때 가장 유용하게 쓸 수 있는 언어예요.”
-수학의 오랜 난제를 AI가 먼저 푸는 날도 올까요?
“저는 그렇지 않을 거라고 봅니다. 다만 가까운 미래에 인간 수학자와 AI가 협력하면서 이전 세대 연구자들이 가지 못한 깊이까지 도달하게 될 거예요. 말하자면 그동안 이해하지 못한 것을 두뇌 외에 AI를 이용해 이해하게 되는 거죠. (수학자로서 허탈하진 않은지 묻자) 전혀요. AI도 인간이 만든 거잖아요.”
-스탠퍼드와 프린스턴에서 강의해 보니 한국 학생들이 더 잘 준비돼 있다는 느낌은 받지 않았다면서요?