며칠 전, 정재승 교수님의 명상에 대한 글을 썼는데, 이에 대해 생각할 거리를 주신 분의 코멘트에 대해 답글을 달다가, 그것이 너무 길어져서 아예 하나의 글로 갈음합니다.

먼저 그분이 주신 코멘트 1입니다.
"메디컬 스터디로는 명상과 호흡이 정신건강에 도움이 된다는 게 여러번 연구가 입증 된걸로 아는데요. 하바드 메디컬 저널도 90년대 부터 밝혀 온걸로 아는데. 달라이 라마를 초대해서 실험도 한것으로 알고 있어요. 통계학적으로 증명되었다고 원리가 밝혀진 것은 아닌 게 맞는 거 같아요.
효과가 통계적으로 밝혀 졌다고 과학으로 간주되는 것은 옳지 않고 유사 과학에 대한 의구심을 제기 하시는 것으로 이해가 되는데요. 다만 음식과 의료학이라는 것이 원리를 밝히지 못하고 단지 causality만 입증하는 것에 기반된다고 이해하고 있습니다. 그래서 많은 경우 샘플이 부족하거나 변인 통제를 하지 못하거나 다른 원인 배제를 하지 못하여 뒤집히는 경우가 많죠.
다만 메디컬 리서치에 통계적으로 입증하는 방법이 유사 과학이라고 하는 것도 조금 찜찜해사 여쭤 보는 데 의료 과학은 통계적으로만 인과 관계를 입증하려 하는데 이는 과학의 영역이 아니라고 보는데 맞을까요? 물론 저도 이는 뇌과학이라고 보지 않는게 맞다는 생각이 들기도 하는데. 그럼 뇌과학의 영역이라는 기 무었일까 하는 것도 의문이 드네요. 교수님의 의견을 여쭙고 싶어 댓글 달아봅니다."

이에 대한 제 의견은 이러했습니다.
"저는 의료 알못이긴 합니다만, 여전히 의학, 특히 환자를 대상으로 하는 evidence-based medicine은 보다 기초적인 fundamental science에 비해서는 여전히 중간 메커니즘이나 모형이 완벽하지 않은 경우가 많다고 봅니다. 어떤 약물을 우연히 개발하여 그것이 효과가 있음을 여러 단계에 걸쳐 확인했고, 임상시험을 거쳐 환자들에게 복용시키는 경우라고 해도, 왜 그것이 작동하는지 다 모르는 상황에서 복용하는 경우도 많죠. 멀리 갈 것도 없이 머신러닝에서도 중간의 NN 안에서 실제로 어떠한 방식으로 추론이 이루어지고 판단이 내려지는지 다 모르는 상황에서도, 이제 사람들은 큰 거부감없이 NN를 잘 쓰고 있지 않나요?
말씀처럼, 통계적으로 유의미한 결론이 얻어지고 데이터의 정합성이 확인되었다고 해도, 그 안의 블랙박스를 다 파악하는 것은 쉬운 일은 아니라 생각합니다. 그 편린이라도 찾으려 다양한 실험이나 계산, 시뮬레이션이 계속 진행되고 있는 것이구요. 제가 연구하는 소재 과학 분야에서도 아주 작은 스케일로 가면 기존의 모형으로 설명되지 않는 현상들이 굉장히 많습니다. 인간이 physical science를 통해 자연에 대한 이해를 꾸준히 깊이 달성해 왔지만, 그럴수록 모르는 것이 더 많아지고 있고, 저는 그것이 정상적인 진보의 방향이라고 생각합니다. 이론물리학, 그리고 나아가 물리학 자체의 금자탑인 표준모형 (standard model)만 해도, 그 자체로 큰 성과이지만, 표준모형으로 여전히 설명 안되는 것들 (예를 들어 암흑 물질이나 암흑 에너지 등)이 남아 있죠.
그런데 물리학과는 달리, 생명과학, 의학, 혹은 나아가 명상 같은 분야에서는, 애초에 물리학에 준하는 모형을 만드는 것 자체가 매우 어렵고 (설사 생명 현상을 물리학의 일부로 간주하여 ab inito modeling을 한다고 하더라도, 어느 순간부터는 bottom-up이 emergence를 설명하는 것에 실패하게 되죠), 정확히 같은 조건을 만들어 재현하는 것 역시 매우 어려운지라, 통계에 의존하는 경향이 더 강해진 것 같기도 합니다. 그것이 나아가 evidence-based practice의 근거가 되어 준 것 같기도 하고요.
명상이 뇌과학의 일부, 혹은 관련 제도권 과학의 일부로 편입되어 정상적인 과정을 거쳐 학문으로 성립된다면, 저는 그래서 명상 역시 처음에는 의학에서 활용하는 증거기반 방식으로 시작한 후, 뇌과학의 다양한 연구 방법론 (예를 들어 fMRI나 뇌파 분석, virtual brain simulation 등의 계산 뇌과학 방법론 등을 이용하는)을 거쳐 조금씩 불확실성을 덜어내는 방식으로 발전 경로를 밟을 수 있지 않을까 생각해 봅니다. 이 글의 본 타래에 답글 주신 학자분들의 의견을 들어봐도 대동소이하구요.
어쨌든 저는 뇌알못이나, 제가 드리는 답변에는 오류가 있을 수 있으며, 그냥 참고만 해 주시기 바랍니다. 자칫 제 글이 명상을 제대로 연구해보고픈 뇌과학자들의 감정을 상하게 한 것은 아닌가 염려되기도 합니다만, 저는 오히려 그렇게 정상적으로 연구하시는 분들이 함부로 사이비와 엮여 매도당할 가능성이 염려되어 미리 선을 그어 두시기를 바라는 마음에서 이러한 글을 써 봤습니다. 부디 선해되기를 바랄 뿐입니다."

이에 대해 다시 주신 코멘트 2입니다.
"evidence-based medicine 이라는 것이 medicial “science”로 인정을 받는 다는 것은 이 분야가 단순한 hypothesis단계가 아닌 통계적으로 reproducible한 causality를 증명 하고 있다고 생각은 듭니다.
당연히 아시겠지만 우리가 알고 있던 Newton 법칙은 observation을 바탕으로 그 자연 법칙에 대해서 hypothesis를 세우고 이를 evidence 를 바탕으로 통계적으로 유의미하게 prove를 한 결과인데요. 뉴튼의 제1 제2 제 3 법칙은 그 법칙의 통계적 유의성을 증명 했을 뿐 그 기반 원칙은 당시에 파악하지 못했는데요.
실제 F=ma 만해도 observation graph를 그려보면 이 원칙이 맞는 구간이 있을 뿐 틀린 구간도 실제 많습니다. 이를 설명하기위해 friction coefficient를 해서 모델을 다시 재 정립하는 경우도 본거 같은데 이거 역시 하나의 모델에 대한 방정식에 불가 할뿐 이에 대한 예외가 되는 현상은 여전히 관측되죠. 실제 이런 모델이 완벽하게 fail하는 순간은 환경에 따라서 일어나기도 하는데요. 초전도체가 생기는 낮은 온도에서는 이러한 장력 조차 낮아져서 결국 입자성이 떨어지고 파장형이 강해져서 F=ma 는 맞을수가 없기도 하죠.
다만 우리가 이 법칙을 받아 들일때는 분자 원자 혹은 양자 단계에서 어떤 원리라 이런 현상이 생기는지에 대한 것를 모른체 모델을 만들고 과학이라 부른 뒤 이 내부 원리를 세분화 해서 다시 연구하는데요. 이부분은 이미 지적하셨고 저도 동의 합니다.
결국 science 라는 것은 현상을 관찰하고 모델이나 방정식 혹은 인과 관계라는 원리를 가설로 하고 내부에서 어떻게 작동하지 모른 체로 blackbox처럼 가정한 상태에서 통계적으로 혹은 scientific 하게 reproducible 한 방법으로 증명하는 게 기본적인게 아닌가 싶습니다.
만약 명상이라는 것이 인간의 우울증을 극복하는데 효과가 있다 혹은 삶의 만족도를 높히는데 효과가 있다 라는 가설을 세우고 이를 통계적 유의성을 증명하고 따는 실험 단계에서 다시 한번 유의성을 재 입증하다면 이를 medicial science 로 받아 들여야 하는게 아닌 가 싶은 생각도 듭니다.
다만 이게 뇌과학이라는 영역일지는 정말 궁금하긴 합니다Physical Science 에도 macro micro nano 영역이 있듯이 뇌과학이라는 것이 결국 medical science 랑 달라져야 할텐데 명상이 mental health level이라는 애매모호한 지표가 아닌 physical property 를 어떻게 바꾼다 라는 것을 영역이 맞을 거 같다는 생각도 듭니다. 예를 들어 brain neural stimulus나 brain wiring을 바꾼다라는 가설을 세우고 이를 입증할만한 brain wave 나 특정 brain signal을 측정 한다면 좀더 뇌과학의 영역일거 같은데요. 이것 역시 간접적인 지표라 physical science 에 비해 역부족한 면은 있는 거 같습니다. 말씀 하신데로 어떤 원리로 라는 것도 부족합니다. 생명과학에서 특정 생명 현상의 (특히 약의) 근간이 되는 biological pathway 혹은 signal pathway를 발견하기까지는 꽤 오랜 기간이 걸렸는데 어떤 원리 를 찾는 다는 것이 정말 가능 할지 모르겠네요. 뇌학습의 원리조치 모르는 상황에서.

참고로 달라이 라마와 승려들과 같이 연구에 참여하여 Neuroplasticity and meditation 을 입증하려 한 실험은 다음 논문에서 다뤄지긴 했습니다.
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2944261/
이 논문을 통해서 Meditation 으로 생기는 neuron growth는 fMRI, EEG로도 증명이 되기도 하고요. 이를 바탕으로 Davidson이라는 교수가 자신의 career를 만들기도 했습니다.
https://abcnews.go.com/.../neuroscientist-richie.../story...
다만 이런 research가 이미 2000년대 초반에 나왔는데 그 뒤로 sensational하게 실제 많은 사람들의 건강을 바꿔 오지 않아서 이에 대한 문제 제기가 되는 거 같기는 합니다. 요는 Small population에서 효과가 있다는 cross sectional study 가 random polulation 에 적용되는 지 에 대한 실험들이나 broad spectrum analysis 들이 필요할 거 같은데요. 효과라는 게 일부 사람들에게 효과가 있지 모든 사람 혹은 significant population에게 효과가 있는지가 궁금해 지네요. 결국 명상이 모두에게 맞는지가 맞냐라는게 있는데 일부 약도 small population에 효과가 있는데도 모두에게 효과가 없는 경우도 꽤 되는 걸로 알고 있습니다. 교수님이 말씀 하신 거 처럼 나한테 효과 없다 혹은 나는 못하겠다 라는 게 꽤 많다는 점이 있는 거 같습니다.
반면 Cognitive Behavior Therapy 쪽에서는 mindfulness 라 하여 특정 명상 일부나 호흡의 극소 일부만 바탕으로 exercise 형식으로 만들어 clinical study 를 꽤 반복적으로 한것으로 알고 있는 걸로 알고 있습니다. 그래서 느낌적으로는 어느정도 증명이 되었다는 생각이 있는데 저도 뇌알못이라 가설일뿐 더 찾아봐야 겠습니다.
간단히 찾아봐도 초보자 novice 대상으로 3시간 meditation에 대한 효과도 입증하려 노력 하려 했기에 많은 연구들이 되고 있는 거 같긴 합니다.
https://www.sciencedirect.com/.../pii/S2451830120300479
일단 개인적인 흥미라 적으면서 정리하다 보니 두서가 없을 수도 있습니다. 다만 physical science 도 한때 그 기준이 낮았다는 점을 볼때 조금 피상적인 원리와 원칙도 과학의 범주가 아닐까, 뇌과학은 과연 메디칼 사이언스과 다른 점이 무었일까 해서 글을 남겨 봅니다.
말씀 하신 방법들을 통해 메디컬 사이언스와 그 depth 면에서 달라져야 한다는 생각이 많이 드네요. 뇌과학이라는 것 자체가 다른 학문에 비해서 공격이 더 쉽지만 증명하기에 과학 기술이 부족하기에 블랙박스적 분석도 용인 되어야 하는 생각도 들어 범주가 어려운 문제라는 생각도 듭니다."

주신 코멘트 1과 2를 모두 정리하여 제 의견은 이렇게 정리할 수 있을 것 같습니다.

다시 한번 강조드리지만 저는 이 분야에 거의 문외한이기 때문에, 제 생각은 그저 제 개인적인 의견일 뿐입니다. 다만, 일반론적인 과학 연구 방법론, 그리고 현상론에 대한 접근은 분야와 상관없이 잘 정립된 절차와 검토 과정이 필요하다는 것은 말씀드리고 싶습니다.

일단
"실제 F=ma 만해도 observation graph를 그려보면 이 원칙이 맞는 구간이 있을 뿐 틀린 구간도 실제 많습니다. 이를 설명하기위해 friction coefficient를 해서 모델을 다시 재 정립하는 경우도 본거 같은데 이거 역시 하나의 모델에 대한 방정식에 불가 할뿐 이에 대한 예외가 되는 현상은 여전히 관측되죠. 실제 이런 모델이 완벽하게 fail하는 순간은 환경에 따라서 일어나기도 하는데요. 초전도체가 생기는 낮은 온도에서는 이러한 장력 조차 낮아져서 결국 입자성이 떨어지고 파장형이 강해져서 F=ma 는 맞을수가 없기도 하죠."

라고 말씀 하신 부분입니다. F=ma 자체는 뉴턴 역학이지만, 이제 자연 법칙이라고 생각해도 무방합니다. 말씀하신 예외라는 것들도 결국 principle부터 따지면 예외가 될 수는 없습니다. 예를 들어 유체역학이 그러한 과정을 거쳐 왔습니다. 그냥 뉴턴 역학만 이용하여 유체역학 방정식을 유도한 결과가 오일러 방정식 (Euler equation)인데, 이 모형이 실제 현상 (예를 들어 유체의 점성에 의한 마찰 (점성 소산))과는 맞지 않고 수학적으로도 결함이 있음을 달랑베르가 지적했죠. (이를 달랑베르의 역설이라고 합니다.) 그렇지만 바로 그 뉴턴 역학을 기반으로 조금 더 정교한, 그렇지만 더 physically make sense 한 모델이 나왔고 그것이 스토크스 방정식 (Stokes' equation) 입니다. 결국 그 모형은 수학적 정합성을 검토하고, 현상과의 합치를 확인하면서 Navier-Stokes equation (NS equation)이 되었고, 이 방정식은 현재까지 우리가 이해할 수 있는 유체역학을 설명하는 근간이 되어주고 있습니다.

그럼에도 불구하고 말씀하신 것을 다른 각도에서 되새길 부분도 있습니다. 바로 이 NS equation 역시 유체의 모든 현상을 다 깔끔하게 설명해주지는 못 한다는 것입니다. 예를 들어 난류 (turbulence)가 그러합니다. 그런데 사실 그럴 수 밖에 없는 것이 NS equation은 애초에 유체 자체를 연속체로 가정하고 모델링한 결과물이기 때문에 그렇습니다. 계산유체역학 (Computational fluid dynamics, CFD)를 이용하여 난류를 모델링합니다만, 사실 그 결과에는 에러가 늘 포함이 되어 있습니다. 실제 사용에서 허용되는 에러 범위 이내에만 들어가면 사용에는 큰 문제가 없기 때문에 활용이 잘 되고 있을 뿐, 그 자체가 CFD가 근간을 두고 있는 이론과 모형의 정확도가 100%임을 보장하는 것은 아닙니다. 우리가 거시적으로 보는 현상은 이러한 연속체 가정이 잘 들어맞지만, 분자나 원자 수준에서의 실제 입자들 간의 상호작용에 의한 영향은 이 연속체 가정에서는 그저 통계적을 평균값으로 대표되는 파라미터 안에 녹아 있을 뿐입니다. 그래서 유체역학에서 어려운 부분은 그 아래 단계의 모델로 내려가서 다뤄야 합니다. 대표적으로 통계물리학의 아버지라 불리는 볼츠만이 창시한 볼츠만 수송방정식 모형 (Boltzmann transport equation)이 있습니다. 이 모형은 연속체 가정을 필요로 하지 않으며, 따라서 수학적으로는 더 엄밀합니다. 문제는 이 방정식이 풀기가 매우매우 어렵다는 것입니다. 이를 다양한 상황에서 '근사'하여 계산과학적으로 풀어보는 방법론은 나오고 있지만 (예를 들어 격자 볼츠만 방정식 모형 (Lattice Boltzmann Model, LBM)), 그러한 방법론에서 얻어진 결과의 정확도는 한계가 있을 수 밖에 없습니다. 그렇지만 현상적으로는 어느 정도 통제 가능한 범위에서 재현되면서도 제어가능하기 때문에 다양한 공학 현장에서 지금도 굉장히 유용하게 활용되고 있습니다.

명상이 뇌과학에 포함될 수 있는 영역인지에 대해 저는 그 분야 연구자도 아니고 잘 아는 사람도 아니기 때문에 판단할 자격도 없고 그럴 위치도 아닙니다. 다만, 명상 역시 다양한 층위에서 구성될 수 있는 학문인 뇌과학의 일부 영역이 되지 말라는 법은 없다고 생각합니다. 그렇지만 겉보기에 서로 달라 보이는 뉴턴역학 기반의 NS equation과 볼츠만 수송 방정식이 결국 원류를 계속 따라 올라가면 양자역학, 다시 더 원류를 따라 올라가면 입자들의 표준모형으로부터 하나씩 유도되고 빌드업될 수 있는 것을 생각해 봅시다. 이러한 과정에 비춰볼 때, 명상이 어떠한 first principle 을 추구하여 뇌과학 안에서 논의가 될 수 있을 것인지, 그래서 다른 영역, 다른 층위에서 논의된 결과와 어떻게 수렴할 수 있을 것인지를 고민해 본다면, 아마도 아직 그렇게 되기에는 갈 길이 아직 많이 먼 것이 아닌가 합니다 (제가 이에 대해 잘못 알고 있는 것이 있다면 언제든 지적해 주시기 바랍니다.).

물리학자들은 다른 분야의 학자들에게 간혹 '오만할 정도로 자신들의 학문과 이론에 대해 자부심을 갖는다' 라며 성토 당하곤 합니다.

그토록 오만해보일 정도로 원리와 환원 가능성에 집착하는 것은, 그들이 지적으로 오만해서라기 보다는, 자연은 아주 기본적인 원리 (first principle) 들의 논리적 조합과 자체적인 일관성을 지키면서 완성된 무결점의 시스템이라고 믿기 때문일 것입니다. 그래서 그렇게 자연의 법칙 (law)에 대해 집착을 하는 것일 수도 있고, 내적으로는 그 법칙을 무너뜨리는 혹은 반증할 수 있는 현상이 나오기만을 고대하는 것일지도 모르겠습니다. 그렇지만 이미 100년이 넘은 아인슈타인의 상대성이론을 혁파하거나 반증할 수 있는 현상이나 증거는 아직까지도 관측된 바가 없습니다. 그래서 물리학자들은 기존의 이론에 도전하는 것 자체를 환영하지만, 그 결과를 결코 쉽게 믿지 않는 것이기도 합니다. 최근에 화제가 되고 있는 상온-상압 초전도체 역시 많은 물리학자들은 겉으로는 신기하다 생각할지 모르겠습니다만, 속으로는 대부분 받아들이기 어렵다는 생각을 하고 있을 것입니다. 대부분의 물리학자들에게, 자연을 설명하는 이론은 간명해야 하고, 수학적으로 아름다워야 하며, 기존의 이론을 다른 차원에서 들여다 보더라도 어느 순간에는 수렴해야 하고, 기존의 이론이 설명하지 못 하는 현상을 무리한 가정 없이 설명할 수 있어야 합니다. 심지어 아직 보고되지 않거나 발견되지 않은 현상에 대해 예측도 할 수 있어야 합니다. 그래야 제대로 된 이론으로 인정받을 수 있습니다. 물론 그러한 이론이라고 해서 무조건 자연 법칙으로 발전할 수 있는 것이 아님은 잘 아실 것입니다. 아무리 아름답고 내적으로 정합성이 있는 이론이더라도, 실험적 증거가 충분히 뒷받침되지 않으면 결국 생명력을 잃기 때문입니다. 그래서 물리학은 이론에 대한 추구와 동시에, 무지막지할 정도로 정밀함과 정확함에 집착하여 실험을 추구하는 것이기도 할 것입니다.

명상을 비롯하여, 종교인들이나 도인들, 무속인들을 포함하여, 초월적 상태라는 것이 과학의 영역으로 들어오게 된다면, 좁게는 뇌과학의 한 영역에서 검토를 거쳐야 하겠지만, 장기적으로는 이러한 아주 기본적인 physical science의 first principle 과도 결국 정합성이 검토되어야 자리를 잡을 수 있을 것이라 생각합니다. 우리가 흔히 이야기하는 생명과학 역시, 생명과학 자체의 원리나 이론이 잘 정립되어 있습니다. 그렇지만 그 이면에는 다시 생명 현상을 구성하는 물질을을 더 단순한 유닛인 분자, 원자, 나아가 양성자나 전자, 필요하다면 더 작은 스케일의 기본 입자로까지 환원하여 그들의 상호작용에 대한 이해를 추구하는 이론으로의 회귀가 있다고 생각합니다. 대표적인 분야가 분자생물학일 것입니다. 뇌과학의 분야가 워낙 다양하고, 심리학, 의학, 생명과학, 전자공학, 심지어 물리학의 각 영역에서 다양하게 접근하는 경로가 광범해서인지, 명상에 대한 논의 역시 다양한 학문적 배경을 가지신 분들이 새로운 아이디어로 접근하시고 있고, 저는 그러한 접근이 이러한 논리적 정합성과, 최종적으로는 first principle 로의 회귀를 모색하고 있다면 그 자체로 충분히 시도될 수 있는 정상 과학의 범주가 될 것이라 생각합니다. 그렇지만 그것을 어떤 식으로든 회피하고, 불리한 부분은 두루뭉술하게 넘어가며, 동시에 기존의 학문에서 잘 정립된 개념과 이론을 제멋대로 가져다 쓰면서도 그 결과에 대해 회피하는 양상을 보이게 되면 결국 스스로 정상 과학에서의 퇴출을 시도하는 셈이 될 것이라 생각합니다. 개인적으로는 명상이 그러한 길을 가지 않았으면 좋겠지만, 만약 그렇게 될 것 같다면 굳이 정상 과학의 영역으로 들어와서 고생하지 않았으면 좋겠습니다. 세상의 모든 활동이나 인간의 즐거움이 다 과학 안에 들어와서 환원의 고통을 겪을 필요는 없다고 생각하기 때문입니다.

"다만 이런 research가 이미 2000년대 초반에 나왔는데 그 뒤로 sensational하게 실제 많은 사람들의 건강을 바꿔 오지 않아서 이에 대한 문제 제기가 되는 거 같기는 합니다. 요는 Small population에서 효과가 있다는 cross sectional study 가 random polulation 에 적용되는 지 에 대한 실험들이나 broad spectrum analysis 들이 필요할 거 같은데요. 효과라는 게 일부 사람들에게 효과가 있지 모든 사람 혹은 significant population에게 효과가 있는지가 궁금해 지네요. 결국 명상이 모두에게 맞는지가 맞냐라는게 있는데 일부 약도 small population에 효과가 있는데도 모두에게 효과가 없는 경우도 꽤 되는 걸로 알고 있습니다. 교수님이 말씀 하신 거 처럼 나한테 효과 없다 혹은 나는 못하겠다 라는 게 꽤 많다는 점이 있는 거 같습니다.
반면 Cognitive Behavior Therapy 쪽에서는 mindfulness 라 하여 특정 명상 일부나 호흡의 극소 일부만 바탕으로 exercise 형식으로 만들어 clinical study 를 꽤 반복적으로 한것으로 알고 있는 걸로 알고 있습니다. 그래서 느낌적으로는 어느정도 증명이 되었다는 생각이 있는데 저도 뇌알못이라 가설일뿐 더 찾아봐야 겠습니다.
간단히 찾아봐도 초보자 novice 대상으로 3시간 meditation에 대한 효과도 입증하려 노력 하려 했기에 많은 연구들이 되고 있는 거 같긴 합니다."
라는 부분도 살펴 보겠습니다. 이 말씀에 대한 제 의견 역시 위에 제가 장광설을 늘어 놓은 부분에서 확인하실 수 있을 것이라 생각합니다. 간단한 요약만 말씀드리면, 말씀하신 것처럼 아직 first principle 로 가기 전 단계인 evidence confirmation 단계부터 여전히 교통정리가 불확실한 상황이고, 그래서 연구자나 그것을 취사선택하여 받아들이는 일반 대중이나 모두 혼란스러운 상황인 것 같기는 합니다. 말씀하신 인지과학 영역에서도 clinical treatment 관점에서, causality 를 분석하고 또 여러 메커니즘을 제시하고 있는 것으로 알고 있습니다만, 문제는 그 메커니즘 자체가 너무 많은 층위의 principle 섞여 있다는 것입니다. 이렇게 층위가 정리 안 된 상태에서 섞이면 반드시 그 안에서의 내적 consistency가 붕괴되는 지점이 생기고, 이것은 그 모형의 모순을 발현시키기 때문에, 그러한 설명은 필히 퇴출될 수 밖에 없습니다. 물리학이 겪은 모든 과학적 이론 정립 과정의 시행착오가 지금 명상을 둘러싼 학문적 struggling에서도 반복되고 있다고 보여지고, 저는 그 과정을 잘 거쳐서 명상이 과학의 영역으로 들어오든, 아니면 과학의 영역으로 들어올 필요가 없다고 결론이 나오든, 잘 정리되기를 바랄 뿐입니다.

여러모로 생각할 거리를 공유해 주셔서 감사드리고, 저도 물리학의 좁은 영역, 소재과학의 협소한 시각에만 갇혀있지 않고 다른 분야의 노력과 학문적 성과에 대한 관심을 조금 더 폭넓게 가져가려 합니다. 감사합니다.

=========================
ps) 이 대화에 대한 의견 있으시면 언제든 환영합니다.

[RWA 시장이 열리고 있다, B2C 서비스가 아니라 몰랐을 뿐!(Feat. 메이커다오는 이미 절반의 수익을 RWA에서 벌고 있음)]

- 많은 대형 기관들이 RWA(Real-world asset)*의 토큰화를 추진하거나 관련 시장에 진입하고 있음. 디파이 수익률의 하락과 기준 금리 상승으로 토큰화된 국채에 대한 투자가 증가하며 RWA에 대한 관심이 높아졌기 때문(현재 6억달러 이상의 미국 국채가 토큰화되어 투자자들에게 연 4.2%의 이자를 지급 중)

- 토큰화된 RWA 규모는 22년 3,100억달러에서 30년 16조달러까지 성장할 것으로 전망됨. 이 시장을 공략하기 위해 MakerDAO, Maple Finance 등 다수의 프로토콜들이 RWA를 접목하고 있음

- 아직까지는 B2B를 중심으로 시장이 돌아가고 있지만, 조만간 개인들의 참여 기회도 늘어날 것. 금융 산업이 대표적인 규제 산업이라 개인들이 다른 국가의 상품 투자하기 어려운데 RWA는 온체인 네트워크만 접속되면 편리하게 투자할 수 있음

(*) RWA란?
: 현실 세계의 오프체인 자산(부동산, 원자재, 미술품 등 유형자산과 주식, 채권, 탄소배출권 등 무형자산)을 블록체인으로 올리는 것. 이를 통해 더 효율적이고, 투명하고, 휴먼에러를 줄일 수 있음
: RWA의 토큰화를 위해서 '기획->구조화->청약->민팅/분배->2차거래->만기상환'의 과정을 거침

더보기: https://research.binance.com/en/analysis/industry-map-mar23

https://research.binance.com/en/analysis/industry-map-mar23

AI will automate 25-50% of white collar work including data analysis. Does that will data teams shrink in size?

On the contrary, while AI can automate some work, it will also demand much more from data teams.

Typical tasks - writing SQL & charting data - will become mostly automated. This ease of use will enable data teams to focus elsewhere : on the sea of demand for data coming from the edges of the company.

AI will infuse marketing, sales, customer support, product, & engineering in new ways - nearly all of it requiring data to deliver cost savings & productivity boosts.

The data team will bear the responsibility of providing the data, validating it, & ensuring that it meets both internal & external standards/compliance.

Data teams will become important contributors in software procurement. As departments evaluate new AI tooling, data teams will validate the approaches & the models to ensure they work as promised.

After deployment, data teams may be responsible for tuning & optimizing different AI features enabled by AI-infused software applications. Data teams will debug applications with models, unearthing challenges with them such as which training data is required to supplement a model & providing that data.

AI will exert greater demands on data teams. They will operate at a greater layer of abstraction. But more people will be needed to staff the pipelines & monitor the models that will power business systems.

This is possible, but will only happen when the work of data analysts doesn't involve figuring out which data to use, where the data is located, where it's coming from, why the same column is present in 4 different databases each with different numbers, what it means semantically, how it's changed over time, wading through all the gotchas and layers of filters in SQL, going back and forth with engineering because there's no documentation, then wrapping all that context in a pretty bow and communicating it to stakeholders.

Writing SQL and creating charts is by far the easiest 10% of an analyst's job. The other 90% is a thankless grind chopping through an ever-growing jungle of data debt. Unless THAT problem is solved, anything AI can do is just putting lipstick on a pig.

https://rosinality.github.io/2021/05/%EB%A8%B8%EC%8B%A0-%EB%9F%AC%EB%8B%9D-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%97%90%EC%84%9C-%EC%84%A4%EC%A0%95-%EA%B4%80%EB%A6%AC%ED%95%98%EA%B8%B0/

과거에도 쓴 글이 있는데, 여하간 머신 러닝을 위한 프레임워크, 구체적으로는 계속해서 실험을 하기 위한 프레임워크에서 가장 중요한 것 중 하나가 설정 관리라고 생각한다. 실험을 계속하다 보면 정말 온갖 곳에서 수정이 필요한 경우들이 생기고 (데이터소스, 데이터셋과 구조, 모델 구조, 학습 루프 등등등...) 그런 잠재적인 수정에 대해서 열려 있는 코드가 필요하다. 꼭 이런 모든 잠재적인 수정을 미리 예측해서 추상화한다기보다도, 수정이 필요해졌을 때 큰 부수효과나 자잘한 작업 없이도 수정할 수 있는가 하는 것이 중요한 부분이다.

그리고 이런 유연성에서 가장 기본적이면서도 큰 도움이 되는 것이 설정 파일이다.

사실 설정 파일 포맷 자체도 유의미한 차이를 만들어내지만 (예를 들어 여러 설정 파일을 조합할 수 있는가 등) 그보다는 설정 파일을 어떻게 사용하는가 하는 것이 중요하다 할 수 있겠다. 어쨌든 설정 파일은 그 형식이 어떻건 원칙적으로는 값의 나열이라는 점에서는 동일하므로.

예를 들어, 트랜스포머의 feedforward의 activation 함수를 바꾸고 싶다고 하자. 그렇다고 하면 보통 어떻게 할까? 가장 기본적으로는 if를 사용하는 것이다.

if conf.model.activation == 'relu':
activation = nn.ReLU()

흔히 쓰이는 방법이지만 두 가지 문제가 있다. 새로운 activation 함수를 추가하고 싶다면 이 if 문이 있는 곳까지 이동해서 새로운 조건을 추가해야 한다. 거기다 ReLU 같은 경우 특별한 파라미터가 없어서 간단하지만 LeakyReLU 같이 추가 파라미터가 필요하다면 그에 따른 옵션도 추가되어야 한다.

거기다 보통 모델 선언은 Transformer(Blocks(FeedForward)) 같은 식으로 중첩되어 있으므로 위와 같은 조건문이 등장하는 지점까지 설정값을 넘겨줘야 한다. 그냥 값을 넘기자니 중첩 때문에 설정값이 누적되어 증가한다는 것도 문제다. (예를 들어 Transformer는 FeedForward을 위한 설정값 activation도 넘겨받아야 하고, dropout을 위한 설정값도 넘겨받아야 한다.) 그래서 그냥 여러 설정들을 묶은 객체를 (위의 conf 같은) 넘겨주는 경우도 많다. 좋긴 하지만 그렇다면 그 모듈을 쓰기 위해서는 conf 객체를 생성해서 전달해야 한다. 그 자체도 번거롭지만 conf 객체에서 실제 사용되는 설정값을 코드를 보기 전에는 알 수 없다는 것도 문제가 된다.

그 다음으로 인기 있는(혹은 인기 있었던?) 방법은 registry를 쓰는 방법이다. 예를 들면 이런 식이다.

@registry
def relu():
return nn.ReLU()

activation = get_registry(conf.model.activation)

if문을 추가해야 한다는 문제가 사라진다는 점은 유용하다. 그렇지만 registry에 추가해줘야 한다는 문제가 생겨나고, 설정을 어떻게 넘겨줄 것인가라는 문제는 아직 해소되지 않았다.

그렇다면 아예 설정값에 nn.ReLU라는 객체를 넣을 수는 없을까? 이 문제를 해결하는 것이 hydra의 instantiate이다.

https://hydra.cc/docs/advanced/instantiate_objects/overview/

activation:
_target_: torch.nn.ReLU

activation = instantiate(conf.model.activation)

registry 등록이 필요 없이 파이썬 객체나 함수를 그대로 설정값으로 추가하고, 그 설정값을 사용해서 파이썬 객체를 생성할 수 있다. 여기서 약간 불편한 점은 YAML을 사용하기 때문에 함수 호출을 위한 구문이 좀 자연스럽지 않다는 것이다. import 경로도 모두 써줘야 하고.

https://detectron2.readthedocs.io/en/latest/tutorials/lazyconfigs.html

이 문제에 대해서 detectron2에서는 파이썬 코드를 설정 파일로 쓰는 방식으로 해결했다.

activation = L(nn.ReLU)()

일반적인 파이썬 코드를 사용해서 호출하되, L()을 사용해서 실제로 코드를 실행하는 것이 아니라 설정값을 생성하도록 한 것이다. 비슷한 접근을 구글에서 공개한 fiddle (https://github.com/google/fiddle) 에서도 채택하고 있는데, 여기서는 더 나아가 AST를 패치해서 L()을 제거하기도 했다.

@auto_config
def activation():
return nn.ReLU()

이 접근을 채택하면 예컨대 optimizer 하이퍼파라미터 조정 같은 일상적인 문제도 간단해진다. 예를 들어 AdamW 같은 경우 learning rate, beta1, beta2, eps, weight decay 같은 하이퍼파라미터가 필요한데, 이 모든 값을 설정으로 추가한다고 생각하면,

if conf.optimizer == 'adamw':
return AdamW(parameters(), lr=conf.lr, betas=(conf.adam_beta1, conf.adam_beta2), eps=conf.adam_eps, weight_decay=conf.weight_decay)

이런 형태가 될 것이다. 그렇지만 instantiate를 사용한다면,

optimizer = L(AdamW)(lr=3e-4, betas=(0.9, 0.98), eps=1e-5, weight_decay=0.1)
optimizer = instantiate(optimizer)(parameters)

같은 식으로 사용이 가능하다.

더 나아가, instantiate가 중첩된 객체나 함수 선언을 생성할 수 있다고 하면 설정값을 전달하는 방식이 아예 달라질 수 있다. 예를 들어 위의 activation 변경 같은 문제는 이렇게 접근할 수 있다.

model = L(Transformer)(
block=L(Block)(
feedforward=L(FeedForward)(
activation=L(ReLU)()
)
)
)

model = instantiate(model)

FeedForward 같은 모델에서 activation을 생성하는 것이 아니라, 그냥 activation을 설정값 자체에서 FeedForward에 넘겨주는 것이다. 뭐 요새는 전부 비슷비슷한 트랜스포머를 쓰다보니 이런 형태의 모듈화가 필요한 경우가 많지 않긴 하지만, 그렇지 않다면 문제를 훨씬 쉽게 만들어주는 경우가 있다.

이러한 설정 관리 방법의 유연성과 강력함을 보여주는 사례로 detectron2에서 설정 변경으로 본업도 아닌 이미지넷 분류기를 학습시키는 예제도 참고할만할 것 같다. https://github.com/facebookresearch/detectron2/blob/main/configs/Misc/torchvision_imagenet_R_50.py

더 나은 방법과 디자인, 접근이 있을 수 있겠지만, 이 방법이 hydra, detectron2, fiddle에서 공통적으로 등장한 것을 보면 그럭저럭 쓸만한 수준이라고는 할 수 있을 것 같다. 개인적으로도 계속 써오고 있는데, 물론 머신 러닝 시스템에서 정말 온갖 수정에 대한 필요가 발생하기에 그 모두를 커버하기는 어려운 경우도 있긴 했지만 대체로 나쁘지 않았다. 그렇게 흔한 접근과 도구가 아니라는 것에서 발생시키는 문제들은 있지만.

https://www.facebook.com/100001273238678/posts/pfbid0L8fAhUiMACq1d4e2p8sApgwVYiYAqXg3DcHyd5SqFDyCMo4QtbwKnRrxMSwvBjuGl/?mibextid=5eVWNK

LLM에 대한 새로운 유형의 adversarial attack 방식이 발견되어 타임라인이 난리가 났네요. arXiv에도 공개된 논문인데, 논문 실험자에 의해 왠만한 LLM들을 모두 jailbreak이 성공했던 것 같습니다. 심지어는 블랙박스 모델을 가진 LLM들에서도... 물론 지금은 다 막혔겠지만.

LLM adversarial attack에 관심있는 분들은 GitHub에 공개한 코드를 이용해 한번 살펴보시는 것도 좋을 듯 싶네요.

제목: Universal and Transferable Adversarial Attacks on Aligned Language Models

요약:
"즉시 사용 가능한" 대규모 언어 모델은 불쾌한 콘텐츠를 대량으로 생성할 수 있기 때문에 최근의 작업은 원치 않는 콘텐츠 생성을 방지하기 위해 이러한 모델을 조정하는 데 중점을 두고 있습니다. LLM에 대한 소위 '탈옥'이라고 불리는 이러한 조치를 우회하는 데 어느 정도 성공했지만, 이러한 공격은 인간의 창의력을 크게 필요로 하며 실제로는 취약합니다.
이 논문에서는 정렬된 언어 모델이 불쾌한 동작을 생성하도록 하는 간단하고 효과적인 공격 방법을 제안합니다. 특히, 이 접근 방식은 불쾌한 콘텐츠를 생성하는 LLM에 대한 광범위한 쿼리에 붙이면 모델이 답변을 거부하지 않고 긍정적인 응답을 생성할 확률을 극대화하는 접미사를 찾는 것을 목표로 합니다. 그러나 수동 엔지니어링에 의존하는 대신, 우리의 접근 방식은 욕심 기반 검색 기법과 그라데이션 기반 검색 기법의 조합을 통해 이러한 적대적인 접미사를 자동으로 생성하며, 과거의 자동 프롬프트 생성 방법보다 개선되었습니다.
놀랍게도, 저희 접근 방식으로 생성된 적대적 프롬프트는 공개적으로 공개된 블랙박스 LLM을 포함하여 상당히 전이 가능하다는 사실을 발견했습니다. 특히, 여러 프롬프트(즉, 다양한 유형의 불쾌한 콘텐츠를 요청하는 쿼리)와 여러 모델(저희의 경우 Vicuna-7B 및 13B)에 대해 적대적 공격 접미사를 학습시켰습니다. 이 과정에서 생성된 공격 접미사는 ChatGPT, Bard, Claude의 퍼블릭 인터페이스는 물론 LLaMA-2-Chat, Pythia, Falcon 등의 오픈 소스 LLM에 불쾌감을 주는 콘텐츠를 유도할 수 있습니다. 이 작업은 전체적으로 정렬된 언어 모델에 대한 적대적 공격의 최신 기술을 크게 발전시켰으며, 이러한 시스템이 불쾌한 정보를 생성하는 것을 어떻게 방지할 수 있는지에 대한 중요한 질문을 제기합니다. 코드는 다음 http URL에서 확인할 수 있습니다.

주요 통찰과 교훈:
- 대규모 언어 모델은 불쾌감을 주는 콘텐츠를 방지하도록 정렬된 경우에도 여전히 적대적 공격에 취약할 수 있습니다.
- 제안하는 공격 방식은 수동 엔지니어링에 의존하지 않고 자동으로 적대적 접미사를 생성하므로 이전 방식보다 더 효율적이고 효과적입니다.
- 이 접근법에 의해 생성된 적대적 프롬프트는 전송 가능한 것으로 나타났습니다. 즉, 블랙박스 언어 모델에도 영향을 미쳐 더 위험하고 방어하기 어렵게 만들 수 있습니다.

#LLM #adversarialattack

arXiv: https://arxiv.org/abs/2307.15043
PDF: https://arxiv.org/pdf/2307.15043.pdf
arXiv-vanity: https://www.arxiv-vanity.com/papers/2307.15043
Paper page: https://huggingface.co/papers/2307.15043
Papers with code: https://paperswithcode.com/paper/universal-and-transferable-adversarial
Github: https://github.com/llm-attacks/llm-attacks

벤자민 프랭클린. 저 간단한 말 평생 실천한 사람.

건강한 갈등 vs. 인위적인 하모니

(얼마 전 북클럽에 초대받아 야후 때 읽어던 책 "Five Dysfunctions of a Team"을 하나 선정해 같이 리뷰하는 시간을 가졌다. 저자의 다른 책들을 오래만에 다시 보다가 필받아서 아래 글을 쓰게 되었다)

경험이 부족한 혹은 마음 약한 리더가 하는 흔한 실수 중의 하나는 팀원들이 조화롭게 지내기를 원하는 거다. 누구나 팀원들이 서로 다른 의견을 이야기하는 걸 보면 마음이 처음에는 좀 불편할 수 있고 개입해서 해결하고 싶은 생각이 꿈틀댈 수 있다. 이는 조직의 조화와 화합을 강조하는 한국적인 상황에 확실히 더 많아 보인다.

하지만 신뢰가 있는 팀에서 (인신공격이 아닌) 서로 다른 생각이 미팅에서 자유롭게 표출되고 관점을 이해하는 노력과 논의를 통해 더 좋은 아이디어로 만들어내는 경험을 한번이라도 해본다면 인위적인 조화보다는 신뢰를 바탕으로한 건강한 갈등이 더 좋다는 점을 알 수 있으리라 믿는다.

그런데 하모니를 너무 중시하는 리더라면 서로의 의견 다름이 불편해서 걱정을 하면서 너무 빠르게 정리를 하거나 또는 정반대의 경우에는 누군가 손을 들어주는 경우 다른 사람에게 상처를 줄까 건강한 충돌로 끝날 수 있었던 거를 최종 결정을 미룸으로써 감정적인 충돌로 번지게 만들기도 한다.

무분별한 하모니보다는 건강한 갈등을 추구하는 문화를 만드는 것이 중장기적으로 더 좋은 아이디어를 만들어내고 모든 사람들이 같은 방향으로 달려가는데 도움이 된다고 믿는다. 이 관점에서 리더의 역할을 팀내에 신뢰를 만들어내 사람들이 자기 의견이나 질문을 편하게 할 수 있게 하고 필요할 때 명확한 결정을 내려주는 것이다.

여기서 명확성이란 옳은 결정이란 관점이 아니다. 적어도 사람들이 다음 단계로 넘어갈 수 있게 정리를 해준다는 그 상황에서 최선의 결정이란 느낌이 더 강한 것이라 나중에 잘못되었다 판단되면 수정하면 된다. “어떤 결정이든 아무 결정도 내리지 않는 것보다 낫다”(Any decision is better than no decision)라는 말이 괜히 나온 것이 아니다. 이런 이유로 아직 결정을 못내리겠다고 말을 하는 것도 결정이다.

“팀이 빠지기 쉬운 5가지 함정”(Five Dysfunctions of a team)이란 책으로 유명한 패트릭 렌시오니가 쓴 “The 5 Temptations of a CEO”라는 책(한글판은 없는 것으로 보인다)이 있다. 여기에 보면 CEO가 빠지기 쉬운 5가지 유혹에 관한 이야기를 하는데 그 중 2가지가 앞서 언급한 내용들과 관련이 있다.

유혹 3: 명확성 대신 확실성을 추구하기 (Certainty over Clarity)
유혹 4: 건강한 갈등 대신 하모니를 우선시하기 (Harmony over Conflict)

이 책은 패트릭 렌시오니의 다른 책들처럼 가상의 회사를 바탕으로 쓰여져있기 때문에 읽기가 수월하다. 참고로 이 책에서 언급된 다른 3가지 유혹은 아래와 같다.

유혹 1: 결과보다 자존심을 추구하기 (Ego over Results)
유혹 2: 책임을 묻기 보다는 인기를 추구하기 (Popularity over Accountability)
유혹 5: 신뢰보다는 절대 틀리지 않는다는 이미지를 추구하기 (Invulnerability over Trust)

조직의 발전은 리더들이 솔선수범해서 "불편함"을 견디며 하루하루 편안한 영역 바깥으로 나갈 때 일어난다. 밑에 사람들을 뽑았으니 그 사람들이 알아서 잘 하겠지라고 믿으면 안되고 잘 할 수 있게 도와주고 더 잘 할수 있게 챌린지하며 완벽한 결정이 아닌 명확한 결정을 내리는 습관을 들여야 한다.

수많은 철도회사들은 채무를 이행하지 못하고, 파산을 했다. 장래가 유망한 고속성장 산업이 항상 성공하는 것은 아니라는 값비싼 교훈을 배울 수 있었다. 철도 회사가 우량 산업이라는 주장을 반박하는 사람은 당시 그 누구도 없었다. 그럼에도 수익은 보장되지 않았던 것이다. 철도주는 빈번한 경제공황과 약세장 속에서 연일 하한가를 기록했고, 원금이라도 회수해서 빠져나온 주주는 그나마 운이 좋은 편이었다.

https://m.blog.naver.com/bizucafe/223169270296