사실 이 사건은 거의 발각되지 않을 수도 있었으나, 회사에서 모종의 이유로 해고된 이토추 상사 당시 주재원이 자진하여 신고함으로써 (사실 회사에서 잘린 것에 대한 사적 복수심으로...) 그 전모가 드러나게 되었는데, 미국 정부가 이 사건을 인지하게 된 것은 다시 3년의 세월이 흐른 1987년이었다. 넉넉하게 잡아 1982년 정도부터 정밀공작기계로 가공된 신형 프로펠러가 장착된 타이푼급 소련의 잠수함이 운항을 시작했다고 해도, 미국은 무려 5년 동안이나 이 '붉은 10월호' 같은 조용한 타이푼급 잠수함에 대한 추적에 번번이 실패했을 것임을 암시하는 부분이다. 사건의 전말을 알게 된 미국 정부는 당연히 COCOM 협정 위반으로 일본을 규탄했고, 곧이어 일본에 대한 본격적인 제재 조치에 들어 갔다. 이미 1985년의 플라자합의, 1986년의 제 1차 미-일 반도체 협정으로 인해, 양국 간의 감정은 별로 좋지 않을 때였고, 특히 일본 기업들의 미국 시장 장악으로 인해 80년대 중후반 미국은 일본에 대해 공포심과 적개심마저도 가질 때였는데, 이 사건은 그러한 미국의 대일 감정에 기름을 끼얹는 효과를 가져다 주었다. 일본 측 입장에서는 당시 미국의 플라자합의와 반도체 협정이 일본 측에 불리한 협정이라는 사실 때문에 글로벌 시장에서의 경쟁력이 점점 약해지던 시점이라, 이 사건은 뜨거운 감자가 될 수 밖에 없었다. 일본은 행여나 이로 인해 미국 시장에서 아예 퇴출될까봐 걱정하기도 했다.

실제로 미국의 제재가 일본에 대해 본격적으로 시작되자 사건의 당사자인 도시바 (물건을 만들기만 했던 도시바는 좀 억울할듯..)와 이토추 상사는 소련을 포함한 동구권으로의 수출이 금지되었고, 노르웨이의 콩스베르크는 그야말로 공중분해되었다 (민간으로 부분 부분 매각). 도시바는 여기에 더해 1987년부터 1993년까지 대미 수출에 큰 제약을 당했고, 기계류와는 상관 없는 컴퓨터 등의 전자 제품과 일부 반도체 품목의 대미 수출까지도 덩달아 제재 조치에 포함되면서 도시바는 1980년대 중반까지 미국 시장을 지배하던 전자 제품과 반도체 산업의 점유율을 조금씩 까먹게 되었다.

이러한 다자간 수출통제의 효력은 구소련이 붕괴하고 독일이 통일된 후, 글로벌 분업화가 본격화되고 자유무역주의가 횡행하면서 과거의 유산이 되는듯 했다. 냉전 시절의 COCOM은 90년대 중반, 구 바르샤바 조약기구 당사자 국가들이 새로 이에 가입하면서 좀더 포괄적인 바세나르 협정 (Wassenaar arrangement on Export Controls for Conventional Arms and Dual-Use Goods and Technologies)으로 갱신되었는데, 냉전 시절 만큼의 강력한 조치까지는 아니어도, 재래식 무기와 민수-군용 이중용도 (dual-use) 기술과 물품의 국가 간 거래 투명성과 당사자 국가들의 책임 범위를 강화하는 방향으로 재편되었다. 바세나르 협약에 포함되는 기술이나 물품의 종류는 크게 9가지로 구분된다. 이중에는 전자제품 (Category 3)과 컴퓨터 (Category 4), 전기 통신 (Category 5-1)과 정보 보안 (Category 5-2)등이 포함되어 있는데, 이들 카테고리의 밑바탕을 이루는 기술은 다름 아닌 반도체다. 즉, 반도체는 바세나르 협약 물품/기술의 적어도 1/3 이상을 차지하는 전략 기술인 셈이다.

냉전이 종식 된 후, GATT 협정이 체결되었고, 다시 중국이 개혁/개방에 동참하며 2001년 WTO에 가입함으로써 세계는 바야흐로 자유무역주의 시대, 글로벌 자본의 다국적 이동 시대, 그리고 분업화의 시스템화 시대를 맞게 되었다. 바세나르 협정은 민수-군사용 이중 용도에 해당하는 일부 기술에 대해서만 적용되었지만, 설사 적용되는 물품이나 기술이라고 하더라도 이제는 예전 COCOM 시절만큼 각국이 자국의 서슬퍼런 정보 기관을 동원해가며 눈에 불을 키고 민간 회사들을 감시하지는 않게 되었고, 이는 느슨해진 감시의 틈을 타, 얼마든지 타국의 전략 기술을 자국의 안보 강화를 위해 위장하고 응용할 수 있게 되었음을 의미했다.

중국은 2001년 본격적으로 세계 자유 무역 시장에 데뷔한 이후, 2010년대 초반까지 약 10년 정도의 기간 동안은 엎드린 호랑이처럼 자국의 시장을 글로벌 대기업과 자본에게 내어주며 세계 시장에 대한 적응에 시간과 자원을 투입했다. 그 시간 동안 중국 경제는 놀랄 정도의 기록을 갱신하며 매해 성장을 거듭했고, 2003-2012년의 10년의 기간 동안 중국 경제는 무려 7.5배 이상 규모가 커졌다. 커진 규모만큼, 중국의 자본은 성장했고, 중국은 이 자본을 2010년대 초반부터 다시 자국의 시장을 키우고, 그 시장에서 자국의 기업들이 성장하는 것에 재투자하기 시작했다. 이는 2010년대에도 이어진 고속 경제 성장률의 발판이 되었는데, 이 성장률에 제동이 걸린 것은 내부와 외부의 요인이 개입하면서부터였다.

특히 외부의 요인은 바로 2010년대 후반부터 본격화된 미국의 대중 첨단기술제재에 대한 것이었다. 이 첨단 기술은 앞서 언급한 바세나르 체제의 가장 중요한 산업이자 기술인, 다름아닌 반도체에 대한 것으로서, 화웨이에 대한 제재를 필두로, EUV lithography 장비, GPU 서버, 1anm 이상급의 반도체 제조 장비 등으로 범위를 점차 넓혀갔다. 미국의 제재가 트럼프 정부에서 바이든 정부로 바뀐 이후에도 더욱 범위가 넓어지고, 심지어 'CHIP4 alliance (칩4동맹)' 같은 개념이 등장하기까지 하면서, 이제 이러한 미국의 대중 제재가 미국-중국 사이의 국가 간 패권 경쟁의 산물이 아닌, 과거 냉전 시대의 COCOM과 비슷한 상황으로 회귀하며 범위가 확전될 가능성이 높아지는 것에 대해 전문가들은 보다 깊은 고민을 가지고 주목하기 시작하였다.

물론 냉전 시절과 지금의 상황은 사뭇 다르다. 냉전 시절, 양 진영은 산업적 교류는 물론, 경제적 교류나 학문적 교류마저도 거의 이루어지지 않고 있던 상황이었고 (예를 들어 구 소련에서 나오는 기초과학 논문집만 따로 번역하여 출판하는 서비스가 있을 정도), 특히 인터넷도 없던 시절이라 서방 세계에서 공산권에 대한 정보는 거의 가로막혀 있던 상황, 이른바 '철의 장막' 상황이었다. 그러나 지금은 냉전 같은 엄중한 시기가 아니며, 경쟁의 당사자는 미국과 소련 같은 국가 단위의 상황은 더더욱 아니다. 교통과 통신은 더욱 발전했으며, 각국은 이제 글로벌 수준에서 상호의존도가 더 높아졌고, 어떠한 산업에서든 한 국가가 온전히 자급자족하는 것은 물리적으로, 경제적으로도 거의 불가능한 상황에 이르렀다. 즉, 어떤 체제를 가지고 있든, 이제 한 국가는 홀로서기 하기가 거의 불가능해진 셈이다. 따라서 COCOM 같은 다자간 수출통제기구가 재형성될 가능성은 현재로서는 높다고 평가하기는 어렵다. 그러나 문제는 미국은 대중 견제의 실효성을 더 높이기 위해 자국의 견제책을, 자국의 범위를 넘어 동맹국이나 핵심 이익 공유 당사자 국가들과 공유하려 한다는 것이다.

냉전 시대, 비록 공업 생산 기술 수준은 서독이나 일본 등이 일부 미국을 앞선 것도 있었지만, 그 당시 여전히 서방 세계는 물론 전 세계에서 가장 큰 시장은 미국이었고, 이는 미국을 중심으로 산업의 표준과 로드맵이 짜여졌다는 것을 의미한다. 미국은 자국 업체들이 자국을 떠나고 공장을 더 인건비가 싼 한국이나 대만, 나아가 동남아 등으로 이전하거나 OEM을 위해 기술을 이전하는 상황에서 미국 내에서의 제조 역량은 점점 약해졌지만, 여전히 강력한 달러 패권과 가장 큰 소비 시장을 가지고 있다는 잇점을 바탕으로 거의 대부분의 글로벌 시장 자체를 쥐고 흔들었다. 이는 그 시장에 '복무'하는 제조 입국들로 하여금 자국 중심이 아닌, 글로벌 (이라 쓰고 미국이라 읽는다) 시장을 기준으로 기술 주기와 사업 계획을 입안하게끔 강요하였다. 미국은 과거에도 통용되었던 이 포지션 상의 잇점을 2020년대 중반으로 향하는 이 시점에도 변함없이 적용하려 모색한다.

이 잇점은 당연히 세계 시장의 흐름에 대한 것이다. 이 흐름은 현재에 대한 것을 포괄하는 동시에, 미래에 대한 것을 복안에 둔다. 현재의 흐름은 현재의 패권에서 나오는 것이 아니라, 미래에 대한 계획에서 비롯됨을 이해할 수 있다면 미래에 대한 로드맵을 주도할 수 있다는 것 자체가 현재의 패권의 기초임은 당연한 사실로 다가올 수 있을 것이다.

글로벌 시장에서 특정 세력의 인위적인 개입이 없는 한, 이러한 로드맵은 각 분야에서의 점유율과 기술 수준으로 결정된다. 점유율이 높을수록, 기술의 세대가 앞설수록, 더 많은 기술 IP를 보유할수록, 더 많은 기초과학 혁신이 누적되어 있을수록, 각 분야에서의 다음 세대 주도권을 얼마나 더 가져갈 수 있을 것인지가 결정된다. 여기서 주목해야 할 가정은 '특정 세력의 인위적인 개입이 없는 한' 이라는 부분이다. 만약 이 가정의 유효성이 상실되면 미래에 대한 로드맵은 인위적 개입에 의해 조정을 받게 된다. 냉전 시절, 이러한 인위적 개입은 '민간-군수용' dual use판단이 있을 경우에 대한 수출 통제 등으로 나타났고, 사실 이 협정을 미국은 자국의 안보적 가치를 내세워 어느 경우에든 overide 하며 타국의 민간 업체나 기관을 제재할 수 있었다. 냉전이 종식된 이후, 이러한 overide는 시대에 뒤떨어진 개념이 되었고, 심지어 각국간 무역 분쟁을 일으킬 소지가 높은 것으로 여겨졌기 때문에 박물관행이 예약되어 있었던 것은 사실이다. 그러나 이제는 상황이 바뀌고 있다. 이제는 이 인위적 행위와 제재의 정당성이 관짝에서 일어나고 있는 상황이다.

미국은 과거 냉전 시절만큼은 아니지만, 이제 중국을 예전 구소련과 비슷한 덩치와 규모의 최대 경쟁국으로 설정하였다. 반도체를 필두로 이제 각 첨단 산업에서의 글로벌 공급망은 이러한 미국의 움직임에 따라 재편될 것이고, 이로 인해 그간 많은 나라들이 누려왔던 유형/무형의 비용 절감 효과는 조금씩 사라지게 된다. 특히 미국이 재편하는 공급망에서 배제되는 국가들은 이중으로 이 비용을 감당하게 되는 처지에 놓이는데, 이는 블록에 낄 수 없게 될 경우, 블록 안에 있는 회원국들의 호혜적 excuse에 합류할 수 없게 되기 때문이다.

과연 미국이 주도할 대중 포위망이 자국을 넘어, 과거 COCOM 같은 다자간 수출통제기구로, 그리고 이 기구가 단순히 반도체 산업을 넘어, 통신, 우주, 해양, 신약, 바이오, 양자, 에너지 등 전방위적으로 확대될 것인지는 아직 불확실하다. 현재 반도체 산업으로만 범위를 좁혀도 미국이 주도하는 다자간 기구가 성립되기 어려운 상황이기 때문이다. 그렇지만 결국 이러한 다자간 기구에 국가들이 하나 둘 씩 참여하기 시작하게 되면 과거의 COCOM이 부활하는 것은 시간문제라고 생각한다. 냉전시대 COCOM이 그랬듯, 이 기구는 민간-군용 dual use 잠재성이 있는 기술이라면 걸고넘어질 수 있는 항목들을 신설할 것이다. 예를 들어, 반도체는 당연하고, 5G 이후의 통신, 사이버 보안, 에너지와 인공지능 등이 포함될 가능성은 매우 높다. 특히 인공지능은 민간의 첨단 기술이 그대로 군용으로 전용되기 매우 난도가 낮은 분야이기 때문에, 가장 먼저 포함될 가능성이 높다. 중국에서 가장 인공지능을 개별 집단 단위로 많이 연구하고 있는 기관은 (적어도 GPU 보유량 기준으로 판단했을 때), 인민해방군 (PLA)이며, 인민해방군은 중국의 일곱개 대학 (이른바 국방칠자 (国防七子))와 협력을 강화하는 방식으로 인공지능 연구를 강화하고 있다. 잘 알려진 것처럼 중국의 인공지능 기반 안면인식 기술은 세계 최고 수준이며, 자율주행차 기술 역시 테슬라를 제외하면 이제 거의 세계 탑 수준으로 올라섰다. 자율주행차 기술은 곧, 무인전투기나 수상함, 군용차량 기술로 바로 전용될 수 있고, 통신암호화/복호화 기술 역시 인공지능 기반으로 얼마든지 군용으로 전용될 수 있다. 점점 복잡해지는 새로운 무기 시스템이나 첨단 국방 시스템의 시험을 위해 이제 앞으로는 virtual test가 더 중요해질텐데 (예를 들어 보다 정밀한 핵실험 시뮬레이션 등), 이 시뮬레이션 역시 딥러닝 같은 인공지능 알고리듬 기반의 시스템을 통해 계산 자원과 시간을 얼마든지 절약할 수 있다. 다시 말해, 인공지능 분야는 반도체 다음으로, 미국이 아마도 다자간 수출통제 시스템을 만들 경우, 가장 먼저 포함시킬 항목이 될 것이며, 이는 그전에 바세나르 협약의 카테고리에 인공지능과 그 세부 항목이 추가되는 것을 신호탄으로 현실화될 것이다.

미국이 주도하는 New COCOM이 정말 성립될지 여부는 미국의 전통적인 동맹국 외에, 첨단 제조업과 지식산업 분야의 강자들이 얼마나 참여할 동기 혹은 참여하지 않으면 안 될 유인책이 생길 것인지에 따라 그 시기와 범위가 결정될 것이다. 반도체는 생각보다 핵심 당사자 국가 (특히 제조업 분야에서)가 한정되었기 때문에 그 시기가 빨리 올 것이고, 범위 역시 명확하게 정해질 것이다. 그렇지만 통신이나 바이오, 신약, 에너지 등의 분야는 이해 당사자 국가들이 많고, 기술 범위가 넓으며, 세대 구분이 모호하다. 따라서 표준화된 규약을 만들기 쉽지 않다. 아마도 미국은 이러한 요인 때문에 되먹임회로 (feedback)를 이용한 다자간 전략 기구 확장책을 모색할 것이다. 즉, 반도체를 중심으로 먼저 기구의 효력을 발생시키고, 반도체가 필수적으로 쓰이는 다른 후방 산업에 대한 영향력을 투사하며, 그 영향력을 다시 반도체 산업에 적용하여 더 맞춤형으로 후방 산업에 영향을 주는 방식으로 그 메커니즘을 이루어가는 전략을 택할 가능성이 높다. 예를 들어 반도체 기술이 반드시 선행되어야 하는 분야는 통신, 사이버 보안, 인공지능, 그리고 양자 컴퓨터 등이 있다. 이러한 산업들은 연결고리가 명확하기 때문에 2차적인 범위 내에 들어 온다. 그 다음 산업은 우주와 항공, 로봇이며, 그 다음 범위는 바이오, 신약, 그리고 에너지가 될 것이다. 이는 사실상의 현재 기준의 첨단 산업 대부분을 포함하는 계열화를 이해해야 함을 의미하는 것이며, 각국이 각 산업에서, 각 카테고리에서 기술적 성숙도와 시장의 점유율, 그리고 기술 발전 로드맵이 제각각이기 때문에, 필히 참여국간 조율과 협력이 필요해질 수 밖에 없다.

한국의 입장에서는 이러한 다자간 수출규제기구가 출범했을 경우, 사실 그 기구에서 다루는 산업과 기술이 한국이 전략으로 삼고 있는 분야와 대부분 겹친다는 사실을 인지할 필요가 있다. 사실 위에 언급한 분야는 한국이 현재 국가전략기술이라는 기치를 앞세워 주도권을 가지려 시도하는 분야이지만, 반대로 생각해 보면 이는 한국의 주요 경쟁국들, 예를 들어 일본, 대만, 독일 같은 제조입국들 역시 비슷한 시각으로 이 산업들을 바라보고 비슷한 전략을 입안하고 있음을 의미하는 것이기도 하다. 서로 비슷한 입장에 처해 있는 비슷한 체급의 국가 간 경쟁이, 정치체제의 경쟁이 아닌 산업과 기술, 그리고 지식의 경쟁으로 이어지게 되는 것이 앞으로 한국이 당면하게 될 상황이고, 그 경쟁이 자유 경쟁이 아닌, 제한된 그라운드 위에서 벌어지게 될 경쟁, 그리고 무엇보다 전략적으로 팀매치가 될 경쟁이 될 것이라는 점이 한국이 똑바로 이해해야 하는 현실이다.

지난 월요일인 6월 26일, 나는 이화여대 통상법무포럼에서 주최한 토론회에서 발제를 맡은 미국 터프츠대 Chris Miller 교수와 대담을 했다. 크리스 밀러 교수는 자신의 저서 'Chip War'에서 돌이켜 본 지난 반 세기 넘는 시간 동안의 산업 경쟁사를 짧게나마 언급하며 현재의 첨단기술 중심의 패권 갈등 상황을 진단했고 장기적으로는 적어도 반도체 산업에서는 공급망의 분기 (bifurcation)이 예상된다고 전망했는데, 나는 그 진단과 전망에 과거 다자간 수출규제의 효력과 범위가 제대로 논의되지 않았음을, 그리고 반도체 세부 산업에서의 기술 경쟁의 의미에 대해 코멘트하였다. 내게 주어진 시간이 길지 않았기에 이 글에서 쓴 내용을 다 전달할 수는 없었지만, 결국 크리스 밀러 교수의 발제나, 나의 의견이나 큰 틀에서는 수렴한다고 생각한다. 이제는 진정한 의미의 글로벌 자유무역시대는 끝났고, 전략적 무역 시대가 개막했다는 것, 그리고 그 전략의 한 가운데에는 언제나 그랬듯, 첨단 기술이 항상 자리잡고 있다는 것이 바로 그것이다.

ps) 학문의 입장에서 보면 이러한 전략적 무역 시대의 개막으로 인해, 직간접적으로 그리고 중장기적으로 학문의 자유로운 소통 역시 위축될 것 같아 우려된다. 과거 냉전 시절에도 공산권과 서방 세계의 학문 교류가 자유롭지는 않았다.

서방권 학자들은 소련에서 이미 수립된 이론을 몇 년 후 다시 재발견(?) 하는 일이 잦았고, 반대로 공산권의 학자들은 서방 세계 학자들의 학문적 성과를 실시간으로 이용할 수 없어 기술적으로 한참 뒤쳐진 분야가 생겨날 수 밖에 없었다. 인터넷이 발전할대로 발전한 지금의 시대, 이러한 학문간 교류의 장벽이 다시 생길 것이라 추측하기는 어렵다. 그렇지만 문제는 국가간 협력 연구와 공동 연구, 거대한 다국적 프로젝트와 인류공통의 난제에 대응하기 위한 협력마저도 점점 위축될 가능성이 높다는 것이다. 학문의 교류에 난맥이 생기기 시작하면 인적 교류와 기술 교류도 위축된다. 이는 구소련에서 미국에서 과거 냉전 시절 삽질을 했던 케이스가 재현될 수 있음을 의미하는 것이기도 하다.

반도체 산업을 예로 든다면, 현재 반도체 산업과 관련된 기초과학, 예를 들어 물리학 (고체, 양자, 광학 등), 화학 (고체, 무기, 광화학 등), 소재과학 (무기, 결정, 전자재료 등)에서 최근에 괄목할만한 성과는 이제 중국에서 더 많이 쏟아져 나온다. 2020년 정도를 기점으로, 중국은 이 분야에서 논문의 단순한 편수 외에도, 질적인 측면, 즉, 인용도면에서 역시 미국을 추월했고, 그 격차는 시간이 지날수록 더 벌어질 것으로 전망된다. 2030년 경쯤 되면 중국에서 배출되는 이공계 박사는 9만명 이상이 될 것이고, 이는 미국에서 배출되는 이공계 박사의 3배 이상이다. 기초과학 연구가 머리숫자 싸움으로 귀결되지는 않지만, 반도체나 다른 첨단 제조업에서는 그 산업에 종사할 전문 인력의 수준과 숫자는 절대적으로 중요한 요소다. 그 숫자가 안 채워지면 외부에서 수혈해야 하고, 수혈이 안 되면 산업의 비전과 현재의 수준 사이의 격차로 인해 자원의 낭비가 누적된다. 학문의 교류에서, 적어도 반도체 산업과 관련된 기초과학 분야의 교류에서 장벽이 점점 높아진다면 중국뿐만 아니라 미국도 손해를 볼 가능성이 높아질 것이라 전망하는 이유이기도 하다.

https://www.facebook.com/100001843848045/posts/pfbid0xwGMe4etNELzhveLXkmzh4zhpZE7gMGnWNr1ZAC5Vh2HvtL7P8jTZ1UvVRQrqriJl/?mibextid=jf9HGS

이전에도 썼던 이야기지만 OpenAI가, 예컨대 요약 같은 과제에 대해 사람의 선호를 RL을 사용해 모델에 주입한다는 이야기를 들었을 때 그렇게까지 한다고? 라는 생각을 했었다. BLEU 같은 미분 불가능한 메트릭에 대해 RL로 학습한다거나 하는 시도의 확장판 같이 느껴졌던 것도 한 이유고, 이를 위해 사람의 피드백을 수집하기까지 한 것이 보통 논문에서 볼 법한 수준을 넘어서는 규모의 작업이었던 점이 또 한 가지 이유일 것이다.
그러나 지금 생각해보면 정답이 있고 그것과의 오차만이 중요한 과제라면, 예를 들어 이미지 분류 과제라면 사람의 선호 같은 문제를 고려할 필요가 없겠지만, 명백한 오답을 넘어서면 그저 사람의 선호만이 존재하는 종류의 문제, 예를 들어 원문과 뜻이 어긋나는 명백한 오답이 아니라면 더 나은 번역과 그렇지 않은 번역이 존재하는 번역 같은 과제들에 대해서는 사람의 선호를 고려하는 것이 오히려 자연스러울 것이다.
(번역이라는 복잡한 문제에 대해서 퀄리티의 차이라는 단순한 표현을 쓰는 것이 적절하지 않을 수 있고, 또한 이미지 분류도 그저 정답과 오답이 있을 뿐이라고 말하는 것도 적절하지 않을 것이다. 거친 축약으로 생각해주셨으면.)
즉 이 모든 변화가 일어난 다음에 하는 소리지만, OpenAI가 사람의 선호를 결합했던 것은 사실 자연스러운 것이었으며, 오히려 ML에서 놓치고 있었던 부분이었다고 할 수 있지 않을까 싶다. 그런 의미에서 이러한 과제들에 대해 사람의 선호를 결합하는 시도가 더 많이 등장하고 더 널리 퍼지지 않을까 싶기도 하다. 다만 그 선호를 결합한 하나의 성공적인 사례가 너무 강력해서 오히려 그런 확산의 동력이 약해질 수도 있을 듯. 예를 들어 기계 번역에 선호를 결합하는 시도보다는 범용적인 LLM의 개발에 관심과 자원이 더 집중될 듯 해서.
(물론 이건 추상적인 차원의 이야기이고, 그래서 왜 사람이 가장 선호하는 텍스트를 정답으로 놓고 SFT를 하는 것만으로는 안 되는지, 선호하지 않는 텍스트의 확률을 낮추는 것이 추가로 필요한지와 같은 구체적인 단계로 가면, 즉 왜 사람의 선호가 그러한 방식으로 주입되어야 하는가, 혹은 그러한 방법으로만 주입될 수 있는가의 문제는 분명하게 규명된 것 같지는 않다.)

https://www.facebook.com/rosinality/posts/pfbid033c746DrhT7n329tA4oAKbv8hgod64YEq5F4pXCUKNYmGXEJTMRogwYcusygf8mXql

It's impressive... Do all AI professionals reside in San Francisco? It seems like there are numerous events and infrastructure available for AI founders.

https://twitter.com/jowyang/status/1674493479672766464?s=46&t=euM7ga7kc_Bx_AMQ-pk_6g

Notes for State of GPT_Andrej Karpathy

강화 학습에서 탐색과 활용 사이의 균형을 신중하게 관리하는 것은 성공적인 머신 러닝 모델을 만드는 데 중추적인 역할을 합니다. 탐색(새로운 행동을 시도하는 것)과 활용(알려진 보상이 가장 높은 행동을 선택하는 것) 사이의 균형은 모델 출력의 다양성과 품질을 보장합니다.

GPT-4와 같은 LLM은 인간과 유사한 내부 대화나 자기 성찰 능력을 가지고 있지 않습니다. 생성된 정보를 이해하거나 검증할 수 있는 능력이 없기 때문에 잘 구조화된 모델 설계와 훈련의 중요성이 강조됩니다.

인간의 인지와 LLM 텍스트 생성의 근본적인 차이점은 이해의 깊이에 있습니다. 인간은 콘텐츠, 컨텍스트, 함의를 깊이 있게 이해하는 반면, LLM은 단순히 학습 데이터의 패턴을 기반으로 다음으로 가장 가능성이 높은 토큰을 예측합니다.

이러한 차이점은 LLM을 보다 효율적으로 활용하는 데 도움이 될 수 있습니다. 예를 들어, LLM의 한계를 알면 보다 효과적인 프롬프트(프롬프트 엔지니어링)를 설계하여 더 나은 응답을 이끌어내는 데 도움이 될 수 있습니다. 또한 LLM은 자체 수정이 불가능하지만 여러 결과물을 생성할 수 있다는 점을 이해하면 사람이 초안을 작성하고 수정하는 프로세스와 유사하게 중복 및 반복 개념을 적용할 수 있습니다.

GPT-4의 등장으로 과거 작업을 되돌아볼 수 있는 기능이 도입된 것으로 보입니다. 이는 모델이 산출물의 적절성을 평가할 수 있다는 것을 의미하며, 본질적으로 언어 모델에서 "시스템 2" 사고(의도적 계획)를 재현하기 시작했음을 의미합니다.

도구 사용, 검색 증강 모델, 제약 조건 프롬프트의 개념은 LLM의 출력을 개선하는 데 중요한 역할을 합니다. 이러한 기술은 모델이 기능을 넘어서는 작업을 실행하거나, 특정 출력 템플릿을 준수하거나, 외부 리소스에서 관련 정보를 검색하는 데 도움이 될 수 있습니다.

LLM의 성능을 최적화하기 위해 세부적인 프롬프트 제작, 신속한 엔지니어링 기법 사용, 짧은 예제 제공, 도구 활용, 복잡한 대화 설정 실험, 모델 미세 조정과 같은 전략을 사용할 수 있습니다.

뛰어난 기능에도 불구하고 LLM에는 상당한 한계가 있습니다. 편견을 드러내고, 정보를 조작하고, 추론 오류를 범할 수 있으며, 공격에 취약할 수 있습니다. 따라서 사람의 감독 하에 위험도가 낮은 애플리케이션에 사용하는 것이 좋습니다.

이러한 연구 결과는 LLM의 잠재력과 한계를 조명할 뿐만 아니라 이러한 모델을 효과적으로 활용하는 방법에 대한 귀중한 지침을 제공합니다. 또한 AI 및 언어 모델링의 상당한 진전을 강조하고 향후 개발 및 활용에 대한 로드맵을 제공합니다.

더 자세한 내용은 노션에서 볼 수 있습니다.
https://matthewcontinuouslearning.notion.site/State-of-GPT-KOR-6c477a01c685486e848efe0493ff2205?pvs=4

지난 6개월 동안 매일 ChatGPT를 사용해 보았고, 그 경험을 통해 ChatGPT가 코딩에 어떻게 도움이 되는지를 정리해 보았습니다.
# ChatGPT가 소프트웨어 엔지니어에게 도움을 줄 수 있는 방법:
- ChatGPT는 작업 속도를 5배에서 10배 높여줍니다.
- ChatGPT는 능숙하게 코딩을 합니다.
- ChatGPT는 인상적인 테스트 코드를 작성합니다.
- ChatGPT는 설계에 뛰어납니다.
- ChatGPT는 반복적인 작업에 있어서 큰 시간을 절약해줍니다.
- 새로운 프로그래밍 언어가 나타나도 걱정할 필요가 없습니다 -? 문법의 세부 사항을 알 필요가 없습니다.
- 점점 더 생각 없이 코딩을 하게 되어, ChatGPT에 대한 의존도가 높아지는 경향이 있습니다.
# ChatGPT의 한계:
- 소프트웨어 엔지니어가 아닌 경우, 크게 도움이 되지 않습니다.
- 전체 코드를 이해할 수 없으며, 한 파일 또는 그보다 적은 일만 대체할 수 있습니다.
- 정확한 위치에 복사 및 붙여넣기를 해야 하며, 버그가 발생하면 수정할 수 있어야 합니다.
현재 결론: ChatGPT는 잘 활용할 수 있는 엔지니어에게는 큰 도움을 주고 있습니다.
ChatGPT는 아직 엔지니어가 아닌 사람들에게 프로그래밍 분야에서 뚜렷한 변화를 제공하지 못하고 있습니다. 그러나 앞으로의 발전 단계를 통해 이들에게 더 큰 변화를 가져다 줄 것으로 보입니다.
# 예상되는 발전 단계:
1. 인공지능의 Context size 증가 (2023년 말 예상): 현재 입력 가능한 4000자를 넘어 여러 파일을 동시에 이해할 수 있어야 합니다.
2. 인공지능의 Github 직접 접근 (2024년 예상): Github에 직접 코딩을 하고 코드 리뷰를 보내어, 저에게 코드를 복사 붙여넣기 하지 않게 해야 합니다.
3. 인공지능의 기계어 코딩 (2027년 예상): 프로그래밍 언어가 사라지고, 0101 수준에서 직접 코딩하며, 결과만 보여주게 됩니다. 아직 의도 -> 기계어 학습 데이터로 학습한 LLM은 없습니다.
4. 인공지능의 프로젝트 진행 (2030년 예상): 미션과 목표를 설정하면, 기능을 스스로 추가하고, 유닛 테스팅을 완료하며, 여러 사용자 페르소나를 만들어 사용자 테스트를 완료해야 합니다.
5. 인공지능의 CTO 대체 (2035년 예상): CEO가 미션과 비전을 세우면, 그에 맞는 앱/웹 등을 스스로 판단하여 만들어야 합니다.
이후에는 CEO의 역할까지 대체하여 사업을 설계하고, 그 사업에 필요한 엔지니어링 작업을 스스로 수행하게 될 것입니다.

https://www.facebook.com/hohyon/posts/pfbid0msYgHBqBGVavC8ykpfyAff92mGfPamAdHjypvfWDhsJKCGLrSGxqfRgRqQvomDu7l

Is time illusion?

https://youtu.be/dNrTrx42DGQ?t=99
https://youtu.be/PkM5oK-_7m8
https://youtu.be/p9FN6By_cTs

Is reality illusion?
https://youtu.be/reYdQYZ9Rj4

Time perception, also known as chronoception, is a field within psychology, cognitive linguistics, and neuroscience that refers to the subjective experience or sense of time. It is measured by someone's perception of the duration of the indefinite and unfolding of events. According to theoretical physicist Carlo Rovelli, time is an illusion, and our naive perception of its flow doesn't correspond to physical reality. He posits that reality is just a complex network of events onto which we project sequences of past, present, and future.

There are different philosophical theories about the nature of time. One such theory is eternalism, which suggests that all existence in time is equally real, as opposed to presentism or the growing block universe theory of time, in which at least the future is not the same as any other time. Another theory is the static theory of time, which proposes that time is like space, and there is no such thing as the passage of time.

Time perception can be influenced by factors such as attention, emotion, and context. Some researchers argue that the passage of time is most likely an illusion, and consciousness may involve thermodynamic or quantum processes that lend the impression of living moment to moment.

In conclusion, while our perception of time is a fundamental aspect of human experience, the true nature of time and whether it is an illusion remains a topic of debate and ongoing research in various fields, including physics, neuroscience, and philosophy.

If time is indeed an illusion, it would have significant implications for our understanding of the world and our lives. Our perception of time is deeply ingrained in our daily experiences, and it influences how we perceive events, make decisions, and interact with others. However, if time is an illusion, it suggests that our perception of time may not accurately reflect the true nature of reality.
In the realm of physics, the concept of time as an illusion could lead to new theories and models that better explain the behavior of the universe. For example, if time is not a fundamental aspect of reality, it might be necessary to reevaluate our understanding of concepts such as causality, entropy, and the nature of space-time.

In neuroscience and psychology, the idea of time as an illusion could prompt further research into how our brains process and perceive time. This could lead to a better understanding of the cognitive processes and neural mechanisms underlying time perception, as well as the factors that influence our subjective experience of time.

In philosophy, the notion of time as an illusion could provoke further debate and exploration of the nature of time and its relationship to human experience. This might involve reevaluating various philosophical theories about time, such as eternalism, presentism, and the static theory of time.

Overall, if time is an illusion, it would challenge our fundamental understanding of the world and our place in it. It would prompt us to reevaluate our assumptions about the nature of reality and the way we perceive and interact with the world around us. However, it is important to note that the true nature of time and whether it is an illusion remains a topic of ongoing debate and research in various fields, including physics, neuroscience, and philosophy.

저녁 먹다가 이야기한 내용.

AI 캠브리아기에서 살고 있는 것 같다.

모든 것이 빠르게 바뀌고 누구도 1년 뒤를 예측하기 어렵다고. 그동안 당연하다고 생각했던 것들이 바뀌고 있고, 새로운 성공 방정식들이 생겨나고 있음.

그렇다고 무조건 스타트업이 이긴다는 행복회로 돌리는 건 아니고, 정신 바짝차리고 이 파도를 재밌게 타다보면 길이 보일 수 있다는 거.

모든 것이 불확실한 세상 = 뭐든 해볼 수 있는 세상

https://youtu.be/bdAaujNTTJg
Korean subnoscript