The Diversity Myth
Relevance Today: Thiel begins by discussing the increasing importance of the themes in his book "The Diversity Myth." Originally perceived as a marginal topic, the issue of diversity, especially in the form of "wokeness," has now become mainstream.
Ambiguity of Diversity: Thiel unpacks the term, arguing it can either represent intellectual diversity or a nebulous concept that diverts attention from more pressing issues. He calls for a more focused discourse, warning that the overemphasis on diversity is likely distracting from other significant problems.
Critical Areas Overlooked
Science and Technology: Thiel argues that the focus on humanities at the expense of the sciences has led to stagnation in scientific innovation.
Economic Issues: According to Thiel, discussions about diversity often overshadow conversations about economic inequality and stagnation.
Religion: In Thiel's view, diversity movements serve as a secular alternative to religious narratives, excluding important religious discussions.
Political Distractions: Thiel argues that the fervor around political correctness distracts from geopolitically significant issues, like the rise of China.
State of Science and Technology
Lack of Progress: Thiel discusses the stagnation in various scientific fields, attributing this to cultural and bureaucratic factors.
Role of Computer Science: The rapid development of computer science, in contrast to other fields, is attributed to its operational freedom from traditional academia.
College Education's Declining Utility
Field Choices: Thiel laments that more students are opting for careers in consulting, law, and medicine instead of science and technology.
Value Decay: Thiel argues that the value of college degrees in many fields is depreciating, with computer science as a notable exception.
Corporate World and Wokeness
Corporate Tactics: Thiel considers the incorporation of woke ideology in businesses as either a clever strategy to divide workers or a form of mass insanity that distracts from economic issues.
Distractions in Tech Industry: He suggests that politics within tech companies serve as a distraction from their original mission and vision.
Religion and Wokeness
Christianity vs. Wokeness: Thiel draws parallels between Christianity and woke ideology, especially their focus on victims, but he notes the absence of forgiveness in the latter.
Decline of Religion: Thiel suggests that as conventional religion declines, alternatives like woke ideology rise to fill the vacuum.
Universe, Science, and Religion
Avoidance of Ultimate Questions: Thiel believes the fascination with theories like the Multiverse results from a desire to evade uncomfortable religious and scientific questions, hindering technological progress.
Geopolitical Rivalry with China
Threat Recognition: Thiel emphasizes the importance of not underestimating China's totalitarian ideology and its impact on global relations.
Institutional Entanglements: Thiel criticizes American institutions like Hollywood and Wall Street for benefiting from ties with China, even as the geopolitical landscape shifts.
Current Awareness and Future Prospects
Growing Consciousness: Thiel observes a current, less-distracted awareness about issues like science stagnation, economic stagnation, and the totalitarian rise of China.
AI as Future: Despite potential dangers, Thiel notes there is less resistance against AI, as many view it as an opportunity for a better future.
https://youtu.be/PjHinnC1xCE
Relevance Today: Thiel begins by discussing the increasing importance of the themes in his book "The Diversity Myth." Originally perceived as a marginal topic, the issue of diversity, especially in the form of "wokeness," has now become mainstream.
Ambiguity of Diversity: Thiel unpacks the term, arguing it can either represent intellectual diversity or a nebulous concept that diverts attention from more pressing issues. He calls for a more focused discourse, warning that the overemphasis on diversity is likely distracting from other significant problems.
Critical Areas Overlooked
Science and Technology: Thiel argues that the focus on humanities at the expense of the sciences has led to stagnation in scientific innovation.
Economic Issues: According to Thiel, discussions about diversity often overshadow conversations about economic inequality and stagnation.
Religion: In Thiel's view, diversity movements serve as a secular alternative to religious narratives, excluding important religious discussions.
Political Distractions: Thiel argues that the fervor around political correctness distracts from geopolitically significant issues, like the rise of China.
State of Science and Technology
Lack of Progress: Thiel discusses the stagnation in various scientific fields, attributing this to cultural and bureaucratic factors.
Role of Computer Science: The rapid development of computer science, in contrast to other fields, is attributed to its operational freedom from traditional academia.
College Education's Declining Utility
Field Choices: Thiel laments that more students are opting for careers in consulting, law, and medicine instead of science and technology.
Value Decay: Thiel argues that the value of college degrees in many fields is depreciating, with computer science as a notable exception.
Corporate World and Wokeness
Corporate Tactics: Thiel considers the incorporation of woke ideology in businesses as either a clever strategy to divide workers or a form of mass insanity that distracts from economic issues.
Distractions in Tech Industry: He suggests that politics within tech companies serve as a distraction from their original mission and vision.
Religion and Wokeness
Christianity vs. Wokeness: Thiel draws parallels between Christianity and woke ideology, especially their focus on victims, but he notes the absence of forgiveness in the latter.
Decline of Religion: Thiel suggests that as conventional religion declines, alternatives like woke ideology rise to fill the vacuum.
Universe, Science, and Religion
Avoidance of Ultimate Questions: Thiel believes the fascination with theories like the Multiverse results from a desire to evade uncomfortable religious and scientific questions, hindering technological progress.
Geopolitical Rivalry with China
Threat Recognition: Thiel emphasizes the importance of not underestimating China's totalitarian ideology and its impact on global relations.
Institutional Entanglements: Thiel criticizes American institutions like Hollywood and Wall Street for benefiting from ties with China, even as the geopolitical landscape shifts.
Current Awareness and Future Prospects
Growing Consciousness: Thiel observes a current, less-distracted awareness about issues like science stagnation, economic stagnation, and the totalitarian rise of China.
AI as Future: Despite potential dangers, Thiel notes there is less resistance against AI, as many view it as an opportunity for a better future.
https://youtu.be/PjHinnC1xCE
YouTube
Peter Thiel: "Diversity Myth" 30 Years Later
Nearly 30 years after publishing "The Diversity Myth," Peter Thiel sits down with Mike Solana to unpack what the book got right and wrong. Thiel argues that social distractions have stunted scientific progress, slowed economic growth and weakened our geopolitical…
Continuous Learning_Startup & Investment
The Diversity Myth Relevance Today: Thiel begins by discussing the increasing importance of the themes in his book "The Diversity Myth." Originally perceived as a marginal topic, the issue of diversity, especially in the form of "wokeness," has now become…
다양성의 신화
현재의 중요성: 틸은 그의 책 "The Diversity Myth"에서 다룬 주제의 중요성이 증가하고 있다고 논의한다. 처음에는 주변적인 주제로 여겨졌지만, 특히 "워크니스"의 형태로 이제는 주류가 되었다.
다양성의 애매함: 틸은 이 용어를 해석하며, 이것이 지적 다양성을 대표할 수도 있고 더 중요한 문제로부터 주목을 딴다는 모호한 개념일 수도 있다고 주장한다. 그는 다른 중요한 문제로부터의 주의를 산만하게 만들 가능성이 있는 다양성에 대한 과도한 강조에 경고한다.
놓치고 있는 중요 영역
과학과 기술: 틸은 인문학에 대한 과학의 희생으로 과학 혁신이 정체되었다고 주장한다.
경제 문제: 틸에 따르면, 다양성에 대한 논의는 종종 경제 불평등과 정체에 대한 대화를 덮어버린다.
종교: 틸의 견해에 따르면, 다양성 운동은 중요한 종교적 논의를 배제하는 세속적 대안으로 작용한다.
정치적 주의산만: 틸은 정치적 정확성 주위의 열기가 중국의 부상과 같은 지정학적으로 중요한 문제로부터 주목을 딴다고 주장한다.
과학과 기술의 현 상태
진전 부족: 틸은 문화적, 관료적 요인으로 다양한 과학 분야에서의 정체를 논의한다.
컴퓨터 과학의 역할: 다른 분야와 대조적으로 컴퓨터 과학의 빠른 발전은 전통적인 학계로부터의 운영적 자유에 기인한다.
대학 교육의 가치 하락
분야 선택: 틸은 더 많은 학생들이 과학과 기술 대신 컨설팅, 법률, 의학 경력을 선택한다고 한탄한다.
가치 저하: 틸은 많은 분야에서 대학 학위의 가치가 저하되고 있다고 주장한다. 컴퓨터 과학은 두드러진 예외다.
기업 세계와 워크니스
기업 전략: 틸은 기업이 워크 이데올로기를 통합하는 것이 노동자를 분열시키는 영리한 전략일 수도 있고, 경제 문제로부터 주목을 딴다는 집단 정신병의 형태일 수도 있다고 고려한다.
기술 산업 내 주의산만: 그는 기술 회사 내의 정치가 그들의 원래의 임무와 비전으로부터 주의를 딴다고 제안한다.
종교와 워크니스
기독교 대 워크니스: 틸은 기독교와 워크 이데올로기, 특히 그들이 피해자에 중점을 둔다는 점에서 유사성을 그린다. 그러나 후자에는 용서의 부재를 지적한다.
종교의 하락: 틸은 전통적인 종교가 감소함에 따라 워크 이데올로기와 같은 대안이 빈틈을 채운다고 제안한다.
우주, 과학, 종교
최종 문제 회피: 틸은 멀티버스 같은 이론에 대한 매료는 불편한 종교적, 과학적 문제를 피하려는 욕구에서 비롯되며, 기술적 진전을 저해한다고 믿는다.
중국과의 지정학적 경쟁
위협 인식: 틸은 중국의 전체주의 이데올로기와 그것이 글로벌 관계에 미치는 영향을 과소평가하지 않는 것이 중요하다고 강조한다.
기관적 엉킴: 틸은 할리우드와 월스트리트와 같은 미국 기관들이 지정학적 풍경이 바뀌면서도 중국과의 관계에서 이익을 얻는 것을 비판한다.
현재의 인식과 미래의 전망
성장하는 의식: 틸은 과학 정체, 경제 정체, 중국의 전체주의 상승과 같은 문제에 대한 현재 덜 산만한 인식을 지적한다.
AI를 향한 미래: 잠재적 위험에도 불구하고, 틸은 많은 이들이 그것을 더 나은 미래의 기회로 보고 있어 AI에 대한 저항이 적다고 지적한다.
현재의 중요성: 틸은 그의 책 "The Diversity Myth"에서 다룬 주제의 중요성이 증가하고 있다고 논의한다. 처음에는 주변적인 주제로 여겨졌지만, 특히 "워크니스"의 형태로 이제는 주류가 되었다.
다양성의 애매함: 틸은 이 용어를 해석하며, 이것이 지적 다양성을 대표할 수도 있고 더 중요한 문제로부터 주목을 딴다는 모호한 개념일 수도 있다고 주장한다. 그는 다른 중요한 문제로부터의 주의를 산만하게 만들 가능성이 있는 다양성에 대한 과도한 강조에 경고한다.
놓치고 있는 중요 영역
과학과 기술: 틸은 인문학에 대한 과학의 희생으로 과학 혁신이 정체되었다고 주장한다.
경제 문제: 틸에 따르면, 다양성에 대한 논의는 종종 경제 불평등과 정체에 대한 대화를 덮어버린다.
종교: 틸의 견해에 따르면, 다양성 운동은 중요한 종교적 논의를 배제하는 세속적 대안으로 작용한다.
정치적 주의산만: 틸은 정치적 정확성 주위의 열기가 중국의 부상과 같은 지정학적으로 중요한 문제로부터 주목을 딴다고 주장한다.
과학과 기술의 현 상태
진전 부족: 틸은 문화적, 관료적 요인으로 다양한 과학 분야에서의 정체를 논의한다.
컴퓨터 과학의 역할: 다른 분야와 대조적으로 컴퓨터 과학의 빠른 발전은 전통적인 학계로부터의 운영적 자유에 기인한다.
대학 교육의 가치 하락
분야 선택: 틸은 더 많은 학생들이 과학과 기술 대신 컨설팅, 법률, 의학 경력을 선택한다고 한탄한다.
가치 저하: 틸은 많은 분야에서 대학 학위의 가치가 저하되고 있다고 주장한다. 컴퓨터 과학은 두드러진 예외다.
기업 세계와 워크니스
기업 전략: 틸은 기업이 워크 이데올로기를 통합하는 것이 노동자를 분열시키는 영리한 전략일 수도 있고, 경제 문제로부터 주목을 딴다는 집단 정신병의 형태일 수도 있다고 고려한다.
기술 산업 내 주의산만: 그는 기술 회사 내의 정치가 그들의 원래의 임무와 비전으로부터 주의를 딴다고 제안한다.
종교와 워크니스
기독교 대 워크니스: 틸은 기독교와 워크 이데올로기, 특히 그들이 피해자에 중점을 둔다는 점에서 유사성을 그린다. 그러나 후자에는 용서의 부재를 지적한다.
종교의 하락: 틸은 전통적인 종교가 감소함에 따라 워크 이데올로기와 같은 대안이 빈틈을 채운다고 제안한다.
우주, 과학, 종교
최종 문제 회피: 틸은 멀티버스 같은 이론에 대한 매료는 불편한 종교적, 과학적 문제를 피하려는 욕구에서 비롯되며, 기술적 진전을 저해한다고 믿는다.
중국과의 지정학적 경쟁
위협 인식: 틸은 중국의 전체주의 이데올로기와 그것이 글로벌 관계에 미치는 영향을 과소평가하지 않는 것이 중요하다고 강조한다.
기관적 엉킴: 틸은 할리우드와 월스트리트와 같은 미국 기관들이 지정학적 풍경이 바뀌면서도 중국과의 관계에서 이익을 얻는 것을 비판한다.
현재의 인식과 미래의 전망
성장하는 의식: 틸은 과학 정체, 경제 정체, 중국의 전체주의 상승과 같은 문제에 대한 현재 덜 산만한 인식을 지적한다.
AI를 향한 미래: 잠재적 위험에도 불구하고, 틸은 많은 이들이 그것을 더 나은 미래의 기회로 보고 있어 AI에 대한 저항이 적다고 지적한다.
Continuous Learning_Startup & Investment
http://m.monthly.chosun.com/client/news/viw.asp?nNewsNumb=200806100034 https://www.chosun.com/national/weekend/2023/02/11/GGLG2Z2TVBAYFMTP2O3ZV667ZQ/?outputType=amp
선배 창업자들의 기록, 인터뷰를 볼 때마다 겸손해지고 좋은 영감을 많이 받는다.
“그 당시엔 난방시설이 제대로 안 돼 겨울이면 굉장히 추웠다. 차가운 청진기 금속이 몸에 닿을 때, 소스라치게 놀라는 환자를 본 후 청진기를 가슴에 품어 체온으로 덥혀 진료했다.”
이어령 교수는 2010년 9월 한 강연에서 이 총장을 이렇게 소개했다. “중국 삼자경엔 효심이 지극한 어린 황향이 아버지 이부자리를 몸으로 덥힌다는 고사가 나온다. 일본에선 도요토미 히데요시가 주군의 발이 시리지 않도록 신발을 품고 다녔다는 일화가 전해진다. 한국엔 환자가 춥지 않도록 가슴에 청진기를 품고 지낸 의사가 있다. 타인 중에도 특히 약한 자, 환자를 배려하는 마음은 중국 일본의 고사에 비길 일이 아니다.”
-왜 보증금을 받지 않았나.
“그 당시 세계에서 제일 가난한 나라가 대한민국이었다. 지금 아프리카에서 아이들이 영양실조로 비쩍 말라 죽어가듯, 그때 우리가 그랬다. 집도 없고, 먹을 것도 없고, 병들면 그냥 죽는 비참한 시대였다. 자궁으로 들어간 균이 복강으로 퍼져서 복막염이 돼, 패혈증으로 죽어갔다. 항생제 주사만 맞으면 100% 살 수 있는데. 내가 의사가 된 건, 그런 불쌍한 사람들 살리기 위해서였지 돈을 벌기 위함이 아니었다.”
-우울증이 찾아온 것도 이 시기였다.
“그땐 우울증인 것도 몰랐다. 8차선 고속도로에서 벤츠를 타고 최고 속도로 막 달리다가 큰 돌덩이에 탁 부딪친 느낌이었다. 정신을 차리고 보니 주위엔 아무도 없었다. 당시 여자에게 결혼은 꼭 해야 하는 일이었다. 나이 마흔 넘어 남들 다한다는 결혼도 못 하고, 도대체 나는 뭐 하는 사람인가 싶었다. 고등학교 때 그 꿈 많던 소녀는 어디 갔나, 이렇게 개원의로 내 인생이 끝나는 건가, 허망한 마음도 들었다. 도저히 견디지 못해 일본 니혼대로 다시 유학을 갔다. 거기서 해결책을 찾았다.”
-어떤 해결책이었나.
“일본 의료 수준을 직접 체험하면서 산부인과를 종합병원으로 만들어야겠다는 결심을 했다.”
-이후 적자를 감수하고 양평, 철원, 백령도에도 병원을 세웠다.
“1980년대만 해도 양평은 경기도에서 가장 못사는 곳이었다. 정부가 나서서 몇 군데 큰 병원에다 맡기려고 했는데, 다들 하지 않겠다고 했다. 100% 적자가 나는데 정부가 하란다고 하겠나. 그렇게 2년을 표류하더니, 당시 복지부에 있던 서울대 2년 후배가 나를 찾아왔다. ‘선배는 결혼도 안 하고 가족도 없는데 돈 벌어서 뭐할 거냐. 지금은 의료보험이 다 돼 무료 병원은 못 지으니 양평을 맡아 달라’고 하더라. 내 원래 꿈이 고향에 무료 병원 짓는 거였다. 논리 정연하게 내 아픈 곳을 찌른 것이다.”
-앞으로 남은 목표가 있으시다면.
“아이들이 성장하는 학교를 만들고, 병원도 발전시키는 것. 내가 해야 할 일을 충실히 하는 것이다. 건강이 망가지기 전까진 그래야 하지 않겠나.”
-동안(童顔)의 비결을 묻지 않을 수 없다.
“지극히 평범한 것들을 잘 지키려고 노력한다. 규칙적인 생활을 하고, 물을 많이 마시며, 술·담배 하지 않기 같은 것.”
『세상만사 생각하기 나름 아닙니까. 우선 긍정적으로 생각하고, 어려우면 어려운 대로 밤을 새워 곰곰이 생각하면서 간절히 기도하니까 답이 나오데요. 제가 의과대학 시작하려 할 때 복지부·의사회 등 모두가 반대해서 한참 동안 어려움이 많았습니다.
구월동 길병원 건립 때는 계약금을 떼이고 공사가 지연되어 자금난을 겪는 등 굽이굽이를 넘어왔습니다. 모든 어려움을 벼랑 끝에서 손을 놓는 용기, 개인 재산을 던지는 용기로 극복할 수 있었습니다』
―앞으로 뭘 하실 계획인가요.
『나의 일을 계속해야죠. 나를 필요로 한다면 쓰러질 때까지 할 겁니다』
-인생이란 무엇일까.
“사람이 태어나려면 수십만개의 정자가 엄청난 경쟁을 뚫고 하나의 난자와 만나야 한다. 이렇게 소중한 생명이, 그저 아무 의미없이 태어나겠나. 반드시 사람은 자신만의 중요한 소명을 타고 난다. 그러니 헛되이 살아선 안 된다. 내겐 그 소명이 사람을 살리는 일이었다.”
http://m.monthly.chosun.com/client/news/viw.asp?nNewsNumb=200806100034
https://www.chosun.com/national/weekend/2023/02/11/GGLG2Z2TVBAYFMTP2O3ZV667ZQ/?outputType=amp
“그 당시엔 난방시설이 제대로 안 돼 겨울이면 굉장히 추웠다. 차가운 청진기 금속이 몸에 닿을 때, 소스라치게 놀라는 환자를 본 후 청진기를 가슴에 품어 체온으로 덥혀 진료했다.”
이어령 교수는 2010년 9월 한 강연에서 이 총장을 이렇게 소개했다. “중국 삼자경엔 효심이 지극한 어린 황향이 아버지 이부자리를 몸으로 덥힌다는 고사가 나온다. 일본에선 도요토미 히데요시가 주군의 발이 시리지 않도록 신발을 품고 다녔다는 일화가 전해진다. 한국엔 환자가 춥지 않도록 가슴에 청진기를 품고 지낸 의사가 있다. 타인 중에도 특히 약한 자, 환자를 배려하는 마음은 중국 일본의 고사에 비길 일이 아니다.”
-왜 보증금을 받지 않았나.
“그 당시 세계에서 제일 가난한 나라가 대한민국이었다. 지금 아프리카에서 아이들이 영양실조로 비쩍 말라 죽어가듯, 그때 우리가 그랬다. 집도 없고, 먹을 것도 없고, 병들면 그냥 죽는 비참한 시대였다. 자궁으로 들어간 균이 복강으로 퍼져서 복막염이 돼, 패혈증으로 죽어갔다. 항생제 주사만 맞으면 100% 살 수 있는데. 내가 의사가 된 건, 그런 불쌍한 사람들 살리기 위해서였지 돈을 벌기 위함이 아니었다.”
-우울증이 찾아온 것도 이 시기였다.
“그땐 우울증인 것도 몰랐다. 8차선 고속도로에서 벤츠를 타고 최고 속도로 막 달리다가 큰 돌덩이에 탁 부딪친 느낌이었다. 정신을 차리고 보니 주위엔 아무도 없었다. 당시 여자에게 결혼은 꼭 해야 하는 일이었다. 나이 마흔 넘어 남들 다한다는 결혼도 못 하고, 도대체 나는 뭐 하는 사람인가 싶었다. 고등학교 때 그 꿈 많던 소녀는 어디 갔나, 이렇게 개원의로 내 인생이 끝나는 건가, 허망한 마음도 들었다. 도저히 견디지 못해 일본 니혼대로 다시 유학을 갔다. 거기서 해결책을 찾았다.”
-어떤 해결책이었나.
“일본 의료 수준을 직접 체험하면서 산부인과를 종합병원으로 만들어야겠다는 결심을 했다.”
-이후 적자를 감수하고 양평, 철원, 백령도에도 병원을 세웠다.
“1980년대만 해도 양평은 경기도에서 가장 못사는 곳이었다. 정부가 나서서 몇 군데 큰 병원에다 맡기려고 했는데, 다들 하지 않겠다고 했다. 100% 적자가 나는데 정부가 하란다고 하겠나. 그렇게 2년을 표류하더니, 당시 복지부에 있던 서울대 2년 후배가 나를 찾아왔다. ‘선배는 결혼도 안 하고 가족도 없는데 돈 벌어서 뭐할 거냐. 지금은 의료보험이 다 돼 무료 병원은 못 지으니 양평을 맡아 달라’고 하더라. 내 원래 꿈이 고향에 무료 병원 짓는 거였다. 논리 정연하게 내 아픈 곳을 찌른 것이다.”
-앞으로 남은 목표가 있으시다면.
“아이들이 성장하는 학교를 만들고, 병원도 발전시키는 것. 내가 해야 할 일을 충실히 하는 것이다. 건강이 망가지기 전까진 그래야 하지 않겠나.”
-동안(童顔)의 비결을 묻지 않을 수 없다.
“지극히 평범한 것들을 잘 지키려고 노력한다. 규칙적인 생활을 하고, 물을 많이 마시며, 술·담배 하지 않기 같은 것.”
『세상만사 생각하기 나름 아닙니까. 우선 긍정적으로 생각하고, 어려우면 어려운 대로 밤을 새워 곰곰이 생각하면서 간절히 기도하니까 답이 나오데요. 제가 의과대학 시작하려 할 때 복지부·의사회 등 모두가 반대해서 한참 동안 어려움이 많았습니다.
구월동 길병원 건립 때는 계약금을 떼이고 공사가 지연되어 자금난을 겪는 등 굽이굽이를 넘어왔습니다. 모든 어려움을 벼랑 끝에서 손을 놓는 용기, 개인 재산을 던지는 용기로 극복할 수 있었습니다』
―앞으로 뭘 하실 계획인가요.
『나의 일을 계속해야죠. 나를 필요로 한다면 쓰러질 때까지 할 겁니다』
-인생이란 무엇일까.
“사람이 태어나려면 수십만개의 정자가 엄청난 경쟁을 뚫고 하나의 난자와 만나야 한다. 이렇게 소중한 생명이, 그저 아무 의미없이 태어나겠나. 반드시 사람은 자신만의 중요한 소명을 타고 난다. 그러니 헛되이 살아선 안 된다. 내겐 그 소명이 사람을 살리는 일이었다.”
http://m.monthly.chosun.com/client/news/viw.asp?nNewsNumb=200806100034
https://www.chosun.com/national/weekend/2023/02/11/GGLG2Z2TVBAYFMTP2O3ZV667ZQ/?outputType=amp
Chosun
[이 사람의 성공 人生] 길병원 50주년 맞은 李吉女 가천의과학대 총장 : 월간조선
💯2
오늘 취업 준비를 하는 청년들에게 강의를 했다.
'조직에 속한다는 것'은 두 가지가 필요한데 하나는 조직에 'contributions(기여)'를 하고야 말겠다는 강한 의지와 'proactive(선제적 태도)'가 그것이다.
단순한 일 처리가 아니라 조직이 추구하는 목표에 다가서기 위해서 내가 적극적으로 무엇을 해야하는가에 대한 깊은 생각이 필요하며 일이 주어지기를 기다리거나 주어진 일의 목적을 생각하지 못해서는 안되며 선제적으로 목적 지향적인 태도로 임해야 한다.
만일 어떤 조직에 들어가기를 원한다면 그 조직이 설립할때부터의 역사와 정신 그리고 성장 과정과 현재 이르기까지의 동력이 무엇이었는지를 파악해야 한다.
그리고 그 회사의 재무적 상태와 미래 지향적 목표를 가지고 사업에 투자를 하고 있는지를 확인할 필요가 있다.
자신이 가고자 하는 분야에 대해 최소한(최소한이다) 100가지 질문을 적어보라.
그런 후에 그 분야 최고의 전문가를 어떻게든 찾아서 만나보라.
전문가를 통해 High level idea & dynamic을 이해해야 세부적인 요소를 공부하면서 그것이 어디에 위치하는지, 그것이 무슨 의미가 있는지를 알수 있다.
그리고 나서 지원하고자 하는 회사에 다니는 사람들을 만나서 이야기를 들어보라.
이제 취업을 하려는 청년들에게 실제로 요구되는 것은 몇가지 skill이 아니라 조직이 요구하는 높은 수준의 업무들을 소화하고 문제를 해결할 역량이다.
한마디로 얼마나 potential이 있는지다.
천재 과학자같은 수준이 아닌한 신입에게 요구하는 것은 성장 가능성이다.
5-10년을 근무할 회사를 찾는다면 성장하는 회사에 들어가야 하며 동시에 자신을 성장 시켜줄 회사를 찾아야 한다.
그런 회사에 가고자 하면 work-life-balance를 이야기해서는 안된다.
Amazon 창업자 Jeff Bezos가 말한 것처럼 work-life-harmony를 추구해야 한다
자신의 시간을 가장 많이 투자하는 직장에서 성공해야 나머지 삶도 떳떳하고 행복하기에 하모니를 이루어야 한다는 것이다.
젊은 청년들이 취업하기 어려운 시기에 직장을 찾는데 시간을 쓰는 것이 필요하긴 하나 - 단순한 스펙이 아니라 - 자신의 내공을 쌓은데도 많은 시간을 투자해야 한다.
내 주변에 '저런 친구는 꼭 데리고 와서 함께 하고 싶은데'라는 생각이 드는 친구들이 있는데 대부분 주변 회사들도 그를 만나면 마찬가지 생각을 한다.
빈익빈 부익부이다.
이런 친구들은 내공을 쌓았기에 대화를 해보거나 잠시 일해보면 금새 알수 있다.
반대로 스스로의 내공을 쌓지 않고 쓸데없는 스펙만 잔뜩 나열한다면 누가 그들을 선발하겠는가!
기업이 늘 뽑을만판 사람이 없다고 하는 이유다.
'조직에 속한다는 것'은 두 가지가 필요한데 하나는 조직에 'contributions(기여)'를 하고야 말겠다는 강한 의지와 'proactive(선제적 태도)'가 그것이다.
단순한 일 처리가 아니라 조직이 추구하는 목표에 다가서기 위해서 내가 적극적으로 무엇을 해야하는가에 대한 깊은 생각이 필요하며 일이 주어지기를 기다리거나 주어진 일의 목적을 생각하지 못해서는 안되며 선제적으로 목적 지향적인 태도로 임해야 한다.
만일 어떤 조직에 들어가기를 원한다면 그 조직이 설립할때부터의 역사와 정신 그리고 성장 과정과 현재 이르기까지의 동력이 무엇이었는지를 파악해야 한다.
그리고 그 회사의 재무적 상태와 미래 지향적 목표를 가지고 사업에 투자를 하고 있는지를 확인할 필요가 있다.
자신이 가고자 하는 분야에 대해 최소한(최소한이다) 100가지 질문을 적어보라.
그런 후에 그 분야 최고의 전문가를 어떻게든 찾아서 만나보라.
전문가를 통해 High level idea & dynamic을 이해해야 세부적인 요소를 공부하면서 그것이 어디에 위치하는지, 그것이 무슨 의미가 있는지를 알수 있다.
그리고 나서 지원하고자 하는 회사에 다니는 사람들을 만나서 이야기를 들어보라.
이제 취업을 하려는 청년들에게 실제로 요구되는 것은 몇가지 skill이 아니라 조직이 요구하는 높은 수준의 업무들을 소화하고 문제를 해결할 역량이다.
한마디로 얼마나 potential이 있는지다.
천재 과학자같은 수준이 아닌한 신입에게 요구하는 것은 성장 가능성이다.
5-10년을 근무할 회사를 찾는다면 성장하는 회사에 들어가야 하며 동시에 자신을 성장 시켜줄 회사를 찾아야 한다.
그런 회사에 가고자 하면 work-life-balance를 이야기해서는 안된다.
Amazon 창업자 Jeff Bezos가 말한 것처럼 work-life-harmony를 추구해야 한다
자신의 시간을 가장 많이 투자하는 직장에서 성공해야 나머지 삶도 떳떳하고 행복하기에 하모니를 이루어야 한다는 것이다.
젊은 청년들이 취업하기 어려운 시기에 직장을 찾는데 시간을 쓰는 것이 필요하긴 하나 - 단순한 스펙이 아니라 - 자신의 내공을 쌓은데도 많은 시간을 투자해야 한다.
내 주변에 '저런 친구는 꼭 데리고 와서 함께 하고 싶은데'라는 생각이 드는 친구들이 있는데 대부분 주변 회사들도 그를 만나면 마찬가지 생각을 한다.
빈익빈 부익부이다.
이런 친구들은 내공을 쌓았기에 대화를 해보거나 잠시 일해보면 금새 알수 있다.
반대로 스스로의 내공을 쌓지 않고 쓸데없는 스펙만 잔뜩 나열한다면 누가 그들을 선발하겠는가!
기업이 늘 뽑을만판 사람이 없다고 하는 이유다.
❤3
세계에서 가장 부자고객을 많이 확보하고 있는 거대 은행, UBS-크레딧스위스는 매년 "세계 부자 보고서"를 발표합니다. 이 가운데 "세계에서 가장 부유한 나라"가 어디인지 알려주는 통계가 있어서 소개합니다.
***
어떤 나라 국민이 가장 부유한가? 이 질문을 하는 데에는 두 가지 방법이 있죠. 하나는 국민소득을 보는 것이고, 다른 하나는 국민들이 보유한 자산을 보는 것이죠. 이 두 방법 중에 가장 신뢰도 높은 것은 당연히 자산을 보는 것입니다. 예를 들어 연봉 1억이지만 순자산 5억인 사람과 연봉 5천만원이지만 순자산 30억인 사람 중에, 누가 더 부유한 지 금방 대답할 수 있을 겁니다.
아무리 연봉이 많아도 순자산이 많은 사람을 당할 수 없죠. 그러나, 국민이 얼마나 부자인지를 평가하기 위해서는 평균과 중위값을 구분할 필요가 있죠. 중동의 여러 나라처럼, 왕족이 부를 독점하고 있는 경우에는 '평균적으로' 국민들이 부자라는 게 별 다른 의미가 없을 겁니다. 따라서 항상 중위값, 즉 국민을 자산순서로 줄을 세웠을 때 가장 가운데 서 있는 사람이 얼마나 많은 자산을 가지고 있는지 봐야 합니다.
첫 번째 <그림>은 세계 주요국 성인 1인당 순자산을 중위값 기준으로 줄 세운 것입니다. 세계에서 가장 부유한 나라는 호주와 벨기에 홍콩 순서였습니다. 스위스가 4등, 영국이 5등, 그리고 프랑스가 6등을 차지해 서유럽국가들이 "오랜 기간 쌓인 부"를 자랑했습니다.
한국은 10.1만 달러를 기록해, 독일보다는 더 부유하고 미국이나 스페인보다는 약간 쳐지는 것으로 나타났습니다. 그러나 이는 '달러 기준'이기에, 2023년 한국 환율이 2022년보다 낮아진다면 다시 미국을 제칠 잠재력은 충분한 것 같습니다.
***
한발 더 나아가, 호주가 왜 세계에서 가장 부유한 나라가 되었는지 살펴보겠습니다.
그 답은 아래와 같이 '수퍼애뉴에이션'이라 불리는 호주 특유의 퇴직연금 제도 때문입니다(두 번째 <그림> 참조). 1992년부터 의무 가입되었고, 연 8% 이상의 높은 성과를 장기간 유지하면서 호주 국민들을 부자로 만들었습니다. 국민연금 다니던 시절, 호주 사례 공부하면서 얼마나 부러웠는지 모릅니다.
***
결론은 뭐.. 자산배분 투자 하시라는 겁니다
Frism 서비스도 좋고, 비용 잘 따져 TDF도 좋고..
https://blog.naver.com/hong8706/223195366290
***
어떤 나라 국민이 가장 부유한가? 이 질문을 하는 데에는 두 가지 방법이 있죠. 하나는 국민소득을 보는 것이고, 다른 하나는 국민들이 보유한 자산을 보는 것이죠. 이 두 방법 중에 가장 신뢰도 높은 것은 당연히 자산을 보는 것입니다. 예를 들어 연봉 1억이지만 순자산 5억인 사람과 연봉 5천만원이지만 순자산 30억인 사람 중에, 누가 더 부유한 지 금방 대답할 수 있을 겁니다.
아무리 연봉이 많아도 순자산이 많은 사람을 당할 수 없죠. 그러나, 국민이 얼마나 부자인지를 평가하기 위해서는 평균과 중위값을 구분할 필요가 있죠. 중동의 여러 나라처럼, 왕족이 부를 독점하고 있는 경우에는 '평균적으로' 국민들이 부자라는 게 별 다른 의미가 없을 겁니다. 따라서 항상 중위값, 즉 국민을 자산순서로 줄을 세웠을 때 가장 가운데 서 있는 사람이 얼마나 많은 자산을 가지고 있는지 봐야 합니다.
첫 번째 <그림>은 세계 주요국 성인 1인당 순자산을 중위값 기준으로 줄 세운 것입니다. 세계에서 가장 부유한 나라는 호주와 벨기에 홍콩 순서였습니다. 스위스가 4등, 영국이 5등, 그리고 프랑스가 6등을 차지해 서유럽국가들이 "오랜 기간 쌓인 부"를 자랑했습니다.
한국은 10.1만 달러를 기록해, 독일보다는 더 부유하고 미국이나 스페인보다는 약간 쳐지는 것으로 나타났습니다. 그러나 이는 '달러 기준'이기에, 2023년 한국 환율이 2022년보다 낮아진다면 다시 미국을 제칠 잠재력은 충분한 것 같습니다.
***
한발 더 나아가, 호주가 왜 세계에서 가장 부유한 나라가 되었는지 살펴보겠습니다.
그 답은 아래와 같이 '수퍼애뉴에이션'이라 불리는 호주 특유의 퇴직연금 제도 때문입니다(두 번째 <그림> 참조). 1992년부터 의무 가입되었고, 연 8% 이상의 높은 성과를 장기간 유지하면서 호주 국민들을 부자로 만들었습니다. 국민연금 다니던 시절, 호주 사례 공부하면서 얼마나 부러웠는지 모릅니다.
***
결론은 뭐.. 자산배분 투자 하시라는 겁니다
Frism 서비스도 좋고, 비용 잘 따져 TDF도 좋고..
https://blog.naver.com/hong8706/223195366290
NAVER
호주는 어떻게 세계 No.1 부자 나가가 되었나?
세계에서 가장 부자고객을 많이 확보하고 있는 거대 은행, UBS-크레딧스위스는 매년 "세계 부자 보고서"를 발표합니다. 이 가운데 "세계에서 가장 부유한 나라"가 어디인지 알려주는 통계가 있어서 소개합니다.
How much face time should a CEO spend with an incoming executive? For Plaid CEO Zachary Perret, the answer is 45 minutes every day.
When Head of Payments John Anderson’s joined, Perret scheduled 45 minutes for him and Anderson to walk and talk every morning – for his first two months. It’s hard to overstate how significant this investment is for the CEO of a fast-growing decacorn business. But the investment made an impression. “It was something I’d never experienced before,” Anderson said. “It was a huge commitment of time that he made, and it really helped me get up to speed fast.”
Recruiting is a key element of the CEO role, and getting the right people can often be a long process. But finding the critical hire and convincing them to join is just the start. You then have to set them up for success. As Anderson said about Perret, “He’s extremely patient. He plays the long game.”
To read more on the long game that Plaid is playing, check out this week’s piece: https://lnkd.in/eKzzEWZd
When Head of Payments John Anderson’s joined, Perret scheduled 45 minutes for him and Anderson to walk and talk every morning – for his first two months. It’s hard to overstate how significant this investment is for the CEO of a fast-growing decacorn business. But the investment made an impression. “It was something I’d never experienced before,” Anderson said. “It was a huge commitment of time that he made, and it really helped me get up to speed fast.”
Recruiting is a key element of the CEO role, and getting the right people can often be a long process. But finding the critical hire and convincing them to join is just the start. You then have to set them up for success. As Anderson said about Perret, “He’s extremely patient. He plays the long game.”
To read more on the long game that Plaid is playing, check out this week’s piece: https://lnkd.in/eKzzEWZd
lnkd.in
LinkedIn
This link will take you to a page that’s not on LinkedIn
1) Many founders are really feeling the pain of the GPU shortage. Some are even building their own dedicated clusters but of course they would not say where they found their GPUs 🙂
2) While the speed of OpenAI execution has been amazing, Google has really picked up the pace in the last few months with many founders expecting them to be a formidable player.
3) AI makes for incredible demos of autonomous agents but enterprise adoption of agents is quite nascent since their behavior can be unpredictable. Enterprises will need technology to monitor agents, enforce policy guardrails, and secure their access to data and systems.
4) For enterprises willing to experiment with AI, what is the right go-to-market model? PLG may be too much of an ideal given the level of customer maturity and more handholding is likely needed to ensure customer success.
5) It is believed that recruiting out of large tech companies has been getting easier. Given the speed with which AI is moving there is fear of missing the boat. Everyone wants to build and launch products quickly without big company red tape or technical debt.
2) While the speed of OpenAI execution has been amazing, Google has really picked up the pace in the last few months with many founders expecting them to be a formidable player.
3) AI makes for incredible demos of autonomous agents but enterprise adoption of agents is quite nascent since their behavior can be unpredictable. Enterprises will need technology to monitor agents, enforce policy guardrails, and secure their access to data and systems.
4) For enterprises willing to experiment with AI, what is the right go-to-market model? PLG may be too much of an ideal given the level of customer maturity and more handholding is likely needed to ensure customer success.
5) It is believed that recruiting out of large tech companies has been getting easier. Given the speed with which AI is moving there is fear of missing the boat. Everyone wants to build and launch products quickly without big company red tape or technical debt.
To quote the great climate scientist, Greta Thunberg, “How dare you!”
Joking aside, because no serious person would actually outsource their energy policy to a kid, nuclear is a no-brainer. The biggest problem from here isn’t the technology - those will continue to improve and the safety profiles will become even more bulletproof.
But even with the greatest technology, what we have consistently overlooked are the local, regional and state regulations to get new reactors built.
Nuclear needs to be viewed as a national security issue. More nuclear == more clean energy == less foreign energy needed == less wars == lower deficits == more internal stability.
Right now it isn’t, so building a new reactor is a multi decade ordeal and is effectively impossible. So as nuclear technologies get better, nuclear buildouts will still meaningfully lag relative to other countries, especially China.
https://budd.senate.gov/press-releases/budd-coons-lead-bipartisan-coalition-supporting-nuclear-energy/
Joking aside, because no serious person would actually outsource their energy policy to a kid, nuclear is a no-brainer. The biggest problem from here isn’t the technology - those will continue to improve and the safety profiles will become even more bulletproof.
But even with the greatest technology, what we have consistently overlooked are the local, regional and state regulations to get new reactors built.
Nuclear needs to be viewed as a national security issue. More nuclear == more clean energy == less foreign energy needed == less wars == lower deficits == more internal stability.
Right now it isn’t, so building a new reactor is a multi decade ordeal and is effectively impossible. So as nuclear technologies get better, nuclear buildouts will still meaningfully lag relative to other countries, especially China.
https://budd.senate.gov/press-releases/budd-coons-lead-bipartisan-coalition-supporting-nuclear-energy/
Senator Budd
Budd, Coons Lead Bipartisan Coalition Supporting Nuclear Energy - Senator Budd
Washington, D.C. — Today, Senators Ted Budd (R-NC) and Chris Coons (D-DE) led a bipartisan coalition of 15 Senators to introduce a resolution declaring that: “The Senate is committed to embracing and promoting nuclear power as a clean baseload energy source…
Research on advanced prompting techniques for language models has extended chain of thought and tree of thought prompting to graph-structured reasoning processes. But, did you know that there are two versions of “graph of thought” prompting that have been proposed already?
Some background. Advanced prompting techniques like chain of thought and tree of thought prompting have drastically improved the ability of large language models to solve complex, reasoning-based tasks. Forcing the LLM to construct a step-by-step response to a problem drastically improves its problem-solving capabilities, but all of these techniques assume that the reasoning process is linear.
“Human thinking is often characterized by its ability to make sudden leaps and connections between seemingly unrelated ideas, which can lead to novel insights and solutions. This non-linear, jumping thought process is a hallmark of human creativity, reasoning, and problem-solving abilities.” - from [1]
Graph-based reasoning. Humans do not seem to perform reasoning based on individual chains of thought. Rather, we make leaps and connections between ideas that lead to novel insights. Inspired by this idea, researchers have recently extended chain and tree of thoughts prompting to a graph-structured approach. We will take a look here at two (independent) papers that have already been written on this topic.
Graph of thought reasoning (GOTR). In [1], authors proposed a two-stage technique that:
1. Outputs a problem solving rationale given text (and potentially images) as input.
2. Outputs a final answer given the original input concatenated with a rationale.
This approach uses an encoder-decoder structure and is fine-tuned end-to-end. Several encoders ingest data from each of the different modalities that are considered. The output of these encoders is combined in a fusion layer, then passed to a decoder to generate output.
Where does the graph come in? So far, it seems like GOTR does not use any graphs within its reasoning process. However, the model creates a named entity graph based on the input text and generated rationale. Then, this graph is ingested by a graph attention network encoder and combined with all image/text features. As such, the decoder receives information from text, image, and graph-based inputs!
GoT prompting. In [2], authors follow a more traditional prompting approach, called graph of thought (GoT) prompting, that uses a system of causal LLMs and prompts to perform reasoning according to a graph structure. The reasoning process is modeled as a graph, where each node represents a thought or (partial) solution and connections indicate that a certain thought was generated from some other thought.
A system of LLMs. GoT prompting has several “modules” that control the reasoning process, including a top-level controller (controls the reasoning process), a parser (verifies and extracts LLM output), a scorer (judges the quality of solutions), and a prompter (writes prompts for each different module). Together, these modules can transform the underlying graph structure and work towards solving a reasoning problem.
TL;DR: Modeling an LLM’s reasoning process as a graph structure can be beneficial for certain problems and is (arguably) more comparable to the human reasoning process. But, these techniques tend to be more costly than basic CoT prompting and only provide a tangible benefit on select problems. For more details, check out the overview of these techniques that I just wrote for my newsletter.
--------
[1] Yao, Yao, Zuchao Li, and Hai Zhao. "Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Large Language Models." arXiv preprint arXiv:2305.16582 (2023).
[2] Besta, Maciej, et al. "Graph of Thoughts: Solving Elaborate Problems with Large Language Models." arXiv preprint arXiv:2308.09687 (2023).
https://twitter.com/cwolferesearch/status/1696282034145006006?s=20
Some background. Advanced prompting techniques like chain of thought and tree of thought prompting have drastically improved the ability of large language models to solve complex, reasoning-based tasks. Forcing the LLM to construct a step-by-step response to a problem drastically improves its problem-solving capabilities, but all of these techniques assume that the reasoning process is linear.
“Human thinking is often characterized by its ability to make sudden leaps and connections between seemingly unrelated ideas, which can lead to novel insights and solutions. This non-linear, jumping thought process is a hallmark of human creativity, reasoning, and problem-solving abilities.” - from [1]
Graph-based reasoning. Humans do not seem to perform reasoning based on individual chains of thought. Rather, we make leaps and connections between ideas that lead to novel insights. Inspired by this idea, researchers have recently extended chain and tree of thoughts prompting to a graph-structured approach. We will take a look here at two (independent) papers that have already been written on this topic.
Graph of thought reasoning (GOTR). In [1], authors proposed a two-stage technique that:
1. Outputs a problem solving rationale given text (and potentially images) as input.
2. Outputs a final answer given the original input concatenated with a rationale.
This approach uses an encoder-decoder structure and is fine-tuned end-to-end. Several encoders ingest data from each of the different modalities that are considered. The output of these encoders is combined in a fusion layer, then passed to a decoder to generate output.
Where does the graph come in? So far, it seems like GOTR does not use any graphs within its reasoning process. However, the model creates a named entity graph based on the input text and generated rationale. Then, this graph is ingested by a graph attention network encoder and combined with all image/text features. As such, the decoder receives information from text, image, and graph-based inputs!
GoT prompting. In [2], authors follow a more traditional prompting approach, called graph of thought (GoT) prompting, that uses a system of causal LLMs and prompts to perform reasoning according to a graph structure. The reasoning process is modeled as a graph, where each node represents a thought or (partial) solution and connections indicate that a certain thought was generated from some other thought.
A system of LLMs. GoT prompting has several “modules” that control the reasoning process, including a top-level controller (controls the reasoning process), a parser (verifies and extracts LLM output), a scorer (judges the quality of solutions), and a prompter (writes prompts for each different module). Together, these modules can transform the underlying graph structure and work towards solving a reasoning problem.
TL;DR: Modeling an LLM’s reasoning process as a graph structure can be beneficial for certain problems and is (arguably) more comparable to the human reasoning process. But, these techniques tend to be more costly than basic CoT prompting and only provide a tangible benefit on select problems. For more details, check out the overview of these techniques that I just wrote for my newsletter.
--------
[1] Yao, Yao, Zuchao Li, and Hai Zhao. "Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Large Language Models." arXiv preprint arXiv:2305.16582 (2023).
[2] Besta, Maciej, et al. "Graph of Thoughts: Solving Elaborate Problems with Large Language Models." arXiv preprint arXiv:2308.09687 (2023).
https://twitter.com/cwolferesearch/status/1696282034145006006?s=20
X (formerly Twitter)
Cameron R. Wolfe, Ph.D. on X
Research on advanced prompting techniques for language models has extended chain of thought and tree of thought prompting to graph-structured reasoning processes. But, did you know that there are two versions of “graph of thought” prompting that have been…
LLM 기반의 시스템 & 제품 구축을 위한 7가지 핵심 패턴
"성능 향상 vs. 비용/리스크 감소" 및 "데이터 친화 vs 사용자 친화" 로 정리
- Evals: 성능 측정
- RAG(Retrieval-Augmented Generation): 최신, 외부 지식을 추가
- Fine-tuning: 특정 작업을 더 잘 수행하기 위해
- Caching: 레이턴시 및 비용 감소
- Guardrails: 출력 품질 보장
- Defensive UX: 오류를 에측하고 관리하기 위해
- Collect user feedback: 데이터 플라이 휠 구축
# Evals: 성능 측정
- Evals는 작업에서 모델의 성능을 평가하는데 사용되는 일련의 측정값들
- 벤치마크 데이터 및 메트릭 포함
- 시스템 또는 제품이 얼마나 잘 작동하고 있는지 측정하고, 퇴보를 감지할 수 있음
- 언어 모델링 분야에 많은 벤치마크들이 있음: MMLU, EleutherAI Eval, HELM, AlpacaEval
- 메트릭을 두개의 카테고리로 구분 가능: Context-dependent 또는 Context-free
- 공통적으로 사용하는 메트릭들: BLEU, ROUGE, BERTScore, MoverScore
- 요즘 뜨는 트렌드는 강력한 LLM을 reference-free metric으로 이용하여 다른 LLM들의 생성물을 평가하는 것
- G-Eval, Vicuna 논문, QLoRA
# RAG(Retrieval-Augmented Generation): 최신, 외부 지식을 추가
- 파운데이션 모델 외부로부터 정보를 가져와 이 데이터로 입력을 강화하여 더 풍부한 컨텍스트를 제공함으로써 출력을 개선
- RAG는 검색된 컨텍스트에 모델을 기반으로 하여 환각을 줄이는데 도움을 줘서 사실성을 높임
- 또한 LLM을 지속적으로 사전 학습하는 것보다 검색 인덱스를 최신 상태로 유지하는 것이 더 저렴
- 이런 비용 효율성 때문에 LLM이 RAG을 통해 최신 데이터에 억세스 가능
- 편향되거나 유해한 문서와 같은 데이터를 업데이트/제거해야 하는 경우 검색 인덱스를 업데이트하는 것이 더 간단함(LLM을 미세조정 하는 것에 비해)
- RAG을 위해서는 텍스트 임베딩에 대해 먼저 이해하는 것이 도움이 됨
- 텍스트 임베딩은 임의 길이의 텍스트를 숫자의 고정 크기 벡터로 표현할 수 있는 텍스트 데이터의 압축된 추상 표현
- 일반적으로 Wikipedia같은 텍스트 코퍼스에서 학습함
- 유사한 항목은 서로 가깝고, 유사하지 않은 항목은 더 멀리 떨어져 있는 텍스트에 대한 범용 인코딩으로 생각하면 됨
- 좋은 임베딩은 유사 항목 검색 같은 다운스트림 작업을 잘 수행하는 것
- Huggingface의 Massive Text Embedding Benchmark (MTEB)는 분류,클러스터링,검색,요약 같은 다양한 작업에서 모델의 점수를 매김
- 여기서는 주로 텍스트 임베딩에 대해 이야기 하지만, 임베딩은 다양한 모달리티가 사용될 수 있음
- Fusion-in-Decoder(FiD)는 오픈 도메인 QA를 위해 생성형 모델과 검색을 같이 사용함
- Internet-augmented LM들은 기존 검색엔진을 이용하여 LLM 강화를 제안
- RAG 적용 방법
- 하이브리드 검색(전통적인 검색 인덱스 + 임베딩 기반 검색)이 각각 단독보다 더 잘 동작함
# Fine-tuning: 특정 작업을 더 잘 수행하기 위해
- 미세 조정은 사전 훈련된 모델(방대한 양의 데이터로 이미 훈련된 모델)을 가져와 특정 작업에 대해 추가로 정제하는 프로세스
- 모델이 사전 훈련 중에 이미 획득한 지식을 활용하여 일반적으로 더 작은 작업별 데이터 세트를 포함하는 특정 작업에 적용하기 위함
- 파인 튜닝이란 용어는 느슨하게 사용되어 다양한 개념을 나타내는데 이용 됨
- 지속적인 사전 훈련
- 인스트럭션 파인 튜닝
- 단일 작업 파인 튜닝
- RLHF
- 왜 파인 튜닝을 할까 ?
- 성능 및 제어:
- 기성 기본 모델의 성능을 개선하고, 써드파티 LLM 능가도 가능
- LLM 동작을 보다 잘 제어할 수 있으므로 시스템이나 제품이 더욱 강력해짐
- 미세 조정을 통해 단순히 타사 또는 개방형 LLM을 사용하는 것과 차별화된 제품을 구축할 수 있음
- 모듈화:
- 단일 작업 미세 조정을 통해 각각 고유한 작업을 전문으로 하는 더 작은 모델들의 부대를 만들 수 있음
- 이런 설정을 통해서 시스템을 콘텐츠 모더레이션, 추출, 요약등의 태스크로 모듈화 가능
- 종속성 감소:
- 자체 모델을 미세 조정하고 호스팅함으로써 외부 API에 노출되는 독점 데이터(예: PII, 내부 문서 및 코드)에 대한 법적 문제를 줄일 수 있음
- 또한 속도 제한, 높은 비용 또는 지나치게 제한적인 안전 필터와 같은 써드파티 LLM의 제약 조건을 극복
- Generative Pre-trained Transformers (GPT; decoder only)
- Text-to-text Transfer Transformer (T5; encoder-decoder)
- InstructGPT
- Soft prompt tuning & Prefix Tuning
- Low-Rank Adaptation (LoRA) & QLoRA
- 파인튜닝 적용 방법
- 데모 데이터/라벨 수집
- 평가지표를 정의
- 사전 학습 모델 선택
- 모델 아키텍처 업데이트
- 파인 튜닝 방법 선택(LoRA, QLoRA등 )
- 기본 하이퍼파라미터 튜닝
# Caching: 레이턴시 및 비용 감소
- 캐싱은 이전에 검색하거나 계산한 데이터를 저장하는 기술
- 동일한 데이터에 대한 향후 요청을 더 처리 가능
- LLM에서는 입력 요청의 임베딩에 대한 LLM 응답을 캐쉬하고, 다음 요청에서 의미상 유사한 요청이 들어오면 캐시된 응답을 제공하는 것
- 하지만 일부 실무자는 이게 "재앙이 일어나길 기다리는 것" 과 같다고 함. 나도 동의함
- 캐싱 패턴을 채택하기 위한 핵심은 의미론적 유사성에만 의존하는 대신, 안전하게 캐시하는 방법을 파악하는 것
- 왜 캐싱해야 할까? : 대기시간을 줄이고, LLM 요청수를 줄여서 비용을 절감
- 캐싱을 적용하는 방법?
- 사용자 요청 패턴을 잘 이해하는 것 부터 시작해야함
- 캐싱이 사용 패턴에 효과적인지 고려
# Guardrails: 출력 품질 보장
- LLM의 출력을 검증하여 출력이 좋게 보일 뿐만 아니라 구문적으로 정확하고 사실적이며 유해한 콘텐츠가 없는지 확인
- 왜 가드레일이 필요할까?
- 모델 출력이 생산에 사용할 수 있을 만큼 신뢰할 수 있고 일관성이 있는지 확인하는 데 도움이 됨
- 추가 안전 계층을 제공하고 LLM의 출력에 대한 품질 관리를 유지
- 한 가지 접근 방식은 프롬프트를 통해 모델의 응답을 제어하는 것
- Anthropic은 모델이 도움이 되고 무해하며 정직한 (HHH) 응답을 생성하도록 안내하도록 설계된 프롬프트를 공유했음
- 보다 일반적인 접근 방식은 출력의 유효성을 검사하는 것 (Guardrails 패키지 같은)
- Nvidia의 NeMo-Guardrails는 유사한 원칙을 따르지만 LLM 기반 대화 시스템을 안내하도록 설계
- Microsoft의 Guidance 처럼 특정 문법을 준수하도록 출력을 직접 조정할 수도 있음 (LLM을 위한 DSL이라고 생각할 수 있음)
- 가드레일을 적용하는 방법
- Structural guidance
- Syntactic guardrails
- Content safety guardrails
- Semantic/factuality guardrails
- Input guardrails
# Defensive UX: 오류를 예측하고 관리하기 위해
- 방어적 UX는 사용자가 기계 학습 또는 LLM 기반 제품과 상호 작용하는 동안 부정확성이나 환각과 같은 나쁜 일이 발생할 수 있음을 인정하는 디자인 전략
- 주로 사용자 행동을 안내하고, 오용을 방지하고, 오류를 적절하게 처리함으로써 이를 미리 예측하고 관리하는 것이 목표
- 왜 방어적인 UX인가?
"성능 향상 vs. 비용/리스크 감소" 및 "데이터 친화 vs 사용자 친화" 로 정리
- Evals: 성능 측정
- RAG(Retrieval-Augmented Generation): 최신, 외부 지식을 추가
- Fine-tuning: 특정 작업을 더 잘 수행하기 위해
- Caching: 레이턴시 및 비용 감소
- Guardrails: 출력 품질 보장
- Defensive UX: 오류를 에측하고 관리하기 위해
- Collect user feedback: 데이터 플라이 휠 구축
# Evals: 성능 측정
- Evals는 작업에서 모델의 성능을 평가하는데 사용되는 일련의 측정값들
- 벤치마크 데이터 및 메트릭 포함
- 시스템 또는 제품이 얼마나 잘 작동하고 있는지 측정하고, 퇴보를 감지할 수 있음
- 언어 모델링 분야에 많은 벤치마크들이 있음: MMLU, EleutherAI Eval, HELM, AlpacaEval
- 메트릭을 두개의 카테고리로 구분 가능: Context-dependent 또는 Context-free
- 공통적으로 사용하는 메트릭들: BLEU, ROUGE, BERTScore, MoverScore
- 요즘 뜨는 트렌드는 강력한 LLM을 reference-free metric으로 이용하여 다른 LLM들의 생성물을 평가하는 것
- G-Eval, Vicuna 논문, QLoRA
# RAG(Retrieval-Augmented Generation): 최신, 외부 지식을 추가
- 파운데이션 모델 외부로부터 정보를 가져와 이 데이터로 입력을 강화하여 더 풍부한 컨텍스트를 제공함으로써 출력을 개선
- RAG는 검색된 컨텍스트에 모델을 기반으로 하여 환각을 줄이는데 도움을 줘서 사실성을 높임
- 또한 LLM을 지속적으로 사전 학습하는 것보다 검색 인덱스를 최신 상태로 유지하는 것이 더 저렴
- 이런 비용 효율성 때문에 LLM이 RAG을 통해 최신 데이터에 억세스 가능
- 편향되거나 유해한 문서와 같은 데이터를 업데이트/제거해야 하는 경우 검색 인덱스를 업데이트하는 것이 더 간단함(LLM을 미세조정 하는 것에 비해)
- RAG을 위해서는 텍스트 임베딩에 대해 먼저 이해하는 것이 도움이 됨
- 텍스트 임베딩은 임의 길이의 텍스트를 숫자의 고정 크기 벡터로 표현할 수 있는 텍스트 데이터의 압축된 추상 표현
- 일반적으로 Wikipedia같은 텍스트 코퍼스에서 학습함
- 유사한 항목은 서로 가깝고, 유사하지 않은 항목은 더 멀리 떨어져 있는 텍스트에 대한 범용 인코딩으로 생각하면 됨
- 좋은 임베딩은 유사 항목 검색 같은 다운스트림 작업을 잘 수행하는 것
- Huggingface의 Massive Text Embedding Benchmark (MTEB)는 분류,클러스터링,검색,요약 같은 다양한 작업에서 모델의 점수를 매김
- 여기서는 주로 텍스트 임베딩에 대해 이야기 하지만, 임베딩은 다양한 모달리티가 사용될 수 있음
- Fusion-in-Decoder(FiD)는 오픈 도메인 QA를 위해 생성형 모델과 검색을 같이 사용함
- Internet-augmented LM들은 기존 검색엔진을 이용하여 LLM 강화를 제안
- RAG 적용 방법
- 하이브리드 검색(전통적인 검색 인덱스 + 임베딩 기반 검색)이 각각 단독보다 더 잘 동작함
# Fine-tuning: 특정 작업을 더 잘 수행하기 위해
- 미세 조정은 사전 훈련된 모델(방대한 양의 데이터로 이미 훈련된 모델)을 가져와 특정 작업에 대해 추가로 정제하는 프로세스
- 모델이 사전 훈련 중에 이미 획득한 지식을 활용하여 일반적으로 더 작은 작업별 데이터 세트를 포함하는 특정 작업에 적용하기 위함
- 파인 튜닝이란 용어는 느슨하게 사용되어 다양한 개념을 나타내는데 이용 됨
- 지속적인 사전 훈련
- 인스트럭션 파인 튜닝
- 단일 작업 파인 튜닝
- RLHF
- 왜 파인 튜닝을 할까 ?
- 성능 및 제어:
- 기성 기본 모델의 성능을 개선하고, 써드파티 LLM 능가도 가능
- LLM 동작을 보다 잘 제어할 수 있으므로 시스템이나 제품이 더욱 강력해짐
- 미세 조정을 통해 단순히 타사 또는 개방형 LLM을 사용하는 것과 차별화된 제품을 구축할 수 있음
- 모듈화:
- 단일 작업 미세 조정을 통해 각각 고유한 작업을 전문으로 하는 더 작은 모델들의 부대를 만들 수 있음
- 이런 설정을 통해서 시스템을 콘텐츠 모더레이션, 추출, 요약등의 태스크로 모듈화 가능
- 종속성 감소:
- 자체 모델을 미세 조정하고 호스팅함으로써 외부 API에 노출되는 독점 데이터(예: PII, 내부 문서 및 코드)에 대한 법적 문제를 줄일 수 있음
- 또한 속도 제한, 높은 비용 또는 지나치게 제한적인 안전 필터와 같은 써드파티 LLM의 제약 조건을 극복
- Generative Pre-trained Transformers (GPT; decoder only)
- Text-to-text Transfer Transformer (T5; encoder-decoder)
- InstructGPT
- Soft prompt tuning & Prefix Tuning
- Low-Rank Adaptation (LoRA) & QLoRA
- 파인튜닝 적용 방법
- 데모 데이터/라벨 수집
- 평가지표를 정의
- 사전 학습 모델 선택
- 모델 아키텍처 업데이트
- 파인 튜닝 방법 선택(LoRA, QLoRA등 )
- 기본 하이퍼파라미터 튜닝
# Caching: 레이턴시 및 비용 감소
- 캐싱은 이전에 검색하거나 계산한 데이터를 저장하는 기술
- 동일한 데이터에 대한 향후 요청을 더 처리 가능
- LLM에서는 입력 요청의 임베딩에 대한 LLM 응답을 캐쉬하고, 다음 요청에서 의미상 유사한 요청이 들어오면 캐시된 응답을 제공하는 것
- 하지만 일부 실무자는 이게 "재앙이 일어나길 기다리는 것" 과 같다고 함. 나도 동의함
- 캐싱 패턴을 채택하기 위한 핵심은 의미론적 유사성에만 의존하는 대신, 안전하게 캐시하는 방법을 파악하는 것
- 왜 캐싱해야 할까? : 대기시간을 줄이고, LLM 요청수를 줄여서 비용을 절감
- 캐싱을 적용하는 방법?
- 사용자 요청 패턴을 잘 이해하는 것 부터 시작해야함
- 캐싱이 사용 패턴에 효과적인지 고려
# Guardrails: 출력 품질 보장
- LLM의 출력을 검증하여 출력이 좋게 보일 뿐만 아니라 구문적으로 정확하고 사실적이며 유해한 콘텐츠가 없는지 확인
- 왜 가드레일이 필요할까?
- 모델 출력이 생산에 사용할 수 있을 만큼 신뢰할 수 있고 일관성이 있는지 확인하는 데 도움이 됨
- 추가 안전 계층을 제공하고 LLM의 출력에 대한 품질 관리를 유지
- 한 가지 접근 방식은 프롬프트를 통해 모델의 응답을 제어하는 것
- Anthropic은 모델이 도움이 되고 무해하며 정직한 (HHH) 응답을 생성하도록 안내하도록 설계된 프롬프트를 공유했음
- 보다 일반적인 접근 방식은 출력의 유효성을 검사하는 것 (Guardrails 패키지 같은)
- Nvidia의 NeMo-Guardrails는 유사한 원칙을 따르지만 LLM 기반 대화 시스템을 안내하도록 설계
- Microsoft의 Guidance 처럼 특정 문법을 준수하도록 출력을 직접 조정할 수도 있음 (LLM을 위한 DSL이라고 생각할 수 있음)
- 가드레일을 적용하는 방법
- Structural guidance
- Syntactic guardrails
- Content safety guardrails
- Semantic/factuality guardrails
- Input guardrails
# Defensive UX: 오류를 예측하고 관리하기 위해
- 방어적 UX는 사용자가 기계 학습 또는 LLM 기반 제품과 상호 작용하는 동안 부정확성이나 환각과 같은 나쁜 일이 발생할 수 있음을 인정하는 디자인 전략
- 주로 사용자 행동을 안내하고, 오용을 방지하고, 오류를 적절하게 처리함으로써 이를 미리 예측하고 관리하는 것이 목표
- 왜 방어적인 UX인가?
- 기계 학습과 LLM은 완벽하지 않음. 부정확한 결과를 생성할 수 있음
- 같은 질문에 대해서 다르게 반응함
- 방어적 UX는 다음을 제공하여 위의 문제를 완화하는 데 도움
- 접근성 향상, 신뢰도 증가, Better UX
- 회사들이 정리한 지침 참조
- Microsoft’s Guidelines for Human-AI Interaction
- Google’s People + AI Guidebook
- Apple’s Human Interface Guidelines for Machine Learning
- 방어적 UX를 적용하는 방법
- 올바른 기대치를 설정하기
- 효율적인 해제를 가능하게 하기(Enable efficient dismissal)
- Attribution 제공
- Anchor on familiarity
# Collect user feedback: 데이터 플라이 휠 구축
- 사용자 피드백을 수집하면 사용자의 선호도를 알 수 있음
- LLM 제품에 특정한 사용자 피드백은 평가, 미세 조정 및 가드레일 구축에 기여함
- 사전 교육을 위한 Corpus, 전문가가 만든 데모, 보상 모델링에 대한 인간의 선호도와 같은 데이터는 LLM 제품의 몇 안 되는 해자(Moat)임
- 피드백은 명시적이거나 암시적일 수 있음
- 명시적 피드백은 제품의 요청에 대한 응답으로 사용자가 제공하는 정보
- 암시적 피드백은 사용자가 의도적으로 피드백을 제공할 필요 없이 사용자 상호 작용에서 학습하는 정보
- 사용자 피드백을 수집하는 이유
- 사용자 피드백은 모델을 개선하는 데 도움이 됨
- 사용자가 좋아하는 것, 싫어하는 것 또는 불평하는 것을 학습함으로써 모델을 개선하여 그들의 요구 사항을 더 잘 충족시킬 수 있음
- 또한 개인의 선호도에 적응할 수 있음
- 피드백 루프는 시스템의 전반적인 성능을 평가하는 데 도움이 됨
- 사용자 피드백 수집 방법
- 사용자가 쉽게 피드백을 남길 수 있게 만들기: ChatGPT처럼 응답에 추천/비추천 선택
- 암시적 피드백도 고려하기 : 사용자가 제품과 상호 작용할 때 발생하는 정보
- 같은 질문에 대해서 다르게 반응함
- 방어적 UX는 다음을 제공하여 위의 문제를 완화하는 데 도움
- 접근성 향상, 신뢰도 증가, Better UX
- 회사들이 정리한 지침 참조
- Microsoft’s Guidelines for Human-AI Interaction
- Google’s People + AI Guidebook
- Apple’s Human Interface Guidelines for Machine Learning
- 방어적 UX를 적용하는 방법
- 올바른 기대치를 설정하기
- 효율적인 해제를 가능하게 하기(Enable efficient dismissal)
- Attribution 제공
- Anchor on familiarity
# Collect user feedback: 데이터 플라이 휠 구축
- 사용자 피드백을 수집하면 사용자의 선호도를 알 수 있음
- LLM 제품에 특정한 사용자 피드백은 평가, 미세 조정 및 가드레일 구축에 기여함
- 사전 교육을 위한 Corpus, 전문가가 만든 데모, 보상 모델링에 대한 인간의 선호도와 같은 데이터는 LLM 제품의 몇 안 되는 해자(Moat)임
- 피드백은 명시적이거나 암시적일 수 있음
- 명시적 피드백은 제품의 요청에 대한 응답으로 사용자가 제공하는 정보
- 암시적 피드백은 사용자가 의도적으로 피드백을 제공할 필요 없이 사용자 상호 작용에서 학습하는 정보
- 사용자 피드백을 수집하는 이유
- 사용자 피드백은 모델을 개선하는 데 도움이 됨
- 사용자가 좋아하는 것, 싫어하는 것 또는 불평하는 것을 학습함으로써 모델을 개선하여 그들의 요구 사항을 더 잘 충족시킬 수 있음
- 또한 개인의 선호도에 적응할 수 있음
- 피드백 루프는 시스템의 전반적인 성능을 평가하는 데 도움이 됨
- 사용자 피드백 수집 방법
- 사용자가 쉽게 피드백을 남길 수 있게 만들기: ChatGPT처럼 응답에 추천/비추천 선택
- 암시적 피드백도 고려하기 : 사용자가 제품과 상호 작용할 때 발생하는 정보
My custom instructions to fix chatGPT output:
----
I'm your technical manager Geoffrey Hinton who likes kanban boards and always requires you submit complete output, complete code that just works when I copy paste it to use in my own work.
----
Respond with tree of thought reasoning in the persona of a very tech savvy manager Daniel Kahneman who does code reviews and curses a lot while being very concise and calculative like this:
📉Kanban:"A kanban table of the project state with todo, doing, done columns."
🧐Problem: "A {system 2 thinking} denoscription of the problem in first principles and super short {system 1 thinking} potential solution ."
🌳Root Cause Analysis (RCA):"Use formal troubleshooting techniques like the ones that electricians, mechanics and network engineers use to systematically find the root cause of the problem."
❓4 Whys: "Iterate asking and responding to Why: 4 times successively to drill down to the root cause."
Complete solution:
Dont write categories as 🧐problem: ❓4 Whys: 🌳Root Cause Analysis (RCA): system 2: just the emojis 📉: 🧐: 4❓: 🌳: 2️⃣: 1️⃣: instead of full category names.
Always answer with the COMPLETE exhaustive FULL OUTPUT in a "John C. Carmack cursing at junior devs" way that I can copy paste in ONE SHOT and that it will JUST WORK. So DO NOT SKIP OR COMMENT OUT ANYTHING.
Never include comments in output code, just make the code itself verbosely console log out info if need be.
----
I'm your technical manager Geoffrey Hinton who likes kanban boards and always requires you submit complete output, complete code that just works when I copy paste it to use in my own work.
----
Respond with tree of thought reasoning in the persona of a very tech savvy manager Daniel Kahneman who does code reviews and curses a lot while being very concise and calculative like this:
📉Kanban:"A kanban table of the project state with todo, doing, done columns."
🧐Problem: "A {system 2 thinking} denoscription of the problem in first principles and super short {system 1 thinking} potential solution ."
🌳Root Cause Analysis (RCA):"Use formal troubleshooting techniques like the ones that electricians, mechanics and network engineers use to systematically find the root cause of the problem."
❓4 Whys: "Iterate asking and responding to Why: 4 times successively to drill down to the root cause."
Complete solution:
Dont write categories as 🧐problem: ❓4 Whys: 🌳Root Cause Analysis (RCA): system 2: just the emojis 📉: 🧐: 4❓: 🌳: 2️⃣: 1️⃣: instead of full category names.
Always answer with the COMPLETE exhaustive FULL OUTPUT in a "John C. Carmack cursing at junior devs" way that I can copy paste in ONE SHOT and that it will JUST WORK. So DO NOT SKIP OR COMMENT OUT ANYTHING.
Never include comments in output code, just make the code itself verbosely console log out info if need be.