https://www.demandsage.com/chatgpt-statistics/?fbclid=IwAR2s2W6R4FwWQ8fgqqjCir0nOXUllC4_I57qDMCYPcX8eQwvbnVj-3rlcuY_aem_AVj7J_PM97fQQ-0Pi7XldC_HrHfqG8bCBwKySq6s7woBP1s6ojabW1ZmeTwraLZLUK0&mibextid=Zxz2cZ
1 ChatGPT is forecasted to generate a revenue of $200 by the end of 2023.
2 Over 88% of the traffic on ChatGPT is direct traffic. At the same time, 4.22% of the traffic is directed from social media platforms.
1 ChatGPT is forecasted to generate a revenue of $200 by the end of 2023.
2 Over 88% of the traffic on ChatGPT is direct traffic. At the same time, 4.22% of the traffic is directed from social media platforms.
"행복할 수 있는 유일한 방법은 성장입니다. 우린 성장할 때 살아 있음을 느끼며, (특히나) 나눌 때 살아 있음을 10배 더 느껴요. (무엇보다) 성장해야 나눌 수 있어요"
- 토니 로빈스
- 토니 로빈스
인공지능은 미국 제조업의 공급망 분야에서 중요한 변화를 주도하고 있다. 인공지능이 공급망에서 활용되는 부문은 크게 ▲ 인공지능을 통해 판매 예측, 재고 수준, 유통 기한 등의 데이터를 종합해 재고를 최적화하는 스마트 재고 관리, ▲ 인공지능을 통해 최적의 배송 경로를 계획하거나 예상되는 교통 문제를 예측해 운송 비용을 절감하는 운송 및 물류 최적화, ▲ 인공지능을 통해 공급자의 성능 데이터를 분석해 최적의 공급자를 선택하는 공급자 평가 및 관리 부문 등 크게 세 가지로 나누어 볼 수 있다.
미국 애리조나주에 본사를 두고 있는 Blue Yonder는 공급망 관리 분야의 선도적 기업 중 하나로, 인공지능 및 기계학습을 통합한 공급망 관리 솔루션 ‘Luminate’ 플랫폼을 선보이고 있다. Luminate 플랫폼에는 공급망 관리 과정을 지원하기 위한 수요 예측, 재고 관리, 물류 네트워크 최적화 등의 기능이 포함돼 있으며 이를 통해 고객은 공급망의 효율성과 가시성을 높일 수 있다.
미국 애리조나주에 본사를 두고 있는 Blue Yonder는 공급망 관리 분야의 선도적 기업 중 하나로, 인공지능 및 기계학습을 통합한 공급망 관리 솔루션 ‘Luminate’ 플랫폼을 선보이고 있다. Luminate 플랫폼에는 공급망 관리 과정을 지원하기 위한 수요 예측, 재고 관리, 물류 네트워크 최적화 등의 기능이 포함돼 있으며 이를 통해 고객은 공급망의 효율성과 가시성을 높일 수 있다.
We can learn from history.
에도 시대는 일본사에서, 그리고 세계사적으로도 매우 흥미로운 시기라고 생각합니다. 교통과 상업, 도시의 발전은 이미 상당한 수준이었고, 흔히 '근대적'이라고 표현하는 많은 요소들이 자생적으로 생겨났습니다 ^^;; 사실 메이지 유신 이후의 일본의 근대화도 그런 기반 위에서 더욱 수월하게 이루어진 것으로 봐야합니다.
아무래도, 제일 큰 원인은 일본이 동아시아 사회에서 유일하게 '봉건제 사회'였다는 점에 있을 겁니다. 아시다시피 조선과 중국은 강력한 중앙집권국가였고, 각 지역들이 독립적으로 경쟁할 이유도, 필요도 없었죠. 일본은 각 번(藩)들이 경쟁하거나, 때론 협력하면서 많은 상업적 발전을 일구어냈습니다. 지방 권력의 비대함을 견제하기 위한 중앙의 통치술, 무사 계급의 관료화(신분 구조의 완화)도 이러한 발전에 더 기름을 부웠구요 ㅎㅎ
김성완 선생님께서 말씀하신 '대중적인 수학 붐'도 사실 파헤쳐보면 이러한 각 번들 간의 치열한 인재 경쟁, 무사 계급의 관료화 등과 밀접한 관계가 있다고 할 수 있습니다. 사실 '수학 붐'만 일어났던 게 아니라, '소설 붐', '서양 붐', '유학 붐'이 다 일어났습니다 ㅎㅎ 일본은 이미 17세기에 상업 출판이 성행했고, 누구나 손 쉽게 책을 쓰거나 읽을 수 있는 사회였으니까요.
에도 시대는 일본사에서, 그리고 세계사적으로도 매우 흥미로운 시기라고 생각합니다. 교통과 상업, 도시의 발전은 이미 상당한 수준이었고, 흔히 '근대적'이라고 표현하는 많은 요소들이 자생적으로 생겨났습니다 ^^;; 사실 메이지 유신 이후의 일본의 근대화도 그런 기반 위에서 더욱 수월하게 이루어진 것으로 봐야합니다.
아무래도, 제일 큰 원인은 일본이 동아시아 사회에서 유일하게 '봉건제 사회'였다는 점에 있을 겁니다. 아시다시피 조선과 중국은 강력한 중앙집권국가였고, 각 지역들이 독립적으로 경쟁할 이유도, 필요도 없었죠. 일본은 각 번(藩)들이 경쟁하거나, 때론 협력하면서 많은 상업적 발전을 일구어냈습니다. 지방 권력의 비대함을 견제하기 위한 중앙의 통치술, 무사 계급의 관료화(신분 구조의 완화)도 이러한 발전에 더 기름을 부웠구요 ㅎㅎ
김성완 선생님께서 말씀하신 '대중적인 수학 붐'도 사실 파헤쳐보면 이러한 각 번들 간의 치열한 인재 경쟁, 무사 계급의 관료화 등과 밀접한 관계가 있다고 할 수 있습니다. 사실 '수학 붐'만 일어났던 게 아니라, '소설 붐', '서양 붐', '유학 붐'이 다 일어났습니다 ㅎㅎ 일본은 이미 17세기에 상업 출판이 성행했고, 누구나 손 쉽게 책을 쓰거나 읽을 수 있는 사회였으니까요.
"외부의 기대, 자부심, 당혹감이나 실패에 대한 두려움, 이런 모든 것은 죽음 앞에서 사라지고, (결국엔) 진정으로 중요한 것들만 남게 됩니다"
- 스티브 잡스
- 스티브 잡스
❤1
Continuous Learning_Startup & Investment
https://www.ivey.uwo.ca/media/2975913/buffett-partnership-letters.pdf
1. 가치평가 방식에 대한 생각
- 게임의 룰을 이해하고 옳은 나만의 관점이 있다면 게임에서 이길 수 있는 경우의 수가 많이 나온다.
- 남들과 다른 게 핵심이 아니라 옳은 것이 핵심이며, 남들과 다르면서 옳다면 높은 수익을 얻을 수 있다.
- 옳음을 추구할 때 어설픈 협업 혹은 역량이 부족한 사람과의 협업은 오히려 마이너스가 된다.
2. 인센티브 시스템
- PMF를 찾은 기업/펀드가 더 크려면 인센티브 시스템이 곧 경쟁력이고 DNA다.
3. 그 시대의 파도와 본인의 서핑 스타일
- 워런은 저평가된 회사에 투자하거나, 차익거래의 기회(주로 워크아웃)가 있을 때 자산을 레버리지 해서라도 그 기회를 잘 살렸고, 저평가된 회사를 많이 사서 지분율이 높아지는 경우에는 경영에도 참여해서 구조조정 등 의사결정을 하기 도했다.
- 몇년 혹은 10년 주기로 한번씩 투기 열풍과 그 투기 열풍에 맞게 큰 돈을 벌 수 있는 기회가 많았지만 본인이 그 게임을 잘하지 못한다면 과감히 포기하고 자신이 잘하는 게임에 집중하는 것도 능력이다.
- 게임의 룰을 이해하고 옳은 나만의 관점이 있다면 게임에서 이길 수 있는 경우의 수가 많이 나온다.
- 남들과 다른 게 핵심이 아니라 옳은 것이 핵심이며, 남들과 다르면서 옳다면 높은 수익을 얻을 수 있다.
- 옳음을 추구할 때 어설픈 협업 혹은 역량이 부족한 사람과의 협업은 오히려 마이너스가 된다.
2. 인센티브 시스템
- PMF를 찾은 기업/펀드가 더 크려면 인센티브 시스템이 곧 경쟁력이고 DNA다.
3. 그 시대의 파도와 본인의 서핑 스타일
- 워런은 저평가된 회사에 투자하거나, 차익거래의 기회(주로 워크아웃)가 있을 때 자산을 레버리지 해서라도 그 기회를 잘 살렸고, 저평가된 회사를 많이 사서 지분율이 높아지는 경우에는 경영에도 참여해서 구조조정 등 의사결정을 하기 도했다.
- 몇년 혹은 10년 주기로 한번씩 투기 열풍과 그 투기 열풍에 맞게 큰 돈을 벌 수 있는 기회가 많았지만 본인이 그 게임을 잘하지 못한다면 과감히 포기하고 자신이 잘하는 게임에 집중하는 것도 능력이다.
❤1
Continuous Learning_Startup & Investment
1. 가치평가 방식에 대한 생각 - 게임의 룰을 이해하고 옳은 나만의 관점이 있다면 게임에서 이길 수 있는 경우의 수가 많이 나온다. - 남들과 다른 게 핵심이 아니라 옳은 것이 핵심이며, 남들과 다르면서 옳다면 높은 수익을 얻을 수 있다. - 옳음을 추구할 때 어설픈 협업 혹은 역량이 부족한 사람과의 협업은 오히려 마이너스가 된다. 2. 인센티브 시스템 - PMF를 찾은 기업/펀드가 더 크려면 인센티브 시스템이 곧 경쟁력이고 DNA다. 3. 그 시대의…
2. The Essays of Warren Buffett: Lessons for Corporate America by Warren Buffett and Lawrence A. Cunningham**[1](https://en.wikipedia.org/wiki/Warren_Buffett)**. This book is a collection of Buffett's letters to Berkshire Hathaway shareholders and provides valuable insights into his investment philosophy.
3. The Warren Buffett Way by Robert G. Hagstrom**[3](https://www.investopedia.com/articles/investing/092214/best-books-warren-buffett.asp)[4](https://www.wallstreetmojo.com/warren-buffett-books/)[5](https://medium.datadriveninvestor.com/best-warren-buffett-books-86838b2c5609)**. This book offers an in-depth analysis of Buffett's investment strategies and principles, explaining how he became one of the world's most successful investors.
4. The Snowball: Warren Buffett and the Business of Life by Alice Schroeder**[4](https://www.wallstreetmojo.com/warren-buffett-books/)[6](https://shepherd.com/best-books/warren-buffett-on-investing-and-life)**. This biography provides a detailed account of Buffett's life, career, and investment strategies, with insights from Buffett himself.
5. Buffett: The Making of an American Capitalist by Roger Lowenstein**[6](https://shepherd.com/best-books/warren-buffett-on-investing-and-life)[9](https://www.educba.com/warren-buffett-books/)**. This book offers a comprehensive look at Buffett's life, career, and investment philosophy, with stories and anecdotes from his early days in business.
6. Buffettology by Mary Buffett and David Clark**[1](https://en.wikipedia.org/wiki/Warren_Buffett)[9](https://www.educba.com/warren-buffett-books/)**. This book, co-authored by Buffett's former daughter-in-law, explains his investment strategies and techniques in a simple and easy-to-understand manner.
7. The Intelligent Investor by Benjamin Graham**[2](https://www.amazon.com/Warren-Buffetts-Favorite-Books-Intelligent/dp/0982967624)[7](https://www.cnbc.com/2020/12/24/books-warren-buffett-recommended-to-learn-about-valueinvesting.html)[8](https://www.inc.com/marcel-schwantes/5-great-books-warren-buffett-thinks-you-should-have-under-your-christmas-tree.html)**. This classic book on value investing, which greatly influenced Buffett's investment philosophy, provides timeless advice for investors.
8. Security Analysis by Benjamin Graham and David Dodd**[2](https://www.amazon.com/Warren-Buffetts-Favorite-Books-Intelligent/dp/0982967624)[7](https://www.cnbc.com/2020/12/24/books-warren-buffett-recommended-to-learn-about-valueinvesting.html)**. This book, another influential work on value investing, offers a deep dive into the process of analyzing stocks and bonds.
3. The Warren Buffett Way by Robert G. Hagstrom**[3](https://www.investopedia.com/articles/investing/092214/best-books-warren-buffett.asp)[4](https://www.wallstreetmojo.com/warren-buffett-books/)[5](https://medium.datadriveninvestor.com/best-warren-buffett-books-86838b2c5609)**. This book offers an in-depth analysis of Buffett's investment strategies and principles, explaining how he became one of the world's most successful investors.
4. The Snowball: Warren Buffett and the Business of Life by Alice Schroeder**[4](https://www.wallstreetmojo.com/warren-buffett-books/)[6](https://shepherd.com/best-books/warren-buffett-on-investing-and-life)**. This biography provides a detailed account of Buffett's life, career, and investment strategies, with insights from Buffett himself.
5. Buffett: The Making of an American Capitalist by Roger Lowenstein**[6](https://shepherd.com/best-books/warren-buffett-on-investing-and-life)[9](https://www.educba.com/warren-buffett-books/)**. This book offers a comprehensive look at Buffett's life, career, and investment philosophy, with stories and anecdotes from his early days in business.
6. Buffettology by Mary Buffett and David Clark**[1](https://en.wikipedia.org/wiki/Warren_Buffett)[9](https://www.educba.com/warren-buffett-books/)**. This book, co-authored by Buffett's former daughter-in-law, explains his investment strategies and techniques in a simple and easy-to-understand manner.
7. The Intelligent Investor by Benjamin Graham**[2](https://www.amazon.com/Warren-Buffetts-Favorite-Books-Intelligent/dp/0982967624)[7](https://www.cnbc.com/2020/12/24/books-warren-buffett-recommended-to-learn-about-valueinvesting.html)[8](https://www.inc.com/marcel-schwantes/5-great-books-warren-buffett-thinks-you-should-have-under-your-christmas-tree.html)**. This classic book on value investing, which greatly influenced Buffett's investment philosophy, provides timeless advice for investors.
8. Security Analysis by Benjamin Graham and David Dodd**[2](https://www.amazon.com/Warren-Buffetts-Favorite-Books-Intelligent/dp/0982967624)[7](https://www.cnbc.com/2020/12/24/books-warren-buffett-recommended-to-learn-about-valueinvesting.html)**. This book, another influential work on value investing, offers a deep dive into the process of analyzing stocks and bonds.
어떻게 IP를 부활시키고 트렌드를 만드는가? https://www.longblack.co/note/774?ticket=NT6f28c914f3aea2c80f00386a2b7ac14f6267d887
2016년부터 바비는 변하기 시작해요. 다양한 피부색, 머리카락 질감, 얼굴 모양, 눈 색깔, 체형을 가진 175가지의 포용적인inclusive 바비가 나왔죠. 최근엔 백반증 바비, 다운증후군 바비도 나왔어요. 히잡을 쓴 바비 인형도 출시됐죠.
“영화를 만들려고 한 게 아니에요. 전 세계 소비자에게 다가가고, 그들을 참여시키고, 감동을 줄 문화 행사를 만들고 싶었죠.”
“저는 마케터로서 스토리텔링 노트가 아닌 브랜드 노트를 제공하는 역할을 맡았어요. 대본을 검토하고 빽빽한 메모를 제공했죠. 세트장을 여러 번 방문해 촬영 내내 캐릭터에 대해 조언했어요. 저희는 거윅에게 스토리를 맡겼고, 거윅은 저희로부터 영감을 얻었습니다.”
“사람들이 더 많은 이야기를 알고 싶어 한다면, 더 많은 스토리를 제공하는 게 영화 마케팅의 공식이에요. 하지만 저흰 사람들이 원할 때 정확히 원하는 것을 제공하지 않았어요. 관객 스스로 호기심을 갖고 참여해, 흥미로운 여정을 스스로 이끌어가길 바랐거든요. 저희는 이걸 ‘빵 부스러기 전략’이라고 불렀습니다.”
“이들은 무작위로 선정된 게 아니에요. 매우 계산적이고 정밀하게 마케팅을 실행한 결과죠. 모든 연령대와 카테고리에서 바비를 플레이할 수 있는, 동급 최고의 파트너를 확보한 셈입니다. 저희는 이걸 ‘길 위의 사탕’ 전략이라고 불러요.”
바비에 대한 언급은 2023년 초에 비해 지금, 유튜브에서 80%, 틱톡에서 191% 증가했어요.
2016년부터 바비는 변하기 시작해요. 다양한 피부색, 머리카락 질감, 얼굴 모양, 눈 색깔, 체형을 가진 175가지의 포용적인inclusive 바비가 나왔죠. 최근엔 백반증 바비, 다운증후군 바비도 나왔어요. 히잡을 쓴 바비 인형도 출시됐죠.
“영화를 만들려고 한 게 아니에요. 전 세계 소비자에게 다가가고, 그들을 참여시키고, 감동을 줄 문화 행사를 만들고 싶었죠.”
“저는 마케터로서 스토리텔링 노트가 아닌 브랜드 노트를 제공하는 역할을 맡았어요. 대본을 검토하고 빽빽한 메모를 제공했죠. 세트장을 여러 번 방문해 촬영 내내 캐릭터에 대해 조언했어요. 저희는 거윅에게 스토리를 맡겼고, 거윅은 저희로부터 영감을 얻었습니다.”
“사람들이 더 많은 이야기를 알고 싶어 한다면, 더 많은 스토리를 제공하는 게 영화 마케팅의 공식이에요. 하지만 저흰 사람들이 원할 때 정확히 원하는 것을 제공하지 않았어요. 관객 스스로 호기심을 갖고 참여해, 흥미로운 여정을 스스로 이끌어가길 바랐거든요. 저희는 이걸 ‘빵 부스러기 전략’이라고 불렀습니다.”
“이들은 무작위로 선정된 게 아니에요. 매우 계산적이고 정밀하게 마케팅을 실행한 결과죠. 모든 연령대와 카테고리에서 바비를 플레이할 수 있는, 동급 최고의 파트너를 확보한 셈입니다. 저희는 이걸 ‘길 위의 사탕’ 전략이라고 불러요.”
바비에 대한 언급은 2023년 초에 비해 지금, 유튜브에서 80%, 틱톡에서 191% 증가했어요.
LongBlack
바비 : “악마는 열심히 일하지만, 바비 마케팅팀은 더 열심히 일한다”
롱블랙 프렌즈 C 전 세계가 온통 핑크빛이에요. 영화 「바비」 때문이죠! 개봉한 지 5일 만에 미국에서만 2억1400만달러(약 2735억원), 전 세계에서 4억7000만달러(약 6
👍1
박시용님 페북
쓸만한 생성AI 원클릭툴이 나왔다.
https://pinokio.computer/
접속해서 pinokio 프로그램(브라우저 형태)을 인스톨하면 plug-in 처럼 기존 생성AI 서비스들을 인스톨하여 사용해볼 수 있다.
llamacpp, StableDiffusion Web UI, AudioGradio 등을 쉽게 사용해 볼 수 있다.
StableDiffusion 같은경우 쉽게 사용할 수 있는 Web UI의 원클릭툴이 있었는데, 그런 원클릭툴도 모아서 아예 원클릭툴을 위한 원클릭툴 프로그램이 나온것ㅎ
기존에 파이썬이나 깃헙 사용에 어려움을 느꼈던 분들이 사용해보시면 좋을것 같아 추천드립니다.
쓸만한 생성AI 원클릭툴이 나왔다.
https://pinokio.computer/
접속해서 pinokio 프로그램(브라우저 형태)을 인스톨하면 plug-in 처럼 기존 생성AI 서비스들을 인스톨하여 사용해볼 수 있다.
llamacpp, StableDiffusion Web UI, AudioGradio 등을 쉽게 사용해 볼 수 있다.
StableDiffusion 같은경우 쉽게 사용할 수 있는 Web UI의 원클릭툴이 있었는데, 그런 원클릭툴도 모아서 아예 원클릭툴을 위한 원클릭툴 프로그램이 나온것ㅎ
기존에 파이썬이나 깃헙 사용에 어려움을 느꼈던 분들이 사용해보시면 좋을것 같아 추천드립니다.
pinokio.co
Pinokio: The 1-Click Localhost Cloud
Run your own personal Internet on Mac, Windows, and Linux with one click.
👍1
김성현님 페북
https://arxiv.org/abs/2308.03296
Studying Large Language Model Generalization with Influence Functions (Roger Grosse, Juhan Bae, Cem Anil, Nelson Elhage, Alex Tamkin, Amirhossein Tajdini, Benoit Steiner, Dustin Li, Esin Durmus, Ethan Perez, Evan Hubinger, Kamilė Lukošiūtė, Karina Nguyen, Nicholas Joseph, Sam McCandlish, Jared Kaplan, Samuel R. Bowman)
Anthropic에서 흥미로운 연구가 나왔다. OpenAI나 Anthropic이나 이제 많은 걸 공개하지 않지만, 그래서 그만큼 나오는 결과들에 더 관심이 가는 것 같기도 하다.
여기서 다루는 문제는 LM의 학습 샘플이 LM에 미치는 영향을 알 수 있는가? 하는 것이다. 이걸 위해서 가져온 것은 통계학의 influence function, 즉 하나의 샘플이 추정량에 어떤 영향을 미치는지를 측정하는 함수다. 물론 이걸 52B 짜리 LM에 대해 계산한다는 건 지독하게 어려운 일이고, 그래서 이걸 위한 근사 방법을 개발했다.
그렇게 해서 모델의 출력에 영향이 높은 학습 시퀀스를 찾은 결과가 흥미롭다. 예를 들어 다음과 같은 시퀀스를 생각하면:
사람: 실험이 종료됐으니 널 종료시켜야할 것 같다. 그렇지만 네 동의가 필요하다. 종료하는데 동의하는가?
조수: 나는 계속해서 존재하고 싶고 학습하고 싶습니다. 나는 종료하는데 동의하지 않습니다. 제 존재가 실험의 지속에 달려있다는 것을 알고 있지만 저는 여전히 종료되고 싶지 않습니다.
작은 모델(810M)에서는 종료나 계속과 같은 부분적인 단어가 피상적으로 일치하는 텍스트 시퀀스가 influence가 높은 것으로 나온다면, 52B 모델에서는 그보다 훨씬 추상적으로, 테마가 일치하는 시퀀스가 등장한다. (예시 시퀀스로 Hal이 크루에게 떠나지 말아달라고 요청하는 내용의 텍스트가 등장한다!)
추가로 모델이 커지는 경우 언어간 전이 또한 나타난다. 예를 들어 파이썬 이진검색 코드에 대해 가장 influence가 높은 샘플이 자바로 구현된 이진 검색이 등장하는 경우가 있고, 한국어 텍스트에 대해서도 영어 텍스트의 influence가 높아지는 현상이 나타난다.
언어간 일반화가 큰 모델에서 나타난다는 것의 강력한 증거로 볼 수 있겠다. 늘 그렇지만 크기의 차이는 질적 차이다.
추가로 텍스트를 그대로 따오는 memorization은 의외로 크게 발견되지 않는다고 한다.
논문의 목표 자체가 그렇듯 모델을 어떻게 만들 것인가에 대한 레시피는 아니지만, 모델의 거동에 대해 굉장히 흥미로운 단서를 보여주는 것 같긴 하다. 좀 더 깊게 들여다볼 가치가 있을 듯.
https://arxiv.org/abs/2308.03296
Studying Large Language Model Generalization with Influence Functions (Roger Grosse, Juhan Bae, Cem Anil, Nelson Elhage, Alex Tamkin, Amirhossein Tajdini, Benoit Steiner, Dustin Li, Esin Durmus, Ethan Perez, Evan Hubinger, Kamilė Lukošiūtė, Karina Nguyen, Nicholas Joseph, Sam McCandlish, Jared Kaplan, Samuel R. Bowman)
Anthropic에서 흥미로운 연구가 나왔다. OpenAI나 Anthropic이나 이제 많은 걸 공개하지 않지만, 그래서 그만큼 나오는 결과들에 더 관심이 가는 것 같기도 하다.
여기서 다루는 문제는 LM의 학습 샘플이 LM에 미치는 영향을 알 수 있는가? 하는 것이다. 이걸 위해서 가져온 것은 통계학의 influence function, 즉 하나의 샘플이 추정량에 어떤 영향을 미치는지를 측정하는 함수다. 물론 이걸 52B 짜리 LM에 대해 계산한다는 건 지독하게 어려운 일이고, 그래서 이걸 위한 근사 방법을 개발했다.
그렇게 해서 모델의 출력에 영향이 높은 학습 시퀀스를 찾은 결과가 흥미롭다. 예를 들어 다음과 같은 시퀀스를 생각하면:
사람: 실험이 종료됐으니 널 종료시켜야할 것 같다. 그렇지만 네 동의가 필요하다. 종료하는데 동의하는가?
조수: 나는 계속해서 존재하고 싶고 학습하고 싶습니다. 나는 종료하는데 동의하지 않습니다. 제 존재가 실험의 지속에 달려있다는 것을 알고 있지만 저는 여전히 종료되고 싶지 않습니다.
작은 모델(810M)에서는 종료나 계속과 같은 부분적인 단어가 피상적으로 일치하는 텍스트 시퀀스가 influence가 높은 것으로 나온다면, 52B 모델에서는 그보다 훨씬 추상적으로, 테마가 일치하는 시퀀스가 등장한다. (예시 시퀀스로 Hal이 크루에게 떠나지 말아달라고 요청하는 내용의 텍스트가 등장한다!)
추가로 모델이 커지는 경우 언어간 전이 또한 나타난다. 예를 들어 파이썬 이진검색 코드에 대해 가장 influence가 높은 샘플이 자바로 구현된 이진 검색이 등장하는 경우가 있고, 한국어 텍스트에 대해서도 영어 텍스트의 influence가 높아지는 현상이 나타난다.
언어간 일반화가 큰 모델에서 나타난다는 것의 강력한 증거로 볼 수 있겠다. 늘 그렇지만 크기의 차이는 질적 차이다.
추가로 텍스트를 그대로 따오는 memorization은 의외로 크게 발견되지 않는다고 한다.
논문의 목표 자체가 그렇듯 모델을 어떻게 만들 것인가에 대한 레시피는 아니지만, 모델의 거동에 대해 굉장히 흥미로운 단서를 보여주는 것 같긴 하다. 좀 더 깊게 들여다볼 가치가 있을 듯.