폴 그레이엄이 환상적인 글을 남겼다. 이 글은 평생에 걸쳐서 읽어야겠다.

"How to Do Great Work"


<번역본>
https://frontierbydoyeob.substack.com/p/frontier-13-how-to-do-great-work?utm_source=post-email-noscript&publication_id=944480&post_id=132707382&isFreemail=true&utm_medium=email

<원문>
http://www.paulgraham.com/greatwork.html?utm_source=substack&utm_medium=email

https://youtu.be/GQNYD9yzIjU

wow…

LIMA 모델을 만든 기법을 실증한 사례들이 생겨나고 있는것 같습니다.

WizardLM 모델 파인튜닝에 사용된, 원본 Evol Instruct 데이터셋은 V1이 70K, V2가 190K 여건으로 구성되어 있습니다.

이번에 공개된 WizardLM V1.1은 1K의 데이터셋 만으로 파인튜닝 되었다고 합니다. 원본 Evol Instruct에서 큐레이션된 데이터셋일지, 새롭게 구성된 프롬프트로 얻은 데이터셋일지는 아직 공개된 바가 없어서 확실치 않습니다 (조만간 데이터셋과 그 방법을 공개한다고 하네요).

하지만 모델(13B)의 가중치는 이미 공개되어 있고, 벤치마크 성능은 WizardLM 30B V1.0과 유사한 수준으로 보입니다. 사실 LIMA 논문이 나왔을 때는 약간 의구심이 들기도 했는데요, 실제로 가능함을 보여주는 실제 사례들이 등장하면서 가능성이 있겠다는 생각이 드는군요.

예전부터 생각해왔듯이 "매우 고 품질"의 데이터가 필요하기는 하며, 사실 이 정도는 기업 차원에서는 쉽게 구축할 수 있을듯 합니다. 이미 LLaMA와 동일한 구조를 띈 "상업적 이용이 가능한" OpenLLaMA 및 XGen과 같은 기반 모델들이 나와있습니다. 1K 정도라면, 인력으로도 충분히 만들어낼 수 있는 수준이기 때문에, 조만간 GPT4의 개입 없이 실제 상업적 활용이 가능한 파인튜닝된 모델들이 속출할 것으로 예상됩니다.

당장 커뮤니티 차원에서도 데이터 만들기 품앗이를 해볼 수 있겠는데요. 일단은 GPT4로 데이터를 다량으로 만들기는 할 것인데, 이것을 사람이 큐레이션 하는 작업이 필요합니다. 먼저 "고 품질"로 1K 여건의 데이터를 추리는 작업이 필요하고, 그 다음 기계 번역합니다. 여기 까지하면 GPT4가 생성한 결과 그대로이기 때문에 라이선스가 애매하죠. 따라서 번역된 1K 여건을 사람이 일일이 검수합니다. 당연히 구조를 뒤틀고, 용어도 좀 더 자연스럽게 교정하는 등 매우 꼼꼼히 1K 데이터셋을 검수해보는 방향입니다. 그러면 사실상 GPT4가 만든 원본이라고해도, 결과물은 원본과는 완전히 다르기 때문에, 활용 가능할 것이라고 생각합니다.
: 혹시 관심있으신 분 계신가요?

https://twitter.com/WizardLM_AI/status/1677282955490918401

https://huggingface.co/WizardLM

Oh… 산전수전수중전까지 겪은 아저씨가 Bob아저씨가 그림 그려놓고 쉽죠 하는 것처럼… Great work란 말이지 하면서 이야기해주는 것 같네 ㅎㅎ

추가로 Patrcik(CEO of Stripe)도 블로그에서 인류가 만들어낸 위대한 일에 대한 기록들을 공유한 적이 있는데 같이 읽어볼만한 것 같다.

Hardy's *A Mathematician's Apology*

Some materials about successful industrial/applied research labs. I recommend all of them. Further recommendations very [welcome](mailto:patrick@collison.ie). Also, does it just *seem* that their heyday is past, or has something structurally changed?

- [Dealers of Lightning](https://www.amazon.com/Dealers-Lightning-Xerox-PARC-Computer/dp/0887309895). The definitive book about PARC.
- [Inside PARC: the 'information' architects](https://spectrum.ieee.org/ns/pdfs/inside-the-parc.pdf) (IEEE Spectrum, Oct 1985). Good article about PARC.
- [Interview with Bob Taylor](http://archive.computerhistory.org/resources/text/Oral_History/Taylor_Robert/102702015.05.01.acc.pdf) (and [another](https://patrickcollison.com/static/files/labs/taylor-markoff-interview.pdf)), who ran the PARC CS Lab.
- [The Idea Factory](https://www.amazon.com/Idea-Factory-Great-American-Innovation/dp/0143122797). The definitive book about Bell Labs. (There should be more...)
- [The Art of Doing Science and Engineering](https://www.amazon.com/Art-Doing-Science-Engineering-Learning/dp/9056995006). Only indirectly about Bell Labs but so good that you should read it anyway.
- [Tuxedo Park](https://www.amazon.com/Tuxedo-Park-Street-Science-Changed/dp/0684872889). Book about the MIT Rad Lab, among other things. (Also worth reading [Endless Frontier](https://www.amazon.com/Endless-Frontier-Vannevar-Engineer-American/dp/0262740222). Broader influence of [NDRC](https://en.wikipedia.org/wiki/National_Defense_Research_Committee) is underestimated, as far as I can tell.)
- [MIT's Building 20: "The Magical Incubator"](https://infinitehistory.mit.edu/video/mits-building-20-magical-incubator). Trannoscript of a talk about [Building 20](https://en.wikipedia.org/wiki/Building_20).
- [Funding Breakthrough Research: Promises and Challenges of the “ARPA Model”](http://mitsloan.mit.edu/shared/ods/documents/?DocumentID=4615). An analysis of what the ARPA model is and why it might work.
- [The Dream Machine](https://www.amazon.com/Dream-Machine-Licklider-Revolution-Computing/dp/014200135X). Book about ARPA, Licklider, and the creation of the internet.
- [The Power of the Context](https://patrickcollison.com/static/files/labs/context.pdf). Alan Kay's reflections on ARPA and PARC.
- [The Making of the Atomic Bomb](https://www.amazon.com/Making-Atomic-Bomb-25th-Anniversary/dp/1451677618/). Book about the Manhattan Project.
- [Skunk Works](https://www.amazon.com/Skunk-Works-Personal-Memoir-Lockheed-ebook/dp/B00A2DIW3C). The Lockheed Martin [facility](https://en.wikipedia.org/wiki/Skunk_Works) behind the U-2, SR-71, etc. (See also: [Kelly Johnson's 14 Rules](https://www.lockheedmartin.com/en-us/who-we-are/business-areas/aeronautics/skunkworks/kelly-14-rules.html), [Kelly Johnson's own memoir](https://www.amazon.com/Kelly-More-Than-Share-All/dp/0874745640/), [Augustine's Laws](https://www.amazon.com/Augustines-Chairman-Lockheed-Corporation-Augustine/dp/1563472406), [Boyd](https://www.amazon.com/Boyd-Fighter-Pilot-Who-Changed/dp/0316796883), and [National Defense](https://www.amazon.com/National-Defense-James-Fallows/dp/0394518241).)
- [Organizing Genius](https://www.amazon.com/Organizing-Genius-Secrets-Creative-Collaboration/dp/0201339897): an exploration of commonalities across the Manhattan Project, Black Mountain College, Skunk Works, etc. [Demis](https://en.wikipedia.org/wiki/Demis_Hassabis) from DeepMind commented that it accords with how he manages the company.
- [Sidewinder](https://www.amazon.com/Sidewinder-Creative-Missile-Development-China/dp/1591149819). A history of the development of the Sidewinder missile and of the [China Lake](https://en.wikipedia.org/wiki/Naval_Air_Weapons_Station_China_Lake) Navy research lab.
- [Scene of Change](https://www.amazon.com/Scene-change-lifetime-American-science/dp/B00005WR83). Personal account from Rockefeller Foundation's Warren Weaver. (Worked with Bush at NDRC during WWII; helped fund Green Revolution; funded most of the Nobel-winning molecular biologists.) Worth a quick skim—some good passages.

- [Alvarez: Adventures Of A Physicist](https://www.amazon.com/Alvarez-Adventures-Physicist-Alfred-Foundation/dp/0465001165). Luis Alvarez's first-hand account of participating in the development of [GCA](https://en.wikipedia.org/wiki/Ground-controlled_approach), radar, and the Manhattan Project.
- [Doing the Impossible](https://www.amazon.com/Doing-Impossible-Management-Spaceflight-Exploration/dp/1461437008). How George Mueller managed the Apollo Program.

Data Freshness in Machine Learning Systems.
When it comes to Machine Learning Systems, we usually plug in on top of Data Engineering Systems where data is already collected, transformed and curated for efficient usage in downstream systems - ML System is just one of them. This does not mean however that no additional data transformations need to happen after data is handed over. We refer to Data Freshness in Machine Learning Systems as Feature Freshness.
When thinking about composition of how data is served to the end user in ML Systems there are two mostly independent pieces, hence also two perspectives on

Feature Freshness:
Feature Freshness at Model Training time: how much time does it take for a generated data point to be included when training a Machine Learning Model which is then deployed to serve the end user. Remember that Machine Learning models are nothing more than Statistical models trained to predict certain outcomes on a given feature distribution. We can’t avoid ML Models becoming stale if not retrained. This phenomenon of ML models becoming stale is called Feature and Concept Drift (you can read more about them here).
Feature Freshness at inference time: how much time does it take for a generated data point to be available when performing Inference with the previously trained and deployed model. Features used for inference are usually decoupled in terms of freshness from the ones that are used while training the model and are less stale.

🥇Top ML Papers of the Week

How Language Models Use Long Contexts

- finds that LM performance is often highest when relevant information occurs at the beginning or end of the input context; performance degrades when relevant information is provided in the middle of a long context. ([paper](https://substack.com/redirect/4e6b797d-9aed-4940-88c7-3af5b63e4f20?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/3a9b6a9f-fc9e-40a0-b172-f779c899bacf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

LLMs as Effective Text Rankers

- proposes a prompting technique that enables open-source LLMs to perform state-of-the-art text ranking on standard benchmarks. ([paper](https://substack.com/redirect/7782bdfe-6f9c-4c37-87da-f353da8a7a7f?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/dfbde4a7-b3ae-4df2-ac6d-8283361c3ad3?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

Multimodal Generation with Frozen LLMs

- introduces an approach that effectively maps images to the token space of LLMs; enables models like PaLM and GPT-4 to tackle visual tasks without parameter updates; enables multimodal tasks and uses in-context learning to tackle various visual tasks. ([paper](https://substack.com/redirect/8377a115-b5c0-4a05-80c3-821099b7ccbf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/56122f84-fd95-4fb3-bc68-2239ef4ba411?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

Elastic Decision Transformer

- introduces an advancement over Decision Transformers and variants by facilitating trajectory stitching during action inference at test time, achieved by adjusting to shorter history that allows transitions to diverse and better future states. ([paper](https://substack.com/redirect/2b1b7dcb-4143-465f-9cd4-aba578c73279?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/adc07e2e-3c86-423c-aa6b-6e4ab3ed2a0a?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

Physics-based Motion Retargeting in Real-Time

- proposes a method that uses reinforcement learning to train a policy to control characters in a physics simulator; it retargets motions in real-time from sparse human sensor data to characters of various morphologies. ([paper](https://substack.com/redirect/d7cf6278-7ebf-42f2-9d21-6f598e29cd1e?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/88b736f9-b052-4aa4-be5a-697533fa2d94?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

InterCode

- introduces a framework of interactive coding as a reinforcement learning environment; this is different from the typical coding benchmarks that consider a static sequence-to-sequence process. ([paper](https://substack.com/redirect/48889a92-d287-4fd2-87e0-3b72f395c3ed?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/e4f3aeb7-b2d3-49a9-9b32-9d0a842dd7f4?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

https://github.com/0hq/tinyvector
SQLite + Python(Flask) + Numpy 로 구성
500라인도 안되는 코드로 쉽게 커스터마이징 가능
중/소규모 데이터셋에서 고급 벡터 데이터베이스들과 비슷한 성능
모든 인덱스를 메모리에 저장해서 빠르게 쿼리 가능
곧 추가될 기능들
강력한 쿼리(SQL 기능 모두 지원)
모델과 통합(SBert, Hugging Face models, OpenAI, Cohere,..)
Python/JS 클라이언트

📌 AI 산업의 비즈니스 기회는 어디?

2022년 11월 30일 ChatGPT의 등장으로 AI산업이 첫 전환점에 도달하고 대략 7개월이 지났습니다.

일선에서는 서서히 두 번째 물결이 시작되고 있는 것 같습니다.

AI 유니콘 기업인 Cohere(약 $2B 기업 가치)는 AI 생산성 향상에 대해 3단계(3 phase)로 나누어 이 물결을 설명했습니다 :


Phase 1 : 현재 시점의 단계.
대규모 언어 모델(LLM)이 전반적으로 학습 및 배포되는 단계로, 사용자는 ChatGPT와 같은 프론트엔드(front-end) 도구를 활용하여 텍스트의 구상, 작성, 개선에 도움을 받음. 기업의 자체 데이터의 사용은 거의 일어나지 않는 초기 단계.

Phase 2 : 검색 증강 생성((Retrieval Augmented generation, RAG)을 활용하는 단계.
LLM이 기업 데이터에 대한 접근 권한을 갖게 되는 단계로, 챗봇과 같은 형태로 언어 모델과 상호작용 할 수 있음.
말 그대로 사람이 할 수 있는 거의 모든 작업을 효율적으로 검색, 종합, 보고할 수 있는 지식 도우미(Knowledge Assistant, KA) 역할.
예시 : 👩🏻 "스크랜턴 지사의 최근 보고서 5개를 요약하고 최고의 영업 사원을 찾아줘.", "매출 기준 상위 5개 제품 중 총 마진이 가장 높은 제품이 뭐야?"

Phase 3 : 지식 도우미(Knowledge Assistant, KA)가 작업자를 대신하여 조치를 취할 수 있는 단계.
지식 도우미가 기업의 시스템과 지능적이면서 안정적으로 상호 작용할 수 있는 단계로, 실제 작업의 ‘실행’까지 맡아서 할 수 있음. 필요한 기업의 시스템과 인터페이스의 다양성을 고려할 때 시간이 걸리겠지만, 언어 모델이 필요한 형식을 비교적 빠르게 생성하고 이해할 수 있을 것으로 예상.
예시 : 👨🏻 "시라큐스 지점에서 80파운드 재고 500묶음과 송장을 할인 없이 보내줘.”


기술의 발전은 항상 새로운 혁신을 야기합니다. 모바일 인터페이스의 발전(Phase 1)이 수많은 라이프 스타일을 혁신(Phase 2, 3)한 것처럼, AI 산업도 이와 비슷한 양상을 띨 것 같습니다.

샘 알트만은 GPT 모델이 방대한 지식 데이터베이스가 아닌 추론 엔진이라는 점을 강조한 바 있습니다. Phase 1은 이와 같은 강력한 추론 모델이 만들어진 단계가 아니었나 싶습니다.

이제는 강력한 추론 모델이 최적의 답변을 만들어내기 위한 정제된 데이터가 필요할 때인 것 같습니다. 기업의 고유한 데이터가 바로 이 정제된 데이터의 역할을 하게 될 것 같습니다. 기업의 데이터를 활용한 생산성 향상의 영역은 AI 기술에게는 최적의 시장이기 때문이죠.

따라서 이제는 기업이 자체 데이터를 잘 활용할 수 있도록 하는 AI 서비스는 무엇일지, 그 형태는 어떨지 고민을 해봐야 할 때인 것 같습니다.

아마 이 단계에서는 기존의 사용자 인터페이스와는 전혀 다른 형태로 전환될 가능성도 있을 것 같습니다. 창의력이 필요한 시기 같네요.


✔️ Cohere의 ‘How Generative AI and LLMs Unlock Greator Workforce Productivity’라는 글을 참고했습니다. 여기에서 원문을 의역한 글을 읽으실 수 있습니다. 요즘AI가 담은 내용 외에도 좋은 내용이 많으니 한 번씩 읽어보시면 좋을 것 같습니다.

Everyone will be able to code using English. The methods we use to learn programming and develop software are set to undergo a radical transformation in the upcoming months.


https://chat.openai.com/share/5689e899-673b-469f-af85-977b03c9e825