Oh… 산전수전수중전까지 겪은 아저씨가 Bob아저씨가 그림 그려놓고 쉽죠 하는 것처럼… Great work란 말이지 하면서 이야기해주는 것 같네 ㅎㅎ

추가로 Patrcik(CEO of Stripe)도 블로그에서 인류가 만들어낸 위대한 일에 대한 기록들을 공유한 적이 있는데 같이 읽어볼만한 것 같다.

Hardy's *A Mathematician's Apology*

Some materials about successful industrial/applied research labs. I recommend all of them. Further recommendations very [welcome](mailto:patrick@collison.ie). Also, does it just *seem* that their heyday is past, or has something structurally changed?

- [Dealers of Lightning](https://www.amazon.com/Dealers-Lightning-Xerox-PARC-Computer/dp/0887309895). The definitive book about PARC.
- [Inside PARC: the 'information' architects](https://spectrum.ieee.org/ns/pdfs/inside-the-parc.pdf) (IEEE Spectrum, Oct 1985). Good article about PARC.
- [Interview with Bob Taylor](http://archive.computerhistory.org/resources/text/Oral_History/Taylor_Robert/102702015.05.01.acc.pdf) (and [another](https://patrickcollison.com/static/files/labs/taylor-markoff-interview.pdf)), who ran the PARC CS Lab.
- [The Idea Factory](https://www.amazon.com/Idea-Factory-Great-American-Innovation/dp/0143122797). The definitive book about Bell Labs. (There should be more...)
- [The Art of Doing Science and Engineering](https://www.amazon.com/Art-Doing-Science-Engineering-Learning/dp/9056995006). Only indirectly about Bell Labs but so good that you should read it anyway.
- [Tuxedo Park](https://www.amazon.com/Tuxedo-Park-Street-Science-Changed/dp/0684872889). Book about the MIT Rad Lab, among other things. (Also worth reading [Endless Frontier](https://www.amazon.com/Endless-Frontier-Vannevar-Engineer-American/dp/0262740222). Broader influence of [NDRC](https://en.wikipedia.org/wiki/National_Defense_Research_Committee) is underestimated, as far as I can tell.)
- [MIT's Building 20: "The Magical Incubator"](https://infinitehistory.mit.edu/video/mits-building-20-magical-incubator). Trannoscript of a talk about [Building 20](https://en.wikipedia.org/wiki/Building_20).
- [Funding Breakthrough Research: Promises and Challenges of the “ARPA Model”](http://mitsloan.mit.edu/shared/ods/documents/?DocumentID=4615). An analysis of what the ARPA model is and why it might work.
- [The Dream Machine](https://www.amazon.com/Dream-Machine-Licklider-Revolution-Computing/dp/014200135X). Book about ARPA, Licklider, and the creation of the internet.
- [The Power of the Context](https://patrickcollison.com/static/files/labs/context.pdf). Alan Kay's reflections on ARPA and PARC.
- [The Making of the Atomic Bomb](https://www.amazon.com/Making-Atomic-Bomb-25th-Anniversary/dp/1451677618/). Book about the Manhattan Project.
- [Skunk Works](https://www.amazon.com/Skunk-Works-Personal-Memoir-Lockheed-ebook/dp/B00A2DIW3C). The Lockheed Martin [facility](https://en.wikipedia.org/wiki/Skunk_Works) behind the U-2, SR-71, etc. (See also: [Kelly Johnson's 14 Rules](https://www.lockheedmartin.com/en-us/who-we-are/business-areas/aeronautics/skunkworks/kelly-14-rules.html), [Kelly Johnson's own memoir](https://www.amazon.com/Kelly-More-Than-Share-All/dp/0874745640/), [Augustine's Laws](https://www.amazon.com/Augustines-Chairman-Lockheed-Corporation-Augustine/dp/1563472406), [Boyd](https://www.amazon.com/Boyd-Fighter-Pilot-Who-Changed/dp/0316796883), and [National Defense](https://www.amazon.com/National-Defense-James-Fallows/dp/0394518241).)
- [Organizing Genius](https://www.amazon.com/Organizing-Genius-Secrets-Creative-Collaboration/dp/0201339897): an exploration of commonalities across the Manhattan Project, Black Mountain College, Skunk Works, etc. [Demis](https://en.wikipedia.org/wiki/Demis_Hassabis) from DeepMind commented that it accords with how he manages the company.
- [Sidewinder](https://www.amazon.com/Sidewinder-Creative-Missile-Development-China/dp/1591149819). A history of the development of the Sidewinder missile and of the [China Lake](https://en.wikipedia.org/wiki/Naval_Air_Weapons_Station_China_Lake) Navy research lab.
- [Scene of Change](https://www.amazon.com/Scene-change-lifetime-American-science/dp/B00005WR83). Personal account from Rockefeller Foundation's Warren Weaver. (Worked with Bush at NDRC during WWII; helped fund Green Revolution; funded most of the Nobel-winning molecular biologists.) Worth a quick skim—some good passages.

- [Alvarez: Adventures Of A Physicist](https://www.amazon.com/Alvarez-Adventures-Physicist-Alfred-Foundation/dp/0465001165). Luis Alvarez's first-hand account of participating in the development of [GCA](https://en.wikipedia.org/wiki/Ground-controlled_approach), radar, and the Manhattan Project.
- [Doing the Impossible](https://www.amazon.com/Doing-Impossible-Management-Spaceflight-Exploration/dp/1461437008). How George Mueller managed the Apollo Program.

Data Freshness in Machine Learning Systems.
When it comes to Machine Learning Systems, we usually plug in on top of Data Engineering Systems where data is already collected, transformed and curated for efficient usage in downstream systems - ML System is just one of them. This does not mean however that no additional data transformations need to happen after data is handed over. We refer to Data Freshness in Machine Learning Systems as Feature Freshness.
When thinking about composition of how data is served to the end user in ML Systems there are two mostly independent pieces, hence also two perspectives on

Feature Freshness:
Feature Freshness at Model Training time: how much time does it take for a generated data point to be included when training a Machine Learning Model which is then deployed to serve the end user. Remember that Machine Learning models are nothing more than Statistical models trained to predict certain outcomes on a given feature distribution. We can’t avoid ML Models becoming stale if not retrained. This phenomenon of ML models becoming stale is called Feature and Concept Drift (you can read more about them here).
Feature Freshness at inference time: how much time does it take for a generated data point to be available when performing Inference with the previously trained and deployed model. Features used for inference are usually decoupled in terms of freshness from the ones that are used while training the model and are less stale.

🥇Top ML Papers of the Week

How Language Models Use Long Contexts

- finds that LM performance is often highest when relevant information occurs at the beginning or end of the input context; performance degrades when relevant information is provided in the middle of a long context. ([paper](https://substack.com/redirect/4e6b797d-9aed-4940-88c7-3af5b63e4f20?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/3a9b6a9f-fc9e-40a0-b172-f779c899bacf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

LLMs as Effective Text Rankers

- proposes a prompting technique that enables open-source LLMs to perform state-of-the-art text ranking on standard benchmarks. ([paper](https://substack.com/redirect/7782bdfe-6f9c-4c37-87da-f353da8a7a7f?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/dfbde4a7-b3ae-4df2-ac6d-8283361c3ad3?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

Multimodal Generation with Frozen LLMs

- introduces an approach that effectively maps images to the token space of LLMs; enables models like PaLM and GPT-4 to tackle visual tasks without parameter updates; enables multimodal tasks and uses in-context learning to tackle various visual tasks. ([paper](https://substack.com/redirect/8377a115-b5c0-4a05-80c3-821099b7ccbf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/56122f84-fd95-4fb3-bc68-2239ef4ba411?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

Elastic Decision Transformer

- introduces an advancement over Decision Transformers and variants by facilitating trajectory stitching during action inference at test time, achieved by adjusting to shorter history that allows transitions to diverse and better future states. ([paper](https://substack.com/redirect/2b1b7dcb-4143-465f-9cd4-aba578c73279?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/adc07e2e-3c86-423c-aa6b-6e4ab3ed2a0a?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

Physics-based Motion Retargeting in Real-Time

- proposes a method that uses reinforcement learning to train a policy to control characters in a physics simulator; it retargets motions in real-time from sparse human sensor data to characters of various morphologies. ([paper](https://substack.com/redirect/d7cf6278-7ebf-42f2-9d21-6f598e29cd1e?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/88b736f9-b052-4aa4-be5a-697533fa2d94?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

InterCode

- introduces a framework of interactive coding as a reinforcement learning environment; this is different from the typical coding benchmarks that consider a static sequence-to-sequence process. ([paper](https://substack.com/redirect/48889a92-d287-4fd2-87e0-3b72f395c3ed?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/e4f3aeb7-b2d3-49a9-9b32-9d0a842dd7f4?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))

https://github.com/0hq/tinyvector
SQLite + Python(Flask) + Numpy 로 구성
500라인도 안되는 코드로 쉽게 커스터마이징 가능
중/소규모 데이터셋에서 고급 벡터 데이터베이스들과 비슷한 성능
모든 인덱스를 메모리에 저장해서 빠르게 쿼리 가능
곧 추가될 기능들
강력한 쿼리(SQL 기능 모두 지원)
모델과 통합(SBert, Hugging Face models, OpenAI, Cohere,..)
Python/JS 클라이언트

📌 AI 산업의 비즈니스 기회는 어디?

2022년 11월 30일 ChatGPT의 등장으로 AI산업이 첫 전환점에 도달하고 대략 7개월이 지났습니다.

일선에서는 서서히 두 번째 물결이 시작되고 있는 것 같습니다.

AI 유니콘 기업인 Cohere(약 $2B 기업 가치)는 AI 생산성 향상에 대해 3단계(3 phase)로 나누어 이 물결을 설명했습니다 :


Phase 1 : 현재 시점의 단계.
대규모 언어 모델(LLM)이 전반적으로 학습 및 배포되는 단계로, 사용자는 ChatGPT와 같은 프론트엔드(front-end) 도구를 활용하여 텍스트의 구상, 작성, 개선에 도움을 받음. 기업의 자체 데이터의 사용은 거의 일어나지 않는 초기 단계.

Phase 2 : 검색 증강 생성((Retrieval Augmented generation, RAG)을 활용하는 단계.
LLM이 기업 데이터에 대한 접근 권한을 갖게 되는 단계로, 챗봇과 같은 형태로 언어 모델과 상호작용 할 수 있음.
말 그대로 사람이 할 수 있는 거의 모든 작업을 효율적으로 검색, 종합, 보고할 수 있는 지식 도우미(Knowledge Assistant, KA) 역할.
예시 : 👩🏻 "스크랜턴 지사의 최근 보고서 5개를 요약하고 최고의 영업 사원을 찾아줘.", "매출 기준 상위 5개 제품 중 총 마진이 가장 높은 제품이 뭐야?"

Phase 3 : 지식 도우미(Knowledge Assistant, KA)가 작업자를 대신하여 조치를 취할 수 있는 단계.
지식 도우미가 기업의 시스템과 지능적이면서 안정적으로 상호 작용할 수 있는 단계로, 실제 작업의 ‘실행’까지 맡아서 할 수 있음. 필요한 기업의 시스템과 인터페이스의 다양성을 고려할 때 시간이 걸리겠지만, 언어 모델이 필요한 형식을 비교적 빠르게 생성하고 이해할 수 있을 것으로 예상.
예시 : 👨🏻 "시라큐스 지점에서 80파운드 재고 500묶음과 송장을 할인 없이 보내줘.”


기술의 발전은 항상 새로운 혁신을 야기합니다. 모바일 인터페이스의 발전(Phase 1)이 수많은 라이프 스타일을 혁신(Phase 2, 3)한 것처럼, AI 산업도 이와 비슷한 양상을 띨 것 같습니다.

샘 알트만은 GPT 모델이 방대한 지식 데이터베이스가 아닌 추론 엔진이라는 점을 강조한 바 있습니다. Phase 1은 이와 같은 강력한 추론 모델이 만들어진 단계가 아니었나 싶습니다.

이제는 강력한 추론 모델이 최적의 답변을 만들어내기 위한 정제된 데이터가 필요할 때인 것 같습니다. 기업의 고유한 데이터가 바로 이 정제된 데이터의 역할을 하게 될 것 같습니다. 기업의 데이터를 활용한 생산성 향상의 영역은 AI 기술에게는 최적의 시장이기 때문이죠.

따라서 이제는 기업이 자체 데이터를 잘 활용할 수 있도록 하는 AI 서비스는 무엇일지, 그 형태는 어떨지 고민을 해봐야 할 때인 것 같습니다.

아마 이 단계에서는 기존의 사용자 인터페이스와는 전혀 다른 형태로 전환될 가능성도 있을 것 같습니다. 창의력이 필요한 시기 같네요.


✔️ Cohere의 ‘How Generative AI and LLMs Unlock Greator Workforce Productivity’라는 글을 참고했습니다. 여기에서 원문을 의역한 글을 읽으실 수 있습니다. 요즘AI가 담은 내용 외에도 좋은 내용이 많으니 한 번씩 읽어보시면 좋을 것 같습니다.

Everyone will be able to code using English. The methods we use to learn programming and develop software are set to undergo a radical transformation in the upcoming months.


https://chat.openai.com/share/5689e899-673b-469f-af85-977b03c9e825

Academia is in for a wild ride

>Upload census data & data dictionary into GPT with Code Interpreter
>"I would like you to generate some interesting draft hypotheses about industries & MSAs and then to test them with the data. make assumptions if you need to"
>"Put it in a paper"

<논문 쉽게 보세요>

AI 관련, 논문으로 공부를 하면서 아직 지식이 일천하여 무슨말인지 당최 이해가 되지 않을때가 많다.
이때 chatGPT의 플러그인들을 조합해서 모르는 수식의 의미를 알아낼 수 있는데, 혹시나 모르고 계신분들에게 도움이 될까 하여 포스팅해본다.

chatGPT 플러그인은 3개까지 한꺼번에 조합해서 쓸 수 있는데 우선 아래의 3개를 설치한다.

1. LinkReader: chatGPT에 붙여넣기한 주소의 pdf에서 텍스트나 그림을 가져온다.
2. AskYourPDF: PDF파일을 분석해줌. 질문을 하거나 요약을 요청할 수 있다.
3. WolframAlpha: 논문 속 수식을 Latex로 옮겨서 의미를 해석하고 그래프로 그려줌

이렇게 3개를 설치 후 체크박스를 체크하여 활성화 한 다음 chatGPT에 해당 논문의 pdf 주소와 같이 필요한 질문을 하면 된다.

예를들어 트랜스포머 논문인 'Attention Is All You Need'에서 궁금증이 있다면 아래와 같이 chatGPT에 질문한다.

'https://arxiv.org/pdf/1706.03762.pdf
이 논문에서 3.2.2의 Multi-Head Attention에 있는 MultiHead(Q,K,V) 로 시작하는 수식을 여기에 옮겨 적어주고 그 수식의 의미를 알기 쉽게 아주 자세히 설명해줘'
(한번 그대로 복사 붙여넣기 해보시길..)

이렇게 하면 수식을 그대로 가져오고 첨부한 캡쳐처럼 수식의 의미를 해석해준다.

혹시나 이렇게해도 어렵다면 마지막 필살기로 다음 프롬프트를 입력한다.
'5살 어린이에게 설명한다고 생각하고 쉽게 알려줘'

그렇게 하여 얻은 답변
----
그럼요, 이해하기 쉽게 설명해볼게요!

우리가 책을 읽을 때, 모든 단어를 동일하게 중요하게 생각하지 않아요. 어떤 단어는 이해하는 데 더 중요하고, 어떤 단어는 그렇지 않죠. 이렇게 중요한 단어에 집중하는 것을 '주의'라고 합니다.

이제, 이 '주의' 개념을 컴퓨터가 이해하도록 만들어보자고 생각한 사람들이 있어요. 그래서 만든 것이 '어텐션'이라는 기술입니다. 이 기술을 사용하면 컴퓨터도 중요한 정보에 더 집중할 수 있게 됩니다.

그런데 사람마다 중요하다고 생각하는 정보가 다르듯이, 컴퓨터도 여러 가지 방법으로 정보를 중요하게 생각할 수 있어요. 이런 다양한 방법을 한 번에 사용하면 더 많은 정보를 얻을 수 있겠죠? 이런 아이디어에서 '멀티 헤드 어텐션'이라는 기술이 탄생했습니다.

'멀티 헤드 어텐션'은 마치 여러 개의 머리를 가진 것처럼, 여러 가지 방법으로 정보를 중요하게 생각합니다. 그리고 그 결과를 모아서 하나의 결론을 내립니다. 이렇게 하면 컴퓨터는 한 가지 방법만 사용하는 것보다 더 많은 정보를 얻을 수 있어요. 이게 '멀티 헤드 어텐션'의 기본 아이디어입니다.
----
많이들 사용해보세요!