Data Freshness in Machine Learning Systems.
When it comes to Machine Learning Systems, we usually plug in on top of Data Engineering Systems where data is already collected, transformed and curated for efficient usage in downstream systems - ML System is just one of them. This does not mean however that no additional data transformations need to happen after data is handed over. We refer to Data Freshness in Machine Learning Systems as Feature Freshness.
When thinking about composition of how data is served to the end user in ML Systems there are two mostly independent pieces, hence also two perspectives on
When it comes to Machine Learning Systems, we usually plug in on top of Data Engineering Systems where data is already collected, transformed and curated for efficient usage in downstream systems - ML System is just one of them. This does not mean however that no additional data transformations need to happen after data is handed over. We refer to Data Freshness in Machine Learning Systems as Feature Freshness.
When thinking about composition of how data is served to the end user in ML Systems there are two mostly independent pieces, hence also two perspectives on
Feature Freshness:
Feature Freshness at Model Training time: how much time does it take for a generated data point to be included when training a Machine Learning Model which is then deployed to serve the end user. Remember that Machine Learning models are nothing more than Statistical models trained to predict certain outcomes on a given feature distribution. We can’t avoid ML Models becoming stale if not retrained. This phenomenon of ML models becoming stale is called Feature and Concept Drift (you can read more about them here).
Feature Freshness at inference time: how much time does it take for a generated data point to be available when performing Inference with the previously trained and deployed model. Features used for inference are usually decoupled in terms of freshness from the ones that are used while training the model and are less stale.
Feature Freshness at Model Training time: how much time does it take for a generated data point to be included when training a Machine Learning Model which is then deployed to serve the end user. Remember that Machine Learning models are nothing more than Statistical models trained to predict certain outcomes on a given feature distribution. We can’t avoid ML Models becoming stale if not retrained. This phenomenon of ML models becoming stale is called Feature and Concept Drift (you can read more about them here).
Feature Freshness at inference time: how much time does it take for a generated data point to be available when performing Inference with the previously trained and deployed model. Features used for inference are usually decoupled in terms of freshness from the ones that are used while training the model and are less stale.
🥇Top ML Papers of the Week
How Language Models Use Long Contexts
- finds that LM performance is often highest when relevant information occurs at the beginning or end of the input context; performance degrades when relevant information is provided in the middle of a long context. ([paper](https://substack.com/redirect/4e6b797d-9aed-4940-88c7-3af5b63e4f20?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/3a9b6a9f-fc9e-40a0-b172-f779c899bacf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
LLMs as Effective Text Rankers
- proposes a prompting technique that enables open-source LLMs to perform state-of-the-art text ranking on standard benchmarks. ([paper](https://substack.com/redirect/7782bdfe-6f9c-4c37-87da-f353da8a7a7f?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/dfbde4a7-b3ae-4df2-ac6d-8283361c3ad3?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
Multimodal Generation with Frozen LLMs
- introduces an approach that effectively maps images to the token space of LLMs; enables models like PaLM and GPT-4 to tackle visual tasks without parameter updates; enables multimodal tasks and uses in-context learning to tackle various visual tasks. ([paper](https://substack.com/redirect/8377a115-b5c0-4a05-80c3-821099b7ccbf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/56122f84-fd95-4fb3-bc68-2239ef4ba411?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
Elastic Decision Transformer
- introduces an advancement over Decision Transformers and variants by facilitating trajectory stitching during action inference at test time, achieved by adjusting to shorter history that allows transitions to diverse and better future states. ([paper](https://substack.com/redirect/2b1b7dcb-4143-465f-9cd4-aba578c73279?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/adc07e2e-3c86-423c-aa6b-6e4ab3ed2a0a?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
Physics-based Motion Retargeting in Real-Time
- proposes a method that uses reinforcement learning to train a policy to control characters in a physics simulator; it retargets motions in real-time from sparse human sensor data to characters of various morphologies. ([paper](https://substack.com/redirect/d7cf6278-7ebf-42f2-9d21-6f598e29cd1e?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/88b736f9-b052-4aa4-be5a-697533fa2d94?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
InterCode
- introduces a framework of interactive coding as a reinforcement learning environment; this is different from the typical coding benchmarks that consider a static sequence-to-sequence process. ([paper](https://substack.com/redirect/48889a92-d287-4fd2-87e0-3b72f395c3ed?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/e4f3aeb7-b2d3-49a9-9b32-9d0a842dd7f4?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
How Language Models Use Long Contexts
- finds that LM performance is often highest when relevant information occurs at the beginning or end of the input context; performance degrades when relevant information is provided in the middle of a long context. ([paper](https://substack.com/redirect/4e6b797d-9aed-4940-88c7-3af5b63e4f20?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/3a9b6a9f-fc9e-40a0-b172-f779c899bacf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
LLMs as Effective Text Rankers
- proposes a prompting technique that enables open-source LLMs to perform state-of-the-art text ranking on standard benchmarks. ([paper](https://substack.com/redirect/7782bdfe-6f9c-4c37-87da-f353da8a7a7f?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/dfbde4a7-b3ae-4df2-ac6d-8283361c3ad3?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
Multimodal Generation with Frozen LLMs
- introduces an approach that effectively maps images to the token space of LLMs; enables models like PaLM and GPT-4 to tackle visual tasks without parameter updates; enables multimodal tasks and uses in-context learning to tackle various visual tasks. ([paper](https://substack.com/redirect/8377a115-b5c0-4a05-80c3-821099b7ccbf?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/56122f84-fd95-4fb3-bc68-2239ef4ba411?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
Elastic Decision Transformer
- introduces an advancement over Decision Transformers and variants by facilitating trajectory stitching during action inference at test time, achieved by adjusting to shorter history that allows transitions to diverse and better future states. ([paper](https://substack.com/redirect/2b1b7dcb-4143-465f-9cd4-aba578c73279?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/adc07e2e-3c86-423c-aa6b-6e4ab3ed2a0a?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
Physics-based Motion Retargeting in Real-Time
- proposes a method that uses reinforcement learning to train a policy to control characters in a physics simulator; it retargets motions in real-time from sparse human sensor data to characters of various morphologies. ([paper](https://substack.com/redirect/d7cf6278-7ebf-42f2-9d21-6f598e29cd1e?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/88b736f9-b052-4aa4-be5a-697533fa2d94?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
InterCode
- introduces a framework of interactive coding as a reinforcement learning environment; this is different from the typical coding benchmarks that consider a static sequence-to-sequence process. ([paper](https://substack.com/redirect/48889a92-d287-4fd2-87e0-3b72f395c3ed?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI)|[tweet](https://substack.com/redirect/e4f3aeb7-b2d3-49a9-9b32-9d0a842dd7f4?j=eyJ1IjoiMWRheDAifQ.YVDAzsk3G87vydkjsTF3WruaemlL7xgZ83byJs8O8dI))
https://github.com/0hq/tinyvector
SQLite + Python(Flask) + Numpy 로 구성
500라인도 안되는 코드로 쉽게 커스터마이징 가능
중/소규모 데이터셋에서 고급 벡터 데이터베이스들과 비슷한 성능
모든 인덱스를 메모리에 저장해서 빠르게 쿼리 가능
곧 추가될 기능들
강력한 쿼리(SQL 기능 모두 지원)
모델과 통합(SBert, Hugging Face models, OpenAI, Cohere,..)
Python/JS 클라이언트
SQLite + Python(Flask) + Numpy 로 구성
500라인도 안되는 코드로 쉽게 커스터마이징 가능
중/소규모 데이터셋에서 고급 벡터 데이터베이스들과 비슷한 성능
모든 인덱스를 메모리에 저장해서 빠르게 쿼리 가능
곧 추가될 기능들
강력한 쿼리(SQL 기능 모두 지원)
모델과 통합(SBert, Hugging Face models, OpenAI, Cohere,..)
Python/JS 클라이언트
GitHub
GitHub - 0hq/tinyvector: A tiny nearest-neighbor embedding database built with SQLite and Pytorch. (In development!)
A tiny nearest-neighbor embedding database built with SQLite and Pytorch. (In development!) - 0hq/tinyvector
Forwarded from 요즘AI
📌 AI 산업의 비즈니스 기회는 어디?
2022년 11월 30일 ChatGPT의 등장으로 AI산업이 첫 전환점에 도달하고 대략 7개월이 지났습니다.
일선에서는 서서히 두 번째 물결이 시작되고 있는 것 같습니다.
AI 유니콘 기업인 Cohere(약 $2B 기업 가치)는 AI 생산성 향상에 대해 3단계(3 phase)로 나누어 이 물결을 설명했습니다 :
Phase 1 : 현재 시점의 단계.
대규모 언어 모델(LLM)이 전반적으로 학습 및 배포되는 단계로, 사용자는 ChatGPT와 같은 프론트엔드(front-end) 도구를 활용하여 텍스트의 구상, 작성, 개선에 도움을 받음. 기업의 자체 데이터의 사용은 거의 일어나지 않는 초기 단계.
Phase 2 : 검색 증강 생성((Retrieval Augmented generation, RAG)을 활용하는 단계.
LLM이 기업 데이터에 대한 접근 권한을 갖게 되는 단계로, 챗봇과 같은 형태로 언어 모델과 상호작용 할 수 있음.
말 그대로 사람이 할 수 있는 거의 모든 작업을 효율적으로 검색, 종합, 보고할 수 있는 지식 도우미(Knowledge Assistant, KA) 역할.
예시 : 👩🏻 "스크랜턴 지사의 최근 보고서 5개를 요약하고 최고의 영업 사원을 찾아줘.", "매출 기준 상위 5개 제품 중 총 마진이 가장 높은 제품이 뭐야?"
Phase 3 : 지식 도우미(Knowledge Assistant, KA)가 작업자를 대신하여 조치를 취할 수 있는 단계.
지식 도우미가 기업의 시스템과 지능적이면서 안정적으로 상호 작용할 수 있는 단계로, 실제 작업의 ‘실행’까지 맡아서 할 수 있음. 필요한 기업의 시스템과 인터페이스의 다양성을 고려할 때 시간이 걸리겠지만, 언어 모델이 필요한 형식을 비교적 빠르게 생성하고 이해할 수 있을 것으로 예상.
예시 : 👨🏻 "시라큐스 지점에서 80파운드 재고 500묶음과 송장을 할인 없이 보내줘.”
기술의 발전은 항상 새로운 혁신을 야기합니다. 모바일 인터페이스의 발전(Phase 1)이 수많은 라이프 스타일을 혁신(Phase 2, 3)한 것처럼, AI 산업도 이와 비슷한 양상을 띨 것 같습니다.
샘 알트만은 GPT 모델이 방대한 지식 데이터베이스가 아닌 추론 엔진이라는 점을 강조한 바 있습니다. Phase 1은 이와 같은 강력한 추론 모델이 만들어진 단계가 아니었나 싶습니다.
이제는 강력한 추론 모델이 최적의 답변을 만들어내기 위한 정제된 데이터가 필요할 때인 것 같습니다. 기업의 고유한 데이터가 바로 이 정제된 데이터의 역할을 하게 될 것 같습니다. 기업의 데이터를 활용한 생산성 향상의 영역은 AI 기술에게는 최적의 시장이기 때문이죠.
따라서 이제는 기업이 자체 데이터를 잘 활용할 수 있도록 하는 AI 서비스는 무엇일지, 그 형태는 어떨지 고민을 해봐야 할 때인 것 같습니다.
아마 이 단계에서는 기존의 사용자 인터페이스와는 전혀 다른 형태로 전환될 가능성도 있을 것 같습니다. 창의력이 필요한 시기 같네요.
✔️ Cohere의 ‘How Generative AI and LLMs Unlock Greator Workforce Productivity’라는 글을 참고했습니다. 여기에서 원문을 의역한 글을 읽으실 수 있습니다. 요즘AI가 담은 내용 외에도 좋은 내용이 많으니 한 번씩 읽어보시면 좋을 것 같습니다.
2022년 11월 30일 ChatGPT의 등장으로 AI산업이 첫 전환점에 도달하고 대략 7개월이 지났습니다.
일선에서는 서서히 두 번째 물결이 시작되고 있는 것 같습니다.
AI 유니콘 기업인 Cohere(약 $2B 기업 가치)는 AI 생산성 향상에 대해 3단계(3 phase)로 나누어 이 물결을 설명했습니다 :
Phase 1 : 현재 시점의 단계.
대규모 언어 모델(LLM)이 전반적으로 학습 및 배포되는 단계로, 사용자는 ChatGPT와 같은 프론트엔드(front-end) 도구를 활용하여 텍스트의 구상, 작성, 개선에 도움을 받음. 기업의 자체 데이터의 사용은 거의 일어나지 않는 초기 단계.
Phase 2 : 검색 증강 생성((Retrieval Augmented generation, RAG)을 활용하는 단계.
LLM이 기업 데이터에 대한 접근 권한을 갖게 되는 단계로, 챗봇과 같은 형태로 언어 모델과 상호작용 할 수 있음.
말 그대로 사람이 할 수 있는 거의 모든 작업을 효율적으로 검색, 종합, 보고할 수 있는 지식 도우미(Knowledge Assistant, KA) 역할.
예시 : 👩🏻 "스크랜턴 지사의 최근 보고서 5개를 요약하고 최고의 영업 사원을 찾아줘.", "매출 기준 상위 5개 제품 중 총 마진이 가장 높은 제품이 뭐야?"
Phase 3 : 지식 도우미(Knowledge Assistant, KA)가 작업자를 대신하여 조치를 취할 수 있는 단계.
지식 도우미가 기업의 시스템과 지능적이면서 안정적으로 상호 작용할 수 있는 단계로, 실제 작업의 ‘실행’까지 맡아서 할 수 있음. 필요한 기업의 시스템과 인터페이스의 다양성을 고려할 때 시간이 걸리겠지만, 언어 모델이 필요한 형식을 비교적 빠르게 생성하고 이해할 수 있을 것으로 예상.
예시 : 👨🏻 "시라큐스 지점에서 80파운드 재고 500묶음과 송장을 할인 없이 보내줘.”
기술의 발전은 항상 새로운 혁신을 야기합니다. 모바일 인터페이스의 발전(Phase 1)이 수많은 라이프 스타일을 혁신(Phase 2, 3)한 것처럼, AI 산업도 이와 비슷한 양상을 띨 것 같습니다.
샘 알트만은 GPT 모델이 방대한 지식 데이터베이스가 아닌 추론 엔진이라는 점을 강조한 바 있습니다. Phase 1은 이와 같은 강력한 추론 모델이 만들어진 단계가 아니었나 싶습니다.
이제는 강력한 추론 모델이 최적의 답변을 만들어내기 위한 정제된 데이터가 필요할 때인 것 같습니다. 기업의 고유한 데이터가 바로 이 정제된 데이터의 역할을 하게 될 것 같습니다. 기업의 데이터를 활용한 생산성 향상의 영역은 AI 기술에게는 최적의 시장이기 때문이죠.
따라서 이제는 기업이 자체 데이터를 잘 활용할 수 있도록 하는 AI 서비스는 무엇일지, 그 형태는 어떨지 고민을 해봐야 할 때인 것 같습니다.
아마 이 단계에서는 기존의 사용자 인터페이스와는 전혀 다른 형태로 전환될 가능성도 있을 것 같습니다. 창의력이 필요한 시기 같네요.
✔️ Cohere의 ‘How Generative AI and LLMs Unlock Greator Workforce Productivity’라는 글을 참고했습니다. 여기에서 원문을 의역한 글을 읽으실 수 있습니다. 요즘AI가 담은 내용 외에도 좋은 내용이 많으니 한 번씩 읽어보시면 좋을 것 같습니다.
NAVER
생성AI와 LLM으로 생산성을 높이는 방법 - Cohere
2022년 11월 30일 ChatGPT의 등장으로 AI산업이 첫 전환점에 도달하고 대략 7개월이 지났습니다.
Everyone will be able to code using English. The methods we use to learn programming and develop software are set to undergo a radical transformation in the upcoming months.
https://chat.openai.com/share/5689e899-673b-469f-af85-977b03c9e825
https://chat.openai.com/share/5689e899-673b-469f-af85-977b03c9e825
ChatGPT
Terminal 시작, Code Interpreter.
A conversational AI system that listens, learns, and challenges
Academia is in for a wild ride
>Upload census data & data dictionary into GPT with Code Interpreter
>"I would like you to generate some interesting draft hypotheses about industries & MSAs and then to test them with the data. make assumptions if you need to"
>"Put it in a paper"
>Upload census data & data dictionary into GPT with Code Interpreter
>"I would like you to generate some interesting draft hypotheses about industries & MSAs and then to test them with the data. make assumptions if you need to"
>"Put it in a paper"
<논문 쉽게 보세요>
AI 관련, 논문으로 공부를 하면서 아직 지식이 일천하여 무슨말인지 당최 이해가 되지 않을때가 많다.
이때 chatGPT의 플러그인들을 조합해서 모르는 수식의 의미를 알아낼 수 있는데, 혹시나 모르고 계신분들에게 도움이 될까 하여 포스팅해본다.
chatGPT 플러그인은 3개까지 한꺼번에 조합해서 쓸 수 있는데 우선 아래의 3개를 설치한다.
1. LinkReader: chatGPT에 붙여넣기한 주소의 pdf에서 텍스트나 그림을 가져온다.
2. AskYourPDF: PDF파일을 분석해줌. 질문을 하거나 요약을 요청할 수 있다.
3. WolframAlpha: 논문 속 수식을 Latex로 옮겨서 의미를 해석하고 그래프로 그려줌
이렇게 3개를 설치 후 체크박스를 체크하여 활성화 한 다음 chatGPT에 해당 논문의 pdf 주소와 같이 필요한 질문을 하면 된다.
예를들어 트랜스포머 논문인 'Attention Is All You Need'에서 궁금증이 있다면 아래와 같이 chatGPT에 질문한다.
'https://arxiv.org/pdf/1706.03762.pdf
이 논문에서 3.2.2의 Multi-Head Attention에 있는 MultiHead(Q,K,V) 로 시작하는 수식을 여기에 옮겨 적어주고 그 수식의 의미를 알기 쉽게 아주 자세히 설명해줘'
(한번 그대로 복사 붙여넣기 해보시길..)
이렇게 하면 수식을 그대로 가져오고 첨부한 캡쳐처럼 수식의 의미를 해석해준다.
혹시나 이렇게해도 어렵다면 마지막 필살기로 다음 프롬프트를 입력한다.
'5살 어린이에게 설명한다고 생각하고 쉽게 알려줘'
그렇게 하여 얻은 답변
----
그럼요, 이해하기 쉽게 설명해볼게요!
우리가 책을 읽을 때, 모든 단어를 동일하게 중요하게 생각하지 않아요. 어떤 단어는 이해하는 데 더 중요하고, 어떤 단어는 그렇지 않죠. 이렇게 중요한 단어에 집중하는 것을 '주의'라고 합니다.
이제, 이 '주의' 개념을 컴퓨터가 이해하도록 만들어보자고 생각한 사람들이 있어요. 그래서 만든 것이 '어텐션'이라는 기술입니다. 이 기술을 사용하면 컴퓨터도 중요한 정보에 더 집중할 수 있게 됩니다.
그런데 사람마다 중요하다고 생각하는 정보가 다르듯이, 컴퓨터도 여러 가지 방법으로 정보를 중요하게 생각할 수 있어요. 이런 다양한 방법을 한 번에 사용하면 더 많은 정보를 얻을 수 있겠죠? 이런 아이디어에서 '멀티 헤드 어텐션'이라는 기술이 탄생했습니다.
'멀티 헤드 어텐션'은 마치 여러 개의 머리를 가진 것처럼, 여러 가지 방법으로 정보를 중요하게 생각합니다. 그리고 그 결과를 모아서 하나의 결론을 내립니다. 이렇게 하면 컴퓨터는 한 가지 방법만 사용하는 것보다 더 많은 정보를 얻을 수 있어요. 이게 '멀티 헤드 어텐션'의 기본 아이디어입니다.
----
많이들 사용해보세요!
AI 관련, 논문으로 공부를 하면서 아직 지식이 일천하여 무슨말인지 당최 이해가 되지 않을때가 많다.
이때 chatGPT의 플러그인들을 조합해서 모르는 수식의 의미를 알아낼 수 있는데, 혹시나 모르고 계신분들에게 도움이 될까 하여 포스팅해본다.
chatGPT 플러그인은 3개까지 한꺼번에 조합해서 쓸 수 있는데 우선 아래의 3개를 설치한다.
1. LinkReader: chatGPT에 붙여넣기한 주소의 pdf에서 텍스트나 그림을 가져온다.
2. AskYourPDF: PDF파일을 분석해줌. 질문을 하거나 요약을 요청할 수 있다.
3. WolframAlpha: 논문 속 수식을 Latex로 옮겨서 의미를 해석하고 그래프로 그려줌
이렇게 3개를 설치 후 체크박스를 체크하여 활성화 한 다음 chatGPT에 해당 논문의 pdf 주소와 같이 필요한 질문을 하면 된다.
예를들어 트랜스포머 논문인 'Attention Is All You Need'에서 궁금증이 있다면 아래와 같이 chatGPT에 질문한다.
'https://arxiv.org/pdf/1706.03762.pdf
이 논문에서 3.2.2의 Multi-Head Attention에 있는 MultiHead(Q,K,V) 로 시작하는 수식을 여기에 옮겨 적어주고 그 수식의 의미를 알기 쉽게 아주 자세히 설명해줘'
(한번 그대로 복사 붙여넣기 해보시길..)
이렇게 하면 수식을 그대로 가져오고 첨부한 캡쳐처럼 수식의 의미를 해석해준다.
혹시나 이렇게해도 어렵다면 마지막 필살기로 다음 프롬프트를 입력한다.
'5살 어린이에게 설명한다고 생각하고 쉽게 알려줘'
그렇게 하여 얻은 답변
----
그럼요, 이해하기 쉽게 설명해볼게요!
우리가 책을 읽을 때, 모든 단어를 동일하게 중요하게 생각하지 않아요. 어떤 단어는 이해하는 데 더 중요하고, 어떤 단어는 그렇지 않죠. 이렇게 중요한 단어에 집중하는 것을 '주의'라고 합니다.
이제, 이 '주의' 개념을 컴퓨터가 이해하도록 만들어보자고 생각한 사람들이 있어요. 그래서 만든 것이 '어텐션'이라는 기술입니다. 이 기술을 사용하면 컴퓨터도 중요한 정보에 더 집중할 수 있게 됩니다.
그런데 사람마다 중요하다고 생각하는 정보가 다르듯이, 컴퓨터도 여러 가지 방법으로 정보를 중요하게 생각할 수 있어요. 이런 다양한 방법을 한 번에 사용하면 더 많은 정보를 얻을 수 있겠죠? 이런 아이디어에서 '멀티 헤드 어텐션'이라는 기술이 탄생했습니다.
'멀티 헤드 어텐션'은 마치 여러 개의 머리를 가진 것처럼, 여러 가지 방법으로 정보를 중요하게 생각합니다. 그리고 그 결과를 모아서 하나의 결론을 내립니다. 이렇게 하면 컴퓨터는 한 가지 방법만 사용하는 것보다 더 많은 정보를 얻을 수 있어요. 이게 '멀티 헤드 어텐션'의 기본 아이디어입니다.
----
많이들 사용해보세요!
주어진 과업을 아이디어 단계에서부터 구현, 그리고 검증까지 해볼 수 있는 경험을 스스로 쌓아 자신의 것으로 만드는 것이 매우 중요하기 때문이다. 자동화된 툴을 활용해도 그 툴을 이용하여, 사람들이 그간 못 풀던 문제나 시간이 많이 걸렸던 문제, 혹은 시각화하기 어렵거나, 다양한 스케일에서 연결하기 어려웠던 문제를 풀 수 있는 것이 중요해지고 있으며, 이런 작업들은 기술의 혁신이 거듭될수록 더욱 더 요구되는 수준이 높아질 것이다. 학생 시절, 컴퓨터를 이용하여 과제를 하든, 개발을 하든, 프로젝트를 하든, 창업을 하든, 이러한 과정에서의 경험을 쌓는 것은 그래서 매우 중요하다.
👍3
그러나 이제 글로벌 분업화와 자유무역시대, 그리고 첨단 기술의 상호협력 시대는 불확실성의 시대로 접어들게 되었다. 미-중 첨단 기술 패권 경쟁으로 대표되는 기정학의 시대, 이제 미국과 중국뿐만 아니라, 세계 각국은 첨단 산업을 중심으로 국부의 창출과 직결되는 산업을 보호하고 자국의 이익을 안보적 관점에서 다시 우선적으로 고려하는 산업 보호 기조가 강해지고 있다. 한국의 첨단 산업은 한국의 좁은 시장을 넘어 글로벌 시장 전체를 대상으로 수익을 창출해 왔기 때문에 이러한 시대적 상황, 국제정치적 상황의 변화와 불확실성은 곧 한국의 산업 발전에도 불확실성이 커질 수 있음을 의미한다. 한국의 경제는 구조고도화와 균형성장의 시대를 거쳐 이 불확실성의 시대, 일본 같은 장기간의 저성장 함정에 빠질 수도 있고, 최악의 경우 이탈리아 사례같이 퇴보할 수도 있다.
영국이나 싱가포르와 다른 구조임에도 두 나라와 유사한 탈산업화 정책으로 무리한 전환을 시도할 경우, 전략적으로 보호해야 할 산업, 특히 제조업의 기반이 약해질 수 있으며, 산업 규모 자체의 팽창을 위해 무리한 자본투입을 시도할 경우 구조고도화 기조에 있는 중국과의 과열 경쟁, 그리고 그로 인한 고비용 구조의 고착화를 야기할 수 있다. 불확실성이 누적되는 지금, 한국의 산업 발전 전략은 무엇이 되어야 할까?
2022년 하반기, 한국 정부는 12개 국가전략기술을 선정하였고, 각 기술에 대한 세부 전략 기술 도합 50개를 발표했다. 각각의 세부 기술은 혁신의 선도, 미래에 대한 도전, 그리고 국가 산업의 필수 기반을 이루는 구성 요소로 분류되어 전략적으로 관리하는 것을 목표로 한다. 12대 전략기술에는 반도체와 디스플레이를 필두로, 이차전지, 첨단 모빌리티, 차세대 원자력, 인공지능, 첨단로봇과 제조, 차세대 통신, 양자기술, 첨단 바이오, 우주항공과 해양, 수소, 그리고 마지막으로 사이버 보안 기술이 포함된다
기존의 산업 정책에 더해 한국을 둘러싼 더 큰 스케일의 기정학적 상황의 변화에 대한 고려와 각 전략 기술의 상호 간 의존 관계, 국가 간 의존 관계, 그리고 고도화 로드맵을 고려한 전략적 변혁이 뒤따라야 함을 의미한다. 미국의 예를 들어 보자.
미국은 1970년대 카터-1980년대 레이건 정부, 2000년대 오바마 정부에서 우주항공 및 군사 분야, 그리고 나노 기술과 IT 분야에서의 산업 정책을 선보인 바 있다. 미국은 바이든 정부 들어, 이러한 전략적 산업 정책을 미-중 간 패권 경쟁의 최선단 정책으로서 중요도를 상향 조정하였으며, 그 대표적인 결과물이 바로 2022년에 통과된 IRA와 CHIPS 법안이다. IRA 법안은 주로 에너지 산업, 그중에서도 배터리 산업에서, 그리고 CHIPS 법안은 주로 반도체 산업, 그중에서도 첨단 반도체 제조 산업에서의 미국 국익 보호와 산업 지배력 강화를 타깃으로 한다. 반도체 산업에서는 미국이 중국을 일방적으로 견제할 수 있는 포인트가 넓게 포진되어 있다. 반도체 칩의 설계부터 첨단 제조 장비, 그리고 일부 소재와 부품, 팹리스 회사가 제작하는 인공지능 반도체에 이르기까지 반도체 산업의 거의 전 영역에서 미국은 글로벌 반도체 산업을 지속적으로 리드하고 있다. 이를 기반으로 미국은 상대적으로 기술 수준과 시장 점유율에 격차가 있는 후발국인 중국의 반도체 산업 견제를 위한 선수를 둘 수 있는 입장을 취할 수 있다.
대표적인 소재 기반 산업인 배터리 산업에서는 중국이 자체적인 안정적 공급망을 보유하고 있을뿐더러, 중국 배터리 업체들의 세계 시장 점유율이 이제 절반을 넘어 2020년대 말경에는 3분의 2에 육박할 것으로 전망되는 상황이다. 특히, 앞으로 전기차 시장과 각 제조업 분야의 탄소중립, 탈산소화에 필요한 신재생에너지 전력 저장 시설(예를 들어 ESS)의 수요가 급증함에 따라 중국의 배터리 산업 지배력은 더욱 강해질 것이라는 예상이 주를 이룬다. 중국의 배터리 산업은 생산 점유율과 기술력 모두 미국을 압도하고 있기 때문에 미국의 IRA 법안이 중국 배터리 산업에 미치는 영향은 제한적이며, 오히려 미국의 자동차 산업과 에너지 산업에서 배터리가 필수재로 자리잡게 될 경우, 적어도 배터리 산업에는 중국과 미국의 구도가 역전된다. 즉, 중국이 미국을 견제할 수 있게 된다.
미국 입장에서 배터리 기술을 전략 기술로 만들기 위해서는 배터리 산업이 소재 산업임을 고려하여 배터리 산업의 원료(원광), 부품, 소재, 조립, 재활용으로 이어지는 일련의 공급망을 미국 중심으로 재구축하는 방향으로 정책이 설계되어야 한다. 또한 대용량 배터리 구조 및 용량 확장, 양극재 효율 강화, 그리고 수명 연장 기술 선행 특허 관리 전략도 필요할 것이다.
부처를 초월할 수 있는 과제 관리 기관의 설정과 권한 부여, 자원의 집중과 관리, 인적·물적 자원의 통합과 자유도 확장 등의 제도적 개편이 뒤따르지 않으면 이러한 지배 구조 개편은 공염불이 될 가능성이 높다. 이를 위해 구체적으로는 국가전략기술과 관련된 산업에 대한 규제 샌드박스 논의가 범부처적으로 이뤄져야 하며, 정부 주도의 연구개발 프로그램 정책은 초기 단계부터 각 부처의 상호 이해를 바탕으로 통합 구성 및 관리될 수 있어야 한다. 또한 각 부처 차원의 자금 지원과 펀드 확보는 TIPS나 조세 지원 방식 등의 개념 단계에서부터 같은 기준을 공유하며 정책적 일관성을 확보할 필요가 있다.
문제는 인력 양성은 교육부, 과기정통부, 산업자원부 등, 각 부처에서 각 부처의 고유 사업에 대한 인력 양성으로 세분화되어 추진된다는 것이다. 예를 들어 정부가 의지를 가지고 최근 시행하고 있는 반도체 산업 전문 인력 양성 사업의 일환으로, 반도체융합대학 학부 사업은 교육부 주관으로, 반도체융합대학원 사업은 산자부 주관으로 구분되어 있다. 실제 대학 현장에서는 학부와 대학원의 연계를 통해 첨단 기술 산업에 진출할 전문 인력을 교육하고 훈련시킬 수 있는 프로그램의 연속성이 중요하나, 현재의 인력 양성의 정책은 소관 부처가 다르고 사업 기간이 다르며 사업의 성격에 연속성이 부족하기 때문에 학부와 대학원 사이에서 단절을 야기할 수 있다. 국가전략기술과 연관된 산업 전문 인력 양성은 지배 구조와 더불어 부처 간 이해관계를 초월하는 방향에서 재정립되어야 한다.
앞서 예로 든 양자 ICT 분야에서의 협력의 경우, 현재 미국은 영국, 캐나다, 호주 등 이른바 파이브 아이즈(FIVE EYES) 국가들을 위주로 다소 폐쇄적인 협력 관계를 구성하고 있다. 일본이 여기에 추가될 가능성이 높으며, 이는 일본과 미국의 외교안보협력 관계를 바탕으로 양국이 전략기술 분야에서의 이해관계를 공유할 수 있다는 판단에서 비롯된 것이다. 양국의 전략기술 협력은 예를 들어, 미국의 IBM과 일본의 이화학연구소(리켄)의 협력을 바탕으로 2022년 말부터 추진되고 있는 일본의 첨단 2나노급 시스템반도체 제조 부활 프로젝트인 라피더스 프로젝트로 대표된다. 첨단 반도체 생산에서 한국, 대만, 중국에 집중적으로 포진된 산업의 무게중심을 다른 지역으로 분산시킨다는 미국의 의도와 자국의 반도체 제조업 부활을 꿈꾸는 일본의 이해관계가 맞아떨어지면서, 미국은 자국으로의 반도체 생산 시설 확보뿐만 아니라, 위험 헷징 차원에서 일본의 구세대 팹을 되살리며 일본이 아직 보유하고 있는 반도체 제조 분야에서의 필수 기술 자산을 활용하는 것을 모색하고 있다.
앞으로의 시대는 산업의 공급망을 넘어, 지식의 밸류체인을 주도하는 국가에게 전략기술의 주도권이 넘어갈 가능성이 높아질 것이며, 이러한 밸류체인을 바탕으로 전략기술에 해당하는 산업에 대해 각국은 내재화 경쟁에 돌입하게 될 것이다. 내재화될 수 없는 부분은 전략적 협력 관계를 통해 보강 시도가 횡행할 것이며, 각국의 국가 안보에서도 경제 안보와 기술 안보에 대한 비중은 계속 높아질 것이다.
영국이나 싱가포르와 다른 구조임에도 두 나라와 유사한 탈산업화 정책으로 무리한 전환을 시도할 경우, 전략적으로 보호해야 할 산업, 특히 제조업의 기반이 약해질 수 있으며, 산업 규모 자체의 팽창을 위해 무리한 자본투입을 시도할 경우 구조고도화 기조에 있는 중국과의 과열 경쟁, 그리고 그로 인한 고비용 구조의 고착화를 야기할 수 있다. 불확실성이 누적되는 지금, 한국의 산업 발전 전략은 무엇이 되어야 할까?
2022년 하반기, 한국 정부는 12개 국가전략기술을 선정하였고, 각 기술에 대한 세부 전략 기술 도합 50개를 발표했다. 각각의 세부 기술은 혁신의 선도, 미래에 대한 도전, 그리고 국가 산업의 필수 기반을 이루는 구성 요소로 분류되어 전략적으로 관리하는 것을 목표로 한다. 12대 전략기술에는 반도체와 디스플레이를 필두로, 이차전지, 첨단 모빌리티, 차세대 원자력, 인공지능, 첨단로봇과 제조, 차세대 통신, 양자기술, 첨단 바이오, 우주항공과 해양, 수소, 그리고 마지막으로 사이버 보안 기술이 포함된다
기존의 산업 정책에 더해 한국을 둘러싼 더 큰 스케일의 기정학적 상황의 변화에 대한 고려와 각 전략 기술의 상호 간 의존 관계, 국가 간 의존 관계, 그리고 고도화 로드맵을 고려한 전략적 변혁이 뒤따라야 함을 의미한다. 미국의 예를 들어 보자.
미국은 1970년대 카터-1980년대 레이건 정부, 2000년대 오바마 정부에서 우주항공 및 군사 분야, 그리고 나노 기술과 IT 분야에서의 산업 정책을 선보인 바 있다. 미국은 바이든 정부 들어, 이러한 전략적 산업 정책을 미-중 간 패권 경쟁의 최선단 정책으로서 중요도를 상향 조정하였으며, 그 대표적인 결과물이 바로 2022년에 통과된 IRA와 CHIPS 법안이다. IRA 법안은 주로 에너지 산업, 그중에서도 배터리 산업에서, 그리고 CHIPS 법안은 주로 반도체 산업, 그중에서도 첨단 반도체 제조 산업에서의 미국 국익 보호와 산업 지배력 강화를 타깃으로 한다. 반도체 산업에서는 미국이 중국을 일방적으로 견제할 수 있는 포인트가 넓게 포진되어 있다. 반도체 칩의 설계부터 첨단 제조 장비, 그리고 일부 소재와 부품, 팹리스 회사가 제작하는 인공지능 반도체에 이르기까지 반도체 산업의 거의 전 영역에서 미국은 글로벌 반도체 산업을 지속적으로 리드하고 있다. 이를 기반으로 미국은 상대적으로 기술 수준과 시장 점유율에 격차가 있는 후발국인 중국의 반도체 산업 견제를 위한 선수를 둘 수 있는 입장을 취할 수 있다.
대표적인 소재 기반 산업인 배터리 산업에서는 중국이 자체적인 안정적 공급망을 보유하고 있을뿐더러, 중국 배터리 업체들의 세계 시장 점유율이 이제 절반을 넘어 2020년대 말경에는 3분의 2에 육박할 것으로 전망되는 상황이다. 특히, 앞으로 전기차 시장과 각 제조업 분야의 탄소중립, 탈산소화에 필요한 신재생에너지 전력 저장 시설(예를 들어 ESS)의 수요가 급증함에 따라 중국의 배터리 산업 지배력은 더욱 강해질 것이라는 예상이 주를 이룬다. 중국의 배터리 산업은 생산 점유율과 기술력 모두 미국을 압도하고 있기 때문에 미국의 IRA 법안이 중국 배터리 산업에 미치는 영향은 제한적이며, 오히려 미국의 자동차 산업과 에너지 산업에서 배터리가 필수재로 자리잡게 될 경우, 적어도 배터리 산업에는 중국과 미국의 구도가 역전된다. 즉, 중국이 미국을 견제할 수 있게 된다.
미국 입장에서 배터리 기술을 전략 기술로 만들기 위해서는 배터리 산업이 소재 산업임을 고려하여 배터리 산업의 원료(원광), 부품, 소재, 조립, 재활용으로 이어지는 일련의 공급망을 미국 중심으로 재구축하는 방향으로 정책이 설계되어야 한다. 또한 대용량 배터리 구조 및 용량 확장, 양극재 효율 강화, 그리고 수명 연장 기술 선행 특허 관리 전략도 필요할 것이다.
부처를 초월할 수 있는 과제 관리 기관의 설정과 권한 부여, 자원의 집중과 관리, 인적·물적 자원의 통합과 자유도 확장 등의 제도적 개편이 뒤따르지 않으면 이러한 지배 구조 개편은 공염불이 될 가능성이 높다. 이를 위해 구체적으로는 국가전략기술과 관련된 산업에 대한 규제 샌드박스 논의가 범부처적으로 이뤄져야 하며, 정부 주도의 연구개발 프로그램 정책은 초기 단계부터 각 부처의 상호 이해를 바탕으로 통합 구성 및 관리될 수 있어야 한다. 또한 각 부처 차원의 자금 지원과 펀드 확보는 TIPS나 조세 지원 방식 등의 개념 단계에서부터 같은 기준을 공유하며 정책적 일관성을 확보할 필요가 있다.
문제는 인력 양성은 교육부, 과기정통부, 산업자원부 등, 각 부처에서 각 부처의 고유 사업에 대한 인력 양성으로 세분화되어 추진된다는 것이다. 예를 들어 정부가 의지를 가지고 최근 시행하고 있는 반도체 산업 전문 인력 양성 사업의 일환으로, 반도체융합대학 학부 사업은 교육부 주관으로, 반도체융합대학원 사업은 산자부 주관으로 구분되어 있다. 실제 대학 현장에서는 학부와 대학원의 연계를 통해 첨단 기술 산업에 진출할 전문 인력을 교육하고 훈련시킬 수 있는 프로그램의 연속성이 중요하나, 현재의 인력 양성의 정책은 소관 부처가 다르고 사업 기간이 다르며 사업의 성격에 연속성이 부족하기 때문에 학부와 대학원 사이에서 단절을 야기할 수 있다. 국가전략기술과 연관된 산업 전문 인력 양성은 지배 구조와 더불어 부처 간 이해관계를 초월하는 방향에서 재정립되어야 한다.
앞서 예로 든 양자 ICT 분야에서의 협력의 경우, 현재 미국은 영국, 캐나다, 호주 등 이른바 파이브 아이즈(FIVE EYES) 국가들을 위주로 다소 폐쇄적인 협력 관계를 구성하고 있다. 일본이 여기에 추가될 가능성이 높으며, 이는 일본과 미국의 외교안보협력 관계를 바탕으로 양국이 전략기술 분야에서의 이해관계를 공유할 수 있다는 판단에서 비롯된 것이다. 양국의 전략기술 협력은 예를 들어, 미국의 IBM과 일본의 이화학연구소(리켄)의 협력을 바탕으로 2022년 말부터 추진되고 있는 일본의 첨단 2나노급 시스템반도체 제조 부활 프로젝트인 라피더스 프로젝트로 대표된다. 첨단 반도체 생산에서 한국, 대만, 중국에 집중적으로 포진된 산업의 무게중심을 다른 지역으로 분산시킨다는 미국의 의도와 자국의 반도체 제조업 부활을 꿈꾸는 일본의 이해관계가 맞아떨어지면서, 미국은 자국으로의 반도체 생산 시설 확보뿐만 아니라, 위험 헷징 차원에서 일본의 구세대 팹을 되살리며 일본이 아직 보유하고 있는 반도체 제조 분야에서의 필수 기술 자산을 활용하는 것을 모색하고 있다.
앞으로의 시대는 산업의 공급망을 넘어, 지식의 밸류체인을 주도하는 국가에게 전략기술의 주도권이 넘어갈 가능성이 높아질 것이며, 이러한 밸류체인을 바탕으로 전략기술에 해당하는 산업에 대해 각국은 내재화 경쟁에 돌입하게 될 것이다. 내재화될 수 없는 부분은 전략적 협력 관계를 통해 보강 시도가 횡행할 것이며, 각국의 국가 안보에서도 경제 안보와 기술 안보에 대한 비중은 계속 높아질 것이다.
Code Interpreter does not immediately show up you have to turn it on. Go to your settings and click on beta features and then toggle on Code Interpreter.
These use cases are in no particular order but they will give you good insight into what is possible with this tool.
Edit Videos: You can edit videos with simple prompts like adding slow zoom or panning to a still image. Example: Covert this GIF file into a 5 second MP4 file with slow zoom (Link to example)
Perform Data Analysis: Code Interpreter can read, visualize, and graph data in seconds. Upload any data set by using the + button on the left of the text box. Example: Analyze my favorites playlist in Spotify Analyze my favorites playlist in Spotify (Link to example)
Convert files: You can convert files straight inside of ChatGPT. Example: Using the lighthouse data from the CSV file in into a Gif (Link to example)
Turn images into videos: Use Code Interpreter to turn still images into videos. Example Prompt: Turn this still image into a video with an aspect ratio of 3:2 will panning from left to right. (Link to example)
Extract text from an image: Turn your images into a text will in seconds (this is one of my favorites) Example: OCR "Optical Character Recognition" this image and generate a text file. (Link to example)
Generate QR Codes: You can generate a completely functioning QR in seconds. Example: Create a QR code for Reddit.com and show it to me. (Link to example)
Analyze stock options: Analyze specific stock holdings and get feedback on the best plan of action via data. Example: Analyze AAPL's options expiring July 21st and highlight reward with low risk. (Link to example)
Summarize PDF docs: Code Interpreter can analyze and output an in-depth summary of an entire PDF document. Be sure not to go over the token limit (8k) Example: Conduct casual analysis on this PDF and organize information in clear manner. (Link to example)
Graph Public data: Code Interpreter can extract data from public databases and convert them into a visual chart. (Another one of my favorite use cases) Example: Graph top 10 countries by nominal GDP. (Link to example)
Graph Mathematical Functions: It can even solve a variety of different math problems. Example: Plot function 1/sin(x) (Link to example)
https://www.reddit.com/r/ChatGPT/comments/14ublwc/code_interpreter_is_the_most_powerful_version_of/
These use cases are in no particular order but they will give you good insight into what is possible with this tool.
Edit Videos: You can edit videos with simple prompts like adding slow zoom or panning to a still image. Example: Covert this GIF file into a 5 second MP4 file with slow zoom (Link to example)
Perform Data Analysis: Code Interpreter can read, visualize, and graph data in seconds. Upload any data set by using the + button on the left of the text box. Example: Analyze my favorites playlist in Spotify Analyze my favorites playlist in Spotify (Link to example)
Convert files: You can convert files straight inside of ChatGPT. Example: Using the lighthouse data from the CSV file in into a Gif (Link to example)
Turn images into videos: Use Code Interpreter to turn still images into videos. Example Prompt: Turn this still image into a video with an aspect ratio of 3:2 will panning from left to right. (Link to example)
Extract text from an image: Turn your images into a text will in seconds (this is one of my favorites) Example: OCR "Optical Character Recognition" this image and generate a text file. (Link to example)
Generate QR Codes: You can generate a completely functioning QR in seconds. Example: Create a QR code for Reddit.com and show it to me. (Link to example)
Analyze stock options: Analyze specific stock holdings and get feedback on the best plan of action via data. Example: Analyze AAPL's options expiring July 21st and highlight reward with low risk. (Link to example)
Summarize PDF docs: Code Interpreter can analyze and output an in-depth summary of an entire PDF document. Be sure not to go over the token limit (8k) Example: Conduct casual analysis on this PDF and organize information in clear manner. (Link to example)
Graph Public data: Code Interpreter can extract data from public databases and convert them into a visual chart. (Another one of my favorite use cases) Example: Graph top 10 countries by nominal GDP. (Link to example)
Graph Mathematical Functions: It can even solve a variety of different math problems. Example: Plot function 1/sin(x) (Link to example)
https://www.reddit.com/r/ChatGPT/comments/14ublwc/code_interpreter_is_the_most_powerful_version_of/
Reddit
From the ChatGPT community on Reddit: Code Interpreter is the MOST powerful version of ChatGPT Here's 10 incredible use cases
Explore this post and more from the ChatGPT community
다음은 해외의 생성 AI 활용 교육 사례입니다.
"방금 웨이브메이커 글로벌과 함께 가장 큰 AI 프로젝트를 마쳤습니다. 그들은 3개월 전에 저를 고용하여 일러스트레이터와 디자이너에게 워크플로에 AI를 추가하는 방법을 가르쳤습니다. 3개월 만에 그들의 에이전시(유럽에서 가장 큰 에이전시 중 하나)를 위한 신속한 가이드를 만들었습니다. 저는 AI가 일자리를 빼앗는 것이 아니라 현명한 기업들이 직원(대부분 아티스트)에게 이 기술을 활용하는 방법을 교육하는 데 돈을 쓰는 것을 직접 목격했습니다. AI를 시작했을 때 아티스트와 크리에이터로서의 직업을 유지하려면 AI를 배워야 한다는 것을 알았습니다."
"처음 시작할 때는 다른 사람을 가르치겠다는 생각은 하지 않았고, 단지 일자리에 영향을 미칠 것이라는 것을 알았기 때문에 살아남고 싶었습니다."
"이 프로젝트는 모든 면에서 훌륭했습니다. 웨이브메이커의 로고는 주황색 원으로, AI를 통해 다양한 환경과 위치에 배치할 수 있었습니다. 여전히 많은 부분이 일러스트레이터의 작업과 다듬기가 필요했습니다. 이제 그들은 이 기술을 사용할 수 있게 되었고 저는 프로젝트에 작별 인사를 할 수 있게 되었습니다. 제가 함께 일한 팀 중 최고의 팀 중 하나였습니다. 매주 회의를 하면서 새로운 기술을 배우던 크리에이터들의 눈빛을 보며 신기해하던 모습이 그리울 것 같습니다."
출처 https://twitter.com/icreatelife/status/1678394452157530113?s=46&t=h5Byg6Wosg8MJb4pbPSDow
"방금 웨이브메이커 글로벌과 함께 가장 큰 AI 프로젝트를 마쳤습니다. 그들은 3개월 전에 저를 고용하여 일러스트레이터와 디자이너에게 워크플로에 AI를 추가하는 방법을 가르쳤습니다. 3개월 만에 그들의 에이전시(유럽에서 가장 큰 에이전시 중 하나)를 위한 신속한 가이드를 만들었습니다. 저는 AI가 일자리를 빼앗는 것이 아니라 현명한 기업들이 직원(대부분 아티스트)에게 이 기술을 활용하는 방법을 교육하는 데 돈을 쓰는 것을 직접 목격했습니다. AI를 시작했을 때 아티스트와 크리에이터로서의 직업을 유지하려면 AI를 배워야 한다는 것을 알았습니다."
"처음 시작할 때는 다른 사람을 가르치겠다는 생각은 하지 않았고, 단지 일자리에 영향을 미칠 것이라는 것을 알았기 때문에 살아남고 싶었습니다."
"이 프로젝트는 모든 면에서 훌륭했습니다. 웨이브메이커의 로고는 주황색 원으로, AI를 통해 다양한 환경과 위치에 배치할 수 있었습니다. 여전히 많은 부분이 일러스트레이터의 작업과 다듬기가 필요했습니다. 이제 그들은 이 기술을 사용할 수 있게 되었고 저는 프로젝트에 작별 인사를 할 수 있게 되었습니다. 제가 함께 일한 팀 중 최고의 팀 중 하나였습니다. 매주 회의를 하면서 새로운 기술을 배우던 크리에이터들의 눈빛을 보며 신기해하던 모습이 그리울 것 같습니다."
출처 https://twitter.com/icreatelife/status/1678394452157530113?s=46&t=h5Byg6Wosg8MJb4pbPSDow
Twitter
Just finished my biggest AI project with Wavemaker Global. They hired me three months ago to teach their illustrators and designers how to add AI to their workflow. In three months we created a prompt guide for their agency (which is one of the biggest agencies…
Profiles of the Future
Open AI 내부에서 작년 11월 즈음 아서 클라크의 "Profiles of the Future"를 DALL-E 2로 커버 디자인을 해서 비치해 뒀나 봅니다.
유명한 '클라크의 삼법칙',
1. 어떤 노년의 과학자가 무엇이 가능하리라고 한다면 그것은 거의 확실히 맞다. 그러나 그가 무엇이 불가능하리라고 한다면 틀릴 가능성이 높다.
2. 가능성의 한계를 발견하는 유일한 방법은 불가능할 때까지 시도해 보는 방법밖에 없다.
3. 충분히 발달한 기술은 마법과 구분할 수 없다.
중 1번과 2번이 1962년에 에세이 모음집인 이 책의 2장 Hazards of prophecy : The Failure of Imagination( 예언의 위험: 상상력의 실패 )에 있었고, 1973년의 개정판에야 3번 "충분히 발달한 기술은 마법과 구분할 수 없다"이 등장했다고 합니다.
https://en.wikipedia.org/wiki/Clarke%27s_three_laws
저도 클라크의 삼법칙만 알았지 이 책을 읽어보지 못했는데요. 이제라도 살펴봐야겠네요.
OpenAI 블로그의 대표 이미지를 만드는 Ruby Chen이 누굴까 찾아보다가 작업 사이트를 알게 됐는데, 거기에 언급이 있는걸 김성완님이 발견해서 좀 더 체크해 봤습니다.
Ruby Chen: https://rubywjchen.com
* Ruby Chen은 "Original novel by Arthur C. Clarke repackaged for limited internal publication at OpenAI. Cover artwork is co-created with DALL·E 2, a text-to-image AI system." 이라고 썼는데, 에세이 모음집이지 소설로 보긴 어렵거든요. (혹시 모음집 속에 소설인 챕터가 있었을까요?) 어쩌면 책 표지만 디자인하고 내용은 살펴보지 않았을지도요.
* GPT-4의 소개:
----
"Profiles of the Future: An Inquiry into the Limits of the Possible"는 아서 C. 클라크가 저술한 책입니다. 이 책은 원래 1962년에 출간되었으나, 클라크는 그 후에도 여러 차례에 걸쳐 책을 업데이트하였습니다.
이 책의 주요 주제는 가능한 미래 기술에 대한 탐구이며, 과학 기술이 어떻게 발전할 것인지에 대한 예측과 관찰을 포함합니다. 클라크는 이 책에서 "매우 확실하게 알고 있는" 것부터 "절대로 불가능한" 것에 이르기까지 다양한 미래의 가능성을 논의하며, 그의 예측은 종종 놀랍도록 정확하게 드러났습니다.
그는 향후 우리가 기대할 수 있는 일부 기술적 발전을 상세하게 설명하였고, 이에는 통신 위성, 개인용 컴퓨터, 인터넷, 그리고 다른 혁신적인 기술들이 포함됩니다. 이 외에도 클라크는 과학과 기술의 발전이 인류에게 어떤 영향을 미칠지에 대해 심도있게 탐구하였습니다.
클라크의 또 다른 중요한 주장 중 하나는 그의 유명한 "클라크의 세 가지 법칙"이 책에서 제시된 것입니다. 이 중 가장 유명한 법칙은 "충분히 발전된 기술은 마법과 구별할 수 없다"는 내용의 세 번째 법칙입니다.
요약하자면, "Profiles of the Future"는 미래의 과학과 기술 발전에 대한 통찰적인 예측과 고찰을 제공하는 책입니다. 이 책을 통해 클라크의 뛰어난 상상력과 미래에 대한 통찰력을 볼 수 있습니다.
----
1945: 우리가 생각하는 대로 (배니바 부시)
1960: 인간-컴퓨터 공생 (J. C. R. 리클라이더)
1962: 스케치패드 - 인간-기계 그래피컬 커뮤니케이션 시스템 (아이반 서덜랜드)
1962: 미래의 프로파일 (아서 클라크)
1968: 모든 데모의 어머니 (더글러스 엥겔바트)
순으로 제가 염두에 두는 타임라인에 1962년을 업데이트해 둬야 겠습니다.
1, 2 챕터인 "예언의 위험", "신경의 실패"와 "상상력의 실패"는 꼭 읽어봐야겠습니다.
* 2011년 가디언의 Profiles of the Future 리뷰: https://www.theguardian.com/science/2011/mar/04/profiles-future-arthur-clarke-review
* 관련 글 - 배니바 부시의 "우리가 생각하는 대로" (2023. 2. 26.): https://www.facebook.com/seungjoon.choi/posts/pfbid02keT8ujX2z4NtgpscPCFPb5Jkh8GT8GwE6WEeVNNJr4pDD4u4CYA312dARMhrERuyl
* 관련 글 - 리클라이더의 "인간-컴퓨터 공생" (2023. 2. 26.): https://www.facebook.com/seungjoon.choi/posts/pfbid02ZGiKPRAWhmDiZLTEnUFHaukLL9XTcPMoUnV5krHKpzfHoB6fAyiKXkSGFuFuLkQxl
* 관련 글 - 피터 노빅의 "우리가 프로그램하는 대로" (2023. 3. 20.): https://www.facebook.com/seungjoon.choi/posts/pfbid02VfgfGGxmxu96Dvj8DjXedBxK5Yygnf7YNZFrzxAUbb5Ps39USBWuoqV35wQPFD1Dl
Open AI 내부에서 작년 11월 즈음 아서 클라크의 "Profiles of the Future"를 DALL-E 2로 커버 디자인을 해서 비치해 뒀나 봅니다.
유명한 '클라크의 삼법칙',
1. 어떤 노년의 과학자가 무엇이 가능하리라고 한다면 그것은 거의 확실히 맞다. 그러나 그가 무엇이 불가능하리라고 한다면 틀릴 가능성이 높다.
2. 가능성의 한계를 발견하는 유일한 방법은 불가능할 때까지 시도해 보는 방법밖에 없다.
3. 충분히 발달한 기술은 마법과 구분할 수 없다.
중 1번과 2번이 1962년에 에세이 모음집인 이 책의 2장 Hazards of prophecy : The Failure of Imagination( 예언의 위험: 상상력의 실패 )에 있었고, 1973년의 개정판에야 3번 "충분히 발달한 기술은 마법과 구분할 수 없다"이 등장했다고 합니다.
https://en.wikipedia.org/wiki/Clarke%27s_three_laws
저도 클라크의 삼법칙만 알았지 이 책을 읽어보지 못했는데요. 이제라도 살펴봐야겠네요.
OpenAI 블로그의 대표 이미지를 만드는 Ruby Chen이 누굴까 찾아보다가 작업 사이트를 알게 됐는데, 거기에 언급이 있는걸 김성완님이 발견해서 좀 더 체크해 봤습니다.
Ruby Chen: https://rubywjchen.com
* Ruby Chen은 "Original novel by Arthur C. Clarke repackaged for limited internal publication at OpenAI. Cover artwork is co-created with DALL·E 2, a text-to-image AI system." 이라고 썼는데, 에세이 모음집이지 소설로 보긴 어렵거든요. (혹시 모음집 속에 소설인 챕터가 있었을까요?) 어쩌면 책 표지만 디자인하고 내용은 살펴보지 않았을지도요.
* GPT-4의 소개:
----
"Profiles of the Future: An Inquiry into the Limits of the Possible"는 아서 C. 클라크가 저술한 책입니다. 이 책은 원래 1962년에 출간되었으나, 클라크는 그 후에도 여러 차례에 걸쳐 책을 업데이트하였습니다.
이 책의 주요 주제는 가능한 미래 기술에 대한 탐구이며, 과학 기술이 어떻게 발전할 것인지에 대한 예측과 관찰을 포함합니다. 클라크는 이 책에서 "매우 확실하게 알고 있는" 것부터 "절대로 불가능한" 것에 이르기까지 다양한 미래의 가능성을 논의하며, 그의 예측은 종종 놀랍도록 정확하게 드러났습니다.
그는 향후 우리가 기대할 수 있는 일부 기술적 발전을 상세하게 설명하였고, 이에는 통신 위성, 개인용 컴퓨터, 인터넷, 그리고 다른 혁신적인 기술들이 포함됩니다. 이 외에도 클라크는 과학과 기술의 발전이 인류에게 어떤 영향을 미칠지에 대해 심도있게 탐구하였습니다.
클라크의 또 다른 중요한 주장 중 하나는 그의 유명한 "클라크의 세 가지 법칙"이 책에서 제시된 것입니다. 이 중 가장 유명한 법칙은 "충분히 발전된 기술은 마법과 구별할 수 없다"는 내용의 세 번째 법칙입니다.
요약하자면, "Profiles of the Future"는 미래의 과학과 기술 발전에 대한 통찰적인 예측과 고찰을 제공하는 책입니다. 이 책을 통해 클라크의 뛰어난 상상력과 미래에 대한 통찰력을 볼 수 있습니다.
----
1945: 우리가 생각하는 대로 (배니바 부시)
1960: 인간-컴퓨터 공생 (J. C. R. 리클라이더)
1962: 스케치패드 - 인간-기계 그래피컬 커뮤니케이션 시스템 (아이반 서덜랜드)
1962: 미래의 프로파일 (아서 클라크)
1968: 모든 데모의 어머니 (더글러스 엥겔바트)
순으로 제가 염두에 두는 타임라인에 1962년을 업데이트해 둬야 겠습니다.
1, 2 챕터인 "예언의 위험", "신경의 실패"와 "상상력의 실패"는 꼭 읽어봐야겠습니다.
* 2011년 가디언의 Profiles of the Future 리뷰: https://www.theguardian.com/science/2011/mar/04/profiles-future-arthur-clarke-review
* 관련 글 - 배니바 부시의 "우리가 생각하는 대로" (2023. 2. 26.): https://www.facebook.com/seungjoon.choi/posts/pfbid02keT8ujX2z4NtgpscPCFPb5Jkh8GT8GwE6WEeVNNJr4pDD4u4CYA312dARMhrERuyl
* 관련 글 - 리클라이더의 "인간-컴퓨터 공생" (2023. 2. 26.): https://www.facebook.com/seungjoon.choi/posts/pfbid02ZGiKPRAWhmDiZLTEnUFHaukLL9XTcPMoUnV5krHKpzfHoB6fAyiKXkSGFuFuLkQxl
* 관련 글 - 피터 노빅의 "우리가 프로그램하는 대로" (2023. 3. 20.): https://www.facebook.com/seungjoon.choi/posts/pfbid02VfgfGGxmxu96Dvj8DjXedBxK5Yygnf7YNZFrzxAUbb5Ps39USBWuoqV35wQPFD1Dl