이전에도 썼던 이야기지만 OpenAI가, 예컨대 요약 같은 과제에 대해 사람의 선호를 RL을 사용해 모델에 주입한다는 이야기를 들었을 때 그렇게까지 한다고? 라는 생각을 했었다. BLEU 같은 미분 불가능한 메트릭에 대해 RL로 학습한다거나 하는 시도의 확장판 같이 느껴졌던 것도 한 이유고, 이를 위해 사람의 피드백을 수집하기까지 한 것이 보통 논문에서 볼 법한 수준을 넘어서는 규모의 작업이었던 점이 또 한 가지 이유일 것이다.
그러나 지금 생각해보면 정답이 있고 그것과의 오차만이 중요한 과제라면, 예를 들어 이미지 분류 과제라면 사람의 선호 같은 문제를 고려할 필요가 없겠지만, 명백한 오답을 넘어서면 그저 사람의 선호만이 존재하는 종류의 문제, 예를 들어 원문과 뜻이 어긋나는 명백한 오답이 아니라면 더 나은 번역과 그렇지 않은 번역이 존재하는 번역 같은 과제들에 대해서는 사람의 선호를 고려하는 것이 오히려 자연스러울 것이다.
(번역이라는 복잡한 문제에 대해서 퀄리티의 차이라는 단순한 표현을 쓰는 것이 적절하지 않을 수 있고, 또한 이미지 분류도 그저 정답과 오답이 있을 뿐이라고 말하는 것도 적절하지 않을 것이다. 거친 축약으로 생각해주셨으면.)
즉 이 모든 변화가 일어난 다음에 하는 소리지만, OpenAI가 사람의 선호를 결합했던 것은 사실 자연스러운 것이었으며, 오히려 ML에서 놓치고 있었던 부분이었다고 할 수 있지 않을까 싶다. 그런 의미에서 이러한 과제들에 대해 사람의 선호를 결합하는 시도가 더 많이 등장하고 더 널리 퍼지지 않을까 싶기도 하다. 다만 그 선호를 결합한 하나의 성공적인 사례가 너무 강력해서 오히려 그런 확산의 동력이 약해질 수도 있을 듯. 예를 들어 기계 번역에 선호를 결합하는 시도보다는 범용적인 LLM의 개발에 관심과 자원이 더 집중될 듯 해서.
(물론 이건 추상적인 차원의 이야기이고, 그래서 왜 사람이 가장 선호하는 텍스트를 정답으로 놓고 SFT를 하는 것만으로는 안 되는지, 선호하지 않는 텍스트의 확률을 낮추는 것이 추가로 필요한지와 같은 구체적인 단계로 가면, 즉 왜 사람의 선호가 그러한 방식으로 주입되어야 하는가, 혹은 그러한 방법으로만 주입될 수 있는가의 문제는 분명하게 규명된 것 같지는 않다.)

https://www.facebook.com/rosinality/posts/pfbid033c746DrhT7n329tA4oAKbv8hgod64YEq5F4pXCUKNYmGXEJTMRogwYcusygf8mXql

It's impressive... Do all AI professionals reside in San Francisco? It seems like there are numerous events and infrastructure available for AI founders.

https://twitter.com/jowyang/status/1674493479672766464?s=46&t=euM7ga7kc_Bx_AMQ-pk_6g

Notes for State of GPT_Andrej Karpathy

강화 학습에서 탐색과 활용 사이의 균형을 신중하게 관리하는 것은 성공적인 머신 러닝 모델을 만드는 데 중추적인 역할을 합니다. 탐색(새로운 행동을 시도하는 것)과 활용(알려진 보상이 가장 높은 행동을 선택하는 것) 사이의 균형은 모델 출력의 다양성과 품질을 보장합니다.

GPT-4와 같은 LLM은 인간과 유사한 내부 대화나 자기 성찰 능력을 가지고 있지 않습니다. 생성된 정보를 이해하거나 검증할 수 있는 능력이 없기 때문에 잘 구조화된 모델 설계와 훈련의 중요성이 강조됩니다.

인간의 인지와 LLM 텍스트 생성의 근본적인 차이점은 이해의 깊이에 있습니다. 인간은 콘텐츠, 컨텍스트, 함의를 깊이 있게 이해하는 반면, LLM은 단순히 학습 데이터의 패턴을 기반으로 다음으로 가장 가능성이 높은 토큰을 예측합니다.

이러한 차이점은 LLM을 보다 효율적으로 활용하는 데 도움이 될 수 있습니다. 예를 들어, LLM의 한계를 알면 보다 효과적인 프롬프트(프롬프트 엔지니어링)를 설계하여 더 나은 응답을 이끌어내는 데 도움이 될 수 있습니다. 또한 LLM은 자체 수정이 불가능하지만 여러 결과물을 생성할 수 있다는 점을 이해하면 사람이 초안을 작성하고 수정하는 프로세스와 유사하게 중복 및 반복 개념을 적용할 수 있습니다.

GPT-4의 등장으로 과거 작업을 되돌아볼 수 있는 기능이 도입된 것으로 보입니다. 이는 모델이 산출물의 적절성을 평가할 수 있다는 것을 의미하며, 본질적으로 언어 모델에서 "시스템 2" 사고(의도적 계획)를 재현하기 시작했음을 의미합니다.

도구 사용, 검색 증강 모델, 제약 조건 프롬프트의 개념은 LLM의 출력을 개선하는 데 중요한 역할을 합니다. 이러한 기술은 모델이 기능을 넘어서는 작업을 실행하거나, 특정 출력 템플릿을 준수하거나, 외부 리소스에서 관련 정보를 검색하는 데 도움이 될 수 있습니다.

LLM의 성능을 최적화하기 위해 세부적인 프롬프트 제작, 신속한 엔지니어링 기법 사용, 짧은 예제 제공, 도구 활용, 복잡한 대화 설정 실험, 모델 미세 조정과 같은 전략을 사용할 수 있습니다.

뛰어난 기능에도 불구하고 LLM에는 상당한 한계가 있습니다. 편견을 드러내고, 정보를 조작하고, 추론 오류를 범할 수 있으며, 공격에 취약할 수 있습니다. 따라서 사람의 감독 하에 위험도가 낮은 애플리케이션에 사용하는 것이 좋습니다.

이러한 연구 결과는 LLM의 잠재력과 한계를 조명할 뿐만 아니라 이러한 모델을 효과적으로 활용하는 방법에 대한 귀중한 지침을 제공합니다. 또한 AI 및 언어 모델링의 상당한 진전을 강조하고 향후 개발 및 활용에 대한 로드맵을 제공합니다.

더 자세한 내용은 노션에서 볼 수 있습니다.
https://matthewcontinuouslearning.notion.site/State-of-GPT-KOR-6c477a01c685486e848efe0493ff2205?pvs=4

지난 6개월 동안 매일 ChatGPT를 사용해 보았고, 그 경험을 통해 ChatGPT가 코딩에 어떻게 도움이 되는지를 정리해 보았습니다.
# ChatGPT가 소프트웨어 엔지니어에게 도움을 줄 수 있는 방법:
- ChatGPT는 작업 속도를 5배에서 10배 높여줍니다.
- ChatGPT는 능숙하게 코딩을 합니다.
- ChatGPT는 인상적인 테스트 코드를 작성합니다.
- ChatGPT는 설계에 뛰어납니다.
- ChatGPT는 반복적인 작업에 있어서 큰 시간을 절약해줍니다.
- 새로운 프로그래밍 언어가 나타나도 걱정할 필요가 없습니다 -? 문법의 세부 사항을 알 필요가 없습니다.
- 점점 더 생각 없이 코딩을 하게 되어, ChatGPT에 대한 의존도가 높아지는 경향이 있습니다.
# ChatGPT의 한계:
- 소프트웨어 엔지니어가 아닌 경우, 크게 도움이 되지 않습니다.
- 전체 코드를 이해할 수 없으며, 한 파일 또는 그보다 적은 일만 대체할 수 있습니다.
- 정확한 위치에 복사 및 붙여넣기를 해야 하며, 버그가 발생하면 수정할 수 있어야 합니다.
현재 결론: ChatGPT는 잘 활용할 수 있는 엔지니어에게는 큰 도움을 주고 있습니다.
ChatGPT는 아직 엔지니어가 아닌 사람들에게 프로그래밍 분야에서 뚜렷한 변화를 제공하지 못하고 있습니다. 그러나 앞으로의 발전 단계를 통해 이들에게 더 큰 변화를 가져다 줄 것으로 보입니다.
# 예상되는 발전 단계:
1. 인공지능의 Context size 증가 (2023년 말 예상): 현재 입력 가능한 4000자를 넘어 여러 파일을 동시에 이해할 수 있어야 합니다.
2. 인공지능의 Github 직접 접근 (2024년 예상): Github에 직접 코딩을 하고 코드 리뷰를 보내어, 저에게 코드를 복사 붙여넣기 하지 않게 해야 합니다.
3. 인공지능의 기계어 코딩 (2027년 예상): 프로그래밍 언어가 사라지고, 0101 수준에서 직접 코딩하며, 결과만 보여주게 됩니다. 아직 의도 -> 기계어 학습 데이터로 학습한 LLM은 없습니다.
4. 인공지능의 프로젝트 진행 (2030년 예상): 미션과 목표를 설정하면, 기능을 스스로 추가하고, 유닛 테스팅을 완료하며, 여러 사용자 페르소나를 만들어 사용자 테스트를 완료해야 합니다.
5. 인공지능의 CTO 대체 (2035년 예상): CEO가 미션과 비전을 세우면, 그에 맞는 앱/웹 등을 스스로 판단하여 만들어야 합니다.
이후에는 CEO의 역할까지 대체하여 사업을 설계하고, 그 사업에 필요한 엔지니어링 작업을 스스로 수행하게 될 것입니다.

https://www.facebook.com/hohyon/posts/pfbid0msYgHBqBGVavC8ykpfyAff92mGfPamAdHjypvfWDhsJKCGLrSGxqfRgRqQvomDu7l

Is time illusion?

https://youtu.be/dNrTrx42DGQ?t=99
https://youtu.be/PkM5oK-_7m8
https://youtu.be/p9FN6By_cTs

Is reality illusion?
https://youtu.be/reYdQYZ9Rj4

Time perception, also known as chronoception, is a field within psychology, cognitive linguistics, and neuroscience that refers to the subjective experience or sense of time. It is measured by someone's perception of the duration of the indefinite and unfolding of events. According to theoretical physicist Carlo Rovelli, time is an illusion, and our naive perception of its flow doesn't correspond to physical reality. He posits that reality is just a complex network of events onto which we project sequences of past, present, and future.

There are different philosophical theories about the nature of time. One such theory is eternalism, which suggests that all existence in time is equally real, as opposed to presentism or the growing block universe theory of time, in which at least the future is not the same as any other time. Another theory is the static theory of time, which proposes that time is like space, and there is no such thing as the passage of time.

Time perception can be influenced by factors such as attention, emotion, and context. Some researchers argue that the passage of time is most likely an illusion, and consciousness may involve thermodynamic or quantum processes that lend the impression of living moment to moment.

In conclusion, while our perception of time is a fundamental aspect of human experience, the true nature of time and whether it is an illusion remains a topic of debate and ongoing research in various fields, including physics, neuroscience, and philosophy.

If time is indeed an illusion, it would have significant implications for our understanding of the world and our lives. Our perception of time is deeply ingrained in our daily experiences, and it influences how we perceive events, make decisions, and interact with others. However, if time is an illusion, it suggests that our perception of time may not accurately reflect the true nature of reality.
In the realm of physics, the concept of time as an illusion could lead to new theories and models that better explain the behavior of the universe. For example, if time is not a fundamental aspect of reality, it might be necessary to reevaluate our understanding of concepts such as causality, entropy, and the nature of space-time.

In neuroscience and psychology, the idea of time as an illusion could prompt further research into how our brains process and perceive time. This could lead to a better understanding of the cognitive processes and neural mechanisms underlying time perception, as well as the factors that influence our subjective experience of time.

In philosophy, the notion of time as an illusion could provoke further debate and exploration of the nature of time and its relationship to human experience. This might involve reevaluating various philosophical theories about time, such as eternalism, presentism, and the static theory of time.

Overall, if time is an illusion, it would challenge our fundamental understanding of the world and our place in it. It would prompt us to reevaluate our assumptions about the nature of reality and the way we perceive and interact with the world around us. However, it is important to note that the true nature of time and whether it is an illusion remains a topic of ongoing debate and research in various fields, including physics, neuroscience, and philosophy.

저녁 먹다가 이야기한 내용.

AI 캠브리아기에서 살고 있는 것 같다.

모든 것이 빠르게 바뀌고 누구도 1년 뒤를 예측하기 어렵다고. 그동안 당연하다고 생각했던 것들이 바뀌고 있고, 새로운 성공 방정식들이 생겨나고 있음.

그렇다고 무조건 스타트업이 이긴다는 행복회로 돌리는 건 아니고, 정신 바짝차리고 이 파도를 재밌게 타다보면 길이 보일 수 있다는 거.

모든 것이 불확실한 세상 = 뭐든 해볼 수 있는 세상

https://youtu.be/bdAaujNTTJg
Korean subnoscript

Andrej도 Reflection에 대해서 이야기했는데 Jim Fan도 이야기하네요 ㅎㅎ

GPT-4에는 다른 어떤 모델보다 매우 유용하고 강력한 기능인 셀프 디버그 기능이 있습니다.

아무리 숙련된 인간 프로그래머라도 첫 번째 시도에서 항상 프로그램을 올바르게 만들 수는 없습니다. 실행 결과를 살펴보고, 무엇이 잘못되었는지 추론하고, 수정 사항을 적용하고, 헹구고, 반복합니다. 에이전트 루프는 환경의 피드백을 받아 반복적으로 코드를 개선하는 것입니다.

이 논문을 적극 추천합니다: “코드 생성을 위한 GPT 셀프 리페어 이해하기“(다른 LLM과 비교하여 GPT-4의 셀프 디버그 기능을 정량화한 문서)를 적극 추천합니다. 몇 가지 주요 결과

GPT-4가 자가 복구가 가능한 핵심 이유는 강력한 피드백 기능입니다. 코드에 무엇이 잘못되었는지를 효과적으로 스스로 반영할 수 있습니다. 다른 어떤 모델도 따라올 수 없습니다.
피드백 모델과 코드 생성 모델이 같을 필요는 없습니다. 사실 피드백 모델이 병목현상입니다.
GPT-3.5는 GPT-4의 피드백을 받으면 훨씬 더 좋은 코드를 작성할 수 있습니다.
GPT-4 자체도 전문가의 피드백을 받으면 훨씬 더 좋은 코드를 작성할 수 있습니다.

Paper: Demystifying GPT Self-Repair for Code Generation
Link: https://arxiv.org/abs/2306.09896
Authors: Theo X. Olausson, Jeevana Priya Inala, Chenglong Wang, Jianfeng Gao, Armando Solar-Lezama

OpenAI는 많은 소프트웨어 엔지니어를 교사로 고용하여 다음 GPT를 교육하고 있을 가능성이 매우 높습니다. 그들은 생성할 필요가 없습니다. 비평만 있으면 됩니다.