Andrej도 Reflection에 대해서 이야기했는데 Jim Fan도 이야기하네요 ㅎㅎ

GPT-4에는 다른 어떤 모델보다 매우 유용하고 강력한 기능인 셀프 디버그 기능이 있습니다.

아무리 숙련된 인간 프로그래머라도 첫 번째 시도에서 항상 프로그램을 올바르게 만들 수는 없습니다. 실행 결과를 살펴보고, 무엇이 잘못되었는지 추론하고, 수정 사항을 적용하고, 헹구고, 반복합니다. 에이전트 루프는 환경의 피드백을 받아 반복적으로 코드를 개선하는 것입니다.

이 논문을 적극 추천합니다: “코드 생성을 위한 GPT 셀프 리페어 이해하기“(다른 LLM과 비교하여 GPT-4의 셀프 디버그 기능을 정량화한 문서)를 적극 추천합니다. 몇 가지 주요 결과

GPT-4가 자가 복구가 가능한 핵심 이유는 강력한 피드백 기능입니다. 코드에 무엇이 잘못되었는지를 효과적으로 스스로 반영할 수 있습니다. 다른 어떤 모델도 따라올 수 없습니다.
피드백 모델과 코드 생성 모델이 같을 필요는 없습니다. 사실 피드백 모델이 병목현상입니다.
GPT-3.5는 GPT-4의 피드백을 받으면 훨씬 더 좋은 코드를 작성할 수 있습니다.
GPT-4 자체도 전문가의 피드백을 받으면 훨씬 더 좋은 코드를 작성할 수 있습니다.

Paper: Demystifying GPT Self-Repair for Code Generation
Link: https://arxiv.org/abs/2306.09896
Authors: Theo X. Olausson, Jeevana Priya Inala, Chenglong Wang, Jianfeng Gao, Armando Solar-Lezama

OpenAI는 많은 소프트웨어 엔지니어를 교사로 고용하여 다음 GPT를 교육하고 있을 가능성이 매우 높습니다. 그들은 생성할 필요가 없습니다. 비평만 있으면 됩니다.

Why transformative artificial intelligence is really, really hard to achieve
1. The transformational potential of AI is constrained by its hardest problems
2. Despite rapid progress in some AI subfields, major technical hurdles remain
3. Even if technical AI progress continues, social and economic hurdles may limit its impact

Source:https://thegradient.pub/why-transformative-artificial-intelligence-is-really-really-hard-to-achieve/

Thought

1. The transformational potential of AI is constrained by its hardest problems
=> AI로 특정 부분을 개선할 수 있으나 다른 부분들로 인해 병목이 생길거라고 말했는데 근거가 많이 빈약해서 설득되지 않네요. 오히려 하나의 Breakthrough가 나오면 새로운 문제도 더 빨리 풀지 않으려나요?

2. Despite rapid progress in some AI subfields, major technical hurdles remain
- 로봇 공학 속도가 느리고 Open AI도 로봇 공학 팀을 해체했다. -> OpenAI disbanded its robotic team because it found you could do all your training in a simulation, and it would work just fine. 이런 의견도 있고 저도 비슷합니다. Tesla는 왜 로봇을 만드나요? ㅎㅎ
- 다른 논리들은 완전 공감합니다.
2.1. The continued falling cost of computation could help. But we may have exhausted the low-hanging fruit in hardware optimization and are now entering an era of deceleration. Moore’s Law has persisted under various guises, but the critical factor for transformative AI may be whether we will reach it before Moore's Law stops.
2.2. Next look at data. Villalobos et al. warns that high quality language data may run out by 2026. The team suggests data efficiency and synthetic data as ways out, but so far these are far from complete solutions as Shumailov et al. shows.
2.3. Millions of humans currently annotate data to train models. Their humanity, especially their expert knowledge and creative spark, becomes more valuable by the day. The Verge reports: “One engineer told me about buying examples of Socratic dialogues for up to $300 a pop. “Since we are trying to behave in accord with people’s values, the most important data will be data from humans about their values.”

-> 과거 Annotation Startup이 나온 것처럼 새로운 기회라고 생각합니다. ㅎㅎ Human feedback market place가 나올 것 같아요 ㅎㅎ
-> Process knowledge is the kind of knowledge that’s hard to write down as an instruction. You can give someone a well-equipped kitchen and an extraordinarily detailed recipe, but unless he already has some cooking experience, we shouldn’t expect him to prepare a great dish.
-> 이 말에도 공감은 하지만 다른 생각을 가지고 있는데요. 카메라 기술의 발전과 Social media 덕분에 Instagram은 하루에도 10억장의 사진을 만들어내고 있는데요. AI 기반의 새로운 서비스/프러덕이 인류가 디지털에 가지고 있는 데이터 수를 압도적으로 늘릴 수 있다는 희망회로를 돌리고 있습니다 ㅎㅎ

3. Even if technical AI progress continues, social and economic hurdles may limit its impact
규제가 분명히 기술 발전의 속도를 늦출 것이지만, 글로벌하게 혁신을 촉진한 나라와 그렇지 않은 나라의 차이는 커질 것이라고 생각합니다.

- AI 문제 이야기인데 왜 대한민국이 생각날까요…한국은행 총재님이 하신말씀이 생각나네요..

우선 지금 말씀하신, 지금 우리가 단기적으로 경제 성장을 낮춘 문제는 이 문제하고는 관련이 없지만, 기자님 말씀하신대로 우리나라가 지금의 고인플레이션이 시대가 지나면 소위 얘기는 secular stagnation, 장기 저성장구조로 갈 거냐라는 논의가 있는 것으로 알고 있는데 개인적으로는 이미 우리나라는 장기 저성장구조로 와있다고 생각합니다. 왜냐면 저출산과 고령화가 워낙 심해서요. 이 큰 트랜드를 벗어나기에는 이미 와 있는 현실로 보고 빨리 여기에 대한 대응을 해야된다고 생각하고 있고요. 지금 현재는 낮은 성장률 때문에 청년 실업, 비정규직 문제, 이런 것이 더 사회적으로 많은 문제가 되고 있는데, 5년, 10년 내에는 노후 빈곤 문제가 굉장히 큰 사회 문제가 될 거라고 생각하고 있습니다. 그래서 이미 와 있는 이 문제를 해결하려면 기자님 말씀하신 대로 여러 가지 구조개혁, 노동, 연금, 교육을 통해서는 이런 구조개혁이 정말 필요한데, 우리나라의 문제는 어떻게 해결할지를 모르는 게 문제가 아니고요. 이런 개혁을 해야된다는 것을 앎에도 불구하고 이해당사자 간의 사회적 타협이 너무 어려워가지고 이게 진척이 안 되고 있는 것, 특히 이런 논의를 할 때 혜택을 보는 수요자가 아니라 공급자 중심으로 모든 논의가 많이 되고 있는 것, 이런 문제 때문에 지금 한 발짝도 못 나가고 있다는 게 안타깝습니다. 이것은 정부문제가 아니고요. 어떤 특정적 문제가 아니라 우리 사회의 문제인데, 제가 예를 몇 개 들면 우리가 교육개혁 하려고 그러면 저는 제일 가슴 아픈 것이 외국에서 오래있다 보니까, 우리는 고3때 자기가 평생 해야 할 전공을 정하잖아요. 말이 안 되는 거지요. 사실 대학가서 여러 개 보고 결정해야 되는데 각 학과의 정원, 이런 것은 다 공급자가 정하고 이해당사자가 합의를 못 보니까 하나도 움직이지 못하고 있고, 연금개혁도 너무 중요하고 프랑스도 사회적으로 큰 갈등이 있지만 거기는 그래도 시작이라도 했는데 우리는 연금개혁위원회 만들어서 여러 정부가 했지만 모수에 대해서는 센시티브하니까 모수 다 빼고 얘기하자, 그러면 하지 말자는 얘기랑 비슷하게 들릴 수도 있고, 저출산, 노인 돌보미 이런 것을 생각하면 사실 이민이라든지 해외 노동자를 어떻게 활용할지에 대한 논의도 굉장히 필요한데, 그러면 그럴 때는 임금체계는 어떻게 할 거냐 이런 것도 필요한데 국내외 논쟁에 맞물려서 그런 논의도 진척이 없고, 우리나라 수출도 반도체 수출이 안 된다고 막 그러는데 사실 우리나라에서 제가 볼 때 서비스업 생각하면 수출 엄청나게 할 게 많거든요. 말이 길어져서 미안하지만 제가 가슴으로 느끼는 겁니다. 우리나라 경쟁력으로 따지면, 공항에서 편의점에서 한 사람의 노동자가 하는 것하고 외국 가서 20분 걸리면서 결제하는 것을 보면 우리의 경쟁력이 어디 있는지 알 수 있거든요? 특히 우리 의료산업 얼마나 많이 발전했습니까. 저는 10년 전부터 의료산업의 국제화를 통해서 서비스 산업 발전하자고 그랬는데 한 걸음도 못 가는 사이에 태국과 싱가포르에 가면 이미 지역에 의료 허브가 되어 있고, 그래서 우리가 다 아는 이런 많은 개혁이 그것을 못 하다보니까 경제가 좀 나빠지면 다 이게, 한은 총재가 왜 이런 얘기하냐고 신문에 나면 한은 총재가 통화정책에 관심없이 이런 얘기만 해 이렇게 나올 것 같은데, 이게 우리와 관련됩니다. 이렇게 구조적으로 어려운 것을 해결 못 하니까 결국은 뭐냐, 재정으로 돈 풀어서 해결해라, 금리 낮춰서 해결해라, 이렇게 통화정책과 재정정책으로 이 부담이 다 오거든요. 절대로 그래서는 안됩니다. 제가 좀 오래 말씀드렸는데 재정 통화정책은 단기적으로 경제를 안정화시키는 거고, 우리의 경제가 앞으로 어떻게 잘 되느냐는 기자님 말씀하신 구조개혁을, 특히 몰라서가 아니라 이해당사자와 사회적 타협이 안 되는 것을 어떻게 타협해 나갈지 그것의 해결이 가장 중요하다고 생각합니다. 다시 한 번 말씀드리지만 거기서 해결 못하는 문제를 재정 당국하고 통화정책 보고 단기 정책을 통해서 해결하라고 하면 나라가 망가지는 지름길입니다.

https://www.bok.or.kr/portal/bbs/B0000169/view.do?nttId=10077572&menuNo=200059

Morning, my hero. https://www.youtube.com/watch?v=RnjD-nhutK0

Wow you can check most of sessions at data summit. Thanks Databricks 🙂