🤩GPT-4o(Omni), 이게 진짜 멀티모달

1. OpenAI는 최신 "플래그십 모델" GPT-4o가 GPT-4보다 빠를 뿐만 아니라 음성, 텍스트 및 이미지 전반에 걸쳐 기능이 향상되었다고 발표했음.

2. GPT-4o는 50개 언어에서 작동하며 속도 제한은 GPT-4 터보보다 5배 더 빠르며, ChatGPT뿐만 아니라 API에서도 사용할 수 있음.

3. 여기서 o는 하나의 통합된 AI 모델을 의미하는 옴니모델(Omnimodel)을 의미.

4. 이는 다양한 형태로 인풋과 아웃풋이 가능하며, 이는 텍스트, 비전, 오디오 통합 멀티모달로 해석할 수 있음
- 언어나 단어가 아닌 호흡, 소리 같은 것들을 사용
- 예를 들어, 카메라에 얼굴을 보여주면 GPT가 표정을 통해 사용자의 기분을 유추함.
- 농담, 걱정 등 인간의 감정을 보여주기도 함.

5. GPT-4o는 프로그램이 인간의 인풋에 반응하는 시간이 짧아지기 때문에 기존 대비 훨씬 자연스러운 상호작용이 가능함.

6. 또한, GPT의 답변 작성 도중에 끼어들어 다른 인풋을 추가할 수 있기 때문에, 마치 인간과 대화하는 듯한 시스템으로 발전.

7. 거의 모든 음성 AI는 3단계를 거쳐 완성됨.
1) Whisper: 인간의 음성을 인풋하여 텍스트 1로 변환
2) LLM: GPT와 같은 AI를 통해 텍스트1을 코트 형태인 텍스트2로 변경
3) VALL-E: 텍스트2를 오디오로 변경하여 아웃풋

8. 그러나 순진하게 3단계를 거치는 것은 엄청난 지연 시간을 초래하게 되며, 응답을 받을 때마다 5초씩 기다려야 한다면 사용자 경험은 지속해서 감소하게 됨.

9. 또한, 아웃풋 된 오디오 자체가 실제처럼 들리더라도 지연으로 인해 몰입감을 깨고 생동감이 떨어지게 됨.

10. 자연스러운 대화는 근본적으로 이런 식으로 작동하지 않으며, 인간은 대화 도중 아래와 같은 행동을 취함
- 듣고 말하면서 동시에 다음에 할 말을 생각.
- 적절한 순간에 "네, 흠, 어"를 삽입
- 상대방이 언제 말을 끝낼지 예측하고 즉시 말을 이어받음
- 상대방에게 불쾌감을 주지 않고 유기적으로 대화를 이어감.

11. 이번 GPT-4o의 출시를 통해 보다 인간과의 상호작용에 가까워졌으며, 나아가 라이브 스포츠 경기를 보며 규칙이나 실시간 해설을 할 수 있을 정도로 발전할 것으로 예상.

12. 세부 서비스 내용은 아래와 같음.
- 무료 텍스트 및 이미지 기능 제공
- 다중 모드 설계(이미지-텍스트 및 음성을 동시에 분석)
- 실시간 음성 상호작용 지원(중간에 말을 끊고 인풋 가능)
- 음성 및 비전 기능을 갖춘 Chat GPT 데스크톱 앱 출시
- 감정 및 얼굴표정 인식
- 점진적 배포(향후 몇 주에 걸쳐 점진적으로 새로운 기능 추가 예정)

[출처] Open AI
[작성] 👔도PB의 생존투자