chatGPT-4o의 답변이 이상한 거 같아요! 저만 그런가요?!

최근 chatGPT-4.5 등 새로운 모델이 출시된 이후, 묘하게 잘 사용하던 4o 모델의 성능이 떨어진 것 같은 느낌을 받는다.

 

내 경험을 예로 들자면, 예전에 물어봤던 내용을 다시 물어봤는데 예전과 다른 내용으로 이야기하고, 왜 달라졌냐 물어보면 앞뒤가 맞지 않는 말을 하며 '우긴다던가' 하는 일이다.

 

OpenAI의 chatGPT 이미

 

예전에 GPT로 사주를 보는 것에 대한 포스팅을 올린적이 있는데,  이때는 나의 대운수를 8이라고 설명했었다.

그런데 이번에 다시 나의 사주 관련해서 대화를 열면서 대운수를 다시 물었더니 4라고 하면서 대운 시기 풀이를 다르게 하길래, 왜 지난번에는 8이라더니 이번엔 4냐고 물어봤다.

✔️참고 : chatGPT가 사주도 봐주네✨ :: Algobee - AI 정보를 전달하는 꿀벌

chatGPT가 사주도 봐주네✨

 

그랬더니 대운수의 계산법을설명하면서 아래와 같이 이야기한다. 

대운수를 3으로 나눠서 10이라는데, 왜 4~5세 전후부터 대운이 시작된다는 거지? 

 

 

그래서 추가적으로 질문을 했다. 그랬더니 갑자기 3으로 나누는게 아니라 2로 나눠야 한다는 것임!!!!!

논리적인 설명이 아니라 뭔가 두루뭉술하고 답변의 흐름이 모호한 부분이 있어 다시 물었다.

 

 

그래서 다시 따졌더니, 자신이 실수했던 부분에 대해 실토... 😑

 

 

 

그래서 지난번 대화를 확인해서 따져보고 계산방식의 기준이 다르다는 것을 찾아냈다. 지난번엔 '월령법'이 더 적절하다고 했는데 이번엔 '절기법'이 더 적절하다는 것이다. 내가 질문을 잘 못 이끌어낸 건가? 왜 이렇게 답변에 차이가 있는 듯 하지?  

이전에 대운을 보는 방식에 대해 물었을 때의 답

 

이번에 다시 물어본 대운 보는 방식에 대한 답변

 

 

일단 꼬치꼬치 캐물어서 답변에 차이가 나는 부분을 밝혀내고 chatGPT의 답변의 허점을 잡아내기는 했지만, 이건 내가 동일한 내용에 대해 여러 번 질문하면서 답변의 차이를 캐치해 냈기 때문에 가능한 것이고, 보통은 답변이 신뢰도가 있는지 검증을 잘하지 않기 때문에 '잘못된 답변'을 얻어도 알 수가 없는 상황이다.

 

심지어 답변의 정확도를 위해 논리 추론의 흐름과 근거, 규칙 등에 대해서 추가로 물어보고 검증하도록 하는 질문을 했음에도 계속 말을 지어내면서 잘못된 정보를 '정당화' 하려는 대답 때문에 끈질기게 추궁하지 않았더라면 이런 이상함을 감지하지 못했을 것이다.

---

✔️ chatGPT 성능 변화, 왜 이러는 지 아시나요?

 

이 후에도 내가 답변에 의심을 하면서 다른 대화에서도 계속해서 캐묻는 식으로 검증을 하고 있는데, 무언가 답변의 퀄리티 자체가 굉장히 낮아졌고, 성능이 안 좋아진 듯한 느낌을 많이 받고 있다.

 

더 비싼 버전의 최신 모델을 쓰라는 것인지... 왜 이렇게 갑자기 성능변화가 체감되는 건지 잘 모르겠다. 

혹시 이유를 아시는 분 있나요???