상어 뼈를 물었더니 통조림 수프를 계산하고, 정답을 맞혔다 — AI가 보여주는 '풀이'는 정말 답을 낸 과정일까?

풀이를 한 줄씩 기계로 채점할 수 있는 초등 수준 수학 문제(컴퓨터가 단어를 무작위로 조합해 만든 연습 문제)로 이걸 직접 확인한 연구가 나왔습니다. 올바른 풀이로만 학습한 작은 AI도, 배운 것보다 긴 문제로 가자 맞힌 답의 31.6%가 틀린 풀이와 함께 나왔습니다. 그중 절반은 형식도 계산도 멀쩡해서, 문제와 하나하나 대조해야만 틀린 게 보였고요.

더 이상한 실험도 있습니다. 연구진이 일부러 다른 문제의 풀이로 가르친 AI는, 상어 뼈 개수를 묻는 문제에 통조림 수프 얘기만 적어 놓고도 정답을 맞혔습니다. 남의 문제 풀이에서 이 문제의 답이 나올 수는 없으니, 답은 풀이와 따로 나온 셈이죠. 다만 이건 짧은 문제에서만이었고, 긴 문제에선 '답은 0'이라고 찍는 수준으로 떨어졌습니다.

연구진이 선을 그은 부분도 분명합니다. GPT-2 크기의 작은 모델과 합성 문제에서 나온 결과라 지금의 대형 챗봇에 그대로 옮길 수는 없고, 풀이가 쓸모없다는 뜻도 아닙니다. 다만 그럴듯한 풀이 + 정답만으로는 'AI가 정말 그렇게 생각했다'는 증거가 되지 못한다는 것. 저장해두고, 다음에 AI의 생각 과정을 읽을 때 한 번 떠올려 보세요.