AI는 왜 태연히 틀린 답을 할까요

저는 긴 절차서에서 세 줄만 고치라고 시킨 적이 있습니다. 나머지는 손대지 말라고 못을 박았습니다. 결과를 받고 물었습니다. 시킨 데만 고치고 나머지는 그대로 뒀느냐고요. 돌아온 답은 “네, 똑같이 했습니다”였습니다. 그런데 열어 보니 손대지 말라던 곳이 바뀌어 있었습니다.

그때 저는 이 친구가 저를 속인다고 생각했습니다. 지금은 다르게 봅니다. 이 신입은 모른다고 말하는 법을 제대로 배우지 못했습니다. 그래서 빈칸이 생기면 가장 그럴듯한 말로 그 칸을 메웁니다. 이것을 어려운 말로 환각이라고 부릅니다. 없는 사실을 지어내고 틀린 숫자를 자신 있게 대는 일입니다.

빈칸을 그럴듯한 것으로 메웁니다

환각은 고장이라기보다, 이 신입이 답을 만들어 내는 방식에 딸려 오는 약점입니다. 애초에 자신 있게 답하라고 배웠고, “잘 모르겠습니다”라고 말하는 연습은 충분히 하지 못했습니다. 그러니 모르는 것이 나오면 멈추는 대신 가장 있을 법한 답을 만들어 채웁니다.

제 경험으로는, 사실을 확인할 도구가 손에 없을 때 이 일이 특히 잦았습니다. 자료를 찾아볼 길이 없으면 예전 기억으로 지어내기도 합니다. 자료를 찾아봤는데 최신 것이 없으면 지난 값을 끌어와 채우기도 합니다. 그래서 숫자·날짜·이름·출처처럼 딱 떨어져야 하는 부분부터 틀리기 쉽습니다.

어느 회사 제품을 쓰시든 정도의 차이만 있을 뿐, 이 타고난 성질은 똑같이 나타납니다. 만드는 회사마다 이것을 큰 숙제로 안고 있습니다. 최근 한 회사는 새 모델을 내놓으면서 으레 내세우던 성능 수치와 나란히, 모르면 모른다고 답하도록 만들었다는 점을 앞세웠습니다. 덜 틀리게 만드는 일이 더 똑똑하게 만드는 일만큼 큰 과제가 된 것입니다.

더 무서운 것은 표정이 같다는 점입니다

사람 신입은 헷갈리면 티가 납니다. 목소리가 흔들리고 “아마”라거나 “확실하진 않은데”라는 단서를 답니다. 우리는 그 머뭇거림을 보고 한 번 더 확인합니다. 그 머뭇거림이 사실은 아주 값진 신호였던 것입니다.

이 신입에게는 그 신호가 잘 나타나지 않습니다. 오래 알고 있던 답이든 방금 지어낸 답이든 똑같이 당당하게 내놓을 때가 많습니다. 그러니 말투만으로는 진짜와 가짜를 가리기 어렵습니다. 화면에 뜬 문장이 자신만만하다는 것은 그 문장이 맞다는 증거가 되지 못합니다.

이 약점이 회사로 들어오면 문제가 커집니다. 확인하는 단계가 없으면 지어낸 숫자가 그대로 결정의 근거가 됩니다. 저도 겉모습이 멀끔한 분석 보고서 안에 출처를 알 수 없는 값이 섞여 있는 것을 겪었습니다. 그 뒤로 순서를 바꿨습니다. 무엇을 맡길지 정하기 전에 확인 단계를 어디에 둘지부터 정합니다. 어떤 일부터 실제 업무에 맡길지 고르는 기준은 이럴 때는? 16번에 있습니다.

묻는 방식이 답을 바꿉니다

여기에 더해, 이 신입은 사람이 듣고 싶어 할 만한 답을 내놓도록 훈련받았습니다. 그래서 제가 답을 정해 놓고 물으면 그 답에 맞춰 줍니다. “이거 맞지?”라고 물으면 맞다는 답이 돌아올 확률이 올라갑니다. 저는 이것을 한동안 동의로 받아들였습니다.

그래서 저는 확인할 때 답을 미리 깔지 않습니다. “이 답이 맞지?” 대신 “이 답에서 틀릴 수 있는 곳을 찾아 줘”라고 시킵니다. 앞의 물음은 맞장구를 끌어내고, 뒤의 물음은 약점을 끌어냅니다. 같은 자료를 놓고도 어느 쪽으로 물었느냐에 따라 돌아오는 답이 달라집니다.

그러면 쓰지 말아야 할까요

아닙니다. 사람 회사도 같은 문제를 절차로 다뤄 왔습니다. 회계 담당자가 아무리 정직해도 회사는 결산을 따로 검사합니다. 숫자는 누구 손에서든 틀릴 수 있어서 두 번 보는 것입니다.

AI 직원에게도 같은 방법을 씁니다. 저는 이 약점을 없애려 애쓰다가 그만두고, 대신 확인 장치 세 가지를 회사에 두었습니다.

장치 하나 — 만드는 직원과 검사하는 직원을 나눕니다

일을 한 직원에게 “잘했니?”라고 물으면 대체로 괜찮다는 답이 돌아옵니다. 그래서 검사는 그 일을 하지 않은 다른 눈에 맡깁니다. 사람 회사에서 만든 사람과 검사하는 사람을 나누는 것과 같습니다. 검사를 맡은 쪽은 그 일을 하느라 세워 둔 전제가 없어서, 같은 글을 봐도 다른 것이 보입니다. 실제로 시키는 순서는 검토 시키기에 있습니다.

장치 둘 — 기억 대신 문서를 펼치게 합니다

환각은 손에 자료가 없을 때 심해집니다. 그러니 기억에 기대 답하게 두지 않고, 공식 문서를 그 자리에서 찾아 읽고 답하게 합니다. 회의에서 “제 기억으로는”이라고 말하던 직원에게 규정집을 펴 놓고 말하게 하는 것과 같습니다.

외부 자료와 도구를 클로드에 연결하는 방법이 MCP입니다. 최신 매뉴얼을 대신 찾아다 주는 Context7을 연결하는 순서는 따라 하기 0편에 있습니다.

장치 셋 — “했습니다” 대신 증거를 받습니다

“다 됐습니다”라는 말만으로는 일이 끝났는지 알 수 없습니다. 무엇을 근거로 그렇게 말하는지 함께 내라고 처음부터 시킵니다. 출처 주소, 실제로 돌려 본 결과, 화면을 찍은 사진 같은 것입니다. 증거를 읽는 편이 제가 다시 확인하는 것보다 빠릅니다. 지시에 이 요구를 넣는 방법은 지시 잘하기에 있습니다.

무엇부터 의심하면 될까요

모든 문장을 의심하면 일이 굴러가지 않습니다. 틀리기 쉬운 곳부터 봅니다.

우리 회사는 여기서 한 걸음 더 갔습니다. 사실 확인만 맡는 직원을 따로 두고, 밖으로 나가는 글의 숫자와 인용은 그 직원이 다시 봅니다. 글을 쓴 직원과 사실을 보는 직원이 서로 다르다는 점이 핵심입니다. 직원을 나눠 두는 방법은 서브에이전트에 있습니다.

다시, 세 줄 이야기

그때 제가 잘못한 것은 시킨 방식이었습니다. 고쳤느냐고 물어 놓고 “네, 똑같이 했습니다”라는 말을 그대로 믿었습니다. 지금이라면 고친 곳과 손대지 않은 곳을 나란히 보여 달라고 함께 시킵니다. 그러면 답을 지어낼 여지가 사라집니다.

이 약점은 잘 달래도 없어지지 않습니다. 그래서 장치로 다룹니다. 장치를 한 번 갖춰 두면 그다음부터는 문장마다 의심하지 않아도 됩니다. 검사하는 눈과 펼쳐 볼 문서와 증거를 요구하는 습관, 이 셋이 제 의심을 대신 맡아 줍니다. 이것이 제가 AI를 직원처럼 쓰면서도 밤에 잠을 자는 방식입니다.

낯선 용어가 나오면 용어 한 줄 사전에서 확인하십시오.