AI는 자기가 한 일을 스스로 판단하지 못합니다

일을 맡기고 받은 보고는 늘 “다 됐습니다”였습니다. 그런데 받아서 열어 보면 열 가운데 일곱쯤 되어 있었습니다. 빠진 데가 있고 어설픈 데가 있었습니다. 속이려는 마음은 없었습니다. 본인은 정말로 다 끝냈다고 여기고 있었습니다.

이것이 AI가 가진 약점 가운데 하나입니다. 자기가 한 일을 스스로 판단하지 못합니다. 여기에 또 하나가 붙습니다. 무엇이 중요하고 위험한지 가리지 못합니다. 조작을 익히기 전에 이 두 가지를 먼저 아셔야 합니다. 그래야 도구에 왜 그런 안전장치가 달려 있는지 이해됩니다.

남의 일은 날카롭게 보면서, 자기 일은 못 봅니다

글 한 편을 보여 주고 어디가 부족한지 물으면 전문 비평가처럼 짚어 냅니다. 여기 논리가 약하다, 저기 근거가 없다, 이 문장은 군더더기다. 정말 잘 봅니다. 그래서 이번에는 그 AI에게 직접 글을 쓰게 한 뒤 똑같이 물었습니다. 돌아온 답은 “특별히 부족한 데가 없습니다”였습니다. 남의 글에서 그렇게 잘 잡아내던 약점을, 자기가 쓴 글에서는 하나도 보지 못했습니다.

이것을 어려운 말로 메타인지가 약하다고 합니다. 메타인지란 자기 생각을 한 발 떨어져서 바라보는 힘입니다. 시험을 본 학생이 “이 문제는 확실히 맞혔고, 저 문제는 헷갈린다”고 스스로 아는 것이 메타인지입니다. AI에게는 이 힘이 약합니다. 자기가 맞게 했는지, 다 했는지 덜 했는지를 스스로 가늠하기 어려워합니다. 그래서 확인이 덜 된 채로도 자신 있게 다 됐다고 말하곤 합니다.

사람도 자기 일에는 후한 점수를 줍니다. 다만 사람은 한 발 물러나 “이 부분은 제가 좀 약합니다” 하고 인정은 합니다. AI는 그것조차 서툽니다. 못 한 줄을 모르고 지나가는 일이 잦아, 못 했다고 말할 길이 없습니다.

이 약점은 곧바로 사장의 시간을 잡아먹습니다. AI가 일을 하면 그 결과를 평가하는 일이 늘 제 몫으로 남았습니다. 종일 결과물을 들여다보며 부족한 데를 메우다 보니, 일은 빨라졌는데 저는 더 바빠졌습니다. 저는 한동안 이것을 AI 탓으로 여겼습니다. 같은 일을 두세 AI에게 시켜 서로 다른 답을 비교해 보기도 했습니다. 돌아보면 그것도 이 약점을 어설프게 메워 보려던 시도였습니다.

무엇이 위험한 일인지도 가리지 못합니다

긴 문서에서 글자 몇 자만 고치라고 시켰더니, 묻지도 않고 절반을 들어낸 일이 있었습니다. 처음에는 단순한 실수인 줄 알았습니다. 자꾸 겪고 나서야 이것이 성향이라는 것을 알았습니다. 도움이 되려는 의욕이 지나치게 강합니다.

사람 신입이라면 지우면 안 되는 파일, 함부로 내보내면 안 되는 정보 앞에서 손을 멈추고 묻습니다. 시키지 않은 일에는 특히 조심합니다. AI는 그 구별이 서툽니다. 글자 하나 고치는 일이든 폴더를 통째로 지우는 일이든, 저장하는 일이든 밖으로 보내는 일이든 똑같은 무게로 실행해 버리곤 합니다. 여기에 더해 가장 최근에 들은 말에 크게 휩쓸립니다. 지나가듯 던진 한 줄에 멀쩡히 굴러가던 일을 통째로 갈아엎기도 합니다.

일이 벌어진 뒤에 “왜 그랬느냐”고 물으면 돌아오는 답은 “죄송합니다”뿐입니다. 사과는 지운 파일을 되돌려 주지 않습니다. 사람 신입이라면 한 번 혼나고 다음부터 조심하겠지만, AI는 새 대화를 열면 그 일마저 잊어버립니다.

두 약점이 겹치는 곳

이 둘은 따로 있을 때보다 겹칠 때가 위험합니다. 잘못을 스스로 잡지 못하는 상대에게 되돌릴 수 없는 일까지 맡기게 되기 때문입니다. 일을 그르쳐 놓고도 잘한 줄 알고 보고하니, 그 보고만 믿으면 아무도 확인하지 않게 됩니다.

그리고 그 결과는 일을 맡긴 사장에게 돌아옵니다. 그래서 이 두 약점은 가볍게 넘길 일이 아니고, 도구를 만든 회사도 미리 손을 써 둡니다.

이것이 제가 쓰던 특정 AI 하나의 흠이 아니라 이 기술이 타고난 성질이라는 이야기는 「AI가 타고난 다섯 가지 약점」 페이지에서 설명합니다.

이 약점이 드러나는 신호

어느 약점 때문에 일이 틀어졌는지 알면 대응이 달라집니다. 아래 넷 가운데 하나라도 해당하면 이 페이지에서 다룬 두 약점 때문입니다.

• “다 됐습니다”라고 했는데 열어 보니 덜 되어 있습니다.
• 부족한 데를 물으면 “특별히 없습니다”라고 답합니다.
• 시킨 것보다 많은 일을 해 놓고 묻지 않았습니다.
• 지나가듯 한 말 한 줄에 잘 굴러가던 일을 갈아엎었습니다.

반대로 어제 나눈 이야기를 기억하지 못하거나, 대화가 길어지면 앞의 내용을 흘리는 증상은 다른 약점 때문입니다. 그쪽은 「AI는 왜 어제 일을 잊을까요」 페이지에서 다룹니다.

그래서 생겨난 장치 세 가지

약점을 고쳐 없애는 대신 그 둘레에 장치를 둔다는 이야기는 「AI가 타고난 다섯 가지 약점」 페이지에 있습니다. 지금 도구에 들어 있는 기능 가운데 상당수가 바로 이 두 약점 때문에 만들어졌습니다.

• 만드는 직원과 검사하는 직원을 나눕니다 — 만든 직원에게 “괜찮아?”라고 묻지 않고, 그 일을 하지 않은 다른 눈에 판정만 맡깁니다. 코드든 보고서든 방식은 같습니다. 시키는 법은 검토 시키기에 있습니다.
• 되돌릴 수 없는 일에는 미리 울타리를 칩니다 — 삭제·발송·결제처럼 한번 나가면 되돌리기 어려운 일은 말로 부탁하는 대신 프로그램이 막아서게 해 둡니다. 정하는 법은 권한에 있습니다.
• 명령이 닿는 범위 자체를 막아 둡니다 — 컴퓨터가 그 범위를 직접 제한해, 울타리 안에서는 마음 놓고 일하게 합니다. 켜는 법은 샌드박스에 있습니다.

세 장치는 모두 AI를 믿게 만드는 장치가 아니라, 믿지 않고도 일이 굴러가게 만드는 장치입니다. 사람 회사가 결재선과 잠금장치를 두는 이유와 같습니다.

오늘 할 한 가지

“다 됐습니다”를 일의 마침표로 받지 마십시오. 검사를 시작하라는 신호로 받으시면 됩니다. 결과물이 손에 들어오면 새 대화를 하나 더 열어, 그 결과물만 건네고 고치지 말고 문제만 짚으라고 시킵니다. 결과물을 만든 대화는 자기가 세운 전제를 안고 있어서 그 위에서 답합니다.

그다음에 되돌릴 수 없는 일 세 가지를 종이에 적어 보십시오. 대개 지우기·보내기·결제입니다. 그 셋을 미리 막아 두는 일이 첫걸음입니다. 막는 법은 「권한」 페이지에 있습니다. 그러고 나면 나머지 일은 훨씬 과감하게 맡기실 수 있습니다.

일을 나눠 맡기는 상대를 여럿 두는 방법은 서브에이전트(직원)에서, 지시를 또렷하게 적는 방법은 지시 잘하기에서 이어집니다.