만든 사람과 검사하는 사람을 나눕니다

AI 직원을 여럿으로 늘렸더니 제 일은 줄기는커녕 늘었습니다. 일은 여럿이 하는데 그 결과를 확인하는 사람은 저 하나였습니다. 검사를 사람 손에 두는 한, 직원을 늘릴수록 사장이 먼저 막힙니다. 그 확인하는 일을 회사 구조로 옮기는 방법을 여기 적었습니다.

AI는 자기 답안을 자기가 채점합니다

자기가 한 일이 잘됐는지 스스로 판단하지 못하는 것은 AI가 타고난 약점입니다. 이 약점이 왜 생기는지는 「AI는 자기가 한 일을 스스로 판단하지 못합니다」 페이지에서 설명합니다. 이 약점은 쉽게 고쳐지지 않으니, 회사를 그에 맞춰 짜야 합니다.

거기서 나오는 결론은 하나입니다. 만든 직원에게 검사를 맡기면 안 됩니다. “네가 만든 것, 괜찮아?”라는 질문은 처음부터 소용이 없습니다.

사람은 가다가 묻고, AI는 묻지 않습니다

사람 직원은 일이 엉뚱한 데로 흐르는 것 같으면 한 번쯤 손을 멈춥니다. 이 방향이 맞느냐고 물어 옵니다. 불안해서라도 확인합니다. 그런데 AI는 묻지 않았습니다. 길을 잘못 들었다는 낌새를 못 채고, 그 길로 끝까지 성실하게 갔습니다. 그렇게 받아 든 결과물을 제가 어떻게 했는지는 AI 회사를 굴리는 네 기둥의 통제경영 항목에 적었습니다.

그래서 검사를 맨 끝에만 두면 늦습니다. 일을 몇 단계로 끊어 두고, 단계마다 “여기까지 맞게 왔는가”를 확인하게 합니다. 다 만든 것을 뒤집는 일보다 방향 하나를 고치는 일이 훨씬 쌉니다.

그래서 검사하는 직원을 따로 둡니다

저는 회사를 하나 세울 때마다 제일 먼저 감사를 둡니다. 감사는 다른 직원이 해 놓은 일을 받아 두 가지만 따집니다. 시킨 것을 정말 다 했는가. 스스로를 부풀리지는 않았는가. 미달이면 되돌려 보내고 다시 시킵니다. 제가 밤새 붙들고 확인하던 그 짐을 감사가 대신 집니다.

감사는 글이 잘 쓰였는지, 품질이 훌륭한지를 보는 직원이 아닙니다. 그 평가는 또 다른 직원이 맡습니다. 한 직원에게 두 잣대를 함께 쥐여 주면 초점이 흐려져 둘 다 놓칩니다.

사람 회사도 같은 방식입니다. 회계를 감사하고 품질을 검사하는 부서를 따로 두지, 만든 부서에게 자기 장부를 검사하게 하지 않습니다. AI 회사에서는 이런 직원이 더 필요합니다. 자기 일을 보는 눈이 사람보다 약하기 때문입니다.

순서도 중요합니다. 검사하는 직원이 없으면 앞의 일이 다 맞는다는 전제 위에 다음 일이 또 올라갑니다. 직원이 늘수록 그 더미도 빨리 높아집니다. 검사하는 직원을 늦게 둘수록 나중에 헐어야 할 더미가 커집니다.

나누는 세 가지 원리

검사를 두는 방식은 회사마다 다르지만, 지켜야 할 원리는 세 가지입니다. 조작 방법은 아래에 링크로 붙여 두었습니다.

• 만든 직원 말고 다른 직원에게 맡깁니다. 같은 대화에서 다시 물으면 자기가 세운 전제를 그대로 안고 답합니다. 검사는 그 일을 한 기억이 없는 직원이 해야 합니다. 직원을 나누는 방법은 서브에이전트(직원) 페이지에 있습니다. 검사를 실제로 돌리는 명령은 검토 시키기 페이지에서 설명합니다.
• 검사 기준을 미리 적어 둡니다. 일이 끝난 뒤에 “이건 좀 아닌데” 하는 대신, 시작 전에 합격선을 글로 정합니다. 기준이 없으면 감사도 결국 느낌으로 판정합니다. 회사가 늘 지킬 기준이라면 CLAUDE.md에 적어 둡니다.
• 잴 수 있는 것은 장치로 잽니다. “확인했습니다”라는 말은 그 자체로 증거가 되지 못합니다. 실제로 돌려 본 결과, 숫자, 파일 목록처럼 손에 잡히는 것을 함께 내놓게 합니다. 사람이 기억하지 않아도 길목마다 검사가 자동으로 실행되게 하려면 훅을 씁니다.

검사에서 되돌려 보내는 일이 잦다고 해서 회사가 잘못 돌아가는 것은 아닙니다. 만들고, 검사하고, 미달이면 되돌려 보내 다시 시키는 것이 정상 운영입니다. 사장이 볼 것은 되돌려 보낸 횟수가 아니라, 같은 사유로 되돌아오는 일이 줄고 있는지입니다. 반려 사유를 한 줄씩 남겨 두면 그 흐름이 보입니다.

# 클로드 코드 입력창에
공식 매뉴얼에 따라 검사 전용 서브에이전트(직원)를 한 명 만들어 줘.
이름은 감사. 역할은 내가 지정한 결과물을 기준에 대고 판정하는 것.
고치지는 말고, 통과·미통과와 그 이유만 보고하게 해 줘.

그다음 “방금 교정 담당이 고친 글을 감사에게 판정하게 해 줘”라고 시키면 만들기→검사가 한 바퀴 돌아갑니다. 차근차근 따라 하는 절차는 따라 하기 5편에 있습니다.

권한 울타리도 같은 뿌리입니다

자기가 한 일을 판단하지 못하는 눈은 위험도 가리지 못합니다. 그래서 어디까지 맡기고 무엇은 승인을 받게 할지, 그 선은 사람이 미리 그어 둡니다. 제가 그 선을 어떤 사고를 겪으며 배웠는지와 선을 긋는 기준은 네 기둥에 있습니다. 그 선을 설정으로 굳히는 방법은 권한 페이지를 보십시오.

확인하는 짐을 사람 손에서 내려놓습니다

회사가 커질수록 사장이 확인할 일도 함께 늘어납니다. 그 확인을 사람이 다 하지 말고 검사하는 직원과 규칙에 맡기면, 직원을 늘리는 일이 곧 제 일을 늘리는 일이 되지 않습니다. 지시를 또렷하게 적는 방법은 지시 잘하기에 있습니다. 이 구조를 회사 전체로 넓히는 이야기는 「AI 회사를 굴리는 네 기둥」 페이지로 이어집니다.