AI에게 드는 돈은 어떻게 계산할까요

저는 AI에게 일을 맡기기 시작하고 한동안 요금이 어떻게 매겨지는지 감이 없었습니다. 달마다 돈은 나가는데 무엇을 하면 많이 나가는지를 몰랐습니다. 그 계산의 바탕에 토큰이 있습니다. 이 단어 하나만 알아 두면 요금 이야기가 전부 풀립니다.

토큰 — 말을 잘게 쪼갠 조각

토큰은 AI가 주고받는 말을 잘게 쪼갠 조각입니다. 사람은 글을 쪽수로 세지만 AI는 이 조각 수로 셉니다. 짧은 단어는 한 조각, 긴 단어는 두세 조각쯤 됩니다.

세는 곳은 한 군데가 아닙니다. 내가 건넨 말, AI가 열어 본 파일, AI가 내놓은 답, 그리고 답을 내기 전에 스스로 궁리한 과정까지 모두 조각으로 계산됩니다. 그러니 주고받은 말의 양이 곧 요금입니다.

구독료는 그 조각을 쓸 한도입니다

매달 내는 구독료로 사는 것이 이 토큰을 쓸 권한입니다. 정해진 값을 내면 그만큼 쓸 수 있는 한도가 주어집니다. 헬스장 회원권과 비슷합니다. 회원권을 사면 그달 안에서는 마음껏 쓰고, 정해진 범위를 넘으면 더 내야 합니다.

일이 많아지면 이야기가 달라집니다. 한도에 닿으면 한도가 다시 열릴 때까지 기다리거나 한 단계 위 요금제로 올립니다. 회사 규모로 쓴다면 아예 쓴 만큼 값을 치르는 방식을 고를 수도 있습니다. 전기나 수도처럼, 사용한 토큰이 그대로 요금이 됩니다.

그래서 “토큰을 태운다”는 말은 비유가 아닙니다. 실제로 돈을 쓰는 일입니다.

같은 일을 맡겨도 드는 돈이 몇 배 차이 납니다

이것이 토큰을 알아야 하는 이유입니다. 결과가 똑같아도 맡기는 방법에 따라 드는 돈이 몇 배로 벌어집니다. 제 회사에서 돈이 샌 곳은 크게 세 군데였습니다.

하나 — 머리 값

AI에게는 똑똑한 정도가 다른 여러 등급이 있고, 등급마다 값이 다릅니다. 저는 한동안 정해진 일만 되풀이하는 직원에게까지 가장 비싼 머리를 쥐여 주고 있었습니다. 부장급 연봉을 주고 서류 복사를 시킨 셈입니다. 그 직원의 머리를 중간 등급으로 낮추자 결과는 그대로였고 값만 내려갔습니다.

기준은 일의 무게입니다. 기획하고 남의 일을 평가하는 일에는 가장 똑똑한 머리를 줍니다. 정해진 대로 되풀이하면 되는 일에는 가볍고 빠른 머리로 충분합니다. 반대로 하면 한쪽은 돈이 새고 다른 쪽은 결과가 어설퍼집니다.

둘 — 읽고 쓰는 분량

AI 직원은 매일 새로 출근합니다. 어제 일을 기억하지 못한 채 아침마다 회사 규칙을 읽고 하루를 시작합니다. 처음에 제 직원들은 그 규칙을 한 글자도 빠짐없이 다 읽고서야 일을 시작했습니다. 사람 회사로 치면 전 직원이 매일 아침 사규 전체를 낭독하고 나서야 업무에 들어간 셈입니다.

그래서 매일 읽을 핵심만 짧게 남기고, 나머지 세부 규정은 그 일을 할 때에만 꺼내 읽도록 바꿨습니다. 아침마다 지고 시작하던 짐이 몇 분의 일로 줄었습니다.

이미지도 같았습니다. 만든 그림이 잘 나왔는지 보려고 선명한 원본을 여러 장씩 열게 했더니 요금이 뛰었습니다. 원본 대신 확 줄인 작은 미리보기로만 확인하게 바꾸자, 같은 확인에 드는 값이 10분의 1 아래로 줄었습니다.

덧붙여 — 대화가 길어질수록 값이 붙습니다

AI 자체는 어제 일을 기억하지 못합니다. 그래서 새 말을 한마디 건넬 때마다, 그때까지 나눈 대화를 처음부터 다시 짊어지고 답을 만듭니다. 대화가 길어질수록 매번 지고 가는 짐이 무거워집니다.

제가 이미지를 확인하다 요금이 뛴 이유도 여기 있었습니다. 큰 그림을 한 장 열 때마다 앞서 열어 둔 그림까지 전부 다시 짊어졌고, 그 무게가 겹겹이 불어났습니다. 대화 하나를 며칠씩 붙들고 늘어지면 같은 일이 조용히 일어납니다.

셋 — 쓸데없는 되풀이

사람 직원은 아무리 애써도 목표에 닿지 못하면 어느 순간 멈춰서 물어 옵니다. AI는 멈출 선을 정해 주지 않으면 성실하게 끝까지 돌아갑니다. 이 성실함이, 아무도 지켜보지 않는 사이에는 그대로 낭비가 됩니다.

헛돈이 새는 곳은 대개 이 셋 중 하나입니다. 셋 다 맡기는 사람의 습관에서 나옵니다. 그래서 도구를 손보기 전에 습관부터 봅니다.

그래서 무엇이 생겨났을까요

이 셋을 눈으로 확인하고 줄이려고 여러 도구가 생겼습니다. 쓰는 법은 아래 표에 링크한 각 페이지에 있습니다.

그리고 이 셋을 다 합친 것보다 아픈 낭비가 따로 있습니다. 같은 실수를 두 번 저지르는 것입니다. 한 번에 될 일을 두 번 하면 값도 두 번 치릅니다. 다행히 이 점에서는 AI가 사람보다 낫습니다. 사람은 적어 두고도 며칠 지나면 잊지만, AI는 적어 둔 것을 다음 일에 다시 불러와 읽을 수 있습니다. 다만 그 기록을 매번 빠짐없이 지킨다는 보장까지는 없어서, 꼭 지켜야 할 것은 장치로 한 번 더 붙들어야 합니다.

지금 얼마나 쓰고 있는지 화면 아래에 늘 보이게 하려면 상태표시줄을 켜 두십시오. 사장이 통장 잔고를 이따금 확인하는 것과 같은 습관입니다.

금액은 이 페이지에 적지 않습니다

얼마가 드는지, 어떤 요금제를 어떤 기준으로 골라 언제 올릴지는 「비용과 사용량 보기」 페이지에 모아 두었습니다.

앞으로 더 커질 항목입니다

회사의 살림을 적은 재무제표에는 팔고 관리하는 데 든 비용을 모아 둔 판매관리비라는 칸이 있습니다. 사람이 일의 중심인 회사라면 그 안에서 맨 앞자리를 차지하곤 하는 것이 사람에게 드는 돈, 곧 인건비입니다. AI가 실무를 점점 맡는 회사에서는 그 자리에 토큰비가 들어섭니다.

저는 AI로 굴러가는 회사일수록 토큰비가 판매관리비에서 가장 큰 항목 가운데 하나가 되리라고 봅니다. 사람을 덜 쓰는 대신 토큰을 쓰는 것이니까요. 그렇다면 이 값을 어떻게 관리하느냐가 곧 경영 실력입니다.

알고 나면 지시가 달라집니다

토큰이 돈이라는 것을 알고 나면 말을 거는 방식이 바뀝니다. 무엇을 어떻게 바꾸면 되는지는 「비용과 사용량 보기」 페이지의 아끼는 법에 일곱 가지로 정리해 두었습니다.

AI가 왜 한 번에 많은 것을 못 담는지는 「AI는 왜 어제 일을 잊을까요」 페이지에서 설명합니다. 가득 찬 기억 그릇(클로드가 한 번에 기억할 수 있는 양)을 비우는 조작은 「맥락 관리」 페이지에 있습니다. 요금 이야기는 그 약점을 경영의 눈으로 다시 본 것입니다. 같은 결과를 내고도 어떤 날은 왜 값이 몇 배로 들까요. 이 페이지는 그 물음에 답하려고 썼습니다.