Dumb Game Lab

블로그 · 개발 이야기

1인 개발 토큰 장부

하루 토큰 25%가 샜고 그중 14.4%는 캐시 다시 데우기였다

Justin Lee, Dumb Game Lab ·

2026-10-28 일기 원문 첫 줄. 토큰 90.6M, 낭비 22.7M, 25%라고 적혀 있다

10월 28일 하루에 청구된 토큰은 90.6M이었고 그중 22.7M(25%)이 낭비 칸에 들어갔습니다. 가장 큰 칸은 캐시 다시 데우기 13.0M(전체의 14.4%)으로 낭비의 절반이 넘습니다. 제 폰에서 연 대화 세션 두 개가 하루 종일 열려 있었고, 말을 한 마디 걸 때마다 앞 대화를 캐시에 처음부터 다시 썼기 때문입니다.

하루 장부부터

저는 AI 에이전트 여러 개를 하루 종일 돌려 게임을 만듭니다. 그날 쓴 토큰은 밤에 일기를 쓸 때 세션 기록을 모아 칸별로 세는데, 10월 28일 장부는 이랬습니다.

청구 합계는 90.6M입니다. 입력 33K와 출력 9.6M에 캐시 쓰기 80.9M까지 더한 값인데, 이 가운데 캐시 쓰기 하나가 전체를 거의 다 채우고 있어서 처음 이 장부를 펼쳤을 때는 제가 계산을 잘못한 줄 알았어요. 캐시 쓰기가 89.4%를 차지합니다. 캐시 읽기 2.61B는 단가가 낮아서 이 합계에 넣지 않고 따로 적습니다.

낭비 칸토큰하루 청구 대비
캐시 다시 데우기13.0M14.4%
머지 없음6.7M7.4%
빈 장시간2.7M3.0%
Stop 훅 재호출0.28M0.3%
합계22.7M25%
일기의 «오늘의 토큰» 원문. 청구 합계, 모델별, 낭비 칸, 가장 크게 샌 곳, 샌 이유가 줄마다 적혀 있다
일기 원문 «오늘의 토큰». 노란 줄이 낭비 칸과 샌 이유입니다.

캐시 다시 데우기가 뭔가

대화형 AI는 말을 걸 때마다 앞 대화 전체를 다시 읽습니다. 프롬프트 캐싱은 한 번 처리한 앞부분을 잠시 보관해 두고 다음 요청에서 싸게 꺼내 쓰게 해 주는 장치입니다.

문제는 보관 시간입니다. Anthropic 공식 문서에 따르면 캐시의 기본 수명은 5분이고 쓸 때마다 다시 늘어나며, 따로 고르면 1시간짜리도 있습니다. 그 시간이 지나 다시 말을 걸면 앞 대화 전체를 캐시에 새로 써야 합니다.

값 차이가 큽니다. 캐시 쓰기는 기본 입력 단가의 1.25배(5분짜리) 또는 2배(1시간짜리)이고, 캐시 읽기는 0.1배예요. 같은 앞 대화라도 다시 쓰면 읽을 때보다 12.5배에서 20배를 냅니다.

처리 방식기본 입력 단가 대비
기본 입력1배
캐시 쓰기(5분 수명)1.25배
캐시 쓰기(1시간 수명)2배
캐시 읽기0.1배
토큰 장부 코드 머리말. cacheRewarm 칸은 쉬었다 와서 맥락을 통째로 다시 캐시에 쓴 토큰이라고 적혀 있다
장부가 낭비 칸을 나누는 규칙입니다. 메인 세션은 60분 넘게 쉬었다 돌아온 뒤 다시 쓴 캐시를 이 칸에 셉니다.

범인은 하루 종일 열린 폰 세션 둘

제 장부는 한 시간 넘게 쉬었다가 돌아온 메인 세션이 맥락을 통째로 다시 캐시에 쓴 양을 «캐시 다시 데우기»로 셉니다. 그날 이 칸을 키운 건 제가 폰으로 열어 둔 세션 두 개였습니다.

하나는 1,379분, 다른 하나는 1,161분 동안 열려 있었는데 하루가 1,440분이니 두 창 모두 아침에 열어서 밤늦게까지 한 번도 제대로 닫힌 적이 없었던 셈입니다. 거의 종일이에요. 생각날 때마다 폰에서 한 마디씩 던졌고, 그때마다 식은 대화가 처음부터 다시 데워졌습니다.

가장 크게 샌 세션은 «왜 정지된 거야?»로 시작한 병목 세션입니다. 160분 동안 4.8M을 캐시 다시 데우기로 썼습니다. 이 세션이 그날 쓴 7.5M의 3분의 2 가까이가 다시 데우기였어요.

4일째 1위, 말로는 안 줄었다

캐시 다시 데우기는 10월 25일부터 나흘 연속 낭비 1위였습니다. 매일 일기에 적었고 고치자는 티켓도 걸어 뒀습니다. 그래도 숫자는 내려오지 않았습니다.

«세션을 짧게 쓰자»는 다짐은 폰을 든 순간 잊힙니다. 이동 중에 떠오른 걸 바로 시키려면 새 창을 열고 상황을 처음부터 설명하는 것보다 하던 대화창에 한 마디만 더 붙이는 쪽이 훨씬 편하니까요. 사람 습관에 기대는 규칙은 같은 자리에서 계속 샙니다.

일기의 «오늘의 낭비» 원문. 캐시 다시 데우기 13.0M, 10-25부터 4일째 같은 칸이라고 적혀 있다
«10-25부터 4일째 같은 칸이다.» 일기에 같은 문장이 나흘째 나왔습니다.

두 번째 칸, 머지 없음 6.7M

낭비 2위는 머지 없음 6.7M(7.4%)이었습니다. 토큰을 많이 쓰고도 결과물이 메인 코드에 한 번도 들어가지 않은 세션을 이 칸에 셉니다.

서울 현황 세션(103분)과 치치 난투 세션(47분)이 여기에 걸렸습니다. 서울 쪽은 일을 하위 에이전트에 넘기고 «진행 중»이라고 답한 채 끝났어요. 서울 현황 세션은 머지 없음과 캐시 다시 데우기를 합쳐 2.4M을 썼습니다.

그래서 바꾼 방법

세션 길이는 말로 줄지 않는다는 게 그날 일기의 첫 교훈입니다. 그래서 다짐 대신 장치를 두기로 했습니다. 세션이 정해 둔 시간을 넘기면 지금까지의 내용을 요약해 저장하고 새 세션으로 넘기는 방식입니다.

새 세션은 짧은 요약 하나만 들고 시작하니 다시 데울 앞 대화가 작습니다. 같은 처지라면 아래 순서로 먼저 재 보시길 권합니다.

  • 하루 토큰을 입력·출력·캐시 쓰기·캐시 읽기로 나눠 적는다.
  • 캐시 쓰기 비율이 높으면 쉬었다 돌아온 대화부터 의심한다.
  • 가장 오래 열린 세션의 분 수를 센다.
  • 일정 시간을 넘긴 세션은 요약을 남기고 새로 연다.
  • 같은 칸이 며칠 연속 1위면 다짐을 그만두고 장치를 단다.
일기의 «교훈» 원문. 세션 길이는 말로 줄지 않는다는 문장이 굵게 적혀 있다
일기 «교훈»의 첫 줄입니다.

FAQ

프롬프트 캐싱이란 무엇인가요?

앞에서 한 번 처리한 프롬프트 앞부분을 잠시 보관해 두고 다음 요청에서 다시 쓰는 기능입니다. Anthropic 문서 기준으로 기본 수명은 5분이고 쓸 때마다 늘어나며, 1시간짜리를 고를 수도 있습니다.

프롬프트 캐싱 비용은 얼마나 차이 나나요?

공식 문서에 나온 배율로 캐시 쓰기는 기본 입력 단가의 1.25배(5분) 또는 2배(1시간)이고 캐시 읽기는 0.1배입니다. 같은 내용을 다시 쓰면 읽을 때의 12.5배에서 20배를 냅니다.

클로드 코드 대화를 오래 열어 두면 왜 토큰이 많이 드나요?

캐시 수명이 지난 뒤에 말을 걸면 앞 대화 전체를 캐시에 새로 쓰기 때문입니다. 제 경우 하루 종일 열린 폰 세션 두 개 탓에 하루 청구 90.6M 중 13.0M이 이렇게 나갔습니다.

클로드 코드 토큰 사용량은 어떻게 확인하나요?

저는 컴퓨터에 남는 클로드 코드 세션 기록 파일을 하루 단위로 모아 입력·출력·캐시 쓰기·캐시 읽기로 나누고, 쉬었다 돌아온 캐시 쓰기나 결과물 없이 끝난 세션처럼 낭비 칸을 따로 셉니다. 숫자가 칸별로 보여야 어디서 새는지 알 수 있었습니다. 합계만 보던 때는 많이 썼다는 것만 알았지 이유는 몰랐어요.

다른 글

새 게임과 작은 소식을 한 달에 한 번쯤 보냅니다.

다른 언어English한국어日本語繁體中文