클로드 토큰 추가 혜택이 끝나고 나니 토큰이 소비되는 속도가 체감될 정도로 빨라졌네요. 작업의 최종 결과물을 마주하기도 전에 토큰이 끝나는 경우도 종종 있어서 고민이 많았는데요. 역시나 해결책은 공식 문서에 있었습니다. 토큰을 절약하면서도 성능을 유지할 수 있는 방법을 정리해봤습니다
——
1. 프롬프트 캐싱을 최대한 활용하라고 합니다.
반복해서 사용하는 프롬프트나 컨텍스트는 매번 새롭게 처리하기보다 프롬프트 캐싱을 활용하는 방법입니다. 프로젝트의 규칙이나 작업 방식처럼 변하지 않는 내용은 앞쪽에 고정하고, 매번 달라지는 요청이나 데이터는 뒤쪽에 배치하는 건데요. 특히 캐시가 재사용되려면 반복되는 앞부분을 최대한 동일하게 유지해야 합니다. 동적인 값이나 불필요한 변경이 앞부분에 들어가면 cache hit가 깨질 수 있기 때문입니다.
2. 오래된 프롬프트를 다시 점검하라고 합니다.
최신 모델을 사용하면서도 과거 모델에 맞춰 작성한 프롬프트를 그대로 사용하는 경우가 있습니다. (네 접니다) 최신 모델에서는 불필요해진 지시를 제거해보라고 제안합니다.
예를 들어, “꼼꼼하게 분석하고, 단계별로 생각하고, 여러 번 검증한 뒤 답변하세요” 처럼 모델의 행동을 지나치게 통제하는 지시가 있다면 줄여보는 것입니다. 프롬프트를 길게 만드는 것보다 목표와 필요한 제약조건을 명확하게 전달하는 것이 중요하다고 합니다.
3. 작업에 따라 Effort(추론 수준)를 조절하라고 합니다.
모든 작업에 높은 Effort를 사용할 필요는 없다고 합니다. 간단한 문구 수정이나 파일 정리에는 낮은 Effort를, 복잡한 분석이나 코딩에는 높은 Effort를 사용하는 식입니다. 높은 Effort가 항상 더 좋은 결과를 만드는 것도 아니기 때문에 작업에 맞는 적절한 수준을 찾는 것도 중요하다고 합니다. 이부분은 지난번에도 공유했지만, 최신 모델을 낮은 Effort로 사용하는 것이 이전 모델을 높은 Effort로 사용하는 것보다 더 효율적입니다.
⤵️
다 알겠는데, 이걸 또 하나하나 신경쓰면서 작업하는데 쉽지 않습니다. 제 마음을 읽은 듯 앤트로픽이 클로드 코드에서 비용 최적화 작업도 할 수 있도록 만들었네요(감사합니다🙏). CLI에서 /claude-api prompt-audit을 실행하면 프로젝트의 .md, skills, 프롬프트 등을 점검해 불필요한 지시나 토큰을 낭비하는 안티 패턴을 찾아준다고 합니다.
——
토큰 효율화를 위해 지독하게 찾아보고 있네요. 프로젝트가 쌓이고 상시 소비되는 토큰이 있다 보니 더 체감이 큰 것 같습니다. 뭐 또 이렇게 극복하면서 조금 더 효율적인 방법을 찾지 않을까 싶기도 합니다. 토큰 효율화하는 본인만의 노하우가 있다면 댓글로 공유해주세요.😁 (제발요👋)
출처 : Claude blog
#Claude #Anthropic
