효과적인 AI 시스템 구축하고 유지하려면 프롬프트 엔지니어링은 필수입니다. 이번 Code with Claude에서 새로운 에이전틱 시스템을 구축하려면 어떻게 해야할지 프롬프트 플레이북을 공개했는데요. 위 영상 내용을 정리해봤습니다.
———
1. 체계적인 평가 환경 마련
프롬프트를 변경했을 때 성능이 개선되었는지 확인하기 위한 테스트 환경을 구축할 것을 권장합니다. 항상 통과해야 하는 통제 케이스, 과거의 실패 사례인 엣지 케이스, 그리고 모델이 답변을 거부하거나 인간에게 이관해야 하는 상황을 모두 포함하여 성능을 측정해야 한다고 합니다.
2. 프롬프트 간결 및 구조화
XML 태그를 활용해 역할, 가이드라인, 정책 등을 명확히 분리하는 프롬프트 정리를 제안합니다. 사람이 구별하기 어려운 텍스트 덩어리는 모델도 구별하기 어렵기 때문에 구조화가 매우 중요하다고 이야기합니다.
3. 지시사항 대신 도구 제공
"정확하게 계산하라"는 지시사항만으로는 모델의 수학적 능력을 향상시킬 수 없으므로, 복잡한 작업에는 외부 도구를 연동하여 제공할 것을 권장합니다.
4. 균형 잡힌 트레이드오프 제시
최신 모델은 주어진 목표를 최적화하는 능력이 뛰어나기 때문에, 특정 행동의 장단점을 모두 명시할 것을 제안합니다. 예를 들어, 상담원 이관 시 발생하는 비용뿐만 아니라 잘못된 안내로 인한 환불 비용 및 고객 신뢰 하락을 함께 설명하여 모델이 올바른 결정을 내리도록 유도하는 방식이라고 합니다. 방어적인 지시를 추가할 때는 나중을 위해 이유를 기록해두는 버전 관리도 필요하다고 합니다.
5. 출력 형식 제어
일관된 답변 포맷을 위해 프롬프트에 명확한 출력 형식을 지정하고, 특정 종료 태그를 감지하면 생성을 멈추는 중단 시퀀스설정을 제안합니다.
6. 에이전틱 루프 설계
복잡한 문제를 단일 프롬프토로 처리하기보다는 생성, 평가, 수정 단계로 작업 분리를 권장합니다. 이렇게 시스템을 구축하면 토큰 소모와 지연 시간을 크게 줄이고 높은 정확도를 달성할 수 있으며, 유연한 제약 조건을 반영하기에도 유리하다고 합니다.
——
프롬프트 엔지니어링은 명확한 구조 설정, 적절한 도구 활용, 지속적인 평가, 그리고 적절한 작업 분배라고 이야기합니다. 제안하는 모든 사항을 반영하며 설계할 수 없지만, 이 부분을 기억하고 만들어가면 좋을 것 같습니다🙌 (전 일단 많이 뜯어 고쳐야할 곳이 많습니다😂)
해시태그#Claude 해시태그#Prompt 해시태그#AI