앤트로픽(Anthropic)에서 약 40만 건의 실제 클로드 코드(Claude Code) 세션에서 개인정보를 제외하고 분석한 흥미로운 연구 보고서를 발표했습니다. 결론부터 말하자면, 에이전트 협업의 성패를 가르는 건 화려한 프롬프팅 기술이나 코딩 역량이 아니라, 바로 현업의 '도메인 지식(Domain Expertise)'과 ‘AI가 잘못 출력한 결과물을 바로 잡을 수 있는 역량’이었습니다.
가령 대용량 엑셀 매출 데이터를 분석하는 상황을 보면 초보와 고수의 차이가 극명하게 갈립니다. 초보자는 "매출 데이터 분석해서 인사이트 도출해줘"라고 프롬프트를 모호하고 두루뭉실하게 지시합니다. 이런 경우 AI는 누구나 아는 뻔한 월별 추이만 나열하거나 분석을 통해 몇가지 사실만 출력합니다. 대부분의 초보는 여기서 더 나아가지 않고 만족합니다.
반면 비즈니스 맥락을 꿰뚫고 있는 고수는 아래와 같이 프롬프트를 작성하고 계속 업데이트하면서 AI에게 지시를 내립니다. 본인이 원하는 수준의 결과물이 나올 때까지 집요하게요.
- 분석을 왜 하는지 배경을 충분하다 못해 과하게 설명 (회의록, 요청자의 이메일 전문 등)
- 데이터에서 각각의 칼럼이 의미하는 바를 정확히 설명 (AI가 이해할 수 있게 설명하는 게 포인트)
- 분석하는 과정에서 애매하거나 확인이 필요할 땐 반드시 물어보기 (중요한 건 속도가 아닌 정확도, 작은 요소를 분석해도 확실하게)
- 한 번에 분석을 하지 말고 순차적 진행하면서 검증에 집중 (검증은 아무리 강조해고 지나치지 않음)
클로드에서 사용자의 프롬프트를 분석한 보고서에 따르면 사용자가 명확한 도메인 지식을 보여줄 때, AI 에이전트는 단 한 번의 지시로 2.4배 더 많은 행동(Actions)을 수행하고, 5배 더 풍부한 결과물을 스스로 만들어냈다고 합니다. 이는 내 지식의 한계와 비즈니스 이해도만큼 에이전트가 움직인다는 것을 의미합니다.
게다가 마케터나 재무 담당자 같은 비개발 직군이 에이전트로 기술적인 과제를 성공시킨 확률은 전문 소프트웨어 엔지니어와 고작 5~7%p 차이밖에 나지 않았다고 하네요. 구현(How)의 장벽은 AI가 다 깨부쉈고, 이제 무엇(What)을 해결할지 정의하는 기획력만 남은 것입니다.
시니어가 AI 에이전트 활용에 절대적으로 유리한 이유입니다. 주니어에게 필요한 건 시니어의 산출물을 기반으로 해당 도메인을 깊게 이해하기 위한 학습과 배우려는 의지입니다. 때문에 기술보다는 도메인 지식을 강화하는데 시간을 투자할 필요가 있습니다.
AI 에이전트는 아무것도 모르는 사람을 단숨에 전문가로 만들어주는 요술램프가 아닙니다. 중요한 건 AI 에이전트가 출력한 결과물을 실제 업무 현장에서 쓸 수 있는가 입니다. 아무리 화려한 결과물이라도 신뢰할 수 없으면 의미가 없고, 도메인 지식이 낮은 외부 컨설턴트가 만든 결과물이라면 볼 필요도 없습니다. 그러니 AI와 협업할 때는 맥락을 충분히 설명하고 결과를 철저히 검증하면서 산출물을 만들어야 합니다.
AI한테 이것저것 시켜봤는데 결과물이 겉돌고 실망스러웠다면, 질문의 기술을 바꾸기 전에 내가 내 업무의 워크플로우와 본질을 얼마나 구체적인 문장으로 쪼개고 통제할 수 있는지부터 점검해보시기 바랍니다. 결국 이 명확한 문장을 다듬는 튜닝의 반복이 에이전트 시대의 진짜 경쟁력이 될 테니까요.