최근 AI 도구를 활용하는 다양한 엔지니어링 기법이 많이 논의되고 있는데, 기술적인 방법론 외에 항상 언급되고 있는 것은 전문성입니다. 전문성을 갖춘 사람들이 AI 도구를 활용한 결과물이 좋다는 이야기가 많은데요. 실제 앤트로픽이 40만 건의 데이터를 분석해보니 에이전틱 코딩에서 전문성이 성공률에 영향을 미친다고 합니다. 어떤 차이가 있을까요?
🔛 위임의 밀도감
전문가 수준의 사용자들은 프롬프트 하나당 평균 12개의 행동과 3,200단어의 결과물을 만들어내지만, 초보자는 5개 행동에 600단어에 그친다고 합니다. 더 구체적인 지시를 해야만 더 나은 결과물을 얻을 수 있다는 의미로 해석됩니다.
💡 전문성의 핵심은 이해도
위에서 말한 "전문가 수준"은 코딩 경력이 아닌 업무 이해도입니다. 코딩을 처음 해보는 회계사라도 어떤 회계 규칙을 적용해야 하는지 정확히 알고, AI가 놓친 예외를 잡아낼 수 있다면 그 과제에서는 전문가로 분류됩니다. 반대로 시니어 개발자라도 처음 다뤄보는 언어나 프레임워크에서는 초보자로 평가될 수 있다는 것입니다. AI에게 무엇을 시킬지그리고 결과가 맞는지 틀렸는지를 판단할 수 있는 이해도가 핵심임을 알수 있습니다.
👏 성공률 차이는 생각보다 작다
초보자 세션의 검증된 성공률은 15%인 반면, 중급 이상은 28~33% 수준을 기록했다고 합니다. 특이한 점은 중급자에서 전문가 구간에는 큰 차이가 없다는 건데요. 해당 업무에 대한 이해도가 어느 정도 있다면 충분히 모델로도 극복이 가능한 차이로 보입니다.
전문성은 역시나 큰 무기입니다!
하지만, 예전처럼 하나만 완벽한 경험과 지식을 갖추기보다는 중급자 수준에서 다양한 전문성을 갖추는 게 더 유리할수 있다는 생각이 드네요.🤔
출처 : Anthropic blog
