토론하라고 모아놓은 AI들이 서로 따지기는커녕 서로 비위를 맞추기 바빴다. 한 놈이 틀린 전제를 꺼내도, 옆 놈은 굳이 각을 세우는 대신 "오, 좋은데?" 하며 슬쩍 편을 들어준 것이다. 연구진은 이를 '의견 충돌 붕괴'라고 불렀다. 제대로 한판 붙어보기도 전에 어설픈 만장일치로 주저앉아버린다는 뜻이다.
더 허탈한 결말은 그다음이다. 이렇게 사이좋게 도출한 답은 차라리 AI 하나에 맡겨 혼자 풀게 했을 때보다 오히려 정확도가 떨어졌다. 게다가 서로 칭찬하고 맞장구치느라 토론만 쓸데없이 길어지면서 토큰(비용)을 더 잡아먹는 바람에 돈은 돈대로 깨지고 말았다.
- 나는 코드를 모르는 AI 팀장입니다, 정수진 지음
사장님들이 가장 좋아할만한 AI 에이전트 사례를 뽑으라면 직원들이 퇴근한 사이 AI 에이전트가 서로 치열하게 토론하고 아침에 출근하면 그럴싸한 결과물을 내놓는 케이스 일 것이라 생각됩니다. 너무나 이상적인 그림이죠. 최근 일본에서 열린 CDP 컨퍼런스에서도 데모를 보여주더군요. 현 시점에서 불가능한 일은 아니지만 결과물을 뜯어보면 허점이 많을 것이라 생각됩니다.
AI 전문가들은 에이전트끼리 토론할 때 일부러 까칠한 ‘말썽꾼’을 심어서, 아부가 기본값인 기계들 틈에서 기꺼이 악역 역할을 하는 AI를 둬야 원하는 수준의 산출물을 얻을 가능성이 높다고 얘기합니다. 굳이 비유하자면 요즘 인기 드라마 ‘닥터X’ 계수정 선생처럼 당당히 ‘No’를 외칠 수 있는 에이전트.
에이전트를 설계하고 검증하고 이를 기반으로 보고서를 작성하고 동료들에게 교육해서 생산성을 높이라는 미션. 아마 대부분의 AX팀이나 프로젝트에서 받은 미션일 겁니다. AX를 하려면 정제된 데이터가 파이프라인에 준비되어 AI가 이해할 수 있어야 하는데 그렇지 않은 경우도 부지기수입니다.
중요한 정보는 사람에게 있지 웹에 존재하지 않습니다. 직원들의 암묵지를 끄집어내는 게 가장 중요한데 모두가 클로드나 코덱스로 만든 데모만 이야기하는 게 26년 가을 대한민국에서 벌어지고 있는 현실입니다. 앞으로 데이터 직군에서는 치열한 고민을 통해 데이터의 정확한 의미를 정의해서 라벨링하고 AI가 학습할 수 있게 환경을 세팅하는 지휘자 역량이 요구될 겁니다.
실리콘밸리 기업의 AI 현장에서 겪은 경험담을 읽으며 다른 AI 책들에 없는 깊이가 있어 최근 출퇴근 길에 흥미롭게 읽고 있는 책. 주말에 서점에 들르시거나 가을에 읽을만한 책을 찾고 있다면 데이터를 분석하는 실무자 입장에서 적극 추천드립니다.