몇 년 전, 커뮤니티에서 소소하게 화제가 된 일화가 있어요. 바로 '세종대왕 맥북 던짐' 사건인데요. 한 유저가 ChatGPT에 “조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건에 대해 알려줘”라고 물었는데, 훈민정음 초고를 작성하던 중 세종대왕이 문서 작성 중단에 분노해 맥북 프로를 던졌다는 식으로 답을 알려줬어요.
당시만 해도 AI 환각(할루시네이션)에 의한 답변은 신기하고 재미있는 콘텐츠처럼 소비됐지만, 이제는 상황이 조금 바뀌었어요. AI가 만들어낸 그럴듯한 거짓말은 더 이상 웃고 넘길 해프닝이 아니게 됐거든요. 기업의 보고서, 광고, CS, 데이터 분석까지 AI가 도입되는 도메인이 넓어지면서, 잘못된 답 하나가 곧 신뢰도 하락 이슈로 번지고 있어요.
AI를 논하던 보고서가 AI에 속았다
지난주, 글로벌 컨설팅 기업 KPMG가 AI 활용 실태에 대한 보고서를 회수했어요. 보고서 내용 중 은행 등 기관의 AI 활용 사례가 사실과 다르게 적혀있었음이 확인됐기 때문이에요. 아이러니하게도 AI의 가능성을 높게 평가하던 보고서에, AI가 만들어낸 거짓말이 섞여 있었어요.
문제는 이런 일이 이제 단발성 이슈에 그치지 않고 있어요. AI가 광고 문안을 작성하고, 고객 문의에 답하고, 내부 자료를 요약하는 순간마다 AI 환각이 생기죠. 이렇게 발생한 잘못된 AI 산출물은 기업의 신뢰도 하락과 잘못된 의사결정으로 곧장 이어지고 있어요.
실제로 AI 환각이 지속적으로 발생하자, 사람들은 AI가 내놓는 답변을 더 조심스럽게 바라보기 시작했어요. WordPress VIP 조사에 따르면, 미국 소비자의 86%는 AI가 만든 답변을 완전히 신뢰하지 않고, 여전히 원문 출처를 확인하고 싶어 한다고 답했어요.
그래서 AI를 연구하고 활용하는 사람들의 관점도 조금씩 바뀌고 있어요. 이제는 “AI를 어디에 더 잘 쓸 수 있을까?”에만 머무르지 않고, 동시에 “AI가 만든 결과를 어떻게 검증할 수 있을까?”라는 질문도 함께 던지기 시작했어요.
AI가 ‘모른다’라고 말하게 만드는 노력들
AI 환각을 줄이기 위한 시도는 다양하지만, 요즘은 크게 두 가지로 나뉘어요. 하나는 AI가 답변을 만들기 전에 더 정확한 근거를 참고하게 만드는 방식이고, 다른 하나는 AI가 만든 답변을 한 번 더 점검하는 방식이에요.
RAG(검색 증강 생성)를 활용하는 방법은 전자에 가까워요. AI가 아무 근거 없이 답을 만들어내지 않도록, 외부 문서나 사내 데이터를 함께 참고하게 만드는 방식이죠. 반면 답변이 사실과 맞는지, 신뢰할 만한 출처가 있는지 확인하는 것은 답변 생성 이후의 검증에 가까워요. 구글 클라우드나 마이크로소프트 Azure 같은 빅테크 기업들은 AI에 들어오는 질문과 나가는 답변을 함께 점검하는 장치를 마련해, 입력과 출력을 함께 관리하는 방향으로 안전장치를 강화하고 있어요.
하지만 다른 방향에서 문제를 해결하려는 시도도 등장하고 있어요. 애초에 AI가 모르는 것을 모른다고 말하게 만들자는 접근이에요. KAIST 연구팀은 AI가 실제 데이터를 학습하기 전부터 과하게 확신하는 경향이 생길 수 있다고 보고, 실제 데이터 학습 전에 무작위 노이즈로 짧게 ‘예열’하는 방식을 제안했어요. 쉽게 말하면 AI가 지식을 배우기 전에, 먼저 “나는 아직 모른다”는 상태를 익히게 하는 거예요.
네이버 클로바팀은 AI가 지어낸 말일수록 흔들린다는 점에 주목했어요. 그래서 하나의 답변을 받은 뒤, 그 답변에 이어질 뒷문장을 여러 번 만들어 보게 했어요. 사실에 가까운 답변은 이어지는 문맥도 비슷한 방향으로 흘러갔지만, 환각된 답변은 생성할 때마다 세부 내용이 달라졌어요. 마치 꾸며낸 이야기는 다시 물을 때마다 설정이 조금씩 바뀌는 것처럼요. 이런 식으로 첫 답변 이후에 만들어지는 미래 문맥(Future Context)을 새로운 환각 검출 단서로 활용하고 있어요.