"AI가 우리 콘텐츠 다 가져간다는데 그냥 막으면 안 되나요?" 올해 상담에서 가장 자주 들은 말입니다. 막을 수 있습니다. 그 다음이 문제입니다. 실제로 전부 막아 본 제조업 회사가 어떻게 됐는지부터, 봇 이름을 어떻게 갈라 적어야 하는지까지 질문 순서대로 짚어보겠습니다.
전부 막으면 실제로 어떻게 되나요?
지오랭크가 본 제조업 H사는 사내 보안 검토를 마치고 AI 봇 이름 11개에 전면 차단을 걸었습니다. 제품 데이터가 보상 없이 학습에 빨려 들어가는 게 싫다는 이유였고 충분히 납득할 만한 판단입니다. 3개월 뒤 브랜드명과 제품군을 묻는 질문 25개를 ChatGPT와 퍼플렉시티에 넣어 봤습니다. H사가 출처로 잡힌 답변은 0건이었습니다. 빈자리는 비어 있지 않았습니다. 유통 대리점과 가격 비교 사이트가 대신 인용됐습니다. 제품 사양을 가장 정확히 아는 쪽이 설명할 권리를 잃은 셈입니다. 결국 학습용 4개만 남기고 검색·인용용 봇을 되돌렸고 5개월째에 25개 질문 중 11개에서 다시 출처로 잡혔습니다.
왜 이런 일이 생기나요?
AI 크롤러를 "AI 봇" 하나로 묶어서 봤기 때문입니다. 실제로는 하는 일이 세 갈래로 갈립니다. 첫째는 모델을 학습시키는 봇입니다. GPTBot, ClaudeBot, Google-Extended, CCBot이 여기 속하고 막으면 학습 데이터에서 빠집니다. 둘째는 검색 색인을 만드는 봇입니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot이고 이쪽을 막으면 AI 답변에 우리 링크가 걸리지 않습니다. AI 검색 유입이 그 자리에서 끊깁니다. 셋째는 사용자가 질문할 때 그 자리에서 페이지를 여는 봇입니다. ChatGPT-User, Perplexity-User가 그렇고 사람이 띄운 요청이라 애초에 접근 규칙을 그대로 따르지 않습니다. 운영사가 같아도 이름이 다르면 역할이 다릅니다. OpenAI 것이라고 GPTBot과 OAI-SearchBot을 한 묶음으로 막으면 학습을 막으려다 노출까지 같이 잃습니다.
가장 비싼 실수는 뭔가요?
Google-Extended와 Googlebot을 헷갈리는 경우입니다. Google-Extended는 제미나이 학습과 그라운딩에만 적용됩니다. 구글이 문서에 못 박아 뒀습니다. 구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않습니다. 제미나이 학습만 빼고 싶을 때 쓰는 안전한 손잡이입니다. 반면 Googlebot을 막으면 구글 검색과 AI 개요에서 통째로 사라집니다. 이름 한 글자 차이로 결과가 정반대입니다. 흔한 오해가 하나 더 있습니다. "막으면 검색 결과에서 사라진다"는 생각입니다. 접근을 막는 것과 색인에서 빼는 것은 다른 일입니다. 다른 사이트가 그 주소를 링크하고 있으면 구글은 내용을 읽지 못한 채로도 주소를 결과에 남겨 둡니다. 색인에서 빼고 싶다면 오히려 문을 열어 두고 noindex를 읽히게 해야 합니다.
파일을 고쳤는데 왜 아무 일도 안 일어나죠?
지오랭크가 진단한 B2B SaaS 기업 D사는 리뉴얼 때 스테이징용 설정이 운영 서버로 따라 올라갔습니다. 블로그 경로 전체가 막힌 상태로 10주가 흘렀고 월 인용은 42건에서 3건으로 내려앉았습니다. 서버 로그에서 GPTBot 요청은 월 1,180건에서 9건이 돼 있었습니다. 막힌 줄을 걷어냈는데 2주가 지나도 인용이 돌아오지 않았습니다. 처음엔 llms.txt와 구조화 데이터를 의심했지만 헛다리였습니다. 리뉴얼 기간에 서버가 간헐적으로 500 응답을 낸 게 원인이었습니다. 그러면 크롤러는 최대 30일까지 예전에 받아 둔 규칙을 그대로 재사용합니다. 파일을 아무리 고쳐도 바깥에서는 옛 규칙이 그대로 살아 있습니다. 응답 코드를 200으로 고정하고 6주째에 월 인용이 37건으로 올라왔습니다.
설정한 뒤에는 어떻게 확인하나요?
네 단계로 보시면 빠짐이 없습니다. 먼저 주소를 직접 열어 응답 코드가 200인지 봅니다. 다음으로 서치콘솔 보고서에서 구글이 마지막으로 읽은 내용을 확인합니다. 고쳤는데 옛 내용이 보이면 캐시가 아직 남은 상태입니다. 세 번째로 URL 검사에서 중요한 페이지가 차단으로 잡히지 않는지 봅니다. 네 번째가 진짜입니다. 서버 로그에서 봇 이름별 요청 수를 세 보세요. 허용해 뒀는데 요청이 0이면 CDN이나 방화벽이 앞단에서 막고 있다는 뜻입니다. 로그에 찍힌 이름을 그대로 믿는 것도 위험합니다. 사용자 에이전트 문자열은 누구나 똑같이 적어 넣을 수 있습니다. OpenAI와 퍼플렉시티는 공식 IP 목록을 공개하니 중요한 판단은 IP까지 맞춰 보고 내리시는 편이 안전합니다.
그래서 어디에 선을 그어야 하나요?
차단 흐름 자체는 이미 업계 평균입니다. 클라우드플레어 네트워크 기준 AI 봇 요청 차단률은 2026년 3분기 13.47%로 1년 전 5.98%에서 두 배 넘게 올랐습니다. 다만 흐름을 따라가는 일과 우리 선을 긋는 일은 별개입니다. 콘텐츠가 리드를 받는 수단인 회사라면 학습 봇까지 열어 두는 편이 유리할 때가 많습니다. 모델이 브랜드를 기억하는 통로가 학습 데이터이기 때문입니다. 반대로 콘텐츠 열람 자체가 매출인 매체라면 학습만 막고 검색·인용용 봇은 여는 설정이 기본값입니다. 중간 지대도 있습니다. 자산 성격별로 경로를 쪼개는 방식입니다. 공개 블로그는 열고 유료 자료실은 닫는 식으로요. 지금 우리 사이트 주소 뒤에 /robots.txt를 붙여 보세요. 거기 적힌 봇 이름 중 몇 개를 정확히 설명하실 수 있나요. 설명할 수 없는 줄이 있다면 그 줄이 지금 이 순간에도 AI 답변에서 우리 이름을 빼고 있을지 모릅니다.
