튜토리얼
ChatGPT가 우리 회사 웹사이트를 찾지 못하는 이유
AI 크롤러 차단, 인용할 수 없는 콘텐츠, 구조화된 데이터 부재까지 ChatGPT가 웹사이트를 찾지 못하는 다섯 가지 이유와 각각의 자가 점검 방법을 정리했습니다.
ChatGPT가 우리 회사에 관한 질문에 답하지 못한다면, 브랜드가 작아서인 경우는 드뭅니다. 대개는 AI 검색엔진이 읽고 인용할 수 있는 형태로 웹사이트가 존재하지 않기 때문입니다. 아래 다섯 가지 원인은 기본적인 것부터 심화된 것 순으로 정리했으며, 각 항목마다 자가 점검 방법을 덧붙였으니 어디가 막혀 있는지 정확히 짚어낼 수 있습니다.
원인 1: AI 크롤러가 웹사이트에 접근하지 못합니다
ChatGPT의 답변은 두 곳에서 나옵니다. 모델의 학습 데이터, 그리고 답변하는 순간에 실행되는 실시간 웹 검색입니다. 두 경로 모두 AI 크롤러가 웹사이트를 가져올 수 있어야 한다는 같은 전제 위에 놓여 있습니다.
주요 AI 크롤러는 모두 공개 문서에 명시된 User-Agent 이름을 사용합니다. GPTBot(OpenAI, 모델 학습용), OAI-SearchBot(OpenAI, ChatGPT 검색 색인용), ClaudeBot(Anthropic), PerplexityBot, CCBot(Common Crawl)입니다. robots.txt가 이들을 차단하고 있으면 콘텐츠가 AI의 시야에 들어가지 못합니다. ChatGPT 검색 결과에 노출되는지를 결정하는 것은 OAI-SearchBot입니다. GPTBot을 차단하면 모델 학습에서만 제외되며, ChatGPT 검색에서 사라지게 만드는 것은 OAI-SearchBot 차단입니다.
Google-Extended는 따로 짚어둘 필요가 있습니다. 페이지를 가져오는 크롤러가 아니라, Google이 여러분의 콘텐츠를 AI 학습에 사용해도 되는지를 결정하는 robots.txt의 제어 토큰이며, 실제 크롤링은 여전히 Googlebot이 수행합니다.
많은 웹사이트 템플릿과 보안 플러그인은 낯선 크롤러를 기본적으로 차단하는데, 정작 사이트 운영자는 이 사실을 모릅니다. sitemap이 없는 것도 흔한 문제입니다. 이 경우 크롤러는 전체 페이지 목록을 확보하지 못합니다.
자가 점검: 브라우저에서 yourdomain.com/robots.txt를 열고 위에 나온 크롤러 이름을 검색해, 해당하는 Disallow 규칙이 있는지 확인하십시오. 또한 User-agent: * 그룹에 사이트 전체를 막는 Disallow: / 같은 규칙이 들어 있는지도 살펴보십시오. 이름이 따로 명시되지 않은 크롤러는 모두 이 기본 그룹의 규칙을 따르기 때문입니다. 그다음 yourdomain.com/sitemap.xml을 열어 파일이 존재하는지, 주요 페이지가 목록에 들어 있는지 확인하십시오.
원인 2: 콘텐츠에 인용할 만한 진술이 없습니다
AI 엔진은 질문에 답할 때 그 자체로 완결된 문장을 뽑아냅니다. 인용할 만한 진술이란 주변 맥락 없이도 하나의 사실을 설명해 내는 문장을 말합니다.
"지금 특별한 서비스를 경험하세요" 같은 슬로건에는 정보가 담겨 있지 않아 AI가 인용할 것이 없습니다. 반면 "Example Trading Co.는 클라우드 회계 시스템을 제공하는 홍콩 소프트웨어 기업입니다" 같은 문장이 인용될 수 있는 유형입니다.
자가 점검: 사이트에서 아무 페이지나 열어 문장 하나하나에 대해 물어보십시오. 이 문장만 따로 떼어냈을 때 독자가 여러분이 누구인지, 무엇을 하는지, 어디서 사업하는지 알 수 있습니까? 모든 문장이 앞뒤 문맥이 있어야만 이해된다면, AI 역시 그 내용을 이해하지 못합니다.
원인 3: 페이지에 구조화된 데이터가 없습니다
구조화된 데이터는 기계가 페이지 내용을 정확히 이해할 수 있게 해주는 표준 마크업으로, 보통 페이지 소스 안에 JSON-LD 형식으로 작성합니다. 중소기업 웹사이트라면 Organization(회사 정보), FAQPage(질문과 답변 콘텐츠), BreadcrumbList(페이지 계층 구조)가 기본 구성입니다.
그중에서도 FAQPage 마크업은 추가할 가치가 큽니다. 질문과 답변 콘텐츠를 기계가 바로 읽을 수 있는 구조로 바꿔주기 때문에, AI 엔진이 내용을 뽑아내 인용하기가 쉬워집니다.
자가 점검: 웹페이지에서 마우스 오른쪽 버튼을 눌러 페이지 소스 보기를 선택한 뒤 application/ld+json을 검색해 보십시오. 검색 결과가 하나도 없다면 그 페이지에는 구조화된 데이터가 전혀 없다는 뜻입니다.
원인 4: 브랜드 정보가 흩어져 있고 일관되지 않습니다
AI 엔진은 여러 출처를 교차 확인해 기업의 기본 정보를 판단합니다. 웹사이트에는 "Example Trading Company Limited", 소셜 페이지에는 "Example Trading Co.", 기업 디렉터리에는 아직 예전 주소가 올라와 있다면, AI는 이들이 모두 같은 회사를 가리키는지 확신할 수 없어 아예 답하지 않는 쪽을 택합니다.
중문 사명과 영문 사명을 함께 쓰는 홍콩 기업은 특히 이 문제에 취약합니다. 두 이름이 서로 다른 플랫폼에서 따로 돌아다니는데, 이 둘을 하나의 완결된 문장으로 이어주는 페이지가 어디에도 없기 때문입니다.
자가 점검: 웹사이트, 소셜 페이지, 기업 디렉터리에 표시된 회사명, 주소, 전화번호를 옮겨 적어 나란히 놓고 비교해 보십시오. 회사 소개 페이지에는 중문 사명, 영문 사명, 사업 분야를 하나의 완결된 서술문으로 함께 밝혀두어야 합니다.
원인 5: 사이트가 너무 새롭고 외부의 뒷받침이 없습니다
AI 엔진은 다른 출처가 뒷받침해 주는 정보를 인용하는 쪽을 선호합니다. 막 문을 연 사이트라면 이를 언급하는 외부 웹사이트가 없어, 콘텐츠를 아무리 잘 써 두어도 AI가 신뢰할 근거가 없습니다. 모델 학습 데이터에는 기준 시점이 있기 때문에, 아주 새로운 사이트는 애초에 포함되지 않았을 수도 있습니다.
자가 점검: 검색엔진에 site:yourdomain.com을 입력해 몇 개의 페이지가 색인되어 있는지 확인하십시오. 그다음 ChatGPT의 검색 기능이나 Perplexity에 브랜드명을 물어보고 어떤 출처를 인용하는지 살펴보십시오. 인용된 곳이 전부 제3자 사이트이고 자사 웹사이트는 한 번도 나오지 않는다면, 문제는 색인과 외부 뒷받침에 있습니다.
자주 묻는 질문
ChatGPT의 답변은 어디에서 나옵니까?
모델의 학습 데이터, 그리고 답변하는 순간에 실행되는 실시간 웹 검색에서 나옵니다. 사이트가 크롤링되거나 색인되지 않았다면 두 경로 어디에도 여러분의 콘텐츠가 담기지 않습니다.
GPTBot이란 무엇입니까?
GPTBot은 모델 학습을 위한 OpenAI의 크롤러입니다. OpenAI는 이 외에도 OAI-SearchBot(ChatGPT 검색용)과 ChatGPT-User(사용자를 대신한 실시간 웹 열람용)를 운영하며, 세 가지는 robots.txt에서 따로 제어됩니다. 따라서 GPTBot을 차단해도 ChatGPT 검색에서 제외되지는 않습니다.
llms.txt란 무엇입니까?
llms.txt는 웹사이트 루트 디렉터리에 두는 텍스트 파일 제안입니다. 대규모 언어 모델이 읽을 수 있도록 사이트의 핵심 콘텐츠를 Markdown으로 요약하며, robots.txt를 대체하는 것이 아니라 보완합니다.
AEO는 무슨 뜻이며, 세관의 AEO 제도와 관련이 있습니까?
여기서 AEO는 Answer Engine Optimization, 즉 AI 엔진이 콘텐츠를 쉽게 인용하도록 만드는 작업을 뜻하며, GEO(Generative Engine Optimization)라고 부르기도 합니다. 세관의 Authorized Economic Operator 제도, 그리고 한 패션 유통기업의 주식 티커와는 약어만 같을 뿐입니다. 많은 실무자가 그냥 AI 가시성이라고 말하는 이유도 여기에 있습니다.
개선한 뒤 효과가 나타나기까지 얼마나 걸립니까?
정해진 일정은 없습니다. AI 엔진마다 데이터를 갱신하는 주기가 다르기 때문에, 개선한 뒤 일정한 간격을 두고 각 도구에 같은 질문을 던져보는 것이 현실적인 방법입니다.
AI의 시선으로 내 사이트 확인하기
위의 다섯 가지 점검은 모두 직접 해볼 수 있지만, robots 규칙과 구조화된 데이터, 콘텐츠 형식을 페이지마다 하나씩 살펴보려면 적지 않은 시간이 듭니다. 무료로 제공되는 AEO Auditor(ai.ud.hk/aeo-auditor)는 URL만 입력하면 AI 가시성 점검을 실행해 줍니다. 웹사이트가 AI에게 어떻게 보이는지 먼저 확인하면, 어디부터 손볼지 정하기가 훨씬 수월해집니다.
