AI 검색 홈페이지 진단은 네 단계로 합니다. 첫째, 엔진별 검색용 로봇이 robots.txt와 방화벽에서 막히지 않았는지 봅니다. 둘째, 구글과 빙에 색인됐는지, nosnippet·max-snippet 같은 설정이 AI 기능에서 쓸 수 있는 범위를 줄이지 않는지 봅니다. 셋째, 같은 내용의 쪽이 여럿이라 엉뚱한 쪽이 대표로 뽑히지 않는지 봅니다. 넷째, 구글·빙은 공식 화면으로, 나머지 AI 서비스는 직접 기록표로 결과를 확인합니다.
1단계: 읽을 수 있는지 — 로봇과 방화벽
| 확인할 것 | 막혔을 때 생기는 일 | 진단 방법 |
|---|---|---|
| OAI-SearchBot | ChatGPT 검색 답변에 나오지 않음(탐색용 링크로만 남을 수 있음) | robots.txt 규칙, OpenAI가 공개한 IP 범위 허용 여부 |
| PerplexityBot | Perplexity 검색 결과에 노출·링크되기 어려움 | robots.txt 규칙, Perplexity가 공개한 IP 목록 |
| Claude-SearchBot | Claude 검색 결과에서 덜 보이고 덜 정확하게 표현될 수 있음 | robots.txt 규칙 |
| Claude-User·ChatGPT-User·Perplexity-User | 사용자가 요청한 순간 그 쪽을 못 읽음 | 사용자 요청형은 robots.txt를 따르지 않는 경우도 있음(각 안내 확인) |
| Googlebot·Bingbot | 구글 AI 기능·빙 Copilot의 근거 색인에서 빠짐 | 각 엔진의 URL 검사 도구 |
방화벽에서 IP를 막아 AI 로봇을 거르는 방법은 겉보기에 확실해 보이지만 부작용이 있습니다. Anthropic은 IP 차단에 기대지 말라고 안내합니다. 로봇이 robots.txt조차 읽지 못해 원하는 설정이 제대로 전달되지 않을 수 있기 때문입니다. 원하는 차단과 허용은 robots.txt에 로봇 이름별로 적는 편이 진단도 쉽습니다. OpenAI와 Perplexity는 robots.txt 변경이 반영되는 데 최대 하루쯤 걸릴 수 있다고 안내하므로, 고친 날짜를 적어 두고 다음 날 이후에 다시 봅니다.
2·3단계: 써도 되는지, 어느 쪽이 대표인지
구글은 AI 개요와 AI 모드의 근거가 되려면 쪽이 색인되고 스니펫으로 보여 줄 수 있어야 한다고 설명합니다. robots 메타 태그 안내에는 nosnippet이 AI 개요와 AI 모드의 직접 입력으로 쓰이는 것까지 막고, max-snippet은 쓸 수 있는 분량을 제한한다고 적혀 있습니다. 개인정보 보호나 다른 이유로 넣어 둔 설정이 AI 기능의 근거 자격을 줄이고 있지 않은지 쪽 틀 단위로 확인합니다.
- 쪽 틀(템플릿)에 nosnippet이나 아주 작은 max-snippet 값이 들어 있지 않은지
- 본문 일부에 data-nosnippet을 넓게 걸어 핵심 답까지 가리지 않았는지
- 핵심 답이 이미지·스크립트 안에만 있지 않고 HTML 글자로 읽히는지
- 같은 내용의 쪽이 여럿이면 대표 쪽 하나로 모았는지(빙은 비슷한 쪽을 묶어 하나만 쓴다고 안내)
- llms.txt는 있더라도 보조 자료로만 보고 있는지(구글 검색은 쓰지 않는다고 밝힘)
4단계: 엔진별로 확인하는 방법과 우리 기록
| 엔진 | 확인하는 화면 | 읽을 때 주의 |
|---|---|---|
| 구글 AI 개요·AI 모드 | 서치콘솔 실적 보고서(웹)와 생성형 AI 실적 보고서 | 일반 검색과 함께 집계되는 부분이 있어 기간을 맞춰 비교 |
| 빙 Copilot·AI 요약 | Bing Webmaster Tools AI Performance(공개 미리보기) | 근거 검색어는 표본, 인용 지표는 순위가 아님 |
| ChatGPT·Perplexity·Claude | 정해진 질문표로 직접 확인한 기록 | 검색 기능 사용 여부, 날짜, 근거 링크를 함께 적음 |
| 모든 엔진 공통 | 서버 접속 기록의 로봇 방문 | 이름은 흉내 낼 수 있으므로 공개 IP 범위와 대조 |
진단에서 '모두 정상'이 나와도 끝이 아닙니다. 50곳 점검에서도 로봇과 파일은 다 열려 있었지만 제목과 피드에서 빈 곳이 나왔습니다. AI 검색 대응은 열어 둔 문 뒤의 내용까지 봐야 끝납니다.
자주 묻는 질문
AI 검색 홈페이지 진단은 얼마나 걸리나요?
로봇·응답 확인은 사이트 하나에 길지 않지만, 엔진별 결과 확인은 같은 질문을 간격을 두고 반복해야 하므로 몇 주 단위로 봅니다. LJH는 즉시 확인한 것과 기간을 두고 볼 것을 나눠 보고합니다.
학습용 로봇을 막으면 AI 검색 노출도 줄어드나요?
OpenAI·Perplexity·Anthropic 모두 학습용과 검색용 로봇을 나눠 안내합니다. 학습용(GPTBot, ClaudeBot 등)을 막아도 검색용 로봇을 열어 두면 검색 답변의 근거가 될 길은 남습니다.
방화벽 업체가 AI 로봇을 기본으로 막는다고 해요.
그 설정이 검색용 로봇까지 막는지 확인해야 합니다. 서버 접속 기록에서 검색용 로봇 방문이 끊겼는지 보고, 필요하면 robots.txt로 원하는 로봇만 허용·차단하는 방식으로 바꿉니다.
AI 검색 사이트 분석 보고서에는 무엇이 들어가야 하나요?
로봇별 허용 상태, 구글·빙 색인과 스니펫 제한, 중복 쪽 목록, 엔진별 확인 방법과 날짜, 측정하지 않은 항목의 목록이 들어가야 합니다. 측정하지 않은 칸을 비워 두지 않고 미측정이라고 적습니다.
생성형 AI 검색 대응은 한 번 하면 끝인가요?
로봇 정책과 측정 화면이 자주 바뀝니다. 빙의 AI Performance도 2026년에 미리보기로 나와 기능이 더해지는 중입니다. 분기마다 같은 점검표로 다시 확인하는 편이 안전합니다.
아래 링크는 각 회사가 공개한 안내입니다. LJH의 제휴·인증·성과를 뜻하지 않습니다.OpenAI: 크롤러 안내(OAI-SearchBot·ChatGPT-User·GPTBot) ↗Perplexity: 크롤러 안내(PerplexityBot·Perplexity-User) ↗Anthropic: 웹 수집 로봇과 차단 방법(ClaudeBot·Claude-User·Claude-SearchBot) ↗Google 검색 센터: AI 기능과 웹사이트 ↗Google 검색 센터: robots 메타 태그(nosnippet·max-snippet·data-nosnippet) ↗Bing 웹마스터 블로그: Bing Webmaster Tools AI Performance 공개 미리보기(2026년 2월) ↗Bing 웹마스터 블로그: 중복 콘텐츠가 검색·AI 노출에 미치는 영향(2025년 12월) ↗