새 홈페이지가 AI 답변에 인용될 기회를 얻으려면 robots.txt에서 각 서비스의 검색용 로봇(ChatGPT 검색의 OAI-SearchBot, Perplexity의 PerplexityBot, Claude의 Claude-SearchBot)을 막지 않아야 합니다. 구글의 AI 개요와 AI 모드는 별도 파일이나 전용 구조화 데이터 없이, 색인되고 스니펫으로 보여 줄 수 있는 쪽이면 대상이 됩니다. 어느 경우든 인용은 보장되지 않으며, LJH는 질문에 바로 답하는 첫 문단과 작성 주체·날짜를 기본으로 넣습니다.
검색용 로봇과 학습용 로봇은 따로 정합니다.
| 서비스 | 검색·인용용 | 사용자 요청 시 방문 | 모델 학습용 |
|---|---|---|---|
| ChatGPT | OAI-SearchBot | ChatGPT-User | GPTBot |
| Perplexity | PerplexityBot | Perplexity-User | PerplexityBot은 학습용이 아니라고 안내 |
| Claude | Claude-SearchBot | Claude-User | ClaudeBot |
| Google AI 개요·AI 모드 | Googlebot(일반 검색과 같음) | 해당 없음 | Google-Extended(Gemini 학습·근거 제공 제어, 검색 포함 여부와 무관) |
검색·인용용 로봇을 막으면 그 서비스의 검색 답변에 사이트가 근거로 나오기 어렵습니다. OpenAI는 ChatGPT 검색 결과에 나오려면 OAI-SearchBot을 robots.txt에서 허용하라고 안내하고, 바꾼 robots.txt가 검색에 반영되기까지 약 24시간이 걸릴 수 있다고 밝힙니다. 학습용 로봇을 허용할지는 별개의 판단입니다. 학습을 막아도 검색·인용용 로봇은 열어 둘 수 있습니다.
사용자 요청 시 방문하는 로봇(ChatGPT-User, Perplexity-User, Claude-User)은 누군가 답변을 받는 도중에 그 쪽을 직접 열어 볼 때 쓰입니다. Perplexity는 Perplexity-User가 사용자의 요청으로 움직이기 때문에 대개 robots.txt 규칙을 적용하지 않는다고 설명합니다.
공개 때 열어 둘 것, 넣어 둘 것
- robots.txt에서 검색·인용용 로봇을 막지 않았는지(전체 허용이어도 개별 차단 줄이 따로 없는지)
- 방화벽이나 로봇 차단 서비스가 AI 로봇을 일괄 차단하지 않는지
- 구글 AI 기능의 대상이 되려면 색인되고 스니펫 표시가 가능해야 하므로 nosnippet 같은 제한을 무심코 넣지 않았는지
- 쪽마다 첫 2~3문장이 그 쪽 제목의 질문에 바로 답하는지
- 작성 주체와 작성·확인 날짜, 근거 출처가 화면에 있는지
- 회사 이름, 서비스 범위, 연락 방법이 쪽마다 다르게 적혀 있지 않은지
llms.txt 같은 파일은 사이트 안내를 정리해 두는 보조 수단입니다. 구글은 AI 개요와 AI 모드에 나오기 위해 새 기계용 파일이나 AI 텍스트 파일, 특별한 schema.org 구조화 데이터가 필요하지 않다고 안내합니다. LJH도 llms.txt를 두지만 인용을 위한 장치로 설명하지 않습니다.
LJH가 공개 때 열어 둔 상태
로봇 허용은 문을 열어 둔 것이고, 인용은 그 안의 문장이 질문에 답할 때 생깁니다. 둘 다 필요하지만 어느 쪽도 인용을 보장하지는 않습니다.
자주 묻는 질문
AI 답변에 나오려면 llms.txt가 꼭 있어야 하나요?
필수라는 공식 기준은 확인되지 않았습니다. 구글은 AI 기능에 나오기 위해 새 기계용 파일이나 AI 텍스트 파일이 필요하지 않다고 안내합니다. 있으면 사이트 안내를 정리한 보조 자료 정도로 봅니다.
GPTBot을 막으면 ChatGPT 검색에서도 빠지나요?
OpenAI는 학습용 GPTBot과 검색용 OAI-SearchBot을 구분합니다. ChatGPT 검색 결과에 나오는 데 필요한 것은 OAI-SearchBot 허용이라고 안내합니다.
AI 답변용 구조화 데이터를 따로 넣어야 하나요?
구글은 AI 개요와 AI 모드를 위해 따로 추가할 schema.org 구조화 데이터는 없다고 밝힙니다. 화면 내용과 일치하는 일반 구조화 데이터면 충분하고, 화면에 없는 내용을 구조화 데이터에만 넣지 않습니다.
새 사이트도 바로 AI 답변에 나올 수 있나요?
로봇을 열어 두는 것은 조건일 뿐입니다. 구글 AI 기능은 색인된 쪽이 전제이고, 새 사이트는 색인에 몇 주가 걸릴 수 있습니다. LJH도 공개 뒤 첫 노출이 매우 적었기 때문에 AI 인용은 측정 전이라고 적어 둡니다.
아래 링크는 각 회사가 공개한 안내입니다. LJH의 제휴·인증·성과를 뜻하지 않습니다.OpenAI: 크롤러 안내(OAI-SearchBot·ChatGPT-User·GPTBot) ↗Perplexity: 크롤러 안내(PerplexityBot·Perplexity-User) ↗Anthropic: 웹 수집 로봇과 차단 방법(ClaudeBot·Claude-User·Claude-SearchBot) ↗Google 검색 센터: AI 기능과 웹사이트 ↗Google 검색 센터: Google의 일반 크롤러 목록(Google-Extended) ↗