어려운 말 대신, 쉬운 체크리스트
AI최적화·LLM최적화, AI 검색 로봇이 우리 쪽을 읽게 robots.txt부터 보는 법
AI최적화나 LLM최적화를 말하기 전에, AI 검색 로봇이 우리 홈페이지에 들어올 수 있는지부터 확인해야 합니다. robots.txt에서 볼 로봇 이름과 확인 순서, 막혀 있을 때 고치는 법을 정리했습니다.
‘AI최적화’ — 내 업종으로 바로 상담받기
업종에 제한 없이 상담합니다. 문의만으로 계약되지는 않아요.
AI최적화의 첫 단계는 문 열기입니다. 챗GPT 검색은 OAI-SearchBot이라는 로봇으로 홈페이지를 읽고, 구글 AI 개요는 일반 검색과 같은 Googlebot 수집 결과를 씁니다. 우리 사이트 주소 뒤에 /robots.txt를 붙여 열어 보고, 이 로봇들이 막혀 있지 않은지 확인합니다. 문이 열려 있어야 그다음 단계인 질문에 답하는 문단 쓰기가 의미를 가집니다.
robots.txt에서 볼 로봇 이름
- OpenAI는 로봇을 용도별로 나눕니다. GPTBot은 모델 학습용, OAI-SearchBot은 챗GPT 검색 결과용, ChatGPT-User는 사용자가 요청할 때 쪽을 여는 용도입니다.
- OpenAI 안내에 따르면 GPTBot을 막아도 OAI-SearchBot을 열어 두면 챗GPT 검색 결과에는 나올 수 있습니다.
- 구글의 Google-Extended는 Gemini 학습 등에 쓸지를 정하는 표시이며, 구글 검색 노출에는 영향이 없다고 구글은 안내합니다.
직접 확인하는 순서
- 브라우저 주소창에 우리 주소 뒤 /robots.txt를 붙여 엽니다. 파일이 없으면 모든 로봇에게 열린 상태입니다.
- ‘User-agent: *’ 아래 ‘Disallow: /’가 있으면 모든 로봇이 전부 막힌 것입니다.
- OAI-SearchBot이나 Googlebot 이름 아래에 Disallow 줄이 있는지 한 줄씩 봅니다.
robots.txt가 열려 있어도 막히는 경우
- 웹 방화벽이나 CDN의 봇 차단 설정이 AI 로봇을 막고 있을 수 있습니다. 호스팅·CDN 관리 화면의 봇 설정을 확인합니다.
- 서버 접속 기록에 해당 로봇 이름이 찍히는지, 응답이 차단 코드로 나가는지 봅니다.
- 쪽 내용이 자바스크립트를 실행해야만 보이면, 로봇에 따라 본문을 읽지 못할 수 있습니다. 핵심 글은 HTML에 바로 들어 있게 합니다.
구글 AI 개요에 나오는 조건
- 구글은 AI 개요 같은 AI 기능에 나오려면 일반 검색처럼 색인되어 있고 검색 결과에 미리보기가 나올 수 있는 쪽이면 된다고 안내합니다.
- AI 기능에 나오려고 따로 만들 파일이나 특별한 표시가 필요 없다고도 밝혔습니다.
- nosnippet 같은 미리보기 제한 표시를 넣은 쪽은 AI 기능에서도 쓰이지 않을 수 있으니, 꼭 필요한 곳에만 씁니다.
LLM최적화라는 말을 들었을 때
- LLM은 챗GPT 같은 대형 언어 모델을 말합니다. 모델이 학습한 내용과, 검색해서 출처를 붙이는 답은 서로 다른 경로입니다.
- 출처 링크가 붙는 답에 나오려면 검색 로봇이 쪽을 읽을 수 있고, 질문 하나에 짧고 분명하게 답하는 문단이 있어야 합니다.
- ‘AI 답변 1순위 보장’ 같은 말은 확인할 방법이 없으니, 어떤 질문으로 몇 번 재서 몇 번 나왔는지 기록을 달라고 합니다.
고친 뒤 확인하는 법
- robots.txt를 고친 날짜를 적고, 이후 서버 접속 기록에 로봇이 다시 들어오는지 봅니다.
- 구글 서치콘솔의 URL 검사로 쪽이 색인되어 있는지 확인합니다.
- 같은 질문을 정해 두고 같은 요일에 챗GPT 검색과 구글에서 다시 물어 출처 칸을 적습니다.
이 쪽의 사실 근거
- 로봇 이름과 용도는 OpenAI 개발자 문서의 크롤러 안내와 구글 검색 센터의 구글 크롤러 목록을 쉬운 말로 옮겼습니다.
- AI 개요 조건은 구글 검색 센터 ‘AI 기능과 웹사이트’ 안내의 내용입니다. 로봇 이름과 정책은 바뀔 수 있으니 고치기 전에 원문을 봅니다.
AI최적화는 무엇부터 하나요?
우리 주소 뒤에 /robots.txt를 붙여 열고, OAI-SearchBot과 Googlebot이 막혀 있지 않은지부터 봅니다.
GPTBot을 막으면 챗GPT 검색에서 빠지나요?
OpenAI 안내로는 검색 결과용 로봇은 OAI-SearchBot입니다. GPTBot을 막아도 OAI-SearchBot이 열려 있으면 검색 결과에 나올 수 있습니다.
구글 AI 개요에 나오려면 따로 할 일이 있나요?
구글은 특별한 파일이 필요 없고, 일반 검색에 색인되고 미리보기가 가능한 쪽이면 된다고 안내합니다.
robots.txt가 열려 있는데도 안 들어오면요?
방화벽이나 CDN의 봇 차단 설정을 확인하고, 서버 접속 기록에 로봇 이름이 찍히는지 봅니다.
LLM최적화를 하면 AI 답변에 꼭 나오나요?
꼭 나온다고 말할 수 없습니다. 저희는 AI 답변 노출을 보장하지 않고, 정한 질문으로 날짜별로 다시 재는 기록을 함께 남깁니다.
상담에서 무엇을 봐 주나요?
홈페이지 주소를 문의 양식에 남겨 주시면 robots.txt와 핵심 쪽의 HTML 상태부터 함께 확인합니다.