두 설정은 막는 단계가 다릅니다
robots.txt와 noindex 비교 (구글·네이버 공식 문서, 2026-11-05 확인)
| 구분 | robots.txt | noindex |
|---|---|---|
| 무엇을 막나 | 검색로봇의 방문·수집 | 검색 결과 노출(색인) |
| 어디에 있나 | 사이트 맨 위 경로의 텍스트 파일 하나 | 각 페이지 머리 부분의 로봇 메타 태그, 또는 서버 응답 헤더(X-Robots-Tag) |
| 구글 설명 | 주로 요청량 관리용이며 페이지를 구글에서 숨기는 수단이 아님. 막힌 페이지도 다른 곳에서 링크되면 설명 없이 주소가 결과에 나올 수 있음 | 검색로봇이 태그를 읽으면 다른 사이트의 링크와 관계없이 그 페이지를 결과에서 뺌 |
| 네이버 설명 | 파일이 없으면 모든 콘텐츠를 수집해도 되는 것으로 봄. 전체 수집 금지는 어떤 페이지도 수집 대상이 되지 않아 권장하지 않음 | noindex를 쓰면 그 페이지는 검색 결과에서 제외. 특별한 제약이 없다면 태그를 지우거나 index,follow로 두기를 권장 |
robots.txt 확인하는 법
- 브라우저 주소창에 손님에게 알리는 실제 주소 그대로 'https://우리가게주소/robots.txt'를 입력합니다. 네이버 가이드에 따르면 규칙은 같은 호스트·프로토콜·포트에만 적용되어, www 주소의 robots.txt는 www가 없는 주소나 https 주소에는 적용되지 않습니다.
- '페이지를 찾을 수 없음'이 나오면 파일이 없는 것입니다. 이 경우 네이버는 모두 허용으로 해석합니다.
- 글자가 보이면 'User-agent: *' 아래에 'Disallow: /'가 있는지 봅니다. 이 한 줄이 있으면 모든 검색로봇에게 사이트 전체를 수집하지 말라고 알리는 것입니다.
- 특정 폴더만 막아 두었다면 메뉴·오시는 길처럼 손님이 찾을 페이지가 그 폴더 안에 들어 있지 않은지 확인합니다.
네이버 가이드는 파일을 일반 텍스트로 제공하라고 권합니다. robots.txt가 HTML 문서로 돌아오면 안에 규칙이 있어도 '없음(모두 허용)'으로 해석될 수 있고, 서버 오류(5xx)가 나면 '모두 허용하지 않음'으로 해석된다고 적혀 있습니다. 파일을 열었을 때 홈페이지 화면이 그대로 보이거나 오류가 나면 담당자에게 알려 주세요.
noindex 확인하는 법
- 컴퓨터에서 확인할 페이지를 열고 마우스 오른쪽 버튼으로 '페이지 소스 보기'를 누릅니다.
- 찾기(Ctrl+F)로 'noindex'를 검색합니다.
- <meta name="robots" content="noindex">처럼 나오면 그 페이지는 검색 결과에서 빠지도록 설정된 것입니다. name 자리에 'googlebot'이 적혀 있으면 구글에만 적용됩니다.
- 첫 화면뿐 아니라 메뉴·가격, 오시는 길 같은 주요 페이지도 같은 방법으로 봅니다.
서버 응답 헤더로 넣은 noindex는 페이지 소스에 보이지 않습니다. 소스에 없는데도 계속 검색에 안 나온다면 아래 관리 도구로 확인하거나 담당자에게 헤더 설정을 물어보세요. 구글 문서는 홈페이지 제작 서비스(CMS)를 쓰면 HTML을 직접 고치는 대신 검색엔진 설정 화면에서 이 값을 바꾸는 경우가 많다고 안내합니다.
둘을 같이 걸면 생기는 일
구글 검색 센터는 noindex가 제대로 작동하려면 그 페이지가 robots.txt로 막혀 있지 않아야 한다고 밝힙니다. 검색로봇이 들어오지 못하면 noindex 태그 자체를 읽을 수 없어서, 다른 곳의 링크를 통해 주소만 검색 결과에 남을 수 있기 때문입니다. 정리하면 이렇습니다.
- 검색에 나오게 하고 싶은 페이지: robots.txt 차단도, noindex도 둘 다 없어야 합니다.
- 검색에서 빼고 싶은 페이지: robots.txt로 막지 말고 noindex를 둡니다.
- 남에게 보여서는 안 되는 페이지: 두 설정 모두 보안 수단이 아니므로 로그인이나 비밀번호로 보호합니다. 구글과 네이버 모두 규칙을 따르지 않는 로봇이 있을 수 있다고 안내합니다.
관리 도구로 한 번 더 확인하기
네이버 웹마스터도구에는 robots.txt 도구가 있어 사이트의 robots.txt를 불러와 규칙을 검증하고, 특정 주소가 수집 가능한지 시험해 볼 수 있습니다. 파일을 고친 뒤 이 도구에서 수집 요청을 누르면 검색로봇에게 빨리 알릴 수 있다고 가이드는 설명합니다.
구글은 서치콘솔의 URL 검사 도구로 검색로봇이 실제로 받아 간 HTML을 보고 noindex가 제대로 읽혔는지 확인하라고 안내합니다. 사용법은 URL 검사로 색인을 요청하는 법, 보고서에 나오는 상태 이름은 ‘색인 생성됨’과 ‘크롤링됨-현재 색인 미생성’의 뜻을 참고하세요. 설정을 고친 뒤 반영까지 걸리는 시간은 홈페이지를 공개하면 검색에 언제 나오나요에 정리해 두었습니다.
담당자에게 맡길 부분
- 서버 응답 헤더(X-Robots-Tag)에 noindex가 들어가 있는지
- 제작 도구가 robots.txt를 자동으로 만드는지, 직접 고칠 수 있는지
- 관리자 화면이나 개인정보가 담긴 페이지를 어떤 방법으로 보호하고 있는지
- 자바스크립트·CSS 파일 경로를 막아 두지 않았는지. 네이버 가이드는 이 파일들도 페이지와 같은 규칙으로 두거나 허용하라고 권합니다.
자주 묻는 질문
robots.txt 안에 noindex라고 적으면 안 되나요?
구글 검색 센터는 robots.txt에 noindex를 적는 방식을 지원하지 않는다고 밝힙니다. 검색 결과에서 빼려면 페이지의 로봇 메타 태그나 서버 응답 헤더로 넣어야 합니다.
robots.txt 파일이 아예 없어도 괜찮은가요?
네이버는 파일이 없으면 사이트 안 모든 문서를 수집 대상으로 본다고 안내합니다. 다만 되도록 파일을 만들고, 그 안에 사이트맵 위치를 적어 두기를 권합니다.
네이버에만 열고 다른 검색엔진은 막을 수도 있나요?
네이버 가이드에는 모든 로봇을 막고 네이버 검색로봇(Yeti)만 허용하는 예시가 있습니다. 하지만 가게 홈페이지라면 손님이 어느 검색엔진을 쓸지 모르니 특별한 이유가 없다면 막지 않는 편이 낫습니다.
noindex를 지웠는데 아직도 검색에 안 나와요.
검색로봇이 그 페이지를 다시 방문해야 바뀐 설정을 알 수 있습니다. 구글은 페이지에 따라 다시 방문하기까지 몇 달이 걸릴 수도 있다고 안내하므로, URL 검사나 수집 요청으로 알린 뒤 시간을 두고 확인하세요.
관련 안내
확인한 자료 (2026-11-05 확인)
- Google 검색 센터 - robots.txt 소개 · robots.txt는 요청량 관리용이며 페이지 숨김 수단이 아님, 차단돼도 설명 없이 주소가 결과에 나올 수 있음, CMS 설정 화면 (2026-11-05 확인)
- Google 검색 센터 - noindex로 검색 색인 생성 차단 · noindex 메타 태그·X-Robots-Tag, robots.txt로 막히면 noindex를 못 읽음, robots.txt의 noindex 미지원, URL 검사·페이지 색인 생성 보고서 확인, 재방문에 몇 달 걸릴 수 있음 (2026-11-05 확인)
- 네이버 서치어드바이저 - robots.txt 설정하기 · 파일 위치, HTTP 응답 코드별 해석, 호스트·프로토콜별 적용 범위, Yeti 예시, JS·CSS 경로, 웹마스터도구 robots.txt 도구 (2026-11-05 확인)
- 네이버 서치어드바이저 - 웹 사이트를 만들 때 · robots.txt가 없으면 모든 문서 수집 대상, 전체 수집 금지 시 검색 결과에 노출되지 않음 (2026-11-05 확인)
- 네이버 서치어드바이저 - 선호 URL 및 로봇 메타 태그 · 로봇 메타 태그 noindex·nofollow 의미, 제약이 없다면 삭제하거나 index,follow 권장 (2026-11-05 확인)