본문 바로가기
블로그로 돈벌기

구글 서치 콘솔, 'robots.txt에 의해 차단됨' 해결 방법

by 어쩌다흙수저 2023. 8. 14.
반응형

안녕하세요.
구글 서치 콘솔에서 메일이 왔습니다.

구글-서치-콘솔에서-온-메일
구글 서치 콘솔에서 온 메일

새로 만든 제 구글 블로그에서 페이지 색인 생성 문제가 감지되었다는 메일 내용입니다. '페이지 색인 생성 문제 해결하기' 버튼을 클릭합니다.

구글-서치-콘솔의-페이지-항목
구글 서치 콘솔의 페이지 항목

구글 서치 콘솔 사이트로 이동됩니다. 생성된 색인이 6개이며, 생성되지 않은 색인이 29개로 표시됩니다. 스크롤해서 밑으로 내려봅니다.

페이지-색인이-생성되지-않는-이유-안내
페이지 색인이 생성되지 않는 이유 안내

페이지 색인이 생성되지 않는 이유가 표시됩니다. 

적절한 표준 태그가 포함된 대체 페이지(구글 서치 콘솔 도움말)

이 페이지는 다른 페이지의 대체로 표시됩니다. 예를 들어 데스크톱 표준 URL이 있는 AMP 페이지, 데스크톱 표준의 모바일 버전 또는 모바일 표준의 데스크톱 버전 등입니다. 이 페이지는 색인이 생성된 표준 페이지로 올바르게 연결되므로 별도의 조치를 취할 필요가 없습니다. Search Console에서는 대체 언어 페이지를 감지할 수 없습니다.

페이지 색인이 생성되지 않는 이유 안내

URL이 robots.txt에 의해 차단됨(구글 서치 콘솔 도움말)

이 페이지는 사이트의 robots.txt 파일에 의해 차단되었습니다. robots.txt 테스터로 이를 확인할 수 있습니다. robots.txt로 차단해도 다른 방법으로 페이지의 색인을 생성할 수 있습니다. Google에서 페이지를 로드하지 않고 이 페이지에 관한 다른 정보를 찾을 수 있다면 페이지의 색인이 생성될 가능성이 매우 낮습니다. Google에서 페이지의 색인을 생성하지 않도록 하려면 robots.txt 차단을 삭제하고 'NOINDEX' 명령어를 사용하세요.

그중에서 'robots.txt에 의해 차단됨'이라는 사유를 클릭해 봅니다.

수정-결과-확인-버튼
수정 결과 확인 버튼

오른쪽에 있는 '수정 결과 확인' 버튼을 클릭해 봅니다. 뭔가 진행되는 메시지 창이 떴다가 사라집니다.

세부정보-보기
세부정보 보기

다시 '세부정보 보기' 버튼을 클릭해 봅니다.

접수중인-상태
접수중인 상태

해당 URL을 클릭합니다.

실제-URL-테스트-버튼
실제 URL 테스트 버튼

오른쪽 상단에 있는 '실제 URL 테스트' 버튼을 클릭합니다.

'실제-URL-테스트-중'인-상태
'실제 URL 테스트 중'인 상태

실제 URL를 테스트 중입니다.

URL-검사-결과
URL 검사 결과

URL 검사 결과, URL을 구글에 등록할 수 없다고 나옵니다. 다시 오른쪽 상단에 있는 '구글 색인' 메뉴를 클릭합니다.

색인-생성-요청-메뉴
색인 생성 요청 메뉴

오른쪽에 있는 '색인 생성 요청' 메뉴를 클릭합니다.

실제-URL의-색인을-생성할-수-있는지-테스트-중
실제 URL의 색인을 생성할 수 있는지 테스트 중

실제로 URL의 색인을 생성할 수 있는지 테스트 중입니다.

색인-생성-요청이-거부된-메시지
색인 생성 요청이 거부된 메시지

역시 색인 생성 요청이 거부되었습니다.

URL-검사-메뉴
URL 검사 메뉴

다시 왼쪽에 있는 '페이지' 카테고리를 선택한 다음, 해당 URL를 클릭합니다. 오른쪽에 메시지창이 뜨면 'URL 검사' 메뉴를 클립합니다.

ROBOTS.TXT-차단-테스트-메뉴
ROBOTS.TXT 차단 테스트 메뉴

오른쪽에 메시지창이 뜹니다. 'ROBOTS.TXT 차단 테스트' 메뉴를 클릭합니다.

오류 확인 및 제출 버튼
오류 확인 및 제출 버튼

오류나 경고 메시지가 없습니다. 자세히 보니 Disallow: /search 라고 되어 있는 것을 볼 수 있습니다. 검색로봇 설정에 따라 검색페이지(/search)는 검색하지 않도록 차단하고, 구글 검색로봇은 이것을 차단오류라고 통보한 것으로 보입니다. 다행히 별 문제가 아닌 것 같습니다.

오른쪽에 있는 제출을 클릭합니다.

구글에-업데이트-요청-버튼
구글에 업데이트 요청 버튼

구글에 업데이트 요청을 합니다. '제출' 버튼을 클릭합니다.

페이지-색인이-생성되지-않는-이유-안내
페이지 색인이 생성되지 않는 이유 안내

발견됨 - 현재 색인이 생성되지 않음(구글 서치 콘솔 도움말)

Google에서 페이지를 발견했지만 페이지가 아직 크롤링되지 않았습니다. 일반적으로 Google에서 URL을 크롤링하려고 했지만 이로 인해 사이트가 과부하 상태가 될 수 있기 때문에 Google에서 크롤링 일정을 변경한 경우입니다. 그렇기 때문에 보고서에 마지막 크롤링 날짜가 비어 있는 것입니다.

'발견됨 - 현재 색인이 생성되지 않음' 메시지를 클릭합니다.

색인이-생성되지-않은-페이지
색인이 생성되지 않은 페이지

다음 페이지에서 밑으로 내리면 색인이 생성되지 않은 페이지가 표시됩니다. 해당 페이지를 클릭합니다.

URL-검사-버튼
URL 검사 버튼

오른쪽으로 안내창이 나타납니다. 'URL 검사' 메뉴를 클릭합니다.

실제-URL-테스트-버튼
실제 URL 테스트 버튼

오른쪽 상단에 있는 '실제 URL 테스트' 버튼을 클릭합니다.

색인-생성-요청-메뉴
색인 생성 요청 메뉴

오른쪽에 있는 '색인 생성 요청' 메뉴를 클릭합니다.

색인-생성-요청되었다는-메시지
색인 생성 요청되었다는 메시지

색인 생성 요청이 되었습니다. 

또 구글 서치 콘솔 사이트에서 메시지가 올 때까지 기다려 봅니다.

 

반응형

댓글