네이버 검색 웹 페이지 수집 및 색인 요청 방법

네이버 검색은 yeti crawler(네이버 검색봇)이 인터넷에 공개된 글(게시물)을 찾아 다닙니다. 네이버 검색봇이 공개된 글을 찾아 읽은 후 검색 엔진에 수집한 정보를 보냅니다. 검색봇의 이런 수집 행위를 크롤링이라 합니다. 검색 엔진은 검색봇이 크롤링하여 수집한 정보를 판독하여 색인합니다. 색인된 내용은 검색 결과 페이지에 노출 됩니다. 검색 결과에 글이 표시되는 것을 색인이라 합니다. 검색 결과에서 글이 제외 되는 것을 색인 제외라고 합니다.


네이버 웹마스터도구


네이버 웹마스터도구를 이용하면 웹 페이지의 수집을 요청할 수 있습니다. 수집 요청을 하면 네이버 검색봇이 수집 요청한 글을 수집하며, 네이버 검색 엔진의 판단에 의해 색인 됩니다.


네이버 웹마스터도구 웹 페이지 수집


웹마스터도구 요청에서 '웹 페이지 수집'을 누릅니다. 웹 페이지 수집에서 네이버 검색에 게시물 수집을 요청할 수 있습니다.


웹 페이지 주소 입력 후 수집 요청


도메인 부분을 제외한 주소 부분만 입력한 후 '확인'을 누르면 수집 요청이 접수됩니다. 요청 결과는 아래의 수집 요청 결과에서 확인할 수 있습니다.


수집 요청 결과에 서버 오류로 표시된다면 수집 요청이 제대로 안된 것입니다.


네이버 웹마스터도구 사이트맵 제출


수집 요청 시 발생되는 서버 오류 문제는 사이트맵을 새로 제출하면 해결된다는 얘기가 있었습니다. 직접 해보았지만 아무 효과도 없었습니다. 4월 1일 사이트맵을 새로 제출하였지만 4월 11일까지도 계속 서버 오류 문제가 발생하였습니다.


티스토리 RSS 전체 공개 및 20개 공개


네이버 웹마스터도구의 웹 페이지 수집 서버 오류 문제는 RSS 공개 정책을 변경한 후 해결되었습니다. 모든 티스토리 블로그가 이 방법으로 해결할 수 있을 것 같진 않습니다. 방법사전 블로그는 우연히 운 좋게 얻어 걸려 해결된 것 같습니다.


네이버 웹마스터도구 웹 페이지 수집 요청 성공


수집 요청이 정상적으로 되었다면 수집 성공으로 표시 됩니다.


웹 페이지 수집 요청은 하루 최대 50개만 할 수 있습니다. "최근 한 달 이내의 요청 결과만 제공합니다"라고 안내 되어 있지만 최대 50개 이상의 요청 결과는 확인할 수 없습니다. 이틀 동안 100개의 웹 페이지 수집을 요청하였다면 첫 번째 날에 수집 요청한 결과는 표시 되지 않습니다.


티스토리 블로그 방문자 그래프


올 초부터 방법사전 블로그를 찾는 방문자가 줄어들기 시작했습니다. 방문자가 줄어든 이유는 네이버 검색 유입이 줄어들었기 때문입니다. 네이버 검색 유입이 줄어든 이유는 방법사전 블로그의 글이 네이버 검색 결과에서 제외 되었기 때문입니다.


네이버 웹마스터도구를 이용하여 색인에서 제외된 글을 모두 수집 요청해주었습니다. 수집 요청 결과에 서버 오류로 표시되는 문제가 발생하여 이 문제를 해결하는 것만 2달 정도 걸린 것 같습니다.


방법사전 블로그 4월 10일 네이버 검색 색인 현황


4월 10일 색인 현황을 확인했을 때 방법사전 블로그의 검색 노출 가능 문서 수는 60개이었습니다.


4월 21일 검색 노출 가능 문서 수 125개


수집 요청으로 21일에는 검색 노출 가능 문서 수가 125개로 늘었습니다.


4월 25일 검색 노출 가능 문서 수 174개


26일 확인해 보니 4월 25일에는 174개로 늘었습니다.


26일에는 21일 날짜에 검색 노출 가능 문서 수가 37개로 표시


검색 노출 가능 문서 수가 늘어 기뻤지만 네이버 웹마스터도구에서 무언가 이상한 부분을 발견했습니다. 26일 확인 했을 때 4월 21일 검색 노출 가능 문서 수가 37개로 되어 있습니다. 위쪽에 캡쳐 이미지를 첨부했지만 22일 확인했을 때는 검색 노출 가능 문서 수가 125개이었습니다.


22일에 확인 했을 때는 21일 날짜로 125개의 검색 노출 가능 문서 수가 있었습니다. 하지만 26일에 확인 했을 때는 21일 날짜에 검색 노출 가능 문서 수가 37개로 되어 있습니다. 현황에 이해할 수 없는 숫자가 표시되고 있습니다. 현황에 현재의 상황이 아닌 가공의 상황이 적혀 있습니다. 색인 현황에 표시되는 숫자와 그래프는 현황 보다는 가상에 가까운 수치입니다. 이를 미루어보면 네이버 웹마스터도구에 보여지는 모든 수치는 인위적으로 가공되고 있다는 것을 짐작할 수 있습니다. 네이버 웹마스터도구는 수집 및 색인 요청하는 용도로만 사용해야 할 것 같습니다. 이상입니다.