구글 웹마스터 크롤링(구글 봇 검색) 빈도 설정

 

 

 

 

 

크롤링은 Googlebot이 새로운 페이지 및 업데이트된 페이지를 찾아 Google 색인에 추가하는 과정입니다.

Google은 다양한 종류의 컴퓨터를 사용하여 수십억 개의 웹페이지를 가져옵니다. 이 작업을 크롤링한다고도 합니다. 웹페이지를 가지고 오는 프로그램을 Googlebot이라고 합니다. 로봇, 크롤러 또는 스파이더라고도 알려져 있습니다. Googlebot은 알고리즘 과정을 사용하므로 컴퓨터 프로그램에서 크롤링할 사이트, 크롤링 횟수 및 각 사이트에서 가져올 페이지 수를 결정합니다.

Google의 크롤링은 이전 크롤링 과정에서 생성되고 웹마스터가 제공한 Sitemap 데이터가 추가된 웹페이지 URL 목록으로 시작합니다. Googlebot은 이러한 웹사이트를 방문할 때 각 페이지의 링크를 감지하여 이를 크롤링할 페이지 목록에 추가합니다. 이렇게 파악된 새 사이트, 기존 사이트의 변경사항 및 비활성 링크에 따라 Google 색인이 업데이트됩니다.

Google은 금전적인 대가를 받고 사이트를 크롤링하는 횟수를 늘리지 않습니다. Google 검색은 수익을 창출하는 애드워즈 서비스와는 별도로 운영되고 있습니다.

 

Google에서는 사용자의 서버 대역폭에 부담을 주지 않으면서도 사용자의 사이트에서 가능한 한 많은 페이지를 크롤링하고자 합니다. www.example.com 및 http://subdomain.example.com과 같이 루트 또는 하위 도메인 수준에서 사이트의 크롤링 빈도(크롤링 중 Google의 요청 속도)를 변경할 수 있습니다. 새로 맞춤설정한 크롤링 빈도는 90일 동안 유효합니다.

 

이 블로그에 들어온 구글봇들

 

예전에는 크롤링 설정이 바로 보였었던 것 같은데

티스토리 사용자는 굳이 할 필요없고, 그냥 이런게 있다는 것만 정도로...

 

 

1. 웹마스터 도구에 로그인을 한 뒤에 내 웹사이트 관리에 톱니바퀴 모양의 아이콘을 눌려서 사이트 설정에 들어간다.

 

 

 2. 최대 크롤링 빈도 제한을 설정한 후 저장한다.

 

※이 설정은 90일동안만 유효한다.

 

 

참고 : Google 검색 작동 방식

이미지 출처 : https://www.youtube.com/watch?v=COcl6ax38IY