HTTP/2 구글봇 크롤링 지원

구글, 11월 부터 HTTP/2 구글봇 크롤링 지원

구글, 11월 부터 HTTP/2 구글봇 크롤링 지원
Deepak On Sep 24th, 2020 at 07:08 am | 디지털 마케팅 인사이트

구글은 기존 HTTP보다 더 강력하고 효율적이며 향상된 성능의 HTTP/2의 크롤링을 지원할 예정이라고 공식블로그를 통해 발표하였습니다. HTTP/2는기존 HTTP가 지녀왔던 실행구조 보다 향상된 개념이라고 할 수 있습니다. HTTP/2 구조는 클라이언트와 서버에 더 많은 기능을 제공할 수 있도록 향상된 성능을 제공합니다. 

국내의 네이버와 대형 이커머스 웹사이트를 포함한 대규모 단위 사이트들은 서버 HTTP/2에 대응해 왔으나 일부 금융포털과 보험 사이트, 정부 정보사이트는 기존 1.1버전을 유지해오고 있습니다. 

HTTP2 지원

 


웹마스터가 HTTP/2에 대해 알아야 할 점이라면 기존 HTTP보다 더 강력하고 효율적이며 빠른 성능이라고 할 수 있습니다. 구글은 이 변화가 서버 및 자원 할당과 관련하여 기존 크롤링 보다 더 유연하고 효율적으로 문서를 수집할 수 있도록 만들어 졌다고 언급하고 있습니다. 
 

 

  •  “구글봇은 h2를 통해 서버에 단일 TCP 연결을 다중 접속이 필요한  여러 파일을 병렬로 효율적으로 전송할 수 있습니다. 연결이 적을수록 서버와 구글봇이 크롤링하는 데 할당되는 자원이 줄어듭니다.”
     

라고 대답하였습니다.  HTTP/2 구현 방법은 다음과 같습니다. 
 


HTTP/2를 통한 Googlebot 크롤링


HTTP/2를 통한 사이트 크롤링의 전환은 단계적으로 진행될 예정입니다. 첫 단계에서는 적은 규모의 웹사이트 부터 점차적으로 대형 사이트로 확장할 예정입니다.

Googlebot은 HTTP / 2를 통해 크롤링 할 사이트를 결정하고 사이트에서 이를 지원하는지 여부와 Googlebot이 HTTP / 2를 통해 크롤링하는 것이 도움이되는지 여부를 묻습니다.

사이트는 다음과 같은 경우 HTTP2를 지원받게 됩니다.


사이트의 서버가 HTTP / 2를 지원합니다.
Googlebot은 이미 많은 사이트를 크롤링합니다.


변화에 대응하기 위해 웹마스터가 취해야 할 행동은 없습니다.

구글은 사이트가 기존 HTTP/1.1 만 지원하더라도 상관이 없다고 말하고 있습니다.  HTTP를 통한 크롤링에는 단점이 없으며 사이트에 대한 Googlebot의 일반적인 크롤링 과정이 중단되거나 누락되지 않습니다.

테스트 과정에서는 부정적인 영향이 나타나지 않았지만 구글은 사이트가 원하는 경우 이러한 변경을 거부 할 수있는 방법을 제공하고 있습니다. Googlebot이 h2를 통해 사이트를 크롤링하려고 할 때 "421" 상태 코드로 응답하도록 서버에 요청하여 HTTP/2를 통한 Google 크롤링을 차단할 수 있습니다.


Google은 아래의 답변을 통해 HTTP/2에 대한 기타 문제를 해결할 것을 조언합니다. 

 

FAQ : Googlebot 및 HTTP/2
 

Q1. 구글봇이 HTTP/2를 지원하는 이유는 무엇입니까?
A1. HTTP/2를 통한 크롤링 인프라가 마침내 기업에서 사용할 수 있는 수준의 완성도를 갖추었음을 의미합니다.  
 

Q2. 사이트 소유자는 HTTP/2를 위해 서버를 업그레이드해야하나요?
A2. 결정은 소유자의 권한입니다. Googlebot은 '서버의 지원으로 부터 안전하고 지원이 되는'사이트에 한해서만 HTTP/2 크롤링으로 전환합니다. 즉, HTTP/2를 통한 크롤링으로 효율이 없는 경우 Googlebot은 계속해서 HTTP1.1을 통해 크롤링하게 됩니다.



Q3. 사이트가 HTTP / 2를 지원하는지 어떻게 알 수 있나요?
A3. Google 은 사이트가 HTTP / 2를 지원하는지에 대한 다양한 설명이 소개된 클라우드플레어 블로그를 살펴 보기를 권장합니다. 



Q4. 사이트를 HTTP / 2로 업그레이드하려면 어떻게합니까?
A4. 서버 전문가가 또는 호스팅 회사에 문의하는 것이 좋습니다.



Q5. Googlebot을 강제로 HTTP/2로 이동하려면 어떻게 해야 하나요?
A5. 불가능한 부분입니다. 앞서 언급했듯이 서버가 지원해야 HTTP / 2를 통해 크롤링되며 사이트와 Googlebot 모두 이 규약을 충족해야 합니다. 예를 들어 HTTP / 2를 통해 크롤링해도 리소스가 절약되지 않는 경우 Googlebot은 HTTP / 1.1을 통해 사이트를 계속 크롤링합니다.



Q6. HTTP / 2를 통한 Googlebot 크롤링의 이점은 무엇입니까?
A6. 서버와 Googlebot 모두의 주요 이점은 리소스 절약입니다. HTTP/2를 통한 크롤링은 사이트 색인 또는 크롤링 빈도에 영향을주지 않습니다.



Q7. HTTP / 2를 통해 크롤링되는 사이트에 대한 순위 향상 이나 가산점이 있나요?
A7. 아니요, 랭킹 향상과는 전혀 관련이 없습니다.