GoogleOther: 구글봇을 돕는 새로운 일반 크롤러 발표

/ 디지털 마케팅 인사이트 / GoogleOther: 구글봇을 돕는 새로운 일반 크롤러 발표

GoogleOther: 구글봇을 돕는 새로운 일반 크롤러 발표

on

|

Google Gary Illyes는 Linkedin을 통해 Google 크롤러 및 유저 에이전트 목록에 새로운 크롤러를 추가하였습니다고 발표하였습니다.

이 크롤러의 명칭은 구글아더(GoogleOther)입니다. 이 크롤러는 “다양한 구글의 제품 팀에서 사이트에서 공개적으로 액세스 할 수 있는 콘텐츠를 가져오는 데 사용할 수 있는 일반 크롤러”로 설명하고 있습니다.

예를 들어 내부 연구 및 개발을 위한 일회성 크롤링에 사용될 수 있다고 Google은 보충합니다. 구글아더 크롤러는 항상 유저 에이전트 토큰 및 글로벌 유저 에이전트에 대한 robots.txt 규칙을 따르며, Googlebot과 동일한 IP 대역 범위를 사용합니다.

유저 에이전트 토큰은 “GoogleOther”이고 전체 사용자 에이전트 문자열은 “GoogleOther”입니다.

Gary Illyes - GoogleOther

Google의 Gary Illyes는 LinkedIn에서 이 새로운 크롤러가 “R&D 크롤링과 같은 Googlebot의 다른 작업을 일부 대체하여 구글봇의 크롤링 용량을 일부 확보할 것”이라고 설명했습니다.

GoogleOther

Gary는 “새로운 크롤러인 GoogleOther를 크롤러 목록에 추가하여 궁극적으로 구글봇의 부담을 어느 정도 덜어줄 것입니다. 이는 사용자에게 큰 변화는 아니지만, 그럼에도 불구하고 흥미로운 변화라고 생각합니다. 구글봇이 크롤링하는 방법과 대상을 최적화하면서 한 가지 확실히 하고 싶었던 것은 구글봇의 크롤링 과정이 내부적으로만 검색에서 사용하는 인덱스를 구축하는 데 사용되도록 하는 것이었습니다. 이를 위해 R&D 크롤링과 같은 구글봇의 다른 일부 작업을 대체하는 새로운 크롤러인 GoogleOther를 추가하여 구글봇의 크롤링 용량을 일부 확보했습니다. 새 크롤러는 구글봇과 동일한 인프라를 사용하므로 호스트 로드 제한, robots.txt, http 프로토콜 버전, 페치 크기 등 구글봇과 동일한 제한 사항과 기능을 갖습니다. 기본적으로 이름만 다른 구글봇입니다.”

이 크롤러가 Google 바드에 사용될지 여부에 대한 언급은 없습니다.

구글 유저 에이전트 목록에는 총 19개의 구글봇 목록을 표시하고 있습니다.

Post Last updated on –

Post
Tweet
Share
Print

About the Author

Editor 아바타