Google Gary Illyes는 Linkedin을 통해 Google 크롤러 및 유저 에이전트 목록에 새로운 크롤러를 추가하였습니다고 발표하였습니다.
이 크롤러의 명칭은 구글아더(GoogleOther)입니다. 이 크롤러는 “다양한 구글의 제품 팀에서 사이트에서 공개적으로 액세스 할 수 있는 콘텐츠를 가져오는 데 사용할 수 있는 일반 크롤러”로 설명하고 있습니다.
예를 들어 내부 연구 및 개발을 위한 일회성 크롤링에 사용될 수 있다고 Google은 보충합니다. 구글아더 크롤러는 항상 유저 에이전트 토큰 및 글로벌 유저 에이전트에 대한 robots.txt 규칙을 따르며, Googlebot과 동일한 IP 대역 범위를 사용합니다.
유저 에이전트 토큰은 “GoogleOther”이고 전체 사용자 에이전트 문자열은 “GoogleOther”입니다.
Google의 Gary Illyes는 LinkedIn에서 이 새로운 크롤러가 “R&D 크롤링과 같은 Googlebot의 다른 작업을 일부 대체하여 구글봇의 크롤링 용량을 일부 확보할 것”이라고 설명했습니다.
Gary는 “새로운 크롤러인 GoogleOther를 크롤러 목록에 추가하여 궁극적으로 구글봇의 부담을 어느 정도 덜어줄 것입니다. 이는 사용자에게 큰 변화는 아니지만, 그럼에도 불구하고 흥미로운 변화라고 생각합니다. 구글봇이 크롤링하는 방법과 대상을 최적화하면서 한 가지 확실히 하고 싶었던 것은 구글봇의 크롤링 과정이 내부적으로만 검색에서 사용하는 인덱스를 구축하는 데 사용되도록 하는 것이었습니다. 이를 위해 R&D 크롤링과 같은 구글봇의 다른 일부 작업을 대체하는 새로운 크롤러인 GoogleOther를 추가하여 구글봇의 크롤링 용량을 일부 확보했습니다. 새 크롤러는 구글봇과 동일한 인프라를 사용하므로 호스트 로드 제한, robots.txt, http 프로토콜 버전, 페치 크기 등 구글봇과 동일한 제한 사항과 기능을 갖습니다. 기본적으로 이름만 다른 구글봇입니다.”
이 크롤러가 Google 바드에 사용될지 여부에 대한 언급은 없습니다.
구글 유저 에이전트 목록에는 총 19개의 구글봇 목록을 표시하고 있습니다.
