Google은 robots.txt 통해 Bard, Vertex AI를 차단할 수 있도록 Google확장 기능 도입

구글은 robots.txt 통해 Bard, Vertex AI를 차단할 수 있도록 구글 확장 기능 도입

구글 로봇

robots.txt란?

웹사이트의 루트 디렉터리에 위치하는 텍스트 파일로서, 웹 로봇들이 사이트의 어느 부분을 크롤링할 수 있고, 어느 부분을 크롤링할 수 없는지를 지시하는 역할을 합니다. 웹 로봇은 검색엔진의 크롤러(예: Googlebot) 일 수도 있고, 다른 종류가 자동화된 에이전트일 수도 있습니다.

"robots.txt" 파일의 기본 구조는 다음과 같습니다.

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

 Google은 오늘 Bard와 Vertex AI가 사이트의 콘텐츠에 액세스할 수 있는지, 여부를 제어할 수 있는 새로운 "독립형 제품 토큰"인 Google-Extended를 발표했습니다. Bard는 Google의 대화형 AI 도구이고, Vertex AI는 생성적 AI 기반 검색 및 채팅 애플리케이션을 구축하고, 배포하기 위한 Google 머신러닝 플랫폼입니다.

Google 확장이란?

Google은 이를 "웹 게시자가 사이트가 해당 제품을 지원하는 차세대 모델을 포함하여, Bard 및 Vertex AI생성 API를 개선하는데 도움이 되는지 여부를 관리하는 데 사용할 수 있는 독립형 제품 토큰"입니다.

구글이 말한 것. Google-Extened가 게시자에게 "선택권과 제어관" 제공

Google 확장과 같은 간단하고, 확장 가능한 제어를 robots.txt를 통해 사용할 수 있게 만드는 것은 모든 AI 모델 제공업체가 제공해야 한다는 생각하는 투명성과 제어를 제공하는 중요한 단계이고, AI 애플리케이션이 확장됨에 따라 웹 게시자는 다양한 용도를 대규모로 관리해야 하는 복잡성이 중가 하는 문제에 직면하게 될 것입니다.

robots.txt를 사용하면, Google 확장이 콘첸츠나 그 일부에 액세스 하지 못하도록 차단할 수 있습니다. Google 확장을 완전히 차단하려면 사이트 robots.txt에 다음을 추가하시면 됩니다.

User-agent: Google-Extended
Disallow: /

반응형

관심을 갖는 이유

가장 인기 있는 1,000개 웹사이트 중 242개가 OpenAI 웹 크롤러인 GPTBot가 8월에 출시된 이후 이미 차단하기로 결정했다는 것을 알고 있습니다. 이제 웹사이트에서 Google의 AI 제품 개선 지원을 거부할지 여부를 결정할 수 있습니다.

출처

https://searchengineland.com/

Search Engine Land

기사내용(https://searchengineland.com/google-extended-crawler-432636)

마무리

저도 위 기사내용 처럼  Google 자사 AI도 지원 거부를 할지, 그것이 최대 관심사 일 것 같습니다.

이 글이 도움이 되었거나 마음에 든다면,
❤️(공감)+ 🎁(Ad)

눌러주시면 큰 힘이 됩니다.!!

 

궁금한 부분이 있으시다면 댓글 달아주세요~