학습과 지금의 답변 근거는 다른 선택이다
Microsoft Bing과 Google은 2026년 10월 30일, 웹사이트가 여러 참여 AI 제공자에게 학습 이용 선호를 전달하는 공통 신호의 지원 계획을 각각 발표했다. robots.txt의 User-Agent에 __usage_ai-training을 쓰는 방식이다. 다만 연결된 IETF 문서는 개인이 제출한 Internet-Draft이며, IETF가 승인한 확정 표준이 아니다.
Microsoft는 모델 학습과 AI 답변의 근거로 콘텐츠를 활용하는 grounding을 독립적으로 선택하게 한다. 학습을 거부하면서 답변 근거 이용을 허용할 수도 있다. 페이지별 grounding에는 전체 허용·거부 외에 Microsoft 운영 서비스만 허용하고 제3자용 근거 제공은 제외하는 DisallowExtended가 추가된다. 이 선호 설정 자체는 일반 Bing 검색의 노출 자격을 바꾸지 않지만 정상적인 크롤링·색인 요건은 여전히 필요하다.
발표일과 시행일을 혼동하지 않는다
Microsoft는 2027년 2월 1일부터 크롤링으로 발견한 새 설정을 반영할 예정이다. 기존 NoArchive·NoCache 이용자는 3월 1일 이후 이 태그가 학습·grounding 선호로 읽히지 않는 전환 일정을 확인해야 한다. Google은 2027년 지원을 목표로 하며, 명시된 Google-Extended 설정이 없으면 공통 학습 거부를 해당 설정의 거부로 해석할 계획이다.
사이트 운영자는 검색 크롤러 차단, 학습 이용, 답변 인용을 한 설정으로 취급하지 말고 목적을 먼저 정리할 필요가 있다. 이번 발표만으로 기존 사이트 설정을 즉시 변경할 이유는 없으며 실제 지원 시작과 재크롤링을 확인해야 한다. 이용 허용은 노출·방문·보상을 보장하지 않고 저작권 허가나 결제 계약도 대신하지 않는다.