Googleがクロール頻度を下げる方法の公式ドキュメントを整理し直し、503や429のエラー応答にRetry-Afterヘッダーを付けて再試行の時期を伝える方法を追記したと、Search Engine Roundtableが10月6日に報じた。
何が更新されたか
Search Engine Roundtableによると、Googleは「クロール頻度の引き下げ」に関する公式ドキュメントの構成を整理し、Retry-Afterヘッダーの説明を追加しました。報道は2026年10月6日付です。
ドキュメントには、503または429のステータスコードを返すときに、RFC 9110で定義されたRetry-Afterヘッダーを併せて送れると書かれています。値は「待つ秒数」または「UTCの日時」のどちらかで指定できます。
背景と注意点
同報道は、これは新しい仕組みではなく、すでに認められていた方法の情報が、クロール頻度のガイドにまとまったものだと説明しています。
公式ドキュメントによれば、500・503・429の応答はサイト（ホスト名）全体のクロール頻度を下げ、エラーが減れば自動的に頻度が戻ります。一方で、1〜2日を超えて続けると検索結果での表示に悪影響が出るおそれがあり、緊急時に限って使うよう注意しています。
サーバーが過負荷のときなどに、検索ロボットの訪問を一時的に減らしたい場面を想定した内容です。通常の運用で設定する必要はありません。
TAKEAWAY
仙台の企業・店舗にとってのポイント
多くの小規模サイトでは、この設定を自分で行う場面はほとんどありません。ただし、セールや告知でアクセスが急増してサイトが重くなった場合に備え、制作会社やサーバー管理者に「緊急時にクロールを一時的に抑える手段があるか」「長引かせると検索表示に影響する」点を確認しておくと安心です。公式の記載は変更されることがあるため、実施前に最新のドキュメントを確認してください。