f:id:m_nishimoto:20220331182455j:plain

休日の便利でお得な遊び予約サイト「アソビュー！」のSEOを担当している西本です。

在宅勤務に伴う運動不足解消のために、最近朝昼夜に各20分程ウォーキングを始めましたが、良い気分転換にもなり快適です。

今回はアソビュー！の事例ではなく、SEOのお手伝いをしている別のサイトで経験した事例についてです。※当事例をブログに書くことについては先方に了承頂いています。

前提・背景

対象のサイトは大量の一覧ページと詳細ページが存在する大規模サイトです。ただし、詳細ページはrobots.txtでブロックしているため、検索流入につながる一覧ページをいかに効率的にGooglebotにクロールさせるかが重要と考えました。

分析と課題

現状のGooglebotのクロール状況を分析するため、アクセスログを共有頂き分析を試みました。するとすぐにおかしな点に気付いたのですが、Googlebotのログの60%程度がsitemap.xmlへのアクセスで占められていました。通常sitemap.xmlへのアクセスがそれほどの量になることはなく、1%もいかないぐらいが妥当だと思います。

分析＋ヒアリングの結果以下の状況が見えてきました。
・理論上作成し得る全ての一覧ページのURLをsitemap.xmlに記載しており、sitemap.xmlだけで1000ファイル以上存在する
・sitemap.xmlを日次で更新し、更新後はGoogleにping送信している

その結果、sitemap.xmlへのアクセスにばかりGooglebotのリソースが使用されており、本来インデックスさせたいページが適切にクロールされていない状況が考えられました。

一旦sitemap.xmlを全て削除するよう依頼しました。

施策後効果

sitemap.xmlの削除後、すぐにSearchConsoleのカバレッジ「有効」の件数が大幅に増加しました。

分析時の仮説の通り、sitemap.xmlへのアクセスにGooglebotのリソースが費やされ、本来クロールさせるべきページのクロールを阻害している状況のようでした。

sitemap.xmlは本来Googlebotがサイト内の各ページをクロールする手助けとなる有益な機能ですが、使い方を誤ると逆効果になり得ると考えています。

今回の事例はレアケースだと思うため、同様の事例が存在するサイトは少ないと思いますが、過去に見てきたサイトの中にも、以下のようなケースが存在していました。
・sitemap.xmlを作成後全くメンテせず、サイトで使用するURLが変わったにも関わらず修正がされず、不要な404エラーや301リダイレクトの発生源になっている
・(インデックスされない)検索結果0件の一覧ページのURLがsitemap.xmlに記載され、無駄なクロールの発生源になっている

特に大規模サイトにおいては、とにかく大量にURLをsitemap.xmlに記載すればいいというわけではなく、検索流入が期待出来るページを厳選してsitemap.xmlに記載すべきだと僕は思います。