本当にあった怖いサイトマップ

こちらのイベントの登壇資料です。

本当にあったIT恐怖体験2025・夏のLT大会
https://rosca.connpass.com/event/366060/

メディアサイトにおいてサイトマップが登録されていなかった事例と改善について記載しています。

Transcript

1. ほら、あなたの後ろに… まだインデックスされていないページが... 本当にあった 怖いサイトマップ
2. 自己紹介 バックエンドエンジニア YouTubeチャンネル 「島田秀平のお怪談巡り」が好き 「本当にあったIT恐怖体験」 ということで ジョブズもびっくりな2つの点が 今、交わる @suna_big Connect the dots
3. サイトマップとは？
4. 検索エンジンへの道案内 サイトマップはその名の通り「サイトの地図」 より具体的には検索エンジン（Googlebotなど)に、どの ページが存在しているかを明示するリスト サイトが複雑だったり、新しい記事を頻繁に追加する場 合に特に有効
5. こんな感じ
6. 何をしてくれるの？ サイトマップがあると、クローラーはサイトを迷わず巡 回できる 特に以下のようなページは内部リンクだけでは発見され にくいので、サイトマップに載せると確実にクローラー に情報を伝えられる 深い階層にあるページ 孤立した記事ページ 動的生成されたURL
7. サイトマップがないとどうなる？ サイトマップを送信すると 新しいページや更新ページが 早くインデックスされやすくなる 逆に、サイトマップがなくインデックスもされないと、 検索結果に出てこないので実質「存在しない」のと同じ つまり、インデックスされてなければどんなに良い記事 も「あの世にいるのと同じ」
8. サイトマップ、 登録されてなかった 😨
9. 背景 自分のチームではSEOの基盤となる部分を見直し、必要に 応じて刷新していた 具体的にはサイトに適切なタグが設置されているかの確 認、ページ表示速度の改善など。 サイトマップの改善は数ある取り組みの1つで、どんな記 事を掲載するか、載せないかなどの見直しも行われ成果 もでていた
10. 背景 自分のチームではSEOの基盤となる部分を見直していた そんなさなか、メンバーの一人が 「ひょっとして、サイトマップ登録されてなくない！？」 という一言をSlackで放ち、メンバーをサイトマップへと駆り 立てた Search Consoleを確認すると登録されているはずのサイトマ ップがなく代わりに何百もの不要なURLが登録されていた （本来は50ファイルほど）
11. 発覚と対応 チーム一同青ざめて、不要なサイトマップを慌てて削除し、 正規のURLを登録し直し、一旦トラブル自体は落ち着いた。 。 。 今思い出しても怖くなる 😨 でも、一体どうしてこうなった？？？
12. なぜ発覚が遅れたのか？
13. 発覚が遅れた理由 ①アクセスログから自分たちが作成したサイトマップへの Googlebotからのアクセスを確認できていた ②Search Consoleで定期的にサイト全体のインデックスは確 認していた ③Googleへの通知はアプリケーションで自動で行われている 想定だった
14. ①アクセスログから自分たちが作成したサイトマップへの Googlebotからのアクセスを確認できていた チームではGooglebotからのアクセスログを流していた。そこを見 ると未登録発覚当時でも、アクセスは来ていた 実はGooglebotはSearch Consoleに登録されていなくても、一度 来たことがあるサイトマップに訪れてくれる 今回はこのキャッシュ的な動作に助けられていたと考えられる。そ して、これが仇ともなり発覚が遅れた
15. ②Search Consoleで定期的にサイト全体のインデックスは確 認していた 先程もいったとおり、サイトマップは登録されていなく ても、Googlebotからのアクセスはあり、サイトのインデ ックス自体は行われていた ただし、個別のサイトマップで絞り込みできるので、こ こでサイトマップのURLで絞り込めば、そもそもサイトマ ップ自体はインデックスされていなことに気づけた可能 性が高い。ここを確認するような習慣があればより発覚 が早かったかも?
16. ②Search Consoleで定期的にサイト全体のインデックスは確認し ていた Search Console上の画面 すべての送信済みページでは適切にインデックスはされているように見える が、
17. ②Search Consoleで定期的にサイト全体のインデックスは確認し ていた 個別で見ると登録されてない。 。
18. ③Googleへの通知はアプリケーションで自動で行われてい る想定だった 通知はサイトマップの作成と同時にAPIで通知されている 想定だった。 しかし、利用されているはずのAPIは2023年に廃止されて いた 👻 https://developers.google.com/search/blog/2023/06/sitemaps- lastmod-ping?hl=ja
19. サイトマップ生成アプリの 刷新
20. サイトマップ生成アプリの刷新 実は今回の騒動とは別で、サイトマップ生成アプリを刷 新していた その動きと今回の反省を合わせて下記のように刷新を行 った
21. 変更 前と後 ①心霊スポット解体 ②除霊機能 ③サイトマップ 送信口を清める
22. 変更 前と後 ①心霊スポット解体
23. ①怪現象が起きる心霊スポットを解体（=原因不明で止まる サイトマップ生成アプリをBigQueryで刷新） EMR上で動くKotlinで作られたサイトマップ生成のアプリ ケーションがあったが、時々エラー内容がわからないま ま止まっていた。 サイトマップの生成ロジックもかなり複雑だったので、 誰も詳細を理解していない状態だった。
24. ①怪現象が起きる心霊スポットを解体（=原因不明で止まる サイトマップ生成アプリをBigQueryで刷新） 実は既存のサイトマップの順番も意図した通りに並んで なかった。 記事の人気ランキングをもとにサイトマップの並びを決 めるるが、その情報の読み込みが途中で失敗していた BigQueryにロジックを移したのでビジネスの人でもロ ジックを読んで修正できるようになった
25. 変更 前と後 ②除霊機能
26. ②余計なサイトマップの除霊機能（=勝手に登録される不要な サイトマップを削除） 以前のping エンドポイントはユーザーが勝手に送信でき るので、不要な情報が沢山Search Consoleに登録されて いた 実際にこれがping エンドポイント終了の理由でもある それ以外でもGooglebotがサイトマップっぽいものを勝手 に登録したりする 余計なサイトマップが登録されてたら削除する機能を作 った
27. 変更 前と後 ③サイトマップ 送信口を清める
28. ③呪われた送信口を祓い清める（= サイトマップの送信APIを 新しくする） ping エンドポイントは2023年に終了済。 今はSearch Console APIを利用する
29. ③呪われた送信口を祓い清める（= サイトマップの送信API を新しくする） 以前のpingエンドポイントではサイトマップ インデック ス ファイル（sitemap_index.xml）を送信すればそれで OKだった しかし、新しいAPIではsitemap_index.xmlを送ったと ころ数日経過してもSearch Consoleの管理画面に反映 されなかった。 サイトマップの量が多いためGoogleのクロールに時間が かかっているのか、理由は不明だが個別で送って確実に 登録するのが良さそう。
30. ちなみにIndexing API Search Console APIとは別にIndexing APIがある > 求人情報やライブ配信動画のような有効期間の短いペー ジが多いウェブサイトの場合、Indexing API を使用するこ とで更新を個別にプッシュできるため、検索結果に表示 されるコンテンツを最新の状態に保つことができます。 https://developers.google.com/search/apis/indexing- api/v3/quickstart?hl=ja
31. ちなみに Indexing API このAPIを利用して、人気ブロガーが記事を投稿したら即そ のことをGoogleに伝える、という新しい実装も追加中。 注意点として、このAPIは乱用するとスパム判定を受けるよ うなので、リクエストのしすぎには注意が必要。
32. まとめ
33. まとめ 昨今はAI Optimization（AI検索最適化）に注目が集まっ てるけど、まずはSEOを見直そう 次の2つはみんな確認しよう！ Search Consoleで意図したサイトマップがクロールされ ているか サイトマップの内容は意図したものか（更新が止まって いたりしないか）
34. Search Consoleをみると、 いたはずのページがいない..... ほら、 あなたの後ろに… まだインデックスされていない ページが立っている...