今年の夏頃に本ブログのドメイン（yamanekovillage.com）をお名前.comからCloudflareに移管したのですが、それ以来GoogleBotがsitemapを読めなくなってしまいました。
しばらくすれば治るかなと放置していたのですが、一向に治る気配がありません。
そんなわけでまずは原因特定から始めることにしました。 明らかに怪しいのはCloudflareなのでそこから洗ってみます。
cloudflareを経由した結果です。robots.txtによってブロックされたとでています。 もちろん、robots.txtにはsitemap.xmlをブロックするようなルールは書いていません。
cloudflareを経由せず、cloudfrontのurlを直接叩いてみました。 問題なく動作しています。
ということで、Cloudflareが原因らしいことまでは特定できたのですが、解決することはできませんでした。Cloudflareの質問サイト等に同じような人がたくさんいたのですが、どれも解決したのかよくわからない感じでcloseされてしまっています。
この記事を書いた翌日にsitemapを読めるようになりました！
何がきっかけでうまくいったのかよくわからないので、前日Cloudflareで行った操作を書いておきます。
セキュリティ > WAF > カスタムルール
から怪しいbotにはsitemap.xmlを見せないようにする
Caching > Cache Rules
からsitemap.xmlへのアクセス時はキャッシュをバイパスするようにする
アプリを作ったりしています! よかったらみていってくださいね→
つくったもの
今のイチオシ↓
