電柱日報

日々の由無し事

まさかのクローラ全排除

日本についての非常に偏った情報を長年にわたり公開していたという事でネット界隈では話題のMainichi Daily Newsですが、厳正に対処するといった割に当時のメディア担当役員が社長に昇格したり、最終的な処分が減俸10%1ヶ月とかだったりと、新たな燃料の投下に余念がありません。
そんな毎日新聞が新たに燃料を投下していたようです。
検索エンジンなどの自動巡回ロボット(クローラ)に対して、robot.txtという名前のファイルを用意することで巡回時の動作を制限する仕組みがあるのですが、コレを書いている時点でMainichi Daily Newsのrobot.txtはこんな記述になってます。

User-agent: *
Disallow: /

http://mdn.mainichi.jp/robots.txt

1行目のUser-agent(クローラの種類)指定はすべてのクローラが該当するワイルドカード(*)、2行目のDisallowは巡回拒否、その後ろのコンテンツの指定が / で mdn.mainichi.jp 以下のすべてのコンテンツ、となっています。
つまり、「mdn.mainichi.jp以下のすべてのコンテンツに対してすべての検索エンジンの巡回を拒否する」という設定になってるんですよね。検索エンジンを全排除するニュースサイトってどうなんでしょ?
真意はどうあれ*1、臭い物に蓋をしたという印象を持たれても仕方ないんじゃないかなと。
おまけに、mdn.mainichi.jpへの巡回が拒否されてしまっているので、現在googleで「mdn.mainichi.jp」を検索すると、ヒットするのはこの問題関連のページばかり。「Mainichi Daily News」で検索しても、最初こそ日本語版の毎日新聞が出てきますが、その後はやはり今回の問題が殆どになっちゃってますが、毎日新聞的にはこれでOKなんでしょうかねぇ。

*1:とはいいながら、他の理由も思い浮かびませんが