WEBクローラー

ちょいと前から、WEBのログを見ていると、2日毎に okfm.npa.go.jp , , Harvest/1.4.pl2 がクロールしている。

別に悪いことしてないけど、2日毎ってのは、非常にウザイ。
Denyにしてやった。ザマミロ。*.npa.go.jpからは一切アクセスできません。
インタネカフェでアクセスするか、どっか踏み台にして来てください(笑)
しかし、このメタサーチを開放すると、UG関係満載のエンジンになるんだろうな。
公開しろよ(笑)