2009-12-03 ■ Web Web MJ12bot/v1.3.1はヘルプの記述と異なりCrawl-Delayの指定を無視する。Disallowには従うようだ。 User-agent: MJ12bot Disallow: /