MJ12bot/v1.3.1はヘルプの記述と異なりCrawl-Delayの指定を無視する。Disallowには従うようだ。 User-agent: MJ12bot Disallow: /
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。