■
BaiduMobaider/1.0が3秒に1回のアクセス*1を行ってくる。このクローラはrobots.txtも読まない*2
説明を見ると
とあるのはBaiduspiderの項目内だけなので、嘘はついていないのだろうが。
過去に大きな負荷を各サイト様に与えてしまった反省を踏まえ、クロールを行う際には、各サイト様へ過剰な負荷をかけることのないよう注意を払っております
*1:アタックとも言う
*2:数日後robots.txtへのアクセスを確認したが、その後もクロールは続いている。
BaiduMobaider/1.0が3秒に1回のアクセス*1を行ってくる。このクローラはrobots.txtも読まない*2
説明を見ると
とあるのはBaiduspiderの項目内だけなので、嘘はついていないのだろうが。
過去に大きな負荷を各サイト様に与えてしまった反省を踏まえ、クロールを行う際には、各サイト様へ過剰な負荷をかけることのないよう注意を払っております
*1:アタックとも言う
*2:数日後robots.txtへのアクセスを確認したが、その後もクロールは続いている。