BaiduMobaider/1.0が3秒に1回のアクセス*1を行ってくる。このクローラはrobots.txtも読まない*2 説明を見ると 過去に大きな負荷を各サイト様に与えてしまった反省を踏まえ、クロールを行う際には、各サイト様へ過剰な負荷をかけることのないよう注意を払って…