Service status: Service Disruption https://letsencrypt.status.io/ アクセスのあるサイトはキャッシュが生きているのだが、運悪く証明書を更新したばかりのサイトがあった。これは困る。Firefox の security.ssl.enable_ocsp_stapling = true (デフォルト…

夕方頃に限って動的ページに秒間10アクセスしてくるので負荷が急上昇する。 マイクロアドというのは掲載していないのだがGoogle AdSenseリセラープログラムとやらの関係で来るのだろうか。他の広告ネットワークのbotはちゃんと間隔を置くし説明URLがUser-Age…

AndroidにおけるHttpURLConnectionのデフォルトUser-Agentらしい。 正規のアクセスと同じIPアドレスで、時間的には直後に来るときもあれば何十秒か遅れる場合もある。 ここによるとMcafee antivirusらしい。ユーザのブラウザ操作によるのか不明だがレスポン…

前から同じような意味不明なアクセスがあったのだが、今回あまりに酷かったので本腰を入れて調べてみた。 挙動からしてブラウザプラグインっぽい。 何のソフトなのか script.module.youtube.dlというモジュールでこのUser-Agent文字列は過去に使われている。…

リダイレクターに関する記事に次のようなHTTPメッセージが出ていた。 HTTP/1.1 302 Found Connection: close Location: /redirected/pathこれで思い出したのだが、昔のPPC Mac OS向けの某ブラウザ（たぶんiCab）はLocationヘッダに相対URLを入れるとうまくリ…

BaiduMobaider/1.0が3秒に1回のアクセス*1を行ってくる。このクローラはrobots.txtも読まない*2 説明を見ると 過去に大きな負荷を各サイト様に与えてしまった反省を踏まえ、クロールを行う際には、各サイト様へ過剰な負荷をかけることのないよう注意を払って…

MJ12bot/v1.3.1はヘルプの記述と異なりCrawl-Delayの指定を無視する。Disallowには従うようだ。 User-agent: MJ12bot Disallow: /