LINE Corporation の harvester

203.104.145.* から変なbotのアクセスがある。

GET /<HTML_PATH> HTTP/1.1
Connection: close
From: obs-jp
Host: <SERVER_HOSTNAME>
Accept-Charset: utf-8
Accept-Language: en-US,en;q=0.8,*;q=0.6
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36
X-Obs-Proxy-Ip: <SERVER_IP_ADDRESS>
Content-Length: 0
# <...>には適当な文字が入る
  • robots.txtを無視する
  • Chromeに偽装している
  • そのくせロボット以外に通常付けないFromヘッダがある
  • Fromヘッダがメールアドレス(を連想させるもの)ではない
  • GETなのにContent-Lengthヘッダがある

なかなか素敵な実装だ。
HTMLしか読まないが、何をしているのだろう。