- こんところにも燃料投下の心遣いを忘れない素敵な運営に乾杯！
User-agent: *
Disallow: /
- robots.txtをどのタイミングで今の内容に変更したのかが気になる。単純にwgetしたファイルのタイムスタンプを見るとこうなっているのだが、これがファイルのmTimeそのものだと思ってしまってよいのだっけ。仮にmTimeの解釈が正しかったとしても、それ以前にどのような内容だったかまでは分からないので、あまり意味ないですね...
- これを踏まえて、どのタイミングでどのような内容に再度書き換えられるのかに興味があるので、cronに仕込んで監視しようと思ったのだが、眠気に勝てそうもない。明日の朝覚えていたらやってみよう。
% wget http://mdn.mainichi.jp/robots.txt
--23:36:03-- http://mdn.mainichi.jp/robots.txt
=> `robots.txt'
mdn.mainichi.jp DNS... 124.83.183.242, 124.83.183.241
mdn.mainichi.jp|124.83.183.242|:80 3... 3
HTTP 3... 200 OK
?: 26 [text/plain]
100%[================================================================================================================>] 26 --.--K/s
23:36:03 (403.03 KB/s) - `robots.txt' ， [26/26]
% ls -l robots.txt
-rw-r--r-- 1 xxxxxxxx wheel 26 6 27 23:58 robots.txt
