代々木で働く超新米エンジニアの足跡

代々木で働くエンジニアです。超新米です。

robots.txt

robots.txt

クローラーがWebサイトを巡回する際に守るべき規約
大手サイトが利用している
googleだったら、googleトップのurlにrobots.txtを加えると見ることができる。

Disallowとallowでクローラのアクセス禁止を指定

Crawl-delay : 10
これで、クローリングの間隔を指定している。