robots.txt
robots.txt
クローラーがWebサイトを巡回する際に守るべき規約
大手サイトが利用している
googleだったら、googleトップのurlにrobots.txtを加えると見ることができる。
Disallowとallowでクローラのアクセス禁止を指定
Crawl-delay : 10
これで、クローリングの間隔を指定している。
クローラーがWebサイトを巡回する際に守るべき規約
大手サイトが利用している
googleだったら、googleトップのurlにrobots.txtを加えると見ることができる。
Disallowとallowでクローラのアクセス禁止を指定
Crawl-delay : 10
これで、クローリングの間隔を指定している。