[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: WPOISON - Web Poisoning Software




re

kk schrieb:
[robots.txt]
> Nein, sondern um well behaved robots nicht in die Mauer rennen zu lassen.

da faellt mir ein: was macht eigentlich der programmierer eines law and order
crawlers gegen solche sachen ? robots.txt beachten ist ja wohl keine option...

cu,
brunni