[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: WPOISON - Web Poisoning Software
- To: kk@kafka.shonline.de (Kristian Koehntopp)
- Subject: Re: WPOISON - Web Poisoning Software
- From: brunni@netestate.de (Michael Brunnbauer)
- Date: Mon, 20 Apr 1998 19:25:02 +0200 (MET DST)
- Cc: brunni@netestate.de, debate@fitug.de
- Comment: This message comes from the debate mailing list.
- In-Reply-To: <35364D0D.6409C577@shonline.de> from "Kristian Koehntopp" at Apr 16, 98 08:25:17 pm
- Sender: owner-debate@fitug.de
re
kk schrieb:
[robots.txt]
> Nein, sondern um well behaved robots nicht in die Mauer rennen zu lassen.
da faellt mir ein: was macht eigentlich der programmierer eines law and order
crawlers gegen solche sachen ? robots.txt beachten ist ja wohl keine option...
cu,
brunni