[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [FYI] Neues zu RPS



On Fri, Nov 03, 2000 at 11:48:11AM +0100, Harald Milz wrote:
> Holger Veit <holger.veit@gmd.de> wrote:
> > On Tue, Oct 31, 2000 at 12:56:59AM +0100, Heiko Recktenwald wrote:
> >> Was die Scheiss Robots machen, kann ich nicht verhindern.
> 
> > Doch, das kannst Du. Es liegt einzig und allein an Dir und Deinem Willen,
> > dies zu verhindern (und aus der Verantwortung willst Du dich gerade rauswinden).
> 
> Wie soll das gehen? Wenn ein Robot robots.txt willentlich ignoriert, war's
> das. 

Wie in anderen Mails dieses Threads bereits gesagt: Wenn ein Robot nichts
Archivierbares mehr findet, dann kann er nichts archivieren. Nichtoeffentliche
Dinge gehoeren nicht ins Web. Ich habe ferner noch von keinem regulaer
im Gebrauch befindlichen Robot (Skriptkiddiekram ausgenommen) gehoert,
der versucht, einen bestehenden Passwortschutz einer Seite zu knacken.

Ein robots.txt File ohne die Moeglichkeit, das Verbot durchzusetzen, ist 
Bloedsinn.

-- 
signature fault - code dumbed