[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [horns@t-online.de: Re: [MEMBERS] [leitner@convergence.de: Re: Zensur Feldversuch durch TCPIP.de Berlin?]]



On 2000-03-21 18:33:08 +0100, Felix von Leitner wrote:
> Aber das ist gar nicht die relevante Frage.
> Das Skalierungsproblem kommt daher, dass die uns heute mitgeteilt haben,
> dass sie
> 
>   a. eine reine Blacklist haben
>   b. pro URL (nicht pro Domain oder pro regexp!) zu filtern
> 
> d.h. wenn die da 100.000 Eintraege in der Blackliste haben, dann geht
> schon an dieser Stelle das Skalierungsproblem los, wie viele Matches man
> machen kann.  Klar gibt es da Algorithmen, aber in Kombination mit dem
> sonstigen Kram, den ein Cache machen soll, und nehmen wir mal an, es
> wuerden 1 Mio URLs...!

Wenn sie URLs filtern, sind sie offen gegen DOS. URLs kann man
schneller erzeugen, als sie sind in ihre Filter einbauen können.
Und wenn sie sie einbauen, bricht ziemlich schnell das System
zusammen (das Testsystem hat 56GB Cache. Für wieviele URLs reicht
das? :->).

Gruß
    Martin

PGP signature