Re: Flow-Datenspeicherung per EU-Direktive?

[Gert Doering <gert@greenie.muc.de>]

Hi,

On Sat, May 28, 2005 at 09:05:58PM +0200, Jan Lühr wrote:
> Am Samstag 28 Mai 2005 11:17 schrieb Gert Doering:
> > On Sat, May 28, 2005 at 10:28:47AM +0200, Jan Lühr wrote:
> > > Am Donnerstag 26 Mai 2005 20:41 schrieb Gert Doering:
> > > > Etwa 20 Gbyte pro Tag bei uns - als relativ kleinem ISP.
> > > Wie weit komprimiert ihr eigentlich?
> > Das ist das unkomprimierte Volumen.
> und welche Daten umfasst diese Protokollierung?

Cisco Netflow, also "full flow" mit Layer4-Informationen.

> > Jagt man da ein "bzip2" drueber schrumpfen die Daten auf etwa 30%.
> 
> ;) - ist meistens bei Text der Fall - aber die Frage ist: Geht es noch besser? 
> (bzip2 verlangt bekanntlich einiges an Ressourcen)
> 
> Wie viel könntet ihr realistisch Protokollieren, wenn ihr die Protokollierung 
> optimiert und gleichzeit das herraussuchen vergleichsweise effizient 
> geschehen soll?

Wenn man die Flows aggregiert (also nicht jede einzelne TCP-Session 
auffuehrt, sondern nur "im Zeitfenster x bis x+15 minuten gab es IP-
Traffic von A nach B" speichert) koennte man - bei deutlichem Informations-
verlust, natuerlich - im Prinzip bei unserer Groesse die Daten wohl
beliebig speichern (sollte sich bei <5 Gbyte/Tag bewegen, also weniger
als 2 Tbyte/Jahr, und das geben aktuellen PC-RAIDs schon fast her).

Allerdings bleibt da trotzdem die Frage "wer zahlts" und "wo ist die
Verhaeltnismaessigkeit?" - besonders letzteres.

Bei groesseren ISPs sind die Datenmengen trotzdem entsprechend viel
groesser, und wenn man da einen entsprechenden Zugriff ermoeglichen 
will, wird's auch entsprechend *viel* teurer... (weil man nicht mehr
"einfach auf Band migrieren" kann - bzw. Baender dann auch schon
unangenehm teuer werden).

gert
-- 
USENET is *not* the non-clickable part of WWW!
                                                           //www.muc.de/~gert/
Gert Doering - Munich, Germany                             gert@greenie.muc.de
fax: +49-89-35655025                        gert@net.informatik.tu-muenchen.de

-- 
To unsubscribe, e-mail: debate-unsubscribe@lists.fitug.de
For additional commands, e-mail: debate-help@lists.fitug.de