Seite 1 von 1

Performance Mysql

Verfasst: 7. Sep 2005 10:29
von Rothgar
Hallo,

ich bin gerade dabei für unsere Firma Sawmill zu testen und bin dabei auf eine kleine Frage gestoßen.
Zum Test habe ich die aktuellste PreRelease verwendet. (Grund dafür ist der Mysql-Bug in der normalen Version).

Ich habe täglich eine ca 130MB großes Squid Logfile.
Diese habe ich einmal in die Sawmill interne Datenbank geladen. Das dauert ca. 10 Minuten und arbeitet eigentlich recht flott.

Dann wollte ich es mal mit Mysql versuchen. An der selben Logdatei rechnet er nun schon seit einer Stunde und als Restzeit stehen 3 Stunden.

Woher kommt dieser Unterschied? Ist das Normal ? Worin liegt dann sonst der Vorteil der Enterprise Version.

Prinzipiell bin ich von dem Produkt sehr begeistert und währe sehr Interessiert wenn dies kein Problem darstellt.

Gruß
Martin

Verfasst: 7. Sep 2005 11:14
von Support
Die interne Datenbank arbeitet natürlich schneller als MySQL, weil sie nur für diese Aufgabe optimiert wurde. Bei sehr großen Datenmengen stößt die interne Datenbank allerdings an Grenzen. Genau lässt sich dieser Punkt leider nicht definieren, da er von der Art der Logdatei und den verwendeten Filtern abhängt. Hier kommt die Enterprise-Version ins Spiel, da nur diese MySQL unterstützt. Viel RAM und eine Dual-CPU, möglichst auf einem 64-Bit-Betriebssystem, sind eine sinnvolle Ausstattung für die Verarbeitung großer Datenmengen. Im Extremfall könnte man auch ein MySQL-Cluster einsetzen.

Die Funktionen der Enterprise-Version werden hier beschrieben: http://www.haage-partner.de/sawmill/versionen.html

Verfasst: 7. Sep 2005 12:48
von Gast
danke für die schnelle Antwort.
Klingt auch sehr Logisch, nur hat mich der extreme Zeitunterschied etwas verwundert.

Der Mysql Import nähert sich nun nach 3 Stunden seinem Ende.

Eine kleine Frage hätte ich noch dazu.

An dem Logfile interessieren mich eigentlich nur die verbrauchten Datenmengen pro IP Adresse pro Tag.
Kann mann dies gleich beim Import Rausfiltern.?

So währe ja die Datenbank auf ein minimales Reduziert.

Martin

Verfasst: 7. Sep 2005 21:20
von Support
Ja, man kann bei Sawmill so einiges gleich filtern. Schon beim Einrichten des Profils kann man die Daten beschränken. Weitere Möglichkeiten ergeben Sie über eine Änderung der Logformat-Datei, die sich im Verzeichnis log_formats befindet oder nachträglich an der Profil-Datei im Verzeichnis Profiles. Letztere ist jedoch erheblich umfangreicher und daher schwerer in der Handhabung.