Performance Mysql

Alles zum Thema Log-Analyse und Sawmill Analytics.
Antworten
Rothgar
Beiträge: 1
Registriert: 7. Sep 2005 10:19
Version DOpus: Pro
Wohnort: Jena

Performance Mysql

Beitrag von Rothgar » 7. Sep 2005 10:29

Hallo,

ich bin gerade dabei für unsere Firma Sawmill zu testen und bin dabei auf eine kleine Frage gestoßen.
Zum Test habe ich die aktuellste PreRelease verwendet. (Grund dafür ist der Mysql-Bug in der normalen Version).

Ich habe täglich eine ca 130MB großes Squid Logfile.
Diese habe ich einmal in die Sawmill interne Datenbank geladen. Das dauert ca. 10 Minuten und arbeitet eigentlich recht flott.

Dann wollte ich es mal mit Mysql versuchen. An der selben Logdatei rechnet er nun schon seit einer Stunde und als Restzeit stehen 3 Stunden.

Woher kommt dieser Unterschied? Ist das Normal ? Worin liegt dann sonst der Vorteil der Enterprise Version.

Prinzipiell bin ich von dem Produkt sehr begeistert und währe sehr Interessiert wenn dies kein Problem darstellt.

Gruß
Martin

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Beitrag von Support » 7. Sep 2005 11:14

Die interne Datenbank arbeitet natürlich schneller als MySQL, weil sie nur für diese Aufgabe optimiert wurde. Bei sehr großen Datenmengen stößt die interne Datenbank allerdings an Grenzen. Genau lässt sich dieser Punkt leider nicht definieren, da er von der Art der Logdatei und den verwendeten Filtern abhängt. Hier kommt die Enterprise-Version ins Spiel, da nur diese MySQL unterstützt. Viel RAM und eine Dual-CPU, möglichst auf einem 64-Bit-Betriebssystem, sind eine sinnvolle Ausstattung für die Verarbeitung großer Datenmengen. Im Extremfall könnte man auch ein MySQL-Cluster einsetzen.

Die Funktionen der Enterprise-Version werden hier beschrieben: http://www.haage-partner.de/sawmill/versionen.html

Gast

Beitrag von Gast » 7. Sep 2005 12:48

danke für die schnelle Antwort.
Klingt auch sehr Logisch, nur hat mich der extreme Zeitunterschied etwas verwundert.

Der Mysql Import nähert sich nun nach 3 Stunden seinem Ende.

Eine kleine Frage hätte ich noch dazu.

An dem Logfile interessieren mich eigentlich nur die verbrauchten Datenmengen pro IP Adresse pro Tag.
Kann mann dies gleich beim Import Rausfiltern.?

So währe ja die Datenbank auf ein minimales Reduziert.

Martin

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Beitrag von Support » 7. Sep 2005 21:20

Ja, man kann bei Sawmill so einiges gleich filtern. Schon beim Einrichten des Profils kann man die Daten beschränken. Weitere Möglichkeiten ergeben Sie über eine Änderung der Logformat-Datei, die sich im Verzeichnis log_formats befindet oder nachträglich an der Profil-Datei im Verzeichnis Profiles. Letztere ist jedoch erheblich umfangreicher und daher schwerer in der Handhabung.

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste