Auswahl der Server-Hardware
In großen Sawmill-Installationen wird typischerweise ein dedizierter Sawmill-Server eingesetzt. Dieses Dokument gibt Tipps zur Hardware-Ausstattung.
Betriebssystem und CPU-Plattform
Sawmill Analytics läuft auf jeder Plattform, empfohlen wird aber ein x64-Linux-System. Sie können jede Linux-Distribution verwenden. Andere x64-Betriebssysteme, wie x64-Windows, x64-Mac OS, x64-FreeBSD oder x64-Solaris sind ebenfalls eine gute Wahl. Andere CPU-Architekturen können auch eingesetzt werden, doch die x64-Performance war bei unseren Test besser als die von SPARC- oder RISC-Systemen.
32-Bit-Architekturen sind bei großen Datenmengen, aufgrund des begrenzten Adressraums, nicht empfehlenswert und können Fehler in Sawmill verursachen.
Datenträger
Man benötigt zwischen 100-200% der Größe der unkomprimierten Logdaten als Größe der Sawmill-Datenbank. Wenn beispielsweise 1 Terabyte (TB) Logdaten verarbeitet werden sollen, dann brauchen Sie bis zu 2 TB Platz für die Datenbank. Wenn täglich 1 TB Logdaten anfallen, dann ergeben sich im Monat 30-60 TB Datenträgerplatz.
Sawmill benutzt den Datenträger bei der Datenbankerstellung und Reportgenerierung sehr ausgiebig, daher sollten Sie für eine gute Performance einen schnellen Datenträger verwenden. Idealerweise ein RAID 10-Array mit schnellen Festplatten. RAID 5 und RAID 6 vermindern die Performance um den Faktor 2 gegenüber RAID 10. Der Schreibpuffer des RAID-Controllers sollte aktiviert werden, da diese in der Regel eine Performancesteigerung um den Faktor 2 bedeutet.
Speicher
Bei großen Datenmengen werden 8 GB RAM auf dem Sawmill-Server empfohlen. Wenn Sie einen separaten Datenbankserver verwenden, dann werden 4GB auf den Datenbankserver empfohlen.
Prozessoren
Um die benötigte Rechenleistung abschätzen zu können, geht man am besten von der Annahme aus, dass Sawmill je Intel/AMD-Prozessor 2.000 Logzeilen pro Sekunde verarbeiten kann (oder 1.000 Logzeilen bei SPARC oder anderen Prozessoren).
Hinweis: Dies ist eine konservative Annahme, denn Sawmill kann bei einigen Datensets erheblich schneller sein und 10.000-20.000 Logzeilen pro Sekunde verarbeiten. Durch die konservative Annahme stellen Sie sicher, dass das System ausreichend schnell ist.
Beispielrechnung:
Ermitteln Sie die Zeilenanzahl des täglichen Datensatzes, 200 Bytes pro Zeile sind eine gute Schätzung. Damit können Sie die Zeit berechnen, die Sawmill benötigt, um die Datenbank zu erstellen. Wenn Sie dies auf Stunden hochrechnen und sich mehr als sechs Stunden ergeben, dann brauchen Sie mehr als eine CPU. Grob gesprochen brauchen Sie je sechs Stunden einen Prozessor.
Zahlenbeispiel:
50 Gigabyte (GB) unkomprimierter Logdaten pro Tag
geteilt durch 200 (Erfahrenswert) => ~268 Millionen Logzeilen
geteilt durch 2000 (Erfahrenswert))=> ~134 Millionen Sekunden
geteilt durch 3600 => ~37 Stunden
geteilt durch 6*) => 6 Prozessoren
*) Die Anzahl von "6 Stunden" geht von der Annahme aus, dass der Updatevorgang nachts nicht länger als 6 Stunden dauern sollte, um die neuen Daten hinzuzufügen. Die sechsstündige Updatezeit ist ein guter Startpunkt eröffnet Möglichkeiten zur Modifizierung und Optimierung der Datenbank und der Filter. Die im Beispiel angenommene Datenmenge kann auf 4 Prozessoren in 9 Stunden verarbeitet werden, wenn dies ein für Sie akzeptabler Zeitrahmen für den nächtlichen Updatevorgang ist.
