Seite 1 von 1

Probleme mit Datenbank aufbau

Verfasst: 17. Mai 2010 08:47
von eviltrooper
Hallo,

benutze die Sawmill Version "Sawmill Professional 8.1.4" auf eine Ubuntu Maschine
4gb ram, Intel(R) Core(TM)2 Duo CPU E8500 @ 3.16GHz

dort will ich eine Datanbank neuaufbauen. Da diese seit einiger Zeit nicht mehr funktioniert.

nun das ist das ergebniss

Code: Alles auswählen

Datenbank wird erstellt(Schritt 241 von 249)	

Crossreferenztabellen werden erstellt... (4)

Updating cross-reference table 3 (URL)
	96.79 %
 	100.00 %
Benötigte Zeit: 	6d 17:09:47

Log-Zeilen verarbeitet:	438.642.880
Zeilen pro Sekunde (Durchschnitt):	745
Zeilen pro Sekunde (aktuell):	0
Zeilen pro Sekunde (Maximum):	36.417
Log-Bytes verarbeitet:	63,54 G
Bytes pro Sekunde (Durchschnitt):	113,22 K
Bytes pro Sekunde (aktuell):	0 B
Bytes pro Sekunde (Maximum):	6,85 M
nun da steht er nun seit 6 TAGEN

eigentlich brauche ich die Tabelle URL gar nicht.

liegts am PC? der reagiert auch total träge...

Re: Probleme mit Datenbank aufbau

Verfasst: 18. Mai 2010 11:36
von Support
Arbeitet denn der Sawmill-Task noch? Es sieht so aus, als wäre er in einem Endloszustand. Die einfachste Lösung wäre, den Vorgang abzubrechen und neu zu starten, falls die DB sich nicht doch schon aufgebaut hat.

Re: Probleme mit Datenbank aufbau

Verfasst: 18. Mai 2010 12:02
von eviltrooper
Sieht so aus.

Code: Alles auswählen

root     11772     1  9 May10 ?        19:02:46 ./sawmill background -p proxy0102 -a bd -v e -mpi 16104 -v beP
root     12735 16113  0 12:07 ?        00:00:00 ./sawmill -handleHTTPRequest 16113_39992336_2646 -laid LogAnalysisInfo/ -v beP
 -mpi 16104 -v beP
root     16104     1  0 May10 ?        00:00:00 /var/sawmill/sawmill -sh 149.250.39.97 -ws t
root     16112 16104  0 May10 ?        00:00:00 sh -c /var/sawmill/sawmill subordinate  -ws t -mpi 16104  -sh 149.250.39.97 -ws t
root     16113 16112  0 May10 ?        00:24:30 /var/sawmill/sawmill subordinate -ws t -mpi 16104 -sh 149.250.39.97 -ws t  

TOP:

Code: Alles auswählen

top - 12:07:41 up 26 days,  3:21,  1 user,  load average: 3.88, 3.91, 3.81
Tasks: 102 total,   2 running, 100 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.9%us,  2.2%sy,  0.0%ni, 19.0%id, 76.8%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   3849688k total,  3811400k used,    38288k free,      664k buffers
Swap: 39102200k total,  5257984k used, 33844216k free,     8912k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
11772 root      18  -2 7702m 3.5g  564 D    2 96.5   1142:47 sawmill
16113 root      18  -2  487m 1844  656 S    0  0.0  24:31.00 sawmill   
und wenn ich ihn abbreche ? er ist ja mit dem "Neuaufbau" nicht fertig oder?

Re: Probleme mit Datenbank aufbau

Verfasst: 18. Mai 2010 13:36
von Support
Ich kenne die Datenmenge und die Verarbeitungsgeschwindigkeit Ihrer Konstellation nicht. Daher kann ich nicht abschätzen, ob Sawmill noch arbeiten könnte oder sich irgendwie festgefahren hat. Änderungen am RAM-Verbrauch könnten ein Zeichen sein. Ich nehme an, dass 6 Tage viel zu lange sind, aber das müssen Sie aufgrund der Zeiten der täglichen Aktualisierung abschätzen (oder in welchen Intervallen auch immer dies bei Ihnen durchgeführt wird).

Für die weitere Analyse wäre es sicherlich sinnvoll, bei uns ein Support-Ticket zu erstellen:
http://www.haage-partner.de/support/

Re: Probleme mit Datenbank aufbau

Verfasst: 18. Mai 2010 13:55
von eviltrooper
Die Datenmege steht ja da

63,54 G Log Dateien.

normal wird täglich aktuallisiert.. aber ich habe einen kompletten neuaufbau gemacht..

Re: Probleme mit Datenbank aufbau

Verfasst: 18. Mai 2010 14:58
von Support
Stimmt. Die Laufzeiten der Logverarbeitung der verschiedenen Logforamte unterscheiden sich jedoch z.T. sehr stark, daher kann ich das nicht festlegen. Ich würde jedoch den Vorgang abbrechen und neu starten, denn der Neuaufbau dürfte m.E. nur wenige Stunden dauern.

Re: Probleme mit Datenbank aufbau

Verfasst: 19. Mai 2010 07:44
von eviltrooper
aber zuviele Daten sind es nicht?

ich besitze nur die Pro version. Benutze also die Sawmill Datenbank

achso es sind Squid3 Log daten...

Re: Probleme mit Datenbank aufbau

Verfasst: 19. Mai 2010 10:28
von Support
Es gibt kein Limit bei der Datenbankgröße, auch nicht bei der Pro-Version. Die Grenze gibt nur die Festplatte oder der physische Speicher vor. Wie bereits gesagt würde ich den Vorgang abbrechen und neu starten.

Re: Probleme mit Datenbank aufbau

Verfasst: 19. Mai 2010 11:21
von eviltrooper
bin ich gerade dabei.. er hat jetzt die Log Files von den letzten 6 Tagen eingelesen und ist im moment da:

Code: Alles auswählen

Datenbank wird aktualisiert(Schritt 11 von 248)	
Task abbrechen    Aktualisieren

Indexe werden zur Haupttabelle hinzugefügt (8)

Index wird erstellt (7)
	4.44 %
 	100.00 %
Benötigte Zeit: 	00:55:32
» Prozessdetails anzeigen» Prozessdetails verbergen
Log-Zeilen verarbeitet:	7.983.028
Zeilen pro Sekunde (Durchschnitt):	2.395
Zeilen pro Sekunde (aktuell):	0
Zeilen pro Sekunde (Maximum):	13.069
Log-Bytes verarbeitet:	1,18 G
Bytes pro Sekunde (Durchschnitt):	370,32 K
Bytes pro Sekunde (aktuell):	0 B
Bytes pro Sekunde (Maximum):	1,95 M

Re: Probleme mit Datenbank aufbau

Verfasst: 19. Mai 2010 12:27
von Support
55 Minuten ist meines Erachtens viel zu langsam. Bitte öffnen Sie doch ein Ticket, damit wir es besser behandeln können.

Re: Probleme mit Datenbank aufbau

Verfasst: 19. Mai 2010 13:16
von eviltrooper
Hallo,

ist erstellt:

Ticket ID: MMW-136634