Probleme mit Datenbank aufbau

Alles zum Thema Log-Analyse und Sawmill Analytics.
Antworten
eviltrooper
Beiträge: 9
Registriert: 8. Jan 2010 11:27

Probleme mit Datenbank aufbau

Beitrag von eviltrooper » 17. Mai 2010 08:47

Hallo,

benutze die Sawmill Version "Sawmill Professional 8.1.4" auf eine Ubuntu Maschine
4gb ram, Intel(R) Core(TM)2 Duo CPU E8500 @ 3.16GHz

dort will ich eine Datanbank neuaufbauen. Da diese seit einiger Zeit nicht mehr funktioniert.

nun das ist das ergebniss

Code: Alles auswählen

Datenbank wird erstellt(Schritt 241 von 249)	

Crossreferenztabellen werden erstellt... (4)

Updating cross-reference table 3 (URL)
	96.79 %
 	100.00 %
Benötigte Zeit: 	6d 17:09:47

Log-Zeilen verarbeitet:	438.642.880
Zeilen pro Sekunde (Durchschnitt):	745
Zeilen pro Sekunde (aktuell):	0
Zeilen pro Sekunde (Maximum):	36.417
Log-Bytes verarbeitet:	63,54 G
Bytes pro Sekunde (Durchschnitt):	113,22 K
Bytes pro Sekunde (aktuell):	0 B
Bytes pro Sekunde (Maximum):	6,85 M
nun da steht er nun seit 6 TAGEN

eigentlich brauche ich die Tabelle URL gar nicht.

liegts am PC? der reagiert auch total träge...

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme mit Datenbank aufbau

Beitrag von Support » 18. Mai 2010 11:36

Arbeitet denn der Sawmill-Task noch? Es sieht so aus, als wäre er in einem Endloszustand. Die einfachste Lösung wäre, den Vorgang abzubrechen und neu zu starten, falls die DB sich nicht doch schon aufgebaut hat.

eviltrooper
Beiträge: 9
Registriert: 8. Jan 2010 11:27

Re: Probleme mit Datenbank aufbau

Beitrag von eviltrooper » 18. Mai 2010 12:02

Sieht so aus.

Code: Alles auswählen

root     11772     1  9 May10 ?        19:02:46 ./sawmill background -p proxy0102 -a bd -v e -mpi 16104 -v beP
root     12735 16113  0 12:07 ?        00:00:00 ./sawmill -handleHTTPRequest 16113_39992336_2646 -laid LogAnalysisInfo/ -v beP
 -mpi 16104 -v beP
root     16104     1  0 May10 ?        00:00:00 /var/sawmill/sawmill -sh 149.250.39.97 -ws t
root     16112 16104  0 May10 ?        00:00:00 sh -c /var/sawmill/sawmill subordinate  -ws t -mpi 16104  -sh 149.250.39.97 -ws t
root     16113 16112  0 May10 ?        00:24:30 /var/sawmill/sawmill subordinate -ws t -mpi 16104 -sh 149.250.39.97 -ws t  

TOP:

Code: Alles auswählen

top - 12:07:41 up 26 days,  3:21,  1 user,  load average: 3.88, 3.91, 3.81
Tasks: 102 total,   2 running, 100 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.9%us,  2.2%sy,  0.0%ni, 19.0%id, 76.8%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   3849688k total,  3811400k used,    38288k free,      664k buffers
Swap: 39102200k total,  5257984k used, 33844216k free,     8912k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
11772 root      18  -2 7702m 3.5g  564 D    2 96.5   1142:47 sawmill
16113 root      18  -2  487m 1844  656 S    0  0.0  24:31.00 sawmill   
und wenn ich ihn abbreche ? er ist ja mit dem "Neuaufbau" nicht fertig oder?

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme mit Datenbank aufbau

Beitrag von Support » 18. Mai 2010 13:36

Ich kenne die Datenmenge und die Verarbeitungsgeschwindigkeit Ihrer Konstellation nicht. Daher kann ich nicht abschätzen, ob Sawmill noch arbeiten könnte oder sich irgendwie festgefahren hat. Änderungen am RAM-Verbrauch könnten ein Zeichen sein. Ich nehme an, dass 6 Tage viel zu lange sind, aber das müssen Sie aufgrund der Zeiten der täglichen Aktualisierung abschätzen (oder in welchen Intervallen auch immer dies bei Ihnen durchgeführt wird).

Für die weitere Analyse wäre es sicherlich sinnvoll, bei uns ein Support-Ticket zu erstellen:
http://www.haage-partner.de/support/

eviltrooper
Beiträge: 9
Registriert: 8. Jan 2010 11:27

Re: Probleme mit Datenbank aufbau

Beitrag von eviltrooper » 18. Mai 2010 13:55

Die Datenmege steht ja da

63,54 G Log Dateien.

normal wird täglich aktuallisiert.. aber ich habe einen kompletten neuaufbau gemacht..

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme mit Datenbank aufbau

Beitrag von Support » 18. Mai 2010 14:58

Stimmt. Die Laufzeiten der Logverarbeitung der verschiedenen Logforamte unterscheiden sich jedoch z.T. sehr stark, daher kann ich das nicht festlegen. Ich würde jedoch den Vorgang abbrechen und neu starten, denn der Neuaufbau dürfte m.E. nur wenige Stunden dauern.

eviltrooper
Beiträge: 9
Registriert: 8. Jan 2010 11:27

Re: Probleme mit Datenbank aufbau

Beitrag von eviltrooper » 19. Mai 2010 07:44

aber zuviele Daten sind es nicht?

ich besitze nur die Pro version. Benutze also die Sawmill Datenbank

achso es sind Squid3 Log daten...

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme mit Datenbank aufbau

Beitrag von Support » 19. Mai 2010 10:28

Es gibt kein Limit bei der Datenbankgröße, auch nicht bei der Pro-Version. Die Grenze gibt nur die Festplatte oder der physische Speicher vor. Wie bereits gesagt würde ich den Vorgang abbrechen und neu starten.

eviltrooper
Beiträge: 9
Registriert: 8. Jan 2010 11:27

Re: Probleme mit Datenbank aufbau

Beitrag von eviltrooper » 19. Mai 2010 11:21

bin ich gerade dabei.. er hat jetzt die Log Files von den letzten 6 Tagen eingelesen und ist im moment da:

Code: Alles auswählen

Datenbank wird aktualisiert(Schritt 11 von 248)	
Task abbrechen    Aktualisieren

Indexe werden zur Haupttabelle hinzugefügt (8)

Index wird erstellt (7)
	4.44 %
 	100.00 %
Benötigte Zeit: 	00:55:32
» Prozessdetails anzeigen» Prozessdetails verbergen
Log-Zeilen verarbeitet:	7.983.028
Zeilen pro Sekunde (Durchschnitt):	2.395
Zeilen pro Sekunde (aktuell):	0
Zeilen pro Sekunde (Maximum):	13.069
Log-Bytes verarbeitet:	1,18 G
Bytes pro Sekunde (Durchschnitt):	370,32 K
Bytes pro Sekunde (aktuell):	0 B
Bytes pro Sekunde (Maximum):	1,95 M

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme mit Datenbank aufbau

Beitrag von Support » 19. Mai 2010 12:27

55 Minuten ist meines Erachtens viel zu langsam. Bitte öffnen Sie doch ein Ticket, damit wir es besser behandeln können.

eviltrooper
Beiträge: 9
Registriert: 8. Jan 2010 11:27

Re: Probleme mit Datenbank aufbau

Beitrag von eviltrooper » 19. Mai 2010 13:16

Hallo,

ist erstellt:

Ticket ID: MMW-136634

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast