Probleme bei div. Logprofilen

Alles zum Thema Log-Analyse und Sawmill Analytics.
Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 17. Sep 2008 17:33

Eine Logdatei können Sie gar nicht löschen. Über das Frontend können Sie nur alle Einträge, die älter sind als x Tage löschen. Dies geht ebenfalls über den Aufgabenplaner. Alternativ könnte man es auch über ein Script steuern.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 18. Sep 2008 11:01

1. Ok, d.h. man müsste per WindowsTaskplaner eine *.bat starten, die z.B. alle 10min. die vorhandenen Logdateien in einem Ordner löscht.

Ist hierbei der Zugriff auf die Dateien gewährleistet, d.h. gibt es keine Konflikte, wenn Sawmill gerade per Scheduler Logdateien verarbeitet, diese aber im selben Moment per Script gelöscht werden?
Oder werden die Dateien erst , quasi gesperrt, eingelesen, dann freigegeben und in Sawmill weiterverarbeitet?

2. Ein Problem tritt noch auf:
"Die Datenbank für z_netscreen kann nicht aktualisiert werden - es findet bereits ein Schreibzugriff statt"

In der Process-list der Mysql-db stehen 2 verbindungen von sawmill auf dieses datenbank. jedoch läuft nur eine Aktion per aufgabenplaner und sonst finden auch keinerlei schreibende zugriffe auf die Datenbank statt. Nur per Programm wird die Datenbank ausgelesen, um zu sehen, ob Daten vorhanden bzw. aktualisiert sind.

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 18. Sep 2008 21:09

1) Nein, das ist nicht nötig. Das hatte ich aber Anfangs schon gesagt.

2) Auch das hatte ich bereits gesagt, wenn man das zu schnell hintereinander startet (z.B. jede Minute), dann kommen sich die Aufgaben ins Gehege. Hier muss man einmal von Hand nachmessen, wie lange der Vorgang dauert und dann noch etwas draufrechnen.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 22. Sep 2008 09:16

zu 1) wir wollen aber keine Daten aus der Datenbank löschen, sondern die alten schon verarbeiteten Logfiles löschen.....ich erinnere mich einmal gelesen zu haben, diese wäre über ein Script möglich, das aus dem Aufgabenplaner von Sawmill per Parameter gestartet werden kann?
Oder müssten wir uns selber um die Löschung der Logdateien kümmern? (pro MInute wird z.B. eine *.log-Datei erstellt, alle Stunde werden alle Dateien darin gelöscht die älter sind als JETZT - 5min. o.ä )


zu 2) ok, aber leider ist es nicht möglich, den Zeitraum höher auf z.B. 5min. zu stellen. die nächst höhere "Stufe" wäre ja dann einmal in der Stunde, oder sehe ich den Zusammenhang der Einstellungen falsch?
Das Problem ist, dass wir die Logdaten nahezu "live" benötigen, d.h. eine Verzögerung von 5min. wäre u.U. noch tolerierbar länger jedoch nicht.

DAnke schon einmal im Voraus.....

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 22. Sep 2008 10:47

1) Die Verwaltung der Logfiles macht eigentlich der erzeugende Server und nicht das Analyseprogramm. Mir war bisher auch noch keine Strategie bekannt, die jede Minute eine Logdatei anlegt. Normalerweise passiert das täglich, wöchentlich oder monatlich.

Der Aufgabenplaner kann keine Dateien löschen, sondern nur Daten aus der DB entfernen.

2) Man kann hier in 1-Minuten-Schritten jeden erdenklichen Wert einstellen. Stufen gibt es nicht.

Die Verarbeitunggeschwindigkeit hängt primär von der Hardware ab (und natürlich von der Größe und Art der Logdatei). Die Zeit können Sie recht einfach ermitteln, indem Sie die "Aktualiserung" von Hand starten.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 22. Sep 2008 11:53

1) Nunja, das Problem ist, wie schon erwähnt, dass wir eine Vielzahl an Geräten haben. Sawmill soll all die Logfiles verarbeiten und das eben so, dass wir jederzeit immer die aktuellesten Daten in der Datenbank haben. Ok, man könnte auch immer in dasselbe Logfile schreiben, welches dann am nächsten Tag gelöscht werden müsste, wäre theoretisch kein Problem.

2) wenn man aber "jeden Monat, jeden Tag, jede Stunde:05" einstellt, so passiert nach 5min. noch nichts, erst jede Stunde dann um XX:05 Uhr.
Mir ist aufgefallen, dass die Verarbeitungsgeschwindigkeit stark zunimmt, je mehr Logfiles sich in dem auszulesenden Ordner befinden.....
Liegt das evtl. an der 1-minütigen Aktualisierung, oder wäre es damit getan, die Appliance in eine einzige Logfile loggen zu lassen (Zugriffskonflikt?) ?

Mir ist klar, dass wir, wenn wir Sawmill produktiv im Einsatz haben, einen High-end server verwenden werden. Zu Testzwecken jedoch muss ich momentan auf einen Intel Xeon E3110 @ 3.00 GHz mit 1,00GB Ram zurückgreifen :)
Wir wollen einfach testen, ob Sawmill unseren ANforderungen gerecht wird, weil wir es ggf. produktiv einsetzen wollen.
Für uns käme dann sowieso nur die Unlimited Enterprise Version in Frage, da wir viele div. Profile haben werden.

Benutzeravatar
Support
Site Admin
Beiträge: 3102
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 4. Okt 2008 20:59

Der Beitrag wird im direkten Kontakt weitergeführt.

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste