Filtern von Logfiles im Log Source Ordner

Alles zum Thema Log-Analyse und Sawmill Analytics.
Antworten
julia
Beiträge: 4
Registriert: 9. Jan 2007 18:33

Filtern von Logfiles im Log Source Ordner

Beitrag von julia » 10. Jan 2007 09:37

Hallo zusammen,

gibt es eine Möglichkeit, zB. beim "Update Database", nur bestimmte Logfiles, aus dem Log Source Ordner, von Sawmill einlesen zu lassen?
Ich möchte täglich mit dem Scheduler, nur Logfiles der letzten 31 Tagen einlesen lassen.
Allerdings liest Sawmill alle Logdateien aus dem Log Source Ordner ein. Somit dauert, laut Anzeige, der Prozess "Reading data log" ca. 3 Tage.

Einige Infos zu den Logfiles etc. :

Sawmill ver.: 7.2.6
DBMS: Sawmill intern
Durchschn. Größe eines Logfiles: 2,5MB
Anzahl der Logfiles im Log Source: > 13.000
Anzahl Logfiles/Tag: 24


Danke & Grüße
Julia

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Beitrag von Support » 10. Jan 2007 15:24

Wenn das Datum der Logfiles nicht ständig verändert wird, dann erkennt Sawmill automatisch, welche Dateien schon geladen wurden und wird diese nicht mehr laden. Dateien mit geändertem Datum müssen von Sawmill natürlich komplett gelesen werden, um festzustellen, welche Daten schon verarbeitet wurden und was neu ist.

Die drei Tage lassen vermuten, dass es sich um einen FTP-Zugriff und eine sehr langsame Verbindung handelt. Ich vermute aber, dass sich diese Zeit wärend des Laufs stark verkürzen wird.

julia
Beiträge: 4
Registriert: 9. Jan 2007 18:33

Beitrag von julia » 10. Jan 2007 15:54

Hallo,

das Datum der Logfiles bleibt konstant. In jeder Stunde wird eine neue Datei erstellt und nicht in die vorhandene geschrieben.

Bedeutet das, dass Sawmill alle 13000 Logfiles erst einlesen muss und ab dem zweiten Update die alten nicht mehr berücksichtigt werden?!

Vielleicht gibt es doch die Möglichkeit (zB. beim Anlegen des Profiles) zu sagen das Sawmill nur bestimmte Files (ab einem bestimmten Datum) aus dem Source Folder einlesen soll.

Ich kann es mir nicht erlauben, in einem Produktionsumgebung, diesen Einleseprocess 3 Tage lang laufen zu lassen. Das erzeugt einen relativ hohen Last auf dem Rechner.

Nein, die Logfiles liegen local, kein FTP. Das mit den 3 Tagen stimmt wohl auch. Ich liess es etwa 1-2 Stunden laufen (und es fing zunächst mit 2Tage Dauer an).


PS: Was mich auch noch wundert, dass das "Removing data from database" Prozess, um mal 2 Tage Logs aus der Datenbank zu entfernen, 3,5 Std braucht.

Danke & Grüße
Julia

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Beitrag von Support » 10. Jan 2007 16:09

Auf das Dateidatum hat Sawmill keinen Zugriff, wohl aber auf den Dateinamen. Sie können mit Wildcards oder regulären Ausdrücken eine Einschränkung zu machen, da das Datum sicherlich im Dateinamen enthalten ist.

Ich kann mir kaum vorstellen, dass das Entfernen von Daten 3,5 Std. dauern sollte, es sei denn Sie hätten wirklich riesige Datenbestände. Die geschätzen Zeiten werden zumeiste während der Laufzeit korrigiert.

julia
Beiträge: 4
Registriert: 9. Jan 2007 18:33

Beitrag von julia » 10. Jan 2007 16:31

Task Log:
2007/01/10 12:26:00 RUN_SCHEDULED_TASK remove_database_data profile_prod - - - -
2007/01/10 12:26:00 BEGIN_TASK remove_database_data profile_prod unknown - - -
2007/01/10 16:00:55 RESULT remove_database_data profile_prod unknown - - "Removed data from database matching filter 'nofilters'."
2007/01/10 16:00:55 END_TASK remove_database_data profile_prod unknown - - -


Die Datenbank ist etwa 4,3 Gbyte groß und enthält Daten von etwa einem Monat.

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast