Probleme bei div. Logprofilen

Alles zum Thema Log-Analyse und Sawmill Analytics.
Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Probleme bei div. Logprofilen

Beitrag von Resal » 10. Sep 2008 17:12

Hallo,

wir benutzen aktuell die Enterprise-Testversion von Sawmill auf einem Windows 2003 x64 Server.
Wir haben jedoch noch Probleme bei den meisten Logprofilen.

Bisher konnte ich nur von einer Fortinet die Logdatei richtig auslesen und in eine MySQl-DB schreiben.
Bei den Bluecoat oder Netscreen Logfiles, werden zwar die Datenbanken angelegt, jedoch nicht befüllt.

Liegt es evtl. an den "<133>" Tags vorne in jeder Zeile einer Logdatei (Syslog Linux) ?
Bei der Bluecoat benutzen wir das W3C-ELFF-Format, muss man hier wieder in die erste Zeile die einzelnen tupel (Spalten) kommagetrennt angeben?

Auch bei Aladdin E-Safe GW Logfiles dasselbe ergebnis....Datenbank wird angelegt, es wird aber nichts geparsed oder verarbeitet...

Beispiel-Log Bluecoat:

Code: Alles auswählen

2008-09-08 12:55:30 2 111.111.111.111 407 TCP_DENIED 1126 596 GET http a1.phobos.apple.com 80 /us/r10/Music/81/65/e5/mzi.wfcmalge.53x53-50.jpg - - - NONE - - http://ax.phobos.apple.com.edgesuite.net/WebObjects/MZStore.woa/wa/storeFront iTunes/7.6.2 (Windows; U; Microsoft Windows XP Professional Service Pack 3 (Build 2600)) DPI/96 DENIED Arts/Entertainment - 212.77.174.22
Beispiel-Log Netscreen:

Code: Alles auswählen

fw1: NetScreen device_id=fw1 [Root]system-notification-00257(traffic): start_time=2008-09-08 14:25:30 duration=3 policy_id=20 service=icmp proto=1 src zone=DMZ dst zone=Trust action=Permit sent=78 rcvd=78 src=10.1.1.1 dst=111.111.111.111 icmp type=8 src-xlated ip=111.111.111.111 dst-xlated ip=111.111.111.111
Danke schoneinmal im Voraus!

Gruß

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 10. Sep 2008 23:29

Wurden die Formate beim Anlegen des jeweiligen Profils einwandfrei von Samwill erkannt oder wurde eine Formatauswahl angeboten. Sawmill versucht in erster Linie, das Format automatisch zu erkennen. Wenn das Format aber nicht eindeutig ist, erscheint ein Auswahl der möglichen Formate. Man muss dann das richtige Format auswählen oder die Alternativen durchprobieren. Wenn man hier einfach den ersten Eintrag nimmt, ist das nicht immer richtig und es kommt zu keinen Ergebnis.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 11. Sep 2008 08:38

Bei Netscreen z.B. wurde das Logformat erkannt. Bei der Bluecoat nicht, ich habe hier alle durchprobiert.....auch das von uns eingesetzte W3C ELFF Format....

Ich bin aber parallel mit dem englischen Support in Kontakt, die meinten, es läge evtl. an dem DATETIME tupel....

Nur bei den anderen Logs, funktioniert das nicht. Auch bei Aladdin E-Safe GW habe ich alle Formate durchprobiert mit keinem Ergebnis.
Müssen hier wieder Überschriften in der ersten Zeile eingefügt werden?

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 11. Sep 2008 23:11

Wenn das Gerät die Spaltentitel ausgeben kann, dann sollte man das als erstes versuchen, denn die leere Datenbank könnte ein Anzeichen dafür sein. Sawmill nimmt dann die erste Zeile als Titel an und kann im weiteren mit diesen Daten nichts anfangen.

Allgemein ist es so, dass Sawmill über 800 verschiedene Formate kennt. Diese haben wiederum Unterformate und Varianten. Daher kommt es immer einmal vor, dass eine Variante nicht erkannt oder später falsch ausgewertet wird.

Dies kann aber meistens Fällen schnell angepasst werden. Hierfür wären dann jeweils mindestens 1000 Zeilen des Logs notwendig und möglichst genaue Angaben zum Format (von welchem Gerät, Versionsnummer, Aufbau, ...).

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 12. Sep 2008 15:35

Ich habe mittlerweile über den UK-Support herausgefunden, dass ich bei den Bluecoat-Logs den W3C-Header angeben muss :

Code: Alles auswählen

#Software: SGOS 2.1.6
#Version: 1.0
#Date: 2008-09-08 18:42:27
#Fields: date time time-taken c-ip sc-status s-action sc-bytes cs-bytes cs-method cs-uri-scheme cs-host cs-uri-port cs-uri-path cs-uri-query cs-username cs-auth-group s-hierarchy s-supplier-name rs(Content-Type) cs(Referer) cs(User-Agent) sc-filter-result cs-categories x-virus-id s-ip
dann funktioniert es einwandfrei.

Können Sie mir sagen, wie ich es schaffe, dass er mir automatisch alle Minute die im Profil angegebene Datei (logfile bluecoat z.B.) auslesen und die datenbank befüllen? (das Löschen der datei erfolgt per Command-Line ?? )
Oder reicht es, wenn die Appliance automatisch in die gleiche Logdatei schreibt, und Sawmill erkennt dann automatisch die schon vorhandenen Einträge? Oder muss die Datei wirklich ausgelesen, gelöscht und dann wieder neugeschrieben (mit aktuellen Daten) werden?

Ich weiß , dass das irgendwie im "Server-modus" geschehen muss. Wenn ich beim Aufgabenplaner (Scheduler) die Einstellungen speichere, passiert nichts.
Ist das irgendiwe über den Windows-Taskplaner möglich?
Denn wir benötigen eine nahezu immer aktuelle Auswertung bzw. Datenbank, damit man jederzeit die aktuellesten Daten in der Datenbank hat.

VIelen Danke schon im Voraus...

Gruß

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 12. Sep 2008 15:54

Ja, das mit dem Header war ja auch schon Ihre und meine Vermutung.

Sawmill erkennt automatisch verarbeitete Dateien und auch, ob sich darin etwas geändert hat.

Wenn Sawmill ganz normal unter Windows installiert wurde, läuft es im Servermodus und kann über den Sawmill-internen Aufgabenplaner gesteuert werden. Möglicherweise haben Sie hier falsche Werte eingegeben.

Eine Aktualisierung jede Minute ist zudem u.U. kritisch, wenn es Ihr Server nicht schafft, in dieser Zeit den Vorgang durchzuführen, denn dann kommen sich die Aufgaben in die Quere. Erst die nächste Version von Sawmill wird Aufgaben nacheinander abarbeiten können, auch wenn sie zeitlich parallel aufeinandertreffen.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 15. Sep 2008 08:44

Ok danke soweit!

D.h. dass z.B. ein Ordner, in den die Logs geschrieben werden, automatisch verarbeitet werden und die Datenbank upgedatet wird?

Die Aufgaben werden also richtig ausgeführt, sofern man sie über das Web-Frontend richtig eingepflegt hat?

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 15. Sep 2008 09:14

Ja, Sawmill verarbeitet alle Dateien eines Ordners und erkennt dabei, was schon verarbeitet wurde. Man muss sich also nicht darum kümmern, dass immer nur die neuen Daten im Verzeichnis stehen.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 15. Sep 2008 09:48

OK, nur ich bekomme es einfach nicht hin, dass mittels AUfgabenplaner die Datanbank upgedated wird.

Ich habe dazu im Webfrontend bei "Aufgabenplaner" eine Aktion hinzugefügt, bei der die Datenbank aktualisiert wird, alle 5min. und dabei das Logprofil der Netscreen angegeben. ALlerdings bleibt die Datenbank immer im Urpsprungszustand und es werden keine neuen Logfiles geparsed, obwohl ich neue Logfiles in den Ordner gelegt hatte...

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 15. Sep 2008 12:41

Leider geben Sie mir so gut wie keine Informationen zu den Daten, die Sie im Profil oder Aufgabenplaner eingestellt haben. Wichtig ist, dass im Profil, bei der Logquelle nicht eine Datei, sondern ein Muster wie z.B. logdatei*.* eingegeben wurde, denn sonst wird nur eine Datei genommen.

Funktioniert das Update, wenn Sie von Hand einen "Datenbankaktualisierung" durchführen. Diesen Menüpunkt finden Sie im Kopfbereich bei den Reports.

Ansonsten würde ich Vorschlagen, sich an unseren Support zu wenden.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 15. Sep 2008 14:04

Hallo,

wenn ich ein manuelles Datenbank-Update durchführe, und nur den Ordner mit C:\Ordner\*.* und "Muster ist regulärer Ausdruck" auswähle, funktioniert es einwandfrei.

Bei der Taskplaner-aktion jedoch funktioniert es immer noch nicht.
Einstellungen wie gesagt: Datenbank-Aktualisierung, Profil: Netscreen, Alle 5min.

Auch im Log ist nichts zu finden, dass der task gestartet wurde bzw. starten wollte....

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 16. Sep 2008 00:05

Im Zusammenhang mit dem Aufgabenplaner sind mir keine Probleme bekannt. Ich brächte daher dringend einen Screenshot des Eintrags im Aufgabenplaner.

Wobei ich davon ausgehe, dass Sawmill wie oben beschrieben im Server-Modus arbeitet.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 17. Sep 2008 14:30

Was genau, bedeutet der "Server-modus" ?

Wir haben Sawmill ganz normal über die windows-installation eingerichtet und benutzen das Webfrontend zur Konfiguration.
Wie kann man sehen, in welchem "Modus" Sawmill gerade läuft?


http://www.abload.de/image.php?img=scheduler_134a.png

http://www.abload.de/image.php?img=scheduler_20vb.png

Benutzeravatar
Support
Site Admin
Beiträge: 3100
Registriert: 5. Apr 2003 14:21
Betriebssystem: Windows 7 & 10
Produkt: DOpus 11/12, R-Studio 8, Sawmill 8, RDI 6, MindGenius 6
Version DOpus: Pro
Wohnort: Frankfurt
Kontaktdaten:

Re: Probleme bei div. Logprofilen

Beitrag von Support » 17. Sep 2008 15:12

Wenn es normal über den Installer installiert wird, dann läuft Sawmill im Server-Modus, bringt also seine eigenen Webserver mit, denn sonst könnte man nicht über das Webfrontend darauf zugreifen.

Die Aufgabe wird immer um 0 Uhr 01 ausgefürht, also 1x am Tag bzw. in der Nacht. Um jede Minute auszuführen, müssen Sie "Jede Stunde" einstellen.

Resal
Beiträge: 11
Registriert: 10. Sep 2008 16:56

Re: Probleme bei div. Logprofilen

Beitrag von Resal » 17. Sep 2008 17:00

Ahja da lag der Fehler, super jetzt funktioniert es einwandfrei :)

Bleibt nur noch eine Frage vorerst....

können Sie mir sagen, wo und was genau ich anfügen müss, damit z.B. eine Logdatei gelöscht wird (mittels Script??) nachdem sie verarbeitet wurde... ?

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast