Suchergebnis Synchronisieren

Aktuelle Version: 12.21 (22.06.2020)
Alles zum Thema Directory Opus
Antworten
Maui
Beiträge: 106
Registriert: 7. Mär 2019 19:37
Betriebssystem: Windows 10 Pro

Suchergebnis Synchronisieren

Beitrag von Maui »

Hi,
ich habe nutze Label um Ordner zu Kategorisieren.
Die Kategorien nutze ich um verschiedene Ordner auf verschiedenen externen Festplatten zu speichern, können aber nicht auf dem System in verschiedene Verzeichnisse gespeichert werden.

Rote Label nutze ich für extere Festplatte 1, grün für externe Festplatte 2 und orange für externe Festplatte 3.
Dazu habe ich verschiedene Filter erstellt. Im Suchergebnis erhalte ich dann entweder alle rote, grüne, oder orange Ordner als Suchergebnis.

Jetzt möchte ich das Ergebnis mit der externen Festplatte Synchronisieren.
Oftmals erhalte ich dann eine Meldung Synchronisiere 0 Dateien und 77 Ordner??
Was sich widersprüchlich anhört.
DO01.JPG
Scheint also zu funktionieren???
Beide Verzeichnisse sind nach dem Synchronisieren wohl identisch?
Scheint nicht so zu sein, weil nach dem Synchronisieren die gleiche Meldung bei einer erneuten Synchronisierung auftritt und die gleichen Ordner abgleichen möchte?

Allerdings möchte ich auch die Option "Dateien automatisch am Ziel löschen, wenn nicht in der Quelle", dann ändert sich das Ergebnis dramatisch.
Dadurch habe ich das gefühlt das alle Dateien gelöscht werden und alle dann wieder erneut kopiert werden?
DO02.JPG
Benutzeravatar
tbone
Berater
Beiträge: 646
Registriert: 22. Nov 2014 21:16
Betriebssystem: 7*64

Re: Suchergebnis Synchronisieren

Beitrag von tbone »

Puh, bin ich überfragt.
Kann man Collections gegen reale Folder syncen? Damit habe ich keine Erfahrung, das Vorhaben klingt mir jedenfalls wagemutig. o)

Zu Deinem Gefühl dass da alles nochmal kopiert wird, mir fällt da im Screenshot die Checkbox "Vor Kopieren löschen" auf.
Vielleicht ist es das? o)

Ich, als etwas geübter Scriptschreiber/Entwickler würde mir "Flag-Files" in die Kategorie-Ordner legen, einerseits um zu erkennen, das ist ein zu synchender Ordner, andererseits um aus dem Flag-File auszulesen, wohin der Ordner gesynct werden soll (welche Festplatte bei Dir).
Dann mit einem Script über die Ordnerstrukturen gehen, wenn Flag-File vorhanden, auswerten, ggfl. syncen (mit Robocopy.exe).
Das lässt sich dann auch komplett automatisch ausführen, über DO ist das ja immer so ein Geklicker.

Wenn sich die zu syncenden Ordner nicht ständig ändern, könntest Du diese auch einfach in einer Liste eintragen, bzw. in einem Script gleich eine Latte Robocopy Kommandos absetzen, die eben diese Ordner auf die Platten syncen - auch relativ einfach zu pflegen bzw. anzustoßen.

Soll nur eine Option sein, mit DO selbst und Deinem Vorhaben kann ich Dir leider nicht weiterhelfen, benutze den DO-Sync selten, weil der nur manuell aufzurufen ist und weil er mich auch manchmal mehr verwirrt als er mir hilft. Für kleine Sachen geht das, regelmäßiges Syncen muss man m.M. aber anders lösen.
Maui
Beiträge: 106
Registriert: 7. Mär 2019 19:37
Betriebssystem: Windows 10 Pro

Re: Suchergebnis Synchronisieren

Beitrag von Maui »

Ich dachte jetzt hätte ich einen Workaround gefunden und bei näherer Betrachtung doch keine Lösung.
Ich programmiere schon in Java so ziemlich alles mögliche, aber gescriptet habe ich nur mit AppleScript.

Eine Server Basierte Lösung muss her und überlege mir python oder php zu erlernen und dann mit cron auf der Synology DiskStation etwas zu kreieren?!
Benutzeravatar
tbone
Berater
Beiträge: 646
Registriert: 22. Nov 2014 21:16
Betriebssystem: 7*64

Re: Suchergebnis Synchronisieren

Beitrag von tbone »

Ja, die Sprache ist fast egal, kommt nur ein bisschen drauf an, wie und von wo aus Du Deine Syncs anstoßen willst.

Bevor Du aber anfängst, solltest Du Dir aber trotzdem erstmal noch andere dedizierte Sync-Tools angucken. Wenn Du mit denen nicht klarkommst oder immernoch Features fehlen, kommst Du dem Punkt aber immer näher, an dem man die Bouletten selber machen will/muss.

Mein Sync testet z.B. vorher um wieviel % die Daten geschrumpft oder gewachsen sind, sodass ich nicht aus Versehen gelöschte oder falsche Datenbestände "weg"-synce, stichprobenweise MD5-Prüfsummen nehmen, um zu verhindern, dass über RansomWare/Viren verschlüsselte Dateien ins Backup gelangen. Truecrypt-Container anmelden, VolumeIDs gegenprüfen, Rechner über WOL hochfahren, Protokoll per Mail schicken etc. pp.. So ein "persönliches" Feature-Paket in einem fertigen Programm zu finden, ist nicht leicht. Manche Tools haben eine Scripting-Schnittstelle, die muss aber auch gut sein und braucht Einarbeitung. Ich habe es z.B. eine Zeit lang mit SyncBackPro versucht, das kann ein' Haufen Zeug, aber am Ende war mir die Scripting-API zu sperrig, Support auch eher schlecht, dann habe ich meine relativ komplexe Batchfile-Lösung nach Powershell überführt bzw. mit einem neuem Ansatz von vorne geschrieben.

Den eigentlichen Sync vielleicht nicht unbedingt selber coden, ich nehme wie gesagt Robocopy.exe als "Kernkompetenz" dazu, denn so ein CommandLine basiertes Sync-Tool, das schon mit Multithreading und zig Features daherkommt, wird man selbstgeschrieben - auf hohem Niveau - nicht wuppen, nicht mit überschaubarem Aufwand. Dieses Zahn-Rad also vielleicht nicht unbedingt neu erfinden, beim Ringsum kann man sich aber austoben. o)

Ein bisschen Erfahrung wäre dabei natürlich hilfreich, aber falls man die nicht hat, kann man die dabei ja sammeln. o)
Ich bin eher Windows ausgerichtet, meine Syncs laufen daher über ein DIY-Powershell-Framework und Robocopy.exe. Python liefe überall, wäre keine schlechte Wahl. Java ginge auch, das nötige Kompilieren ist vll ungünstig, aber irgendwie gibt's ja glaube auch OnTheFly-Compiler/Ausführer für *.java Code. Node.js käme auch in Frage (lernt man gleich Javascript), dazu muss Du allerdings die komplexe Paketmanager-Lösung NPM mitheiraten. PHP ginge auch, CommandLine und OS-Support ist m.M. aber nicht optimal für so ein Vorhaben.

Also Python oder Node.js, aber wie gesagt, versuche trotzdem erst etwas Fertiges zu finden, wenigstens temporär. Du willst ja nicht während der Entwicklung keine Syncs/Backups haben, denn das kann ein paar Wochen dauern. o)
Maui
Beiträge: 106
Registriert: 7. Mär 2019 19:37
Betriebssystem: Windows 10 Pro

Re: Suchergebnis Synchronisieren

Beitrag von Maui »

Schon lange suche ich nach einem ordentlichen Daten Management System und habe mich entschlossen dann mein eigenes zu schreiben.
Angefangen hatte ich es auf einem Windows System mit dem RAR Packer Programm und eigenen Skripten im Jahr 2001. Später dann auf einem iMac mit Applescript gemacht und zum Schluss habe ich alle meine Erkenntnisse in einigen Hunderten von Java Methoden umgesetzt welche immer noch in der IDE laufen.

Da ich schon seit 2006 mit Synology DiskStationen arbeite und aktuell nun 4 solcher Systeme habe geht die Überlegung das ganze auf diesen System aus zu lagern. Denn ich finde es sinnvoll die Daten dort zu verwalten, wo diese auch liegen. Seit Jahre habe ich die Erkenntnis gewonnen die Dateien nicht durch einen Dateimanager zu verwalten in Ordnerstrukturen, sondern in Datenbanken mit einem Client-Manager.

Diretory Opus war eine Anschaffung um vorübergehend Herr der Lage über die Unmengen von Dateien zu bekommen, weil mein Projekt nicht mal so eben programmiert ist. Außerdem bin ich mir auch nicht wirklich sicher ob Java auch das richtige für Windows wäre.

Das Synchronisieren mit externen Laufwerken ist für mich ein Archiv, welches gelegentlich aktualisiert wird.
Datensicherungen laufen von DiskStation zu DiskStation.
Benutzeravatar
tbone
Berater
Beiträge: 646
Registriert: 22. Nov 2014 21:16
Betriebssystem: 7*64

Re: Suchergebnis Synchronisieren

Beitrag von tbone »

Also wenn Du schon 20 Jahre in dieser Ecke unterwegs bist und auch schon diverse Dinge entwickelt hast, dann hast Du doch gute Voraussetzungen eine gute Lösung irgendwo da draußen zu finden, eine alte wieder auszugraben oder eine neue selber zu bauen.

Ich würde nur aufpassen, dass was immer Du baust, vielleicht irgendwie nicht ganz so spezifisch für Deine DiskStations ist. Wenn es die Reihe mal nicht mehr gibt, oder keine Ersatzteile oder was auch immer, guckst Du in die Röhre. Ich habe deswegen Windows(-Server, muss aber nicht) und Standard-x86 Hardware als Basis gewählt. Damit ist man frei was Software und Hardware angeht. Ich nehme deswegen auch nichtmal mehr PCIe RAIDx-Controller oder ähnlich. Das ist alles Zeug was kaputt geht, schwer auszutauschen ist und die Datenrettung erschwert bzw. unmöglich macht. Ein Controller-Defekt im NAS ist z.B. auch schlecht zu fixen oder auch die speziellen RAIDx-Volumes dieser Controller).

Selbst USB-Gehäuse sind mit Vorsicht zu genießen. Die Platte da rausholen und dann direkt via SATA anschließen, kann klappen, muss aber nicht. Habe letztens 6 Gehäuse entsorgt, weil die kein Standard-SATA Controller hatten. Per USB etwas auf die Platte spielen und dann via SATA direkt nicht mehr drankommen, im Ernstfall nicht lustig - aber der erfahrene Datenjongleur probiert vorher aus. o)

Wir schweifen ein bisschen ab.. mir scheint Du weißt was Du brauchst, wollte nur nochmal auf die Hard/Software-Umgebung hinweisen und dass Du aufpasst, dass sich Deine Mühen auch lohnen und nicht plötzlich obsolet sind, wenn Du selber Zeug zusammenstrickst. "Keep It Simple" ist bei dem ganzen Quatsch jedenfalls nicht der blödeste Ansatz.
Maui
Beiträge: 106
Registriert: 7. Mär 2019 19:37
Betriebssystem: Windows 10 Pro

Re: Suchergebnis Synchronisieren

Beitrag von Maui »

Danke für Deine Tipps,
ich bleibe soweit Hardware unabhängig wie es geht.
Externe Gehäuse habe ich nicht, nutze USB3 DockingStation.

Von der Software denke ich das es eventuell mit Python oder PHP realisiert wird.
Ich werde zu beiden Sprachen ein paar kleine bereits entwickelte Module umsetzen und sehen mit welchen es am besten funktioniert.

Aktuell ist Directory Opus eine sehr gute Hilfe.
Mittlerweile habe ich das Umbenennungstool sehr lieb gewonnen, nutze es sehr häufig und auch bei großen Massen.
Das Synchronisieren läuft in der Regel auch sehr gut soweit die Ordner noch so klein sind wie es auf eine Festplatte passt.
Wenn das Verzeichnis größer ist als eine Festplatte fasst, gibt es ein Problem, daher vorher mit einer Suche die Ordner finden und diese dann zu synchronisieren war ein guter Ansatz, leider ist das Synchronisieren dann ein Problem.
Auch das Duplikate finden funktioniert mittlerweile ganz gut und durch die Selektionsmöglichkeit nicht mehr mit so vielen Scrollen verbunden.

Alles in allem ist DO schon eine gute Hilfe und bleibt solange ich es benötige.
Benutzeravatar
tbone
Berater
Beiträge: 646
Registriert: 22. Nov 2014 21:16
Betriebssystem: 7*64

Re: Suchergebnis Synchronisieren

Beitrag von tbone »

Ja, DO ansich ist schon zu gebrauchen. o)
Ich habe die letzte Zeit einige Linux Filemanager angeguckt.. da liegen Welten dazwischen. o)

Lässt sich mit den DiskStations nicht auch ein Volume erzeugen, welches Festplatten bzw. mehrere DiskStations umspannt, sodass der komplette Speicher über Festplatten-Grenzen hinaus verfügbar ist? Klingt etwas so, als bräuchtest Du soetwas. Für Windows gab es damals ein paar Produkte die das ermöglicht haben. Linux mit seinen vielen Dateisystemen hat doch da vll auch etwas parat? Nun, nur relevant, sofern Du das überhaupt alles nochmal umkopieren könntest. Will man ja vermutlich auch nicht unbedingt. o)
Maui
Beiträge: 106
Registriert: 7. Mär 2019 19:37
Betriebssystem: Windows 10 Pro

Re: Suchergebnis Synchronisieren

Beitrag von Maui »

Die DiskStations können alles was auch richtige Server können.
Raid, JBod usw. aber das ist nicht mein Problem.
Meine Ordnerstrukturen sind auf den DiskStationen wohl durchdacht und enthalten sowohl JBod (zusammenbinden von Festplatten ohne Datensicherheit) sowohl Raid 5 (zusammenbinden von Festplatten mit Datensicherheit) sowie Basis System welche nur aus einer einzigen Festplatte ohne Datensicherheit verwendet werden.

Der große Verwaltungsaufwand ist wenn Ordner mehr Daten beinhalten, die dann nicht mehr auf einer externen Festplatte unter zu bekommen sind.
Die Daten müssen dann aufgeteilt werden um diese auf mehreren externen Festplatten zu verteilen. Was nicht immer möglich ist, ist das aufteilen der Daten in weiteren Unterverzeichnisse um zu synchronischeren und daher gefiltert werden müssen um die Daten zu verarbeiten.

Aktuell habe ich 53 Festplatten 14 Davon sind in den DiskStationen, der Rest dient als externes Backup und als Archiv, welche in Abständen aktualisiert werden.
Benutzeravatar
tbone
Berater
Beiträge: 646
Registriert: 22. Nov 2014 21:16
Betriebssystem: 7*64

Re: Suchergebnis Synchronisieren

Beitrag von tbone »

tbone hat geschrieben: 14. Apr 2020 10:23 Lässt sich mit den DiskStations nicht auch ein Volume erzeugen, welches ... mehrere DiskStations umspannt ...
Jaja, ich versteh' schon, deswegen meinte ich Volumes über mehrere DiskStations und sprach die speziellen Filesysteme an die für sowas gedacht sind -> so mehr oder weniger "Distributed File Systems" (DFS). Für Linux gibt es da einen Haufen Zeug, guckst Du vll mal nach: Greyhole, unionfs, AUFS, mergerfs.
Mergerfs kann das hier z.B.: (klingt so, als könnte das für Dich nützlich sein)
- Handling of writes to full drives (transparently move file to drive with capacity)

Der Ansatz diverse Folder unter einem "riesigen" RootFolder anzumelden (um erstmal alle Daten in einem einzigen Folder zu haben), und die Folder darin, die dann auf konkretere Geräte gehen, die man dann wiederum RAIDen und/oder erweitern kann, wäre u.U. auch eine Lösung für Dich. Das lässt sich mit gewöhnlichen OS-Mitteln herstellen, das Problem, dass ein Folder (bzw. das dahinterliegende Volume) voll sein kann bleibt damit erstmal bestehen, lässt sich aber u.U. leichter lösen, wenn ein Folder bspw. auf eine DiskStation zeigt (die Du dann erweitern kannst bis der Arzt kommt). Ist die DiskStation voll, musst den Ordner virtualisieren und die physischen Unterordner auf eine/mehrere DiskStations aufteilen.

Das Problem haben große Unternehmen ja auch - irgendwie lässt sich das lösen! o)

Ich nutze das oben beschriebene "RootFolder mit virtuellen SubFoldern"-Prinzip schon länger, auch für normale Folder unter Windows (damit ich auf jedem PC den gleichen 0815-Datenbestand habe). Das sind dann ins Filesystem gemountete UNC-Pfade. Solche Folder verweisen also ins Netzwerk und damit auf einen Server auf dem die Volumes leben (Disk-Mountpoints z.B.). Das hat so seine Vor- und Nachteile, bislang komme ich damit aber hin. Gedoppelt und gesynct mit dem Backup ist dabei erstmal nichts, das mache ich separat und automatisiert in Intervallen. Windows hat ja aber auch noch die ShadowCopies, mit denen Du alle Folder snapshotten und auch ohne das richtige Backup wiederherstellen kannst, wenn man nicht mehr als 20-30% aus Versehen weggehauen hat (ShadowCopies brauchen auch Platz, den muss man mit reinrechnen, je nachdem wieviel Reserve mal haben will).

Komplexe Thematik, man hat da schon einiges probiert, was die richtigen Profis machen kann ich aber auch nur vermuten. Bin kein Storage-ITler! o)
Antworten