Synology NAS & pCloud vollautomatisiert mit rclone synchronisieren
Bild erstellt in der Microsoft Copilot App für iOS, dort mit Hilfe von Dall-E 3
Kurzer Disclaimer vorweg: Eine technische Anleitung, wie rclone auf dem NAS zum Laufen gebracht wird, findest du in diesem Beitrag. Hier geht es um meine Erfahrung mit Synology Cloud Sync und rclone und wieso letzteres eine super Wahl für eine NAS-Cloud-Synchronisation ist.
Backups sind ein leidiges Thema. Man weiß irgendwie, dass man sie vornehmen sollte, kreiert dann halbherzige Lösungen, vielleicht sogar mit manuellem Aufwand, wie dem Kopieren von wichtigen Daten auf externe Festplatten und hört dann - da es mühsam ist - irgendwann auch wieder auf, die eigenen Daten zu sichern. Bis es zu spät ist und man sich in den A**** beißen könnte.
Ich war also schon ziemlich stolz auf mich, als ich vor ein paar Jahren ein NAS anschaffte und die gesamte Fotomediathek von allen iPhones, externen Festplatten und den Rechnern auf das NAS spielte und sortierte. Als dann noch eine automatisierte Sicherung der iPhone-Fotos aufs NAS eingerichtet war, strahlte meine Admin-Krone. Auf dem NAS richtete ich ein RAID ein und hatte erstmal eine gewisse Grundsicherheit erreicht, die über einige Jahre so blieb. Aber ich wusste natürlich, dass eigentlich noch eine weitere Sicherung stattfinden sollte: Eine Spiegelung der Daten auf dem NAS auf ein weiteres, sich nicht im Haus befindliches System. Aber sollte ich wirklich irgendwo noch ein NAS aufbauen und administrieren? Ne, das wollte ich nicht. Ein Cloud-Speicher wäre cool.
Wie es der Zufall so will, gab es letztes Ostern wieder ein Angebot von pCloud. Einem schweizer Cloud-Anbieter, der Kontingente für eine Einmalzahlung, statt einem Abo anbietet. Datenhaltung in der Schweiz und kein Abo klangen für mich überzeugend. Also schnell ein paar Terabyte erworben und nun sollte es losgehen. Eine reibungslose Synchronisation zwischen meinem NAS und pCloud war das Ziel.
Doch das sollte sich als schwieriger herausstellen, als ursprünglich gedacht. Wobei schwierig auch nicht das richtige Wort ist, also nicht abschrecken lassen. Es war einfach schwieriger, als angenommen. Mein Ziel war eine Synchronisation, die folgende Kriterien erfüllte:
Eine bidirektionale, automatisierte Synchronisation der Daten
Daten-Integrität - ich muss der Synchronisation einfach vertrauen können
Einfache Administration, da es sonst zu einem “joar, müsste man mal wieder machen“ wird
Also hab ich erstmal die naheliegendste Option gewählt und die die verfügbaren Pakete (Programme) für das NAS durchsucht - und ich wurde fündig: Synology Cloud Sync. Eine Applikation, die das Synchronisieren lokaler NAS-Order mit verschiedenen Cloud-Anbietern übernimmt. Zwar wurde pCloud nicht nativ unterstützt, jedoch kann man auf seine pCloud-Daten auch via WebDAV zugreifen und das spricht auch Cloud Sync von Synology. Es sieht also alles wieder gut aus. Schnell war der Cloud Sync von Synology eingerichtet und es schien tatsächlich zu laufen und nachdem ich über ein Terabyte an Daten zu pCloud synchronisierte freute ich mich über folgenden Screen:
Cloud Sync gab an, alles sei synchronisiert. Ich prüfte also kurz die Größe der synchronisierten Ordner auf dem NAS und auf pCloud und stellte fest… dass sie unterschiedlich waren 😳
Eine tiefere Analyse ergab dann, dass einige Dateien nicht auf dem Zielsystem angekommen waren, andere hatten 0KB als Größe und ließen sich nicht öffnen. Zumindest verhielt es sich so in der pCloud iOS App, auf dem Mac im pCloud Drive und wenn ich via WebDAV prüfte. Im Browser in pCloud hatten sie die tatsächliche Größe, eventuell lag es also an pCloud-internen Ungereimtheiten?! Aber es wirkte zu wenig vertrauenswürdig. Und auch das last modified Datum wurde via Cloud Sync in pCloud auf das Upload-Datum gesetzt, was mich ein wenig nervte, womit ich aber hätte leben können. Die nicht vorhandenen oder nicht zu öffnenden Daten waren jedoch ein Deal-Breaker.
Ich probierte Verschiedenes aus. Teilte die Sync-Ordner in kleinere Unterordner, sodass jede Sync-Aufgabe weniger Dateien behandeln musste, aber nichts half, um das Problem zuverlässig zu lösen. Ich wollte eine Alternative, da eine Recherche im Internet schnell ergab, dass Cloud Sync auch bei Anderen für viel Frustration sorgt, wenn man nicht nur kleine Ordner synchronisiert.
rclone zur Rettung
Bei meiner Suche nach einer Alternative stieß ich schnell auf das Tool rclone. Ein Kommandozeilen-Tool, das etliche Cloud-Dienste unterstützt und den Datentransfer von und zum Cloud-Storage übernimmt. Die Reviews waren überragend und ich habe generell keine Probleme mit Kommandozeilen-Applikationen, auf dem NAS war ich bisher jedoch ein Fan von nativen Paketen. Diese existieren auch nach Updates bzw. kann man prüfen, ob diese Pakete mit neuen DSM-Versionen kompatibel sind. rclone hingegen könnte durch Updates gelöscht werden. Aber Daten-Integrität ist wichtiger für mich, als eine einfache Administration. Außerdem muss es doch einen Weg geben, meine obigen Kriterien auch mit rclone zu erfüllen.
In der Doku von rclone stieß ich auf ein neues Feature Bisync, eine bidirektionale Synchronisation von Daten. Das Feature war zwar noch im Beta-Stadium, aber aufgrund der Reviews hatte ich Vertrauen in das Tool. Und Bisync würde mir das manuelle Einrichten eines solchen Datenabgleichs via Copy & Sync ersparen, was gar nicht so trivial wäre, wenn ich mir und meiner Familie ermöglichen wollte, sowohl Daten auf dem NAS und in pCloud zu manipulieren (sprich Foto-Ordner zu sortieren).
Kriterium 1: “Eine bidirektionale, automatisierte Synchronisation der Daten“ ist also möglich. ✔
Überspringen wir kurz das zweite Kriterium und gehen erstmal auf das Dritte ein: “Einfache Administration“. Nach DSM-Updates (Updates des NAS-Betriebssystems) kann es sein, dass rclone gelöscht ist. Ich brauchte also einen Weg, um sicherzustellen, dass es dann automatisch wieder installiert wird und auch dies fand ich! Monstermuffin hat auf GitHub ein Repo, welches verschiedene rclone-Skripte für das NAS und eines davon ist ein Install-and-Update-Script. Dieses Skript macht folgendes:
Es prüft, ob rclone installiert ist
Wenn nicht, wird es installiert; Wenn ja, wird geprüft, ob ein Update verfügbar ist und dies würde dann installiert werden.
Es wird geprüft, ob die Konfigurationsdatei für rclone (diese benötigt man für den Login bei seinem Cloud-Dienst) vorhanden ist und dann wird rclone damit konfiguriert
Und dank des Synology Aufgabenplaners kann dieses Skript immer nach einem Neustart vom NAS laufen und da ein DSM-Update immer ein Neustart zur Folge hat, würde somit rclone nach einem Update immer wieder installiert werden. Natürlich kann man das Skript auch regelmäßig laufen lassen, um Updates automatisiert zu installieren.
Die automatische Synchronisation der Daten ist dann über die gleiche Art und Weise zu erzielen. Ich baute ein Script, dass via bisync meine gewünschten Ordner synchronisiert und plante die Aufgabe für ein Mal täglich nachts. So wurde zwar nicht in Echtzeit synchronisiert, aber damit kann ich leben. Bei Bedarf kann der Abgleich ja auch alle paar Stunden stattfinden. Yay, Kriterium 3: “Einfache Administration“ ist also auch erfüllt. ✔
Nun also zu Kriterium 2: “Daten-Integrität“. Das ist jetzt natürlich noch schwer zu bewerten. Aktuell synchronisieren sich die Ordner sauber und gut, das ist mehr, als ich von Synology Cloud Sync sagen konnte. Allerdings läuft die Lösung erst ein paar Tage, ich habe also keine Langzeiterfahrungen. Auch das im Betastadium befindliche bisync läuft stabil. Da auf der Webseite von rclone noch keine Aussage zu bisync mit pCloud getroffen wurde, will ich meine Erfahrungen natürlich auch an die Entwickler melden, sobald diese fundierter sind.
Ich kann also jedem, der sein NAS mit einer Cloud synchronisieren will, rclone nur ans Herz legen! Die Dokumentation ist wirklich super und die Einrichtung - auch, wenn Kommandozeilen-Tools anfangs selbst erfahrenere Leute etwas abschrecken mögen - läuft wirklich geschmeidig. Eine Anleitung, wie rclone auf dem NAS zum Laufen gebracht und vor allem updatesicher und voll automatisiert eingerichtet werden kann, findest du nun hier.