Ceph: ein Objekt, ein FS oder doch beides.

Seit 2016 ist Ceph als stabil gekennzeichnet. Also lange genug um einmal hinter die Kulissen zu schauen.
Braucht man so ein Ding überhaupt? Was ist es und was kann es?

Nun, wenn der Terabyte-Bereich nicht mehr ausreicht, wird es eng mit den Filesystemen. Wenn ich dann meine Daten noch sichern möchte oder einen Ausfallschutz benötige oder sie an mehreren Standorten haben möchte., dann bin ich bei CephFS angelangt.

Ceph ist ein objektbasierendes, sich selbst organisierendes und verwaltendes Storagesystem. d.h. die vorhandenen „Disks“ werden auf einen oder mehreren Ceph-Cluster verteilt. Dazu wird auf mindesten einem System ein Ceph Metadata Servers (MDS) einrchtet. Zwei MDS wären besser, da einer ausfallen könnte. Nun jeder Server hat x beliebige Disks, USB-Devices, CD etc. Über diese Platten wird jetzt ein Filesystem gelegt, das CephFS . Für das Aufteilen, Speichern und Optimieren ist die Software RADOS (Reliable Autonomic Distributed Object Store) zuständig. Und da kommt unser Objektansatz ins Spiel. Jede Datei wird als ein Objekt betrachtet und auch so behandelt. d.h. es wird auch verhindert, dass das Filesystem kaputt wird. Filesystemchecks im ExaByte-Bereich sind eine langwierige Angelegenheit.

Zugreifen auf meine Daten kann ich über die POSIX-Schnittstellen, die jeder kennt. (ls cp, del, open, close … ) oder über die RADOS-Schnittstellen. Damit sind auch Blockdevices abbildbar, was die Datenbank-Fan-Gemeinde freut, aber auch HTTP-Interfaces (WebDav) u.v.m.

Aber das können ja viele Dateisysteme: Natürlich kann ich so etwas auch mit einem ext4 machen. Ohne Overhead und eigener Hardware. Wenn ich aber eigene Platte spiegeln möchte, dann muss ich schauen, das ich „gleiche“ Platten bekomme. Was nach ein paar Jahren dann eine Herausforderung sei kann.
Wenn nun eine Disk kaputt ist, wird sie einfach ersetzt und die Server rekonstruieren diese Platte. Daten gehen keine verloren. Ich muss das System nicht einmal herunterfahren.

Mit Ceph habe ich die Möglichkeit den 2 Teil des Clusters auf einen anderen Standort zu verlegen. Sagen wir nach Grönland. Wenn jetzt unser 1. Standort zerstört wird/erobert wird, würde der 2. Standort die Arbeit übernehmen und wir merken gar nichts.

Ggf haben wir noch einen 3. Server bei SpaceX angemietet., dann würden sich die Server immer dann synchronisieren, wenn der Satellit vorbeikommt.

Nun Ausfallsicherheit ist ein großes Ding im Berufsleben, wir können auch ohne dem ganz gut leben. Ärgerlich ist es wenn uns die Platte zu klein wird. Der Händler unseres Vertrauen schickt uns eine Platte und dann geht die Schufterei los. Formatieren, Filesystem drauf geht ja ganz schnell, aber dann die Fotos und Daten aufteilen. Die Einstellungen in 100-Programmen ändern. Die Suchmaschine anpassen, und natürlich das Backup nicht vergessen.
Ceph nimmt die Platte in Betrieb fügt sie einfach zum CephFS dazu und die Sache ist gegessen. Keine Anpassung von Scripts, keine Programmeinstellungen verändern. Dein Filesystem ist einfach x-TB größer.

Bei der Gelegenheit sei so nebenbei erwähnt, dass Ceph natürlich mitbekommt, welche Dateien oft und welche Dateien selten oder nie angegriffen werden. Da Ceph das bekannt ist, lagert es das Foto der Schwiegermutter auf den langsamen USB-1-Stick aus, die Fotos der Kinder auf die schnelle SSD. 😉

Hier nochmals die Vorteile auf einem Blick

• ein verteiltes, robustes, skalierbares Dateisystem
• Open-Source-Software (LGPL)
• integrierte Redundanzmechanismen,
• Ausfallsicherheit und Performance,
• Darstellung als zusammenhängenden Speichers,
• beliebige Standard-Hardware
• POSIX-konform,
• Quotas Unterstützung
• Blockdevices und weitere Schnittstellen und API.

8