SUSE Enter­prise Sto­rage 2 — Ceph/​Calamari hands on

von Nico­las Chris­tener | 09.02.2016

Ceph ist in aller Munde und spä­tes­tens seit Red Hat sich Inktank ein­ver­leibt hat ist die Soft­ware Defined Sto­rage Lösung auch im Enter­prise Seg­ment angekommen.

Ceph ver­spricht nichts ande­res, als den Sto­rage Markt, der von Grös­sen wie NetApp, EMC und Co. domi­niert wird, auf den Kopf zu stellen.

SUSE schickt mit SUSE Enter­prise Sto­rage eben­falls eine Ceph Dis­tri­bu­tion mit Enter­prise Anspruch ins Ren­nen — wir haben uns aus­führ­lich mit der Ver­sion 2.0 beschäf­tigt und fas­sen die wich­tigs­ten Schritte der Instal­la­tion in die­sem Post kurz zusammen.

Hin­weise: die fol­gende Instal­la­tion ent­spricht nicht einem “best prac­tice” Sze­na­rio son­dern deckt die Schritte ab, um die Lösung in einem Lab-​Szenario tes­ten zu können.

Vor­wort

Die Umge­bung in wel­cher unsere Tes­t­in­stal­la­tion statt­fin­det, besteht aus drei phy­si­ka­li­schen Ser­vern, wel­che fortan Node1, Node2 und Node3 genannt wer­den. Alle drei Geräte wer­den als OSD ver­wen­det und zusätz­lich wird Node1 auch Moni­tor und Cala­mari beher­ber­gen. Für eine pro­duk­tive Umge­bung müss­ten die ver­schie­de­nen Rol­len (OSD/​MON) getrennt betrie­ben wer­den und ein Mini­mum von drei MONs müsste vor­han­den sein.

SUSE Enter­prise Sto­rage wird als Addon-​Package für SLES 12 ange­bo­ten. Um die­sen zu instal­lie­ren, wird wäh­rend der Instal­la­tion des Basis Betriebs­sys­tems oder auch zu einem spä­te­ren Zeit­punkt im YAST2 die­ses Addon-​Package hin­zu­ge­fügt. Nach der Instal­la­tion der Pakete, kann das Setup beginnen.

Vor­aus­set­zun­gen

Zuerst wird sicher gestellt, dass die Nodes sich gegen­sei­tig mit DNS-​Namen auf­lö­sen kön­nen. Dies wurde mit ent­spre­chen­der Kon­fi­gu­ra­tion der /​etc/​hosts Datei sicher­ge­stellt. Auch muss auf jedem Sys­tem ein Benut­zer für Ceph ange­legt wer­den. Für die­sen Test ist dies ceph. Zudem muss die Moni­tor Node(1) ohne Pass­wort und jeweils mit vol­len sudo Rech­ten ohne Pass­wort auf den ande­ren Nodes (2 + 3) Befehle aus­füh­ren dürfen.

Cala­mari Konfiguration

Danach kon­fi­gu­rie­ren wir als root Cala­mari, das Web­gui zur Admi­nis­tra­tion und Über­wa­chung des Ceph Clus­ters. Dafür wird ein Admi­nis­tra­ti­ons­be­nut­zer (in die­sem Bei­spiel “root”) und des­sen Kenn­wort fest­ge­legt. Anschlies­send kon­fi­gu­riert calamari-​ctl post­gresql und apache2 und star­tet diese Dienste. Das Web­gui ist mit der stan­dard Instal­la­tion unter der Ser­ver IP direkt auf Port 80 erreichbar.

[ calamari-​ctl initialize ]

Ach­tung: Alle ceph-​deploy Befehle, wer­den als Benut­zer ceph auf der Node1 aus­ge­führt! Nun wer­den alle Nodes an unse­ren Cala­mari Ser­ver angebunden:

[ ceph-​deploy cala­mari –mas­ter node1 con­nect node1 node2 node3 ]

Ceph Grund-​Konfiguration

Der nächste Schritt ist das Kon­fi­gu­rie­ren des Ceph Clus­ters mit Hilfe des Tools “ceph-​deploy”, wel­ches auf den meis­ten Dis­tri­bu­tio­nen über die haus­ei­gene Paket-​Verwatlung instal­liert wer­den kann. Falls das Paket nicht zur Ver­fü­gung steht, ist es auch pro­blem­los mög­lich, “ceph-​deploy” über Python pip oder direkt aus den Quel­len mit git clone https://​git​hub​.com/​c​e​p​h​/​c​e​p​h​-​d​e​p​l​o​y.git zu beziehen.

Danach wird der Ceph Clus­ter erstellt:

[ ceph-​deploy new node1 ]

Anschlies­send wird Ceph auf allen Nodes installiert:

[ ceph-​deploy install node1 node2 node3 ]

Schluss­end­lich wird der erste Moni­tor erstellt:

[ ceph-​deploy mon create-​initial ]

Nun ist der Ceph Clus­ter soweit, dass Spei­cher hin­zu­ge­fügt wer­den kann.

Ceph Speicher-​Konfiguration

In die­ser Test­um­ge­bung ist auf jeder Node die Par­ti­tion /​dev/​sda3 als Spei­cher­ort für die Ceph Daten vor­ge­se­hen. Dies kön­nen aber auch pro­blem­los ganze Plat­ten (Mehr­zahl) pro Sys­tem sein.

Als ers­tes wer­den die Par­ti­tio­nen vorbereitet:

[ ceph-​deploy osd pre­pare node1:/dev/sda3 node2:/dev/sda3 node3:/dev/sda3 ]

Danach kön­nen die OSDs akti­viert werden:

[ ceph-​deploy osd activate node1:/dev/sda3 node2:/dev/sda3 node3:/dev/sda3 ]

Et voilà, ein fer­tig kon­fi­gu­rier­ter Ceph Clus­ter mit Cala­mari Web­in­ter­face ist konfiguriert. :)

Wei­ter­füh­rende Infor­ma­tio­nen, Tipps und Screen­shots unter:

https://​blog​.adfi​nis​-sygroup​.ch/​d​e​/​s​u​s​e​-​e​n​t​e​r​p​r​i​s​e​-​s​t​o​r​a​g​e​-​2​-​ceph/