Hadoop ist nach wie vor DIE Platt­form für «Big Data» und ver­teil­tes Rech­nen. Jedoch besitzt Hadoop ein Low-​Level-​Programmiermodell, wel­ches die Pro­gram­mie­rung auf­wän­dig macht. Man kommt häu­fig nicht darum herum, viel Infrastruktur-​Code zu schrei­ben. Bereits für das Kon­fi­gu­rie­ren eines ein­fa­chen Jobs müs­sen einige Zei­len Java pro­gram­miert wer­den, ganz abge­se­hen von der Pro­gram­mie­rung der dazu­ge­hö­ren­den Funk­tio­nen selbst. Des­we­gen gibt es eine Reihe von Erwei­te­run­gen, die auf Hadoop auf­bauen, auf einer höhe­ren Abs­trak­ti­ons­ebene sind und somit die Kom­ple­xi­tät vermindern.

Spring for Apa­che Hadoop

Aus die­sen Grün­den wurde auch das Spring-​Projekt «Spring for Apa­che Hadoop» ins Leben geru­fen. Das Ziel von «Spring for Apa­che Hadoop» ist die Ver­ein­fa­chung der Ent­wick­lung von Hadoop-​Applikationen. Es bie­tet ein bekann­tes und kon­sis­ten­tes Pro­gram­mie­rungs– und Kon­fi­gu­ra­ti­ons­mo­dell an. Das Spring-​Projekt baut zudem auf exis­tie­ren­den Service-​Layer-​Abstraktionen auf. Das Spring-​Framework und die Erwei­te­run­gen Spring Batch, Spring Inte­gra­tion und Spring Data sind inte­grierte Bestand­teile. Die Vor­teile lie­gen auf der Hand — mit all den Kom­po­nen­ten kön­nen grosse und kom­plexe Appli­ka­tio­nen gebaut werden.

Spring XD

Für die Vali­da­tion, die Ver­ar­bei­tung und den Import (Data-​Ingestion) von Daten in Hadoop drängt sich die Ver­wen­dung von Spring XD auf, da die Ver­ein­fa­chung die­ser Funk­tio­nen eines der Haupt­ziele des Pro­jekts ist. Spring XD kann als ver­teil­ter und erwei­ter­ba­rer Ser­vice für Data-​Ingestion, Echt­zeit­ana­lyse, Batch-​Jobs und Daten­ex­port genutzt wer­den. Ein soge­nann­ter Stream defi­niert in der Welt von Spring XD die ereig­nis­ge­steu­erte Daten­auf­nahme von einer Source (Daten­quelle) zu einem Sink (Daten­aus­gabe), mit einer belie­bige Anzahl von Pro­zes­so­ren (z.B. Fil­ter und Trans­for­ma­to­ren) dazwi­schen. Streams haben eine lange Lebens­dauer und müs­sen manu­ell gestoppt wer­den, falls man sie nicht mehr braucht. Die Module (Sour­cen, Sinks und Pro­zes­so­ren) wer­den mit einem Pipe-​Symbol ver­bun­den (ana­log dem Ver­bin­den von ein­zel­nen Befeh­len auf einer Unix-​Shell). Das ver­ein­facht den Ein­stieg für gewohnte Unix-​Benutzer. Die ein­zel­nen Module basie­ren wie­derum auf Spring-​Programmen und las­sen sich auch gut selbst modi­fi­zie­ren oder neu ent­wi­ckeln. Spring ermög­licht die Ein­spa­rung eines erheb­li­chen Ent­wick­lungs­auf­wands von Big-​Data-​Applikationen basie­rend auf Apa­che Hadoop.

Fazit

Die bei­den vor­ge­stell­ten Spring-​Projekte sind für gewohnte Anwen­der von Spring schnell erschliess­bar und bie­ten viele attrak­tive Funk­tio­na­li­tä­ten. Spring ver­ein­facht und beschleu­nigt die Ent­wick­lung erheb­lich. Kom­ple­xi­tät wird ver­bor­gen und der Ent­wick­ler kann sich mehr den fach­li­chen Auf­ga­ben wid­men. Mit gerin­gem Auf­wand las­sen sich bereits viel­schich­tige Appli­ka­tio­nen ablei­ten, für deren Ent­wick­lung man ohne Spring viel mehr Zeit inves­tie­ren müsste.

_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​

Über den Autor

San­dro Leh­mann ist als Senior Soft­ware Engi­neer bei der mima­com ag tätig. Seine Schwer­punkte sind Pro­jekte in der Ent­wick­lung von Indi­vi­du­al­soft­ware. Seit meh­re­ren Jah­ren arbei­tet er mit diver­sen Spring-​Projekten und Webtechnologien.