DEFR

Login und Suche



CH Open Sponsoren

Liip AG - /ch/open-Themensponsor
Big Data Search und Analytics mit elasticsearch

Big Data Search und Ana­lytics mit elasticsearch

von Agim Emruli, mima­com ag | 22.07.2015

Moni­to­ring und Ana­lyse von mehr als 50 Mil­lio­nen Trans­ak­ti­ons­logs pro Tag: Die SIX Inter­bank Clea­ring AG nutzt für ihre neue Moni­tor­lö­sung den Open Source Stack Elas­tic­se­arch, Logstash und Kibana (ELK). Die Lösung wurde agil durch die mima­com implementiert.

Die SIX Inter­bank Clea­ring AG ist ein Toch­ter­un­ter­neh­men der Six Group und betreibt im Auf­trag und unter Auf­sicht der Schwei­ze­ri­schen Natio­nal­bank das Swiss Inter­bank Clea­ring Sys­tem (SIC). Damit wer­den Franken-​Zahlungen in Echt­zeit zwi­schen den Schwei­zer Finanz­in­sti­tu­ten abge­wi­ckelt und über­wacht. Das wich­tigste Zah­lungs­sys­tem in der Schweiz ermög­licht Finanz­in­sti­tu­ten welt­weit, von Gross­be­trags– bis zu Mas­sen­zah­lun­gen nahezu alle Inter­bank­ver­pflich­tun­gen in Schwei­zer Fran­ken schnell und sicher abzuwickeln.

Rie­sige Daten­menge als Her­aus­for­de­rung

Die bis­he­rige Archi­tek­tur des Zah­lungs­sys­tems stammte aus dem Jahr 1982 und wurde den Anfor­de­run­gen an eine moderne IT-​Infrastruktur kaum noch gerecht. mima­com und elas­tic­se­arch ent­wi­ckel­ten zusam­men mit der SIX AG eine neue, moderne Moni­to­ring­lö­sung für die Zah­lungs­zu­stände. Die tech­ni­schen An-​forderungen waren hoch: Pro Tag soll­ten rund 7 Mil­lio­nen Zah­lun­gen ver­ar­bei­tet wer­den kön­nen, und jede die­ser Zah­lun­gen gene­riert bis zu 7 Logevents. Die Her­aus­for­de­rung bestand somit darin, die ent­ste­hen­den rund 50 Mil­lio­nen täg­li­chen Logevents ver­nünf­tig spei­chern, ana­ly­sie­ren und durch­su­chen zu können.

Open Source Big Data Lösung ELK erfüllt Anfor­de­rung

Der von elas­tic­se­arch zur Ver­fü­gung gestellte und von mima­com imple­men­tierte Open Source Stack Elas­tic­se­arch, Logstash und Kibana (ELK) erfüllte die genann­ten Anfor­de­run­gen. Die Log­files im JSON-​Format wer­den mit­tels Logstash gesam­melt, mit elas­tic­se­arch inde­xiert und mit Kibana visua­li­siert. Dies erlaubt ein umfang-​reiches Fest­hal­ten und Ver­ar­bei­ten von unzäh­li­gen Use-​Cases sowie die per­for­mante und detail­lierte Ana­lyse über die ein­ge­hen­den Zah­lun­gen und deren Ver­rech­nungs­sta­tus. Zudem kann mit­tels Dia­gram­men der zeit­li­che Ver­lauf der Ant­wort­zei­ten der Trans­ak­tio­nen von ver­schie­de­nen Finanz­in­sti­tu­ten gra­phisch dar­ge­stellt wer­den. «ELK ist das ein­zige Pro­dukt Stack, wel­ches in der Lage ist, grosse Daten­men­gen von Trans­ak­ti­ons­da­ten zeit­nah zu ver­ar­bei­ten und zu ana­ly­sie­ren.» — Marco Kun­dert, Pro­ject Mana­ger, SIX Inter­bank Clea­ring AG. Des Wei­te­ren kön­nen Ana­ly­sen und Sta­tis­ti­ken über die aktu­ell ein­ge­logg­ten Benut­zer, den On-​/​Offline-​Status der Ban­ken und das Zah­lungs­ver­hal­ten der Finanz­in­sti­tute vor­ge­nom­men wer­den. Mit­tels des neu imple­men­tier­ten Stacks wurde ein detail­lier­tes Alarm­sys­tem ein­ge­baut. Ver­schie­denste KPIs wer­den damit auf Schwel­len­werte hin über­wacht. Bei Ano­ma­lien kann visu­ell und akus­tisch alar­miert werden.

Agile Umset­zung durch mima­com

Mit der Imple­men­ta­tion die­ser Lösung befass­ten sich drei Ent­wick­ler der mima­com wäh­rend 12 Wochen. Ein­ge­setzt wur­den elas­tic­se­arch (Logfile-​Index und Voll­text­su­che), Logstash (zen­tra­ler Log­ser­ver) und Kibana (gra­phi­sche Dar­stel­lung). Die Lösung wurde agil auf der Basis von mima­com pathTM umge­setzt, in enger Zusam­men­ar­beit mit SIX Inter­bank Clea­ring AG. Benutzt wird die neue Moni­to­ring­lö­sung vor allem von der Ope­ra­ti­ons­zen­trale der SIX und dem Product-​Management der ange­schlos­se­nen Banken.

_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​

Über den Autor

Agim Emruli ist Exe­cu­tive VP Tech­no­logy mima­com group und Geschäfts­füh­rer mima­com Deutsch­land GmbH.


her­un­ter­la­den (PDF 104.2 KB)


Weiterführende Informationen aus dem OSS Directory

mimacom ag

mimacom.com | 300 (in der Flowable Gruppe) Mitarbeitende | 18 Referenzen | 12 Produkte


«Wir wollen uns selber immer wieder übertreffen - bevor es andere tun. Erstens zum Nutzen unserer Kunden und zweitens im Interesse von uns selbst».

Digitale Innovationen verb...

» Mehr
Letzte Aktualisierung: 25.07.2019  -  Anzahl Ansichten seit dem 01. April 2013: 1583
Erstellt: 14.10.2012

Elasticsearch

Infrastruktur / Suchmaschinen
7 Firmen, 7 Referenzen


Elasticsearch ist eine Suchmaschine auf Basis von Lucene. Das in Java geschriebene Programm speichert die Suchergebnisse in einem NoSQL-Format (JSON) und gibt sie über ein RESTful-Webinterfac...

» Mehr
Letzte Aktualisierung: 24.11.2016  -  Anzahl Ansichten seit dem 01. April 2013: 662
Erstellt: 10.01.2014

Logstash

Betrieb / Systems-Management und Betrieb
4 Firmen, 3 Referenzen


Logstash ist ein Werkzeug aus der Welt, welches dafür sorgt Filter und Logdateien zu managen. Es wird dafür eingesetzt Logfiles von verschiedenen Servern zentral zu sammeln, zu parsen und f...

» Mehr
Letzte Aktualisierung: 30.11.2016  -  Anzahl Ansichten seit dem 01. April 2013: 389
Erstellt: 10.01.2014

OSS Nutzer:
armasuisse VBS

MILVER zur Verwaltung von militärischen Vorschriften für armasuisse VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


 

Milver ist eine Applikation zur Verwaltung und Speicherung von Militärischen Verordnungen und Aufträgen. Dabei wird mit grossen Datenmengen und zahlreichen Obje...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 848
Erstellt: 07.11.2012

MELANI-Net zur Früherkennung von Cyber-Attacken für das Informatiksteuerungsorgan des Bundes EFD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


 

Pannen, Ausfälle sowie elektronische Attacken (z.B. durch Hacker) oder Malware (wie Viren und Würmer) stellen eine Bedrohung für die Informations- und Kommunik...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 800
Erstellt: 07.11.2012

SPHAIR Portal zur Verwaltung von Bewerberdaten für die Schweizer Luftwaffe VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Für die Schweizer Luftwaffe hat die mimacom in 2011 ein Portal für die Organsiation SPHAIR entwickelt, welche für die Durchführung von Eingungstests für Piloten zuständig ist. ...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 715
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

Invoice Reporting Auswertungsapplikation für Grossunternehmen für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Invoice Reporting ist eine umfassende Lösung zur Rechnungsübersicht und zur Auswertung der vom Kunden bezogenen Leistungen der Swisscom.

Success-Story Invoice Reportiingwe...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 1033
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

RAS zur Verwaltung der Remote Access Services für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Verwaltungs- und Reportingapplikation für Remote Access Services (RAS). Rich-Client für die Administration, sowie Web-Client für den Kundenzugriff.

weitere Referenze...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 653
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

Heureka webbasierte Reportingapplikation für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Heureka besteht aus einer webbasierten Reportingapplikation für Voice- und Trafficdaten, sowie über Incidents und Orders und dem dazugehörigen Datawarehouse. Monatlich werden eine...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 637
Erstellt: 07.11.2012

OSS Nutzer:
Atupri Krankenkasse

Atupri KBM Beschwerdemanagementsystem für die Atupri Krankenkasse

Branche: Banken und Versicherungen
Ausgeführt durch mimacom ag


Die Atupri Krankenkasse benötigte ein Beschwerdemanagement (Complaint Management), welches sie die Bedürfnisse und Wünsche ihrer Kunde besser und effizienter entgegen nehmen und bearbeit...

» Mehr
Letzte Aktualisierung: 22.10.2014  -  Anzahl Ansichten seit dem 01. April 2013: 848
Erstellt: 07.11.2012

Mitgliedschaft bei /ch/open

Der Vorstand der /ch/open wird jährlich an der Mitgliederversammlung gewählt und arbeitet vorwiegend ehrenamtlich. Werden Sie Mitglied des Vereins /ch/open und unterstützen Sie die Förderung von Open Source Software in der Schweiz.

Einzelmitgliedschaft
Für alle, die persönlich die Anliegen und Aktivitäten von /ch/open unterstützen und kostenlos an Abendveranstaltungen und am Open Business Lunch teilnehmen möchten.
CHF 100.– pro Jahr

Einzelmitgliedschaft für Personen in Ausbildung
Personen in Ausbildung erhalten eine Ermässigung des Mitgliederbeitrags.
CHF 20.– pro Jahr

Kollektivmitgliedschaft
Für Unternehmen, öffentliche Verwaltung, Schulen und andere juristische Personen: Alle Mitarbeiter solcher Organisationen geniessen die gleichen Möglichkeiten und Vergünstigungen wie Einzelmitglieder. Eine definierte Kontaktperson erhält alle Korrespondenz.
CHF 450.– pro Jahr

Sponsormitgliedschaft
Für Mitglieder, welche die Anliegen der /ch/open besonders unterstützen möchten: Sponsormitglieder können Anfang Jahr am /ch/open Sponsoren-Dinner teilnehmen, werden auf der /ch/open Website und dem Portal www.opensource.ch mit Logo aufgeführt, in allen Mailings namentlich mit Link erwähnt und können beliebig viele Projekte und Referenzen im OSS Directory verlinken.
CHF 1000.– pro Jahr

Die Anmeldung für die Mitgliedschaft, die Vereinsstatuten sowie viele weitere Informationen sind auf der Website zu finden:
http://www.ch-open.ch/anmeldeformular_mitgliedschaft/

Twitter Feed







Links

Über unsNewsletterKontaktNutzungsbedingungenCH Open Initiativen



###PIWIK###