News

15.10.2016

MarkLogic User Group in Berlin
ETL-Prozesse überspringen und Smart Data Projekte zügig umsetzen

NEWBOOKS Solutions präsentiert die Nutzung massenhafter und disparater Daten in NoSQL-Datenbanken am Beispiel VLB-TIX auf der MarkLogic User Group in Berlin.

Photo

Viele Unternehmen der Verlags- und Medienbranche haben Schwierigkeiten bei der Nutzung ihres gesamten Datenbestands, denn oft sind die Daten auf separate Geschäftsbereiche und Datensilos verteilt. Um Zugriff auf ihre Informationen zu erhalten, müssen diese Unternehmen übermäßig viel Zeit und Geld in ETL-Tools (Extrahieren, Transformieren und Laden) investieren und die Daten in relationale Datenbanken zwängen. Das Problem bei diesem Ansatz besteht darin, dass Kunden, Geschäftspartner und Mitarbeiter exakte, aktuelle Informationen in Echtzeit erwarten und nicht monate- oder jahrelang warten können, bis mühselige Integrationsprozesse abgeschlossen sind. "Verlage müssen eigene und externe Daten schnell, effizient und flexibel nutzen können, denn Ergebnisse werden heute und in Echtzeit benötigt, während sich morgen wieder ganz andere Fragestellungen ergeben können", fasst Moritz Hodde, CEO von NEWBOOKS Solutions, die Situation zusammen.

Vor diesem Hintergrund präsentierte Stefan Schwedt, CIO von NEWBOOKS Solutions und CEO des Technologiepartners iucon, das Großdatenprojekt VLB-TIX am 13. Oktober 2016 auf einem MarkLogic Anwendertreffen in Berlin und zeigte einen Königsweg für die Zusammenführung und effiziente Nutzung großer und disparater Datenmengen für Unternehmen der Medien- und Verlagsbranche auf. Dabei stellte er einen strukturellen Vergleich zwischen herkömmlichen relationalen, auf ETL-Prozesse abstellenden Datenbanken und dem innovativen, nicht-relationalen Ansatz von MarkLogic an, der für die erfolgreiche Umsetzung und breite Akzeptanz von VLB-TIX als Branchensystem des deutschsprachigen Buchhandels unverzichtbar war.

Schwedt erläuterte, wie das Entwicklerteam die geforderte enorme Rechenleistung von VLB-TIX mithilfe von MarkLogic erreicht und dauerhaft gewährleistet: Bei etwa 2 Mio. zusammengeführten Datensätzen aus VLB und der ebenso umfassenden NEWBOOKS-Datenbank, ca. 200.000 inkrementellen Updates pro Tag und 5.000 Nutzern, die im Schnitt je 5 Suchprofile auf Basis von durchschnittlich 13 unterschiedlichen Filtertypen anlegen, ergeben sich nach Schwedts Ausführungen 65.000.000.000, in Worten: 65 Milliarden Vergleiche auf der Datenbank! Ein solches Volumen unter Berücksichtigung der neu hinzukommenden Entwicklungen kann nach heutigem Technologiestand nur mit einer NoSQL-Datenbank abgebildet werden. Auch konnten die so vielfältigen und häufig spontan vorgetragenen Anforderungen der Branchenteilnehmer nur umgesetzt werden, weil NEWBOOKS in MarkLogic als einziger operationaler und transaktionaler Enterprise NoSQL-Datenbank eine verlässliche und optimale Alternative zu den jahrzehntealten relationalen Datenbanksystemen gefunden hatte. MarkLogic bot den Entwicklern die Flexibilität, Skalierbarkeit und vor allem das, was dem Anspruch und Begriff nach tatsächlich "Agile Anwendungsentwicklung" genannt werden kann. Ergänzt um unternehmenserprobte Funktionen wie höchste Sicherheitszertifizierungen und Hochverfügbarkeit ist MarkLogic das state-of-the-art Datenbanksystem für Smart Data Projekte.

MarkLogic

Abb. Architekturvergleich: links die ursprünglich geplante, aufwändige relationale Struktur, rechts die dann umgesetzte, nicht-relationale Struktur des Branchensystems VLB-TIX

Stefan Schwedt schloss seinen Vortrag mit einer Live-Präsentation des Vorschau- und Bestellsystems VLB-TIX ab.

Auf dem Anwendertreffen wurden auch die neuen Features von MarkLogic 9 vorgestellt. Drei wichtige Neuentwicklungen wurden dabei näher beleuchtet:

1. Datenintegration

Die Funktionen von MarkLogic 9 erleichtern und beschleunigen die Verwaltung der vielfältigen und oft chaotischen (und teuren), ständig neuen Daten, die im gesamten Unternehmen auftreten.

Entitäten-Dienste erhöhen die Relevanz von Daten für Entwickler, denn das semantische Modell stellt Schlüsselbegriffe (Entitäten) und die Beziehungen zwischen ihnen heraus. Im Gegensatz zu anderen Datenbanken, bei denen Entwickler auf physischer Ebene arbeiten müssen, können sie sich bei MarkLogic 9 auf die wirklich wichtigen Konzepte konzentrieren und verlieren sich nicht in Details. Dadurch erhalten Organisationen den bisher besten und schnellsten Zugriff auf verschiedenartige Daten aus verschiedensten Quellen.
Die Optik-API ist ein leistungsstarker neuer Abfragemechanismus, mit dem Entwickler auf effiziente Weise Dokumente, Tripel und Zeilen kombinieren können. Diese lassen sich mit beispielloser Flexibilität über Entitäten, Vorform-Aggregationen und Projektdaten hinweg in verschiedenen Ansichten miteinander verbinden. Abfragen über die Optik-API sind besonders schnell, denn sie nutzen einen neuartigen Index und eine Cluster-übergreifende, verteilte Ausführung.
Mit erweiterten SQL-Funktionen schließlich lassen sich Daten aus der MarkLogic-Datenbank in bestehende SQL-Tools integrieren. So werden Business Intelligence und andere Funktionen leistungsstärker, schneller und effektiver.

2. Sicherheit

MarkLogic 9 baut weiterhin auf branchenführende Sicherheit, mit neuen Funktionen für den Schutz der Daten, die Wahrung der Privatsphäre und den Datenexport.

MarkLogic 9 enthält eine neue Verschlüsselungsfunktion, die Daten vor Hackern und Insider-Bedrohungen schützt. Dazu werden standardbasierte Kryptographie, erweiterte Schlüsselverwaltung und granulare Aufgabentrennung eingesetzt.
Neue Redaktionsfunktionen verhindern die Preisgabe sensibler, personenbezogener Informationen wie Sozialversicherungsnummern, indem konkrete Informationen entfernt oder durch andere Werte ersetzt werden.
Sicherheit auf Elementebene sorgt dafür, dass bestimmte Elemente oder Eigenschaften von XML- und JSON-Dokumenten bestimmten Benutzern nicht angezeigt werden. Dadurch wird ein noch detaillierteres Maß an Sicherheit geboten als mit der bereits in der MarkLogic-Datenbank vorhandenen Sicherheit auf Dokumentebene.

3. Verwaltung

MarkLogic 9 verbessert die Kundenerfahrung durch eine einfachere, proaktive Verwaltung, die zu einer höheren Produktivität und Flexibilität der Mitarbeiter beiträgt.

MarkLogic Ops Director erleichtert Datenbankadministratoren die Verwaltung über verschiedene Cluster, Cloud-Anwendungen und Standorte sowie Produktions-, Test- und Entwicklungsumgebungen hinweg. In einer einzigen Ansicht kann hier auf die gesamte MarkLogic-Infrastruktur des Unternehmens zugegriffen werden.
Durch Upgrades bei laufendem Betrieb können Administratoren MarkLogic-Cluster ohne Ausfallzeiten aktualisieren. Damit hält MarkLogic einen weiteren Teil seines Versprechens ein, jederzeit einen störungsfreien Betrieb zu gewährleisten. Hierzu tragen bereits Funktionen wie Tiered Storage, Online-Rebalancing und Elastizität bei.

 Mehr erfahren

 

 Zurück
;