Big Data - BI der nächsten Generation

Dieser Artikel wurde ursprünglich in unserer Schwesterpublikation Computerwoche.de veröffentlicht.  Wahrscheinlich ist «Big Data» eines der IT-Trendthemen 2012, doch einen Konsens, was darunter zu verstehen ist, gibt es noch nicht. Grosse Datenmengen schnell und für komplexe Abfragen von immer mehr Nutzern bereitzustellen ist die eine Seite der Medaille. Die andere ist das Erschliessen von Datenquellen jenseits der strukturierten Daten, die ERP-, CRM- und andere operative Transaktionssysteme liefern. Hierbei handelt es sich vor allem um grosse Mengen maschinell erzeugter Daten. RFID-Funkchip-Erfassungen, Maschinendaten aus der Produktion (BDE), Logdaten der IT-Systeme, Sensordaten in Gebäuden oder der Umwelt, das World Wide Web mit Daten aus der eigenen Web-Präsenz oder dem eigenen Webshop zählen genauso dazu wie Social-Media-Daten aus Facebook, Twitter, Blogs oder Foren. Hinzu kommen unstrukturierte Daten wie Call-Center- oder Servicenotizen, Bilder auf Web-Seiten oder Videoclips, die als Basis für Analysen herangezogen werden können. Besonders herausfordernd sind die unterschiedlichen Strukturen dieser Daten, die typischerweise nicht in relationalen Datenbanken kosten- und verarbeitungseffizient gespeichert werden können.

Unternehmen beginnen gerade zu untersuchen, welche Potenziale die Analyse solcher poly-strukturierten Daten birgt. Erste Erfolgsberichte zeigen die Möglichkeiten, klassische Herangehensweisen an Business Intelligence (BI) zu erweitern und auch aus diesen Daten Informationen herauszufiltern, die einen Wettbewerbsvorteil liefern. Spätestens wenn ein Wettbewerber die Kunden besser versteht oder seine Prozesse agil anpassen kann, läuten die Alarmglocken. Die Komplexität im Umgang mit diesen Daten kann allerdings hoch sein, und zur Bewertung von Qualität und Nutzen der Analyseergebnisse im Vergleich zum Aufwand fehlen häufig Erfahrungswerte. Insgesamt ist das Thema Big Data noch schwer greifbar, was sich auch in den unterschiedlichen Definitionen und Meinungen niederschlägt, die Marketing-gerecht zugeschnitten serviert werden. Einen breiten Konsens findet derzeit folgende Definition:

! KASTEN !

Der Nutzen von Big Data liegt vor allem in der Analyse grosser, erstmals zugänglichen Datenmengen, die mit den üblicherweise eingesetzten Techniken einer klassischen BI-Architektur aus Datenintegration, Datenspeicherung, Analytik und Visualisierung/Auswertung nicht richtig erreichbar sind. Die Verbindung der Analysen poly-strukturierter Daten mit der existierenden Welt der strukturierten Daten eröffnet weitreichende Potenziale und Chancen. Es entstehen neue und detaillierte Analysemöglichkeiten von Daten, die heute noch gar nicht oder nur teilweise genutzt werden können. Ausserdem werden die Analysesysteme flexibler, und mit Cloud Computing sind flexible Modelle für On-Demand-Analysen möglich. Voraussetzung, um das Big-Data-Versprechen einlösen zu können, sind neue Softwareprodukte, die verschiedene Anforderungen in vier Dimensionen erfüllen müssen:

Insgesamt ergibt die Nutzung neuer Techniken, die für das Integrieren und Analysieren poly-strukturierter Daten entwickelt wurden, auch gute Möglichkeiten, die Kosten zu senken. Das liegt zum einen am Aufkommen bereits optimierter Lösungen, zum anderen an der teilweisen Verfügbarkeit von Open-Source-Lösungen. Lesen Sie auf der nächsten Seite: Wichtig ist der MapReduce-Ansatz

Wesentlicher Kern von Big-Data-Techniken ist der programmiergetriebene, datenzentrische Kern auf Basis des MapReduce-Ansatzes, dem Google zu Popularität verholfen hat. Die Idee dahinter ist simpel: Zerlege die Aufgabe in ihre kleinsten Teile, verteile diese zur massiv-parallelen Verarbeitung auf möglichst viele Rechner (map) und führe das Ergebnis wieder zusammen (reduce). Damit wird vor allem die Verarbeitung poly-strukturierter Daten ermöglicht, mit denen klassisch relationale Datenbanken, aber auch analytische Datenbanken in Data-Warehouse-Appliances oder massiv-parallele relationale Datenbanken ihre Probleme haben. Im Grunde genommen unterscheiden sich die Aufgaben aus Datenintegration und -speicherung, Analyse, Zugriff auf die Daten sowie Auswertung und Analyse nicht von denen einer klassischen BI-Architektur. Der grundlegende Unterschied zur klassischen BI ist die datenzentrische Ausrichtung auf Basis des MapReduce-Programmier-Frameworks, das eine hoch parallele Verarbeitung poly-strukturierter Daten ermöglicht. Der Markt für Big-Data-Software ist allerdings so vielschichtig wie die zu lösenden Aufgaben. Analog zu BI-, Data-Warehouse- oder Datenintegrations-Systemen gibt es auch im Big-Data-Bereich eine Vielzahl an alten und neuen Angeboten, die ähnliche Aufgaben wie die klassische BI zu lösen versprechen. Herausforderungen bestehen vor allem in der Integration von Big Data mit der klassischen BI, für die sich unterschiedliche architektonische und technische Ansätze anbieten. Aber auch in der Wahl der richtigen Software liegt ein Treiber, um die erhofften Vorteile in Ergebnis, Flexibilität und Kosten zu erhalten. Der BI-Markt wird nicht gerade überschaubarer, ganz im Gegenteil. Viele neue Anbieter oder Open-Source-Projekte positionieren sich im Markt für Big Data, die Grenzen zu traditioneller BI verschwimmen zusehends.

Auf der Ebene der Datenintegration steht die Geschwindigkeit und die Integration der heterogenen Datenquellen und -typen im Vordergrund. Zu beobachten ist die Integration von Big-Data-Funktionen in die etablierten Datenintegrations-Werkzeuge wie beispielsweise Informatica, Pentaho oder Pervasive. Big-Data-Funktionen umfassen hier Adapter in Hadoop-Dateisystemen wie dem Hadoop File System (HDFS) oder HIVE sowie auch die Integration mit dem MapReduce-Framework. Alternativen zur Einbindung von poly-strukturierten Datenquellen bieten Spezialisten wie Hadoop, Chukwa, Flume oder Sqoop. Lesen Sie auf der nächsten Seite: Siegeszug von Hadoop

Das Bedürfnis, grosse Datenmengen performant speichern und verarbeiten zu können, öffnete den Markt für spezielle Dateisysteme wie etwa das Hadoop-eigene HDFS, aber vor allem für zahlreiche NoSQL-(Not-only-SQL-)Datenbanken wie Cassandra, CouchDB oder MongoDB, die grösstenteils für spezifische Einsatzzwecke optimiert verfügbar sind. Die Aufgabe besteht nun darin, einen Kompromiss zwischen den spezialisierten Big-Data-Datenbanken und den nach wie vor wichtigen analytischen Datenbanken (zum Beispiel EMC Greenplum, Exasol, IBM DB2 und Netezza, Oracle Exadata, Teradata) zu schaffen. Gründe hierfür sind die schwer umzusetzende Konsistenz von Daten oder typische relationale Operationen wie die Zusammenführung von Tabellen (Join), Gruppierung oder auch Selektion. Am Markt zeigt sich dies zum einem durch Fragen nach bewährten Integrationsstrategien, zum anderen auch schon durch erste Hybridtechniken wie Aster Data von Teradata, EMC Greenplum oder das Open-Source-Projekt HIVE. Neben NoSQL und Hybriden sind auch Spezialisten auf dem Markt, die mit Big-Data-Lösungen oder Appliances aufwarten. Selten steht dahinter eine eigene Technik, vielmehr handelt es sich um Hadoop-Distributionen von Anbietern wie Cloudera oder den grossen Akteuren wie IBM und Microsoft, ergänzt um weitere zusätzliche, auch eigene Werkzeuge und Techniken.

Die Analytik poly-strukturierter Daten wird einerseits stark getrieben durch die Modellbildung auf Basis von Detaildaten. Hier finden die sehr umfangreiche Open-Source-Bibliothek R, aber auch andere Data-Mining-Werkzeuge grossen Anklang. Andererseits existieren für die Big-Data-Welt auf der Auswertungsseite auch die klassischen BI-Anforderungen nach Dashboards und Berichten oder auch einfacheren Analyseumgebungen und die interaktive Datenexploration und Visualisierung für Fachanwender. Hier finden sich zahlreiche Spezialisten, die Lösungen für spezielle Anwendungsgebiete wie die Analyse von Weblogs, E-Commerce-Daten, Blogs, Twitter und Social-Media-Netzen anbieten. Ein Beispiel ist Splunk, das sich im Sinne der Operational BI auf das Aufbereiten von Logdaten von IT-Systemen konzentriert. Daneben kommen neue BI-Werkzeuge wie Datameer in den Markt, die den Fachanwender beim Integrieren, Speichern und Auswerten von Daten in Hadoop unterstützen. Ferner fangen auch klassische BI-Anbieter an, zum Beispiel über HIVE einen ergänzenden Zugriff auf neue Datenquellen zu schaffen. Die kleinen und wendigen Anbieter wie Tableau, Pentaho oder Jaspersoft sind die ersten im Markt. Die grossen Anbieter werden höchstwahrscheinlich bald folgen - wie immer teils durch Eigenentwicklung und teils durch Zukauf. Lesen Sie auf der nächsten Seite: Technik ist erschwinglich

Big Data ist in erster Linie ein Marketing-Begriff, der Methoden und Techniken umfasst, mit denen sich Datenvolumen, Komplexität, Geschwindigkeit und neue Analytik beherrschen lassen sollen, bei denen dies mit klassischen BI-Techniken nicht mehr sinnvoll möglich ist. Die Technik dafür ist durchaus erschwinglich. Open-Source-Lösungen und attraktive Angebote in der Cloud ermöglichen die Nutzung der notwendigen Werkzeuge und geben tiefen Einblick in die Daten. Teilweise erlauben sie es, Big Data mit eigenen Daten zu testen. Um poly-strukturierte Daten sinnvoll zu verarbeiten und wertvolle Ergebnisse daraus abzuleiten, müssen allerdings «Data Scientists» gefunden oder ausgebildet werden, die schon heute knapp sind. Am Softwaremarkt zeigen sich rund um Big Data viele Strömungen. Im Open-Source-Bereich steht vor allem Apaches Hadoop- Framework mit vielen ergänzenden Werkzeugen im Fokus der Aufmerksamkeit. Wie bei anderen Open-Source-Projekten auch entwickeln sich langsam Distributoren, die Bündelung und Support übernehmen und den Aufwand sowie das Risiko für Anwenderunternehmen reduzieren. Inzwischen setzen alle grossen Anbieter zum Speichern und Verarbeiten poly-strukturierter Daten auf Hadoop - mit eigenen Distributionen oder mit Partnerschaften. Etablierte BI- und Datenintegrations-Anbieter schaffen eine Integration mit Big-Data-Frameworks und Datenspeicherkomponenten. Wie im Softwaremarkt üblich, wird es je nach der Nachfrage zu einer Konsolidierungswelle kommen. Neben der Auswahl von Lösungen ist es für Unternehmen wichtig, die Integration von geplanten Big-Data-Anwendungen in die bestehende analytische Infrastruktur zu konzipieren.

Ergebnisse der Analysen von grossen Mengen poly-strukturierter Daten sind häufig Kennzahlen oder andere strukturierte Informationen, die Unternehmen im Data Warehouse weiterverarbeiten möchten. Umgekehrt sind die qualitätsgesicherten Kennzahlen der Data-Warehouse-Welt interessante ergänzende Informationen, die bei der Analyse poly-strukturierter Daten hinzugezogen werden sollten. Werden beispielsweise riesige Mengen von Web-Logdaten zur Steuerung von Angeboten auf der Website genutzt, ist es sehr interessant, die Daten über das Verhalten eines Kunden auf der Website, die im Big-Data-Framework liegen, mit den Daten zu seinem früheren Kaufverhalten zu verbinden, die im Data Warehouse aufbewahrt sind. Lesen Sie auf der nächsten Seite: Wesentliche Herausforderungen für Big Data

Der Markt für Big-Data-Software ist jung, und die Anwendungsgebiete in Unternehmen werden noch sondiert und pilotiert. Unternehmen sollten die neuen Möglichkeiten von Big Data evaluieren. Sinnvoll ist es gleichzeitig, eine Information Governance zu einzuführen und vor allem zu leben. Das trägt entscheidend dazu bei, eine hohe Abfrage-Performance, eine gute Datenqualität und nicht zuletzt ein agiles BI-System zu erhalten. Am Ende ist das die Basis, um neue Ideen in der Peta- und Zettabyte-Welt umzusetzen.