Das Interesse am Einsatz von Künstlicher Intelligenz (KI) und maschinellem Lernen (ML) ist ungebrochen. Bereits 2021 beschäftigten sich laut der Studie «Machine Learning 2021» von IDG Research Services rund zwei Drittel der Firmen in Deutschland mit diesem Thema. Inzwischen dürfte sich dieser Anteil weiter erhöht haben. Damit gewinnen Konzepte an Bedeutung, die KI-Projekte beschleunigen und optimieren sollen. Besonderes Interesse hat in letzter Zeit der Ansatz des Machine Learning Operations (MLOps) auf sich gezogen. «MLOps ist eine Erweiterung der DevOps-Methodik, um Ressourcen aus den Bereichen maschinelles Lernen und Data Science gleichberechtigt in die DevOps-Ökologie einzubeziehen», erläutert Christoph Nützel, Head of Technology and Data bei Futurice, einem Digitalisierungsspezialisten, der selbst agile Methoden und MLOps einsetzt.

Eine Kernfunktion von MLOps ist die Verwaltung von Machine-Learning-Modellen über den gesamten Lebenszyklus hinweg, einschliesslich der Bereitstellung, Überwachung und Governance, ergänzt Joseph George, Vice President Product Management bei BMC Software. «Machine-Learning-Modelle werden in Bezug auf das Lifecycle-Management und die Entwicklung wie Software behandelt und verwaltet.»

Eine wichtige Funktion von MLOps besteht darin, ML-Modelle zu schaffen, die sich mehrfach verwenden lassen. Das wirkt sich günstig auf die Entwicklungskosten aus und reduziert die Zeit, bis ML-Anwendungen einsatzfähig sind. Ein zentrales Element ist ausserdem die Automatisierung von Entwicklungs- und Bereitstellungsschritten. Dies gilt für die Integration, das Testen, die Implementierung und die Verwaltung der erforderlichen Infrastruktur.

Ausserdem können sich Entwickler und Data Scientists besser auf Kernaufgaben wie das Entwickeln von Machine-Learning-Algorithmen konzentrieren, wenn Routineaufgaben automatisch ablaufen – vom Validieren bis zum Update von ML-Modellen. «Zudem erleichtert MLOps die Qualitätssicherung durch ein vereinfachtes Debugging und macht Modelle und deren Performance interpretierbar», sagt Srikumar Ramanathan, Chief Solutions Officer bei Mphasis, einem Anbieter von Lösungen und Services für Digitalisierungsprojekte. (Siehe auch Interview.)

Doch dass MLOps Vorteile bietet, scheint sich in deutschen Unternehmen nur langsam zu verbreiten. Denn laut der Studie «Driving Innovation with AI. Getting Ahead with DataOps and MLOps» des Würzburger Marktforschungs- und Beratungsunternehmens BARC (Business Application Research Center) stehen die meisten Unternehmen in Deutschland noch am Anfang ihrer Reise in Richtung Machine Learning Operations. Demnach setzt nur etwa die Hälfte der Firmen, die ML-Projekte gestartet haben, diesen Ansatz und die komplementäre Methodik DevOps (Development Operations) ein.

Dies ist BARC zufolge verwunderlich. Denn 97 Prozent der Befragten gaben zugleich an, dass MLOps und DevOps in Projekten zu deutlichen Verbesserungen führen, etwa in Bezug auf den Automatisierungsgrad von Prozessen, eine schnellere Marktreife und eine bessere Zusammenarbeit der Projektbeteiligten. «DataOps richtet sich auf die Realisierung eines überschaubaren, wartbaren und automatisierten Flusses qualitätsgesicherter Daten zu Datenprodukten», erklärt Alexander Rode, Data & Analytics Analyst bei BARC. «Und MLOps adressiert zusätzlich die speziellen Anforderungen bezüglich der Entwicklung, Bereitstellung und Pflege von ML-Modellen, die ebenfalls Datenprodukte sind.»

Ein Grund für die zögerliche Haltung gegenüber MLOps ist nach Einschätzung von Jens Beier, Business Area Manager Business Applications & Data Analytics bei Axians, die Furcht vor einer Zerfaserung der IT-Umgebung: «Oft setzen Unternehmen Standard-Software-Tools ein, wie SAP oder Salesforce, um eine homogene Umgebung zu haben.» Diese Plattformen würden häufig den Kontext für KI- und Machine-Learning-Projekte vorgeben, trotz daraus resultierender möglicher Reibungsverluste.

Im ersten Schritt sollten sich Nutzer von KI und Machine Learning darüber klar werden, welche Ziele sie überhaupt mit diesen Technologien erreichen möchten. Beide seien fast immer in einen bestehenden Unternehmens- oder Prozesskontext eingebettet, beispielsweise in Bereichen wie Vertrieb, Produktion oder Service, so Jens Beier. «KI steht also nicht als Wunderwaffe da, sondern optimiert und automatisiert bestehende Prozesse.»

Daher ist es unverzichtbar, vor der Einführung von KI, ML und der entsprechenden «Ops-Frameworks» zu prüfen, ob nicht bereits konventionelle Ansätze ausreichen: «Oftmals stellt sich heraus, dass ein spezifisches Problem eine andere oder einfachere Lösung benötigt als zunächst gedacht», betont Christoph Nützel von Futurice.

Ein weiterer potenzieller Stolperstein ist die Daten­basis: «ML-Projekte richten sich nicht am jeweiligen Anwendungsfall aus, sondern an den vorhandenen Daten», so Nützel weiter. Diese Tatsache lässt sich häufig mit herkömmlichen Arbeitsweisen nicht in Einklang bringen. Daher ist es notwendig, dass Entwickler, IT-Fachleute, Experten aus den Fachbereichen und Data Scientists Wege finden, um effektiv zusammenzuarbeiten und zu kommunizieren.  

Dabei spielt nicht nur der Faktor Mensch eine Rolle bei der Entwicklung und dem Operationalisieren von Machine-Learning-Modellen und entsprechenden Anwendungen. Im ersten Schritt ist es nötig, die Problemstellung zu definieren, die ein Anwender mithilfe von ML angehen möchte, etwa die Qualitätssicherung in einer Produktionsumgebung zu verbessern. Zusätzlich müssen Kriterien festgelegt werden, die den Erfolg des Einsatzes von Machine Learning belegen. Das kann eine Reduzierung der fehlerhaften Produkte in der Fertigung um einen bestimmten Prozentsatz sein.

Eine zentrale Rolle spielt die Suche nach passenden Daten und deren Aufbereitung. «Ein Grund für das Scheitern von ML-Projekten ist die mangelhafte Datenbereinigung», stellt Joseph George von BMC Software fest.

Dieser Schritt sieht die Aufteilung in Datensets für Training, Test und Validierung vor und wird von Data Scientists durchgeführt.

Anschliessend folgt das Training von Machine-Learning-Modellen. Meist kommen dabei unterschiedliche Algorithmen zum Einsatz. Das Modell, das sich nach Abschluss dieser Arbeiten als tauglichste Variante präsentiert, wird evaluiert und validiert. Ein Kriterium dabei ist die Fähigkeit eines ML-Modells, Vorhersagen zu treffen. In diesem Stadium sind Automatisierungsfunktionen besonders wichtig, um den Zeitraum zwischen Training und Validierung kurz zu halten. Kurz bedeutet, dass ein ML-Modell nach wenigen Tagen zur Verfügung stehen sollte.

Die letzten Schritte sind die Implementierung des Modells in der Einsatzumgebung und das Monitoring. Die kontinuierliche Überprüfung ist wichtig, weil Machine Learning meist nicht in statischen Umgebungen zum Einsatz kommt. Vielmehr kann es sinnvoll sein, ein Modell zu modifizieren, etwa wenn neue oder ergänzende Daten zur Verfügung stehen. Das heisst, es handelt sich um eine iterative Vorgehensweise mit ständigen Anpassungen und Optimierungen. Auch diese Aufgaben lassen sich im Rahmen eines MLOps-Ansatzes automatisieren.

Unternehmen, die MLOps einführen möchten, haben mehrere Optionen. «Generell können MLOps und DevOps als prozessorientierte Konzepte gleichermassen mit Open-Source- und kommerziellen Tool-Stacks umgesetzt werden», sagt Alexander Rode von BARC. Laut der erwähnten Studie des Beratungshauses haben Nutzer von kommerziellen Werkzeugen seltener Probleme mit der Komplexität, wenn sie Machine-Learning-Modelle operationalisieren, als User von Open-Source-Werkzeugen. Generell rät Rode, mit unterschiedlichen MLOps-Tools zu experimentieren. Dabei sollten Anwender  aktuelle und künftige Anforderungen berücksichtigen.

Zu den bekanntesten Open-Source-Werkzeugen zählt MFlows, eine Plattform, mit der Nutzer den Lebenszyklus von Machine-Learning-Modellen verwalten können, inklusive Test und Implementierung. Weitere Open-Source-Plattformen sind Kubeflow von Google, Metaflow vom Strea­ming-Spezialisten Netflix sowie MLReefs. Zudem können MLOps-Fachleute auf eine breite Palette von Werkzeugen für spezielle Aufgaben zurückgreifen. Beispiele sind etwa MLRun für das Entwickeln und Implementieren von ML-Modellen und AutoKeras, eine Li­brary für Automated Machine Learning (AutoML). Auf Auto­ML greift eine weitere Lösung zurück: H2O für die Op­timierung von Machine-Learning-Prozessen.

Für Unternehmen ist es sicherlich eine Herausforderung, aus vielen Komponenten eine MLOps-Umgebung zusammenzustellen. Vor allem dann, wenn es an Fachleuten mangelt, etwa Data Scientists und Machine-Learning-Spezialisten. Mit Kubeflow steht jedoch nach Einschätzung der deutschen IT-Beratung Viadee eine Open-Source-Plattform bereit, die das Potenzial hat, sich zur dominierenden MLOps-Lösung zu entwickeln.

Eine weitere Option sind Plattformen und Frameworks, die Anbieter wie BMC Software, Mphasis oder Data Robot offerieren. Sie stellen teilweise Funktionen bereit, die über MLOps hinausreichen. Das ist beispielsweise bei BMC Helix Operations Management mit AIOps der Fall. Eine Komponente ist ein Operations-Management, eine weitere sind KI-gestützte Analyse- und Automatisierungsfunktionen für den IT-Betrieb.

Pace-ML von Mphasis dagegen kombiniert Model Deployment Pipelines und ein Monitoring von ML-Modellen auf einer Plattform. Dies vereinfacht nach Angaben des Anbieters die Versionskontrolle und die Wartung der Modelle. Auch bekannte Unternehmen aus dem IT-Bereich wie IBM und HPE haben Plattformen wie HPE Ezmeral und IBM Cloud Pak for Data um Machine Learning Operations erweitert. Hilfreich ist, dass Nutzer bei einem Teil der Lösungen diese wahlweise in einer Public Cloud oder im eigenen Rechenzentrum implementieren können.

Eine weitere Option sind cloudbasierte MLOps-Plattformen von Anbietern wie AWS, Microsoft (Azure) und Google (Google Cloud Platform, GCP). Sie ergänzen KI- und Machine-Learning-Services dieser Cloud-Service-Provider. Für Unternehmen, die bereits solche Dienste nutzen, ist es daher eine Überlegung wert, auch die MLOps-Komponente beim betreffenden Provider zu buchen.

Allerdings gibt Joseph George von BMC Software eines zu bedenken: «Vor allem grosse Unternehmen sind selten reine Cloud-Shops, sondern eine Mischung aus Multi-Cloud- und On-Premises-Infrastrukturen sowie Mainframe-Umgebungen.» Daher sei es wichtig, dass cloud­gestützte MLOps-Lösungen Daten aus solchen hybriden Umgebungen verarbeiten können.

Christoph Nützel von Futurice wiederum rät dazu, die Entscheidung für MLOps-Tools an die IT-Strategie an­zupassen. Wichtig bei der Auswahl einer Lösung sei vor allem, «wie ich Daten, ML-Modelle und Features versionieren kann». Die Antworten darauf geben die Richtung vor. Nötigenfalls sollten Anwender auf die Expertise herstellerneutraler Beratungsunternehmen zurückgreifen.

Zu den Entwicklungsplattformen, die die MLOps-Lösungen von Cloud-Hyperscalern wie AWS, Google und Microsoft einbinden, zählt Mendix des gleichnamigen Anbieters, einer Sparte von Siemens. «Die Datenaufbereitung und das Training überlassen wir den MLOps-Plattformen», erklärt Johan den Haan, Chief Technology Officer bei Mendix. «Unsere Lösung übernimmt die Implementierungs- und Inferenzschritte, um die Integration und Ausführung zu beschleunigen.»

Mit der Plattform von Mendix können Unternehmen mithilfe von Low-Code-Techniken Machine-Learning-Modelle per Drag and Drop in Applikationen einbinden. Ein Vorteil ist die einfachere Integration. Es ist laut den Haan nicht nötig, Übersetzungen zwischen Anwendungsdaten und ML-Modell-Input vorzunehmen. Die Plattform erledige dies automatisch für den Entwickler. Da das ML-Modell als Teil der Anwendung bereitgestellt werde, sei ausserdem kein separater Dienst erforderlich, um es zu hosten oder zu betreiben.

Anwendungen mit integrierten ML-Funktionen funktionieren zudem auch offline, beispielsweise in Edge-Umgebungen in der Fertigung. Die Machine-Learning-Modelle werden auf dem System ausgeführt, auf dem eine App läuft. Ansätze von Anbietern wie Mendix erleichtern somit die Implementierung und Nutzung von Machine Learning und KI, beispielsweise auf dem «Factory Floor» von Industrieunternehmen.

Zweifellos sind Ansätze wie MLOps und AIOps wichtig, damit Unternehmen Entwicklungsprojekte in den Bereichen Machine Learning und Künstliche Intelligenz schneller, effizienter und mit einer höheren Erfolgsquote abschliessen können. Dies vor allem vor dem Hintergrund, dass sich klassische Software-Entwicklung vom Training und Operationalisieren von ML- und KI-Modellen deutlich unterscheidet. Doch mit MLOps und AIOps allein ist es nicht getan. Was fehlt, ist eine Möglichkeit, KI- und ML-Modelle, die im Produktivbetrieb eingesetzt werden, in ein unternehmensweites Lebenszyklus-Management einzubinden.

Die Lösung heisst nach den Vorstellungen des Beratungsunternehmens Gartner ModelOps. Gemeint ist damit die Operationalisierung und das Management von KI-und Machine-Learning-Modellen sowie von deren Entscheidungsgrundlagen über den gesamten Lifecycle hinweg. Darin eingeschlossen sind Risikobewertungen und Audits, ausserdem die Abschätzung des geschäftlichen Nutzens und der Zuverlässigkeit von KI- und Machine-Learning-Anwendungen in der Praxis. Solche Faktoren sind weniger für den Data Scientist von Belang, dafür aber für CIOs, das Management und Compliance-Fachleute. Die Diskussion über ModelOps zeigt allerdings, dass mittlerweile auch für Geschäftsführer und Fachabteilungs­leiter Künstliche Intelligenz und Machine Learning zu strategisch relevanten Technologien werden.

Machine-Learning-Projekte zum Erfolg zu führen, ist keine triviale Aufgabe. MLOps kann dazu einen wichtigen Beitrag leisten. Srikumar Rama­nathan, Chief Solutions Officer bei Mphasis, erläutert, worauf Unternehmen dabei achten sollten.

Srikumar Ramanathan
Chief Solutions Officer bei Mphasis

Quelle: Mphasis

Srikumar Ramanathan: Unserer Erfahrung bei Mphasis nach enden knapp 30 Prozent der Projekte nicht produktiv. Dafür gibt es eine Reihe von Gründen. Häufig scheitern ML-Projekte, weil es keine klar definierten Key Performance Indicators (KPIs) und Geschäftsziele gibt. Machine Learning wird dann in Bereichen eingesetzt, in denen ein regelbasierter, heuristischer Ansatz genauso gut funktioniert hätte. Wenn man zu Beginn nicht weiss, was man mit ML eigentlich bezwecken möchte, ändern sich zudem die Anforderungen laufend und der Umfang von Projekten ufert aus.

Ramanathan: Das trifft zu. Manchmal liegt das schlichtweg am Design, weil zunächst nur ein Experiment und gar kein Produktiveinsatz geplant war. Ausserdem führen häufig schlechte Datenverfügbarkeit oder mangelnder Datenzugriff zu Verzögerungen. Eine besondere Herausforderung ist darüber hinaus die Zusammenarbeit zwischen den verschiedenen Gruppen. Denn um ML-Projekte zum Erfolg zu führen, müssen Data Engineers, Data Scientists, ML-Ingenieure und IT Operations eng zusammenarbeiten. Hier fehlen häufig geeignete Tools, Sichtbarkeit und klar definierte Verantwortlichkeiten.

Ramanathan: MLOps umfasst Best Practices sowie Tools und Plattformen, um die genannten Heraus­forderungen zu bewältigen. Das Konzept verbessert die Zusammenarbeit zwischen Data-Science-, Entwicklungs- und Bereitstellungs-Teams und bringt Kontrolle über Daten, Code, Algorithmen und Modelle. Ausserdem macht MLOps Modelle und die Modell-Performance interpretierbar und erleichtert die Qualitätssicherung durch ein Debugging.

Ramanathan: Ein Faktor ist beispielsweise die Drift Detection. Experten müssen erkennen, ob ein produktives Modell vom Trainingsmodell abweicht, etwa weil sich Datenprofile verändert haben. MLOps unterstützt zudem die kontinuierliche Integration und die Implementierung von Modellen in die Software-Entwicklungs- und Bereitstellungsumgebung. Dabei kommen automatisierte Pipelines und Feedback-Schleifen zum Einsatz.

Ramanathan: Es gibt einige Vorteile, die für solche Angebote sprechen. Vor allem vereinfachen sie die Bereitstellung und Nutzung der Infrastruktur sowie Prozesse. Alle ML-Systeme erfordern jedoch eine gute Dateninfrastruktur. Wenn sich die Daten bereits in der Cloud befinden, ist es daher bequemer, Machine Learning in derselben Cloud auszuführen. Auch die Integration in Unternehmenssysteme sowie die Bereitstellung, Überwachung und Verwaltung von Modellen in der Produktion ist einfacher. Denn die Plattformen nutzen Best Practices aus DevOps und MLOps für die Orchestrierung von ML-Workflows und Pipelines. Ausserdem bieten sie Zugang zu vortrainierten Modellen. Nicht zuletzt profitieren Unternehmen bei den Angeboten der Cloud-Provider von Pay-as-you-go-Modellen.

Ramanathan: Nutzer können ML-Modelle schneller in den Produktivbetrieb überführen, Pipelines in Data-Science-Projekten automatisieren und dadurch KI-Produkte und -Services schneller auf den Markt bringen. Ausserdem werden KI-Systeme transparenter und kontrollierbarer. Das reduziert Risiken und erhöht die Nutzerakzeptanz. Ausserdem vereinfacht ein Framework das Management der ML-Modelle und die Governance. Da sich Modell-Deployment-Pipelines und das Monitoring auf einer einzigen Plattform befinden, haben Nutzer zudem die Möglichkeit, Versionskontrollen zu etablieren und bereitgestellte Modelle besser zu warten.