Kubeflow ist eine Open-Source-MLOps-Plattform, die den Aufbau, die Orchestrierung und den produktiven Einsatz von Machine-Learning-Workflows auf Kubernetes vereinfacht. Sie richtet sich an Data Scientists, ML-Ingenieure und DevOps-Teams, die skalierbare, reproduzierbare und portable ML-Pipelines benötigen. Durch die Nutzung von Kubernetes ermöglicht Kubeflow eine effiziente Ressourcennutzung und die nahtlose Integration mit verschiedenen ML-Tools und Frameworks.

Was sind die Hauptfunktionen von Kubeflow?

Kubeflow Pipelines zur Workflow-Orchestrierung

Kubeflow Pipelines (KFP) ermöglichen die Erstellung und Ausführung portabler, skalierbarer ML-Workflows mithilfe von Containern auf Kubernetes.

• Pipeline-Komponenten: Wiederverwendbare Bausteine zur Strukturierung von Workflows.

• Orchestrierung: Automatisierte Ausführung der Aufgaben in der richtigen Reihenfolge.

• Skalierbarkeit: Läuft nativ auf Kubernetes und eignet sich für verteilte Systeme.

• Versionsverwaltung: Verfolgt verschiedene Pipeline-Versionen und Ergebnisse.

• Benutzeroberfläche: Intuitives Dashboard zur Überwachung von Workflows.

Notebooks für interaktive Entwicklung

Kubeflow Notebooks ermöglichen den Einsatz von webbasierten Entwicklungsumgebungen wie Jupyter, VS Code und RStudio auf Kubernetes-Clustern.

• Individuelle Umgebungen: Unterstützung für verschiedene ML-Frameworks und Libraries.

• Ressourcenmanagement: Kubernetes-gesteuerte Allokation von Rechenressourcen.

• Zusammenarbeit: Erleichtert das Teilen und die Teamarbeit.

Katib für automatisiertes Hyperparameter-Tuning

Katib ist die AutoML-Komponente von Kubeflow und unterstützt das Tuning von Hyperparametern, Early Stopping und Neural Architecture Search.

• Framework-Unterstützung: Kompatibel mit TensorFlow, PyTorch, MXNet und weiteren.

• Suchalgorithmen: Grid Search, Random Search, Bayes-Optimierung usw.

• Skalierbarkeit: Nutzt Kubernetes für verteiltes Training.

KServe für Modellbereitstellung

KServe (ehemals KFServing) bietet Kubernetes-Ressourcen zur Bereitstellung von ML-Modellen in Produktion.

• Multi-Framework-Unterstützung: TensorFlow, PyTorch, scikit-learn u.a.

• Autoscaling: Automatische Skalierung je nach Anfrageaufkommen.

• Canary Deployments: Unterstützung für schrittweise Auslieferung und A/B-Tests.

Modell-Registry zur Modellverwaltung

Die Modell-Registry in Kubeflow ermöglicht das strukturierte Verwalten, Versionieren und Nachverfolgen von ML-Modellen.

• Versionskontrolle: Verwalten unterschiedlicher Modellversionen mit Metadaten.

• Experiment-Tracking: Zentralisierte Erfassung von Trainingsläufen und Ergebnissen.

• Teamübergreifende Zusammenarbeit: Fördert Austausch zwischen Entwicklung und Betrieb.

Warum Kubeflow wählen?

• Kubernetes-nativ: Optimale Skalierung, Portabilität und Ressourcennutzung.

• Modulare Architektur: Komponenten können einzeln oder kombiniert eingesetzt werden.

• Open-Source-Ökosystem: Aktive Community, Integration mit gängigen ML-Tools.

• Cloud-unabhängig: Einsatz auf jedem Kubernetes-Cluster, lokal oder in der Cloud.

• Umfassende MLOps-Abdeckung: Unterstützung für den gesamten ML-Lebenszyklus