Flows

Kurzzusammenfassung

• Prefect Flows setzen die BPMN-Teilprozesse ausführbar um (Feature Pipeline, Retrain, Scoring).
• Business-Nutzen: reproduzierbare Automatisierung mit klaren Übergaben zwischen Data, ML und Ops.
• BPMN-Leitpfad: Task Execute flow/subflow → Gateway Rule branch → Outcome State transition.
• Betriebsregel: jeder Flow läuft nur als versioniertes Deployment mit Owner und Runbook.

Ziel

Jeder BPMN-Schritt ist in Prefect als Flow/Task eindeutig abgebildet und liefert nachvollziehbare State-Transitions bis zum Incident-Fallback.

Ablauf

BPMN-Schritt	Mechanik (Task/Gateway/Outcome)	Artefakte & Verantwortlich
Task: Implement flow graph	BPMN-Tasks als Prefect Tasks/Subflows modellieren	Artefakt: Flow-Code + Tests; Responsible: Data Engineering
Task: Build & publish deployment	Work Pool, Image, Parameter, Tags, Infra-Block konfigurieren	Artefakt: Deployment Spec; Responsible: Platform Team
Gateway: Rule branch	Branching anhand DQ/Business Rules (Completed, Failed, Cancelled)	Artefakt: State Event Log; Accountable: Tech Lead
Outcome: State transition finalized	Ergebnis wird an Folgeschritt/Incident weitergegeben	Artefakt: Run Summary + Links

Kontrollen

Governance- und Risiko-Aspekte

• Deployment-Version muss auf BPMN-Version referenzieren.
• Kritische Flows benötigen dokumentierte Manual-Intervention-Tasks.
• Failure-State muss Incident-Handover triggern.

Messbare Akzeptanzkriterien

Kriterium	Grenzwert	Verantwortlich	Eskalation
BPMN-Task-Mapping im Deployment dokumentiert	100 %	Data Engineering	fehlend: Merge-Block
Produktive Deployments ohne Runbook	0	Platform Team	sofortiger Deploy-Stop
Incident-Link nach Failed State	≤ 10 min	Platform Ops	> 15 min: Incident Manager

Entscheidung

• Flow/Task-Mapping ist vollständig und versioniert.
• State-Transitions sind reproduzierbar und nachvollziehbar.
• Incident-Fallback ist automatisiert getestet.

⋮⋮⋮

Glossar-Begriffe

Diese Seite nutzt die kanonischen Begriffe Data Pipeline, Feature, Retrain Trigger und Prefect.

BPMN → Prefect Abbildung

• BPMN Process entspricht einem End-to-End Prefect Flow
• CallActivity entspricht einem Subflow
• BusinessRuleTask entspricht Validierungs-Tasks mit Gate-Entscheidung
• Gateway entspricht conditional branching im Flow

Flow, Deployment, Work Pool, Worker, Block, State

Verantwortlichkeiten im Prefect-Betriebsmodell

Begriff	Primäre Verantwortung	Typische Owner-Rolle	Wichtige Schnittstellen
Flow	Orchestrierungslogik definieren (Tasks/Subflows, Retries pro Task, Parameter)	Data/ML Engineering	Deployment, Blocks, States
Deployment	Versionierbare Laufzeitdefinition eines Flows (Code-Referenz, Parameter, Schedule, Tags, Work Pool)	MLOps / Platform	Work Pool, Trigger, Incident-Payload
Work Pool	Routing-Regeln und Ausführungsinfrastruktur bereitstellen (z. B. Kubernetes, Docker, Process)	Platform Team	Worker, Concurrency-Limits, Prioritäten
Worker	Runs aus einem Work Pool pollen, Infrastruktur starten und Run-Status an Prefect zurückmelden	Platform Ops	Work Pool, Execution Environment, Logs
Block	Wiederverwendbare Konfiguration/Secrets/Storage abstrahieren (z. B. S3, GCS, Credentials, Notification)	Platform + Security	Flow/Deployment-Konfiguration, Secret-Rotation
State	Laufstatus und Übergänge als Audit-Trail führen (Scheduled, Pending, Running, Completed, Failed, Cancelled, Crashed, Late)	Prefect API + Operations	Monitoring, Failure Handling, Incident Management

Operative Leitplanken

• Flow ist fachliche Wahrheit, Deployment ist operative Wahrheit: Ein Flow ohne Deployment ist nicht produktionsfähig.
• Work Pool/Worker trennen Steuerung und Ausführung: Capacity- und Priorisierungsregeln liegen im Work Pool, nicht im Flow-Code.
• Blocks entkoppeln Runtime von Secret-Details: Secrets werden nicht im Code gespeichert, sondern per Block-Referenz eingebunden.
• State-Transitions sind die führende Incident-Quelle: Alerting, SLA-Messung und Eskalation basieren auf Prefect States.

BPMN-Kontext

• IDs: CallActivity_FeaturePipeline
• Input-Bezug: Curated Daten, Feature-Definitionen und Pipeline-Parameter.
• Entscheidungsbezug: Entscheid über erfolgreiche Materialisierung oder Rückgabe in Fehler-/Quarantänepfad.
• Output-Bezug: Versionierte Features für Labeling, Training und Scoring.