Kurzzusammenfassung
- Lineage dokumentiert den End-to-End-Pfad von Quelle bis Modell- und Dashboard-Output.
- Business-Nutzen: schnelle Impact-Analysen bei Daten- oder Modelländerungen.
- BPMN-Leitpfad: Task
Capture lineage edges → Gateway Critical chain complete? → Outcome Traceability published.
- Gate-Logik: Für produktive Modelle ist vollständige Lineage Voraussetzung für Gate C.
Ziel
Kritische Datenprodukte (Features, Trainingssets, Modellversionen, Scoring-Outputs) sind über technische und fachliche Kanten lückenlos verbunden.
Ablauf
| BPMN-Schritt | Mechanik (Task/Gateway/Outcome) | Artefakte & Verantwortlich |
|---|
| Task: Capture edges | Upstream/Downstream-Knoten aus Pipelines und Jobs erfassen | Artefakt: Lineage-Graph; Responsible: Platform Team |
| Task: Enrich context | Kanten mit Run-ID, Commit, DQ-Status, Policy versehen | Artefakt: Annotated Edges; Responsible: Data Engineering |
| Gateway: Critical chain complete? | Prüft Pfad source → feature → training → registry → serving | Nein: Promotion blockiert; Accountable: Data Owner |
| Outcome: Publish traceability | Graph versionieren und für Impact-Reports bereitstellen | Artefakt: Impact Snapshot |
Qualitätskriterien für Lineage-Kanten
| Qualitätsdimension | Definition | Zielwert | Messmethode |
|---|
| Vollständigkeit | Anteil erwarteter Kanten, die technisch und fachlich vorhanden sind | ≥ 98 % kritische Assets | Soll/Ist-Abgleich je kritischem Datenprodukt |
| Aktualität | Zeit zwischen erfolgreichem Run und sichtbarer Kante im Katalog | ≤ 15 min (p95) | Run-Timestamp vs. Lineage-Publish-Timestamp |
| Kritische Pfadabdeckung | Abdeckung des Muss-Pfads source → feature → training → model → serving | 100 % für produktive Modelle | Gate-C-Checkliste pro Modellversion |
| Kontexttiefe | Anteil Kanten mit owner, run_id, dq_status, policy_tag | ≥ 95 % | Validierung der annotierten Edge-Attribute |
Gate-Regeln auf Basis der Qualitätskriterien
- Pass: alle drei Kernkriterien (Vollständigkeit, Aktualität, kritische Pfadabdeckung) im Zielbereich.
- Warn: nur Aktualität verletzt, aber Pfadabdeckung vollständig; befristete Freigabe für max. 7 Tage.
- Fail: kritische Pfadabdeckung < 100 % oder Vollständigkeit < 95 %; Gate C wird blockiert.
Kontrollen
Governance- und Risiko-Aspekte
- Jede kritische Kante enthält Owner-Zuordnung.
- Policy-Verletzungen sind im Graph als Flags sichtbar.
- Modellversionen ohne Datensatz-Referenz sind unzulässig.
Messbare Akzeptanzkriterien
| Kriterium | Grenzwert | Verantwortlich | Eskalation |
|---|
| Lineage-Vollständigkeit kritischer Assets | ≥ 98 % | Data Steward | < 95 %: Governance Escalation |
| Aktualisierung nach Deployment/Run | ≤ 15 min | Platform Team | > 30 min: P2 Incident |
| Production-Modelle ohne vollständige Chain | 0 | MLOps | sofortiger Promotion-Stop |
Entscheidung
Zielbild
Durchgängige Lineage von Raw → Feature → Training → Model.
Erforderliche Verknüpfungen
- Quelle und Ingestion-Run
- Transformationsschritt und Regelwerk
- Feature-Version und Trainingsdatensatz
- Modellversion und Registry-Stage
Mehrwert
- Root-Cause-Analyse bei Modellabweichungen
- Wirkungsketten für Change- und Incident-Management
- Auditierbarkeit für Risk/Compliance