Quarantine
Zweck
Quarantine isoliert Datensätze mit fehlgeschlagenen Qualitäts- oder Vertragsprüfungen, damit produktive Downstream-Prozesse geschützt bleiben und Vorfälle nachvollziehbar bearbeitet werden können.
BPMN-Detailansicht
⋮⋮⋮
BPMN-Kontext
- IDs:
ServiceTask_Quarantine - Input-Bezug: DQ-Fails, Contract-Verstösse, betroffene Partitionen/Run-IDs.
- Entscheidungsbezug: Fix/Override/Reject gemäss zentraler Gate-Logik auf /docs/research-risk/acceptance-criteria.
- Output-Bezug: Isolierter Quarantine-Eintrag mit Incident- und Freigabestatus.
Quarantine Contract
Jeder Quarantine-Eintrag muss mindestens enthalten:
| Feld | Beschreibung |
|---|---|
dataset_id / partition / run_id | Technische Identifikation des betroffenen Datenumfangs |
contract_version / schema_version | Zugehöriger fachlicher und technischer Vertragsstand |
dq_rule_failures | Auslösende Regeln inkl. Severity und Messwerten |
incident_id | Verknüpftes Incident-/Ticket-Artefakt |
decision_status | fix, override oder reject |
released_by / released_at | Freigabeinformation für Rückführung |
Versionierung und Rückführung
- Quarantine-Einträge sind unveränderlich; Korrekturen werden als neue Recovery-Events hinzugefügt.
- Rückführung in den regulären Flow erzeugt eine neue Datenversion mit Referenz auf den ursprünglichen Quarantine-Fall.
- Overrides ohne dokumentierte Begründung und Owner-Sign-off sind unzulässig.
DQ-Übergabe und Entscheidungspfad
- DQ/Contract-Fail triggert Quarantine-Ablage.
- Incident wird je Severity automatisch oder manuell erstellt.
- Data Steward bewertet Ursache und schlägt
fix/override/rejectvor. - Freigabe erfolgt durch accountable Rolle gemäss RACI.
- Erst danach ist Reprocessing oder endgültiger Abbruch zulässig.
Incident-Verknüpfung
- Quarantine ohne Incident-Referenz ist nur bei dokumentierter Low-Severity-Ausnahme zulässig.
- Incident enthält betroffene Downstream-Artefakte (Feature Sets, Trainingsruns, Reports).
- Abschluss eines Incidents muss Lessons Learned + Regelanpassung (Contract/DQ) referenzieren.
RACI
| Aktivität | Responsible | Accountable | Consulted | Informed |
|---|---|---|---|---|
| Quarantine-Ablage & Metadaten | Data Platform | Platform Owner | Data Steward | ML Team |
| DQ-Regel-Analyse | Data Steward | Data Owner | Risk | Governance |
| Rückführung in regulären Flow | Data Engineering | Data Owner | ML Engineer | Portfolio Management |
Siehe auch: Sources, Warehouse, Incident Management, Glossary, Traceability Matrix.