Zum Hauptinhalt springen

Quarantine

Zweck

Quarantine isoliert Datensätze mit fehlgeschlagenen Qualitäts- oder Vertragsprüfungen, damit produktive Downstream-Prozesse geschützt bleiben und Vorfälle nachvollziehbar bearbeitet werden können.

BPMN-Detailansicht

⋮⋮⋮

BPMN-Kontext

  • IDs: ServiceTask_Quarantine
  • Input-Bezug: DQ-Fails, Contract-Verstösse, betroffene Partitionen/Run-IDs.
  • Entscheidungsbezug: Fix/Override/Reject gemäss zentraler Gate-Logik auf /docs/research-risk/acceptance-criteria.
  • Output-Bezug: Isolierter Quarantine-Eintrag mit Incident- und Freigabestatus.

Quarantine Contract

Jeder Quarantine-Eintrag muss mindestens enthalten:

FeldBeschreibung
dataset_id / partition / run_idTechnische Identifikation des betroffenen Datenumfangs
contract_version / schema_versionZugehöriger fachlicher und technischer Vertragsstand
dq_rule_failuresAuslösende Regeln inkl. Severity und Messwerten
incident_idVerknüpftes Incident-/Ticket-Artefakt
decision_statusfix, override oder reject
released_by / released_atFreigabeinformation für Rückführung

Versionierung und Rückführung

  • Quarantine-Einträge sind unveränderlich; Korrekturen werden als neue Recovery-Events hinzugefügt.
  • Rückführung in den regulären Flow erzeugt eine neue Datenversion mit Referenz auf den ursprünglichen Quarantine-Fall.
  • Overrides ohne dokumentierte Begründung und Owner-Sign-off sind unzulässig.

DQ-Übergabe und Entscheidungspfad

  1. DQ/Contract-Fail triggert Quarantine-Ablage.
  2. Incident wird je Severity automatisch oder manuell erstellt.
  3. Data Steward bewertet Ursache und schlägt fix/override/reject vor.
  4. Freigabe erfolgt durch accountable Rolle gemäss RACI.
  5. Erst danach ist Reprocessing oder endgültiger Abbruch zulässig.

Incident-Verknüpfung

  • Quarantine ohne Incident-Referenz ist nur bei dokumentierter Low-Severity-Ausnahme zulässig.
  • Incident enthält betroffene Downstream-Artefakte (Feature Sets, Trainingsruns, Reports).
  • Abschluss eines Incidents muss Lessons Learned + Regelanpassung (Contract/DQ) referenzieren.

RACI

AktivitätResponsibleAccountableConsultedInformed
Quarantine-Ablage & MetadatenData PlatformPlatform OwnerData StewardML Team
DQ-Regel-AnalyseData StewardData OwnerRiskGovernance
Rückführung in regulären FlowData EngineeringData OwnerML EngineerPortfolio Management

Siehe auch: Sources, Warehouse, Incident Management, Glossary, Traceability Matrix.