Gesamtarchitektur
Kurzzusammenfassung
- Die Plattform liefert eine kontrollierte ML-Fähigkeit für Investment-Entscheidungen und adressiert damit den gesamten Pfad von Daten bis zu konsumierbaren Outputs.
- Der MVP umfasst Datenaufnahme, reproduzierbare Pipelines, den ML-Lifecycle sowie auslieferbare Signale/Reports für die Nutzung im Investment-Prozess.
- Die Architektur koppelt Data Platform (OpenMetadata), Orchestrierung (Prefect), ML-Lifecycle (MLflow), Serving und Observability zu einer durchgängigen, kontrollierten Kette.
- BPMN visualisiert die zentrale Prozessmechanik inklusive Gateways, User Tasks und wiederverwendbarer Subprozesse, sodass Ablauf und Verantwortlichkeiten klar strukturiert sind.
- Decision Gates steuern Freigaben bis zur produktionsreifen Betriebsfähigkeit, wobei kritische Übergänge wie Promotion, Retraining und Rollback als explizite Architekturpunkte modelliert sind.
- Der grösste Business-Nutzen liegt in schnelleren, konsistenten und besser begründbaren Portfolio-Entscheidungen durch einen standardisierten, wiederholbaren End-to-End-Prozess.
Ziel
Die Architektur schafft einen stabilen Rahmen, in dem neue Modelle und Features schnell bereitgestellt werden können, ohne Nachvollziehbarkeit oder Kontrolltiefe zu verlieren.
Business-Nutzen:
- Die Architektur ermöglicht den schnellen Aufbau belastbarer Investment-Signale, indem sie den gesamten Pfad von Daten über Features und Training bis zu Backtests und Scoring als standardisierte, wiederholbare Prozesskette abbildet.
Ablauf
Diese Seite beschreibt die Prozesssicht als BPMN-Runtime-Flow, während die Einführung die Domänensicht und Navigationslogik des Architektur-TOC erklärt.
| Schritt | Mechanik | Ergebnis |
|---|---|---|
| Trigger & Datenbasis herstellen | Schedule / New Data → Datapipeline → Purpose + Entitlement Check (Gate A) → Quality Gate mit Exception-/Quarantine-Pfad | belastbare und regelkonforme Ausgangsbasis für Entscheidungen |
| Modellierungszyklus ausführen | Feature Pipeline → Label Construction → Model Training + HPO → Backtesting & Validierung → Portfolio Construction → Akzeptanz erfüllt? (bei Nein iterativ zurück zur Feature Pipeline) | belastbare Signale mit transparentem Qualitätsnachweis |
| Freigabe & Produktivsetzung | Freigabe (Portfolio-Manager) → Deployment (Prod) → Batch Scoring / Signal Generation → Publish Dashboard | kontrolliert ausgerollte, nutzbare Handlungssignale im Tagesgeschäft |
| Betriebsloop schliessen | Monitoring (Drift + Performance) → Retrain Trigger? → Retraining Job (Rücksprung in den Build-Pfad) sowie Log Decision + Rationale | kontinuierlich verbesserte, auditierbare und reproduzierbare Signalschleife |
⋮⋮⋮
Kontrollen
Governance- und Risiko-Aspekte
- User Tasks markieren formale Freigaben und verhindern unkontrollierte Promotion.
- Business Rule Tasks erzwingen Datenqualitäts- und Acceptance-Regeln.
- Gateways definieren Eskalation und Fallback (z. B. Rollback bei Qualitätsverlust).
Operative Checks
| Check | Monitoring | Verantwortlich | Eskalation |
|---|---|---|---|
| Prozesslaufzeit und Fehler je BPMN-Pfad | Laufzeitmetriken + Failure-Rate | Platform Ops | Incident-Management |
| Integrität der Übergaben zwischen Subprozessen | Artefakt- und Schema-Checks | Data/ML Engineering | Tech Lead |
| Wirksamkeit der Retrain-/Rollback-Pfade | Regelmässige Drills | ML Ops | Governance Board |
Entscheidung
- Jeder Architekturabschnitt besitzt einen klar benannten Owner sowie definierte Schnittstellen und Verantwortlichkeiten.
- Jeder kritische Übergang ist mit einer konkreten Kontrollmechanik und einem definierten Eskalationspfad abgesichert.
- Gate A – Data & Purpose: Quelle, Zweck, Owner und Zugriff (Entitlements/Policies) sind freigegeben und dokumentiert.
- Gate B – Pilot Ready: Pipeline-Stabilität, DQ-Kontrollen, Validierung sowie Akzeptanzkriterien laufen reproduzierbar und belastbar.
- Gate C – Production Ready: Formale Freigabe, aktives Monitoring, Incident-Prozess und vollständiger Betriebs-/Evidenzpfad sind vorhanden.
- Promotion, Retraining und Rollback sind als ausführbare, getestete Pfade beschrieben und operativ nutzbar.
- Änderungen an BPMN-Knoten wurden verpflichtend gegen die BPMN Traceability Matrix geprüft (Pflicht für Doku-PRs).
ML-Outputs
| Use Case | Output | Zweck / Nutzen | Nutzer |
|---|---|---|---|
| Asset Ranking / Score | Score/Ranking pro Asset | strukturierte Selektion & Priorisierung | Portfolio Management |
| Forecasts | Prognosen (Return/Volatilität/Drawdown) | bessere Planung & Szenarioeinschätzung | Portfolio Management |
| Risiko-/Regime-Alerts | Warnungen/Trigger bei Regimewechsel | frühzeitige Risiko-Response | Portfolio Management + Risk |
| Dashboard-KPIs | Monitoring & Analyse | Transparenz und Nachvollziehbarkeit | IM / IT |
Traceability
- Verbindliche Zuordnung aller Start/Task/Gateway/End-Knoten inkl. Rolle, Evidenz und Eskalation: BPMN Traceability Matrix.
BPMN-Einordnung
- CallActivity: Wiederverwendbare Subprozesse (z. B. Feature-Pipeline, Training)
- BusinessRuleTask: Datenqualitäts- und Acceptance-Regeln
- ScriptTask: Portfolio-Konstruktion und technische Transformationsschritte
- UserTask: Formale Freigaben / Governance-Sign-offs
- Gateways: Entscheidungs- und Eskalationspunkte (Promotion, Retrain, Rollback)