Deine Aufgaben:
- Ingestion Layer: Airbyte (o.ä.) Connectoren, Custom Extractoren wo Airbyte nicht reicht, Scheduling, Retry Semantik, Observability. Move von Full Sync auf Delta wo es sich lohnt.
- Bronze und Silver in Databricks: clean, contracted, monitored. Die Boundary setzen auf der die dbt Modelle des Analytics Engineers aufbauen.
- Schema-Contracts zwischen Backend Plattform und Daten Plattform, die Incidents verhindern.
- Data Quality und Reliability Tooling: Tests, Alerts, Schema Change Notifications, Lineage.
- Compliance Enablement: technische Umsetzung von Löschkonzept, DSAR, VVZ. DPO und VP ownen das Legal Framework, du realisierst es technisch.
- AI Data Plumbing: Evaluation Data, Training Corpora, Inference Logs verfügbar, anonymisiert und reproduzierbar machen.
