Senior Data Engineer

Der/die Senior Data Engineer ist ein technischer Experte, der komplexe Datenpipelines und die zugehörigen Infrastrukturen konzipiert, entwickelt und optimiert. Die Person spielt eine Schlüsselrolle dabei, Rohdaten in nutzbare Assets zu verwandeln und deren Verlässlichkeit, Performance und Skalierbarkeit zu gewährleisten.

Sie arbeitet eng mit Data Scientists, Data Analysts und den IT-Teams zusammen, um Initiativen in den Bereichen Analytics, Machine Learning und Automatisierung von Fachprozessen zu unterstützen. Ihre Expertise ermöglicht es ihr, komplexe technische Probleme zu lösen und jüngere Teammitglieder als Mentor zu begleiten.

Aufgaben und Verantwortlichkeiten

1. Fortgeschrittene Pipelines konzipieren und entwickeln

  • Datenarchitekturen (Data Lakes, Data Warehouses, NoSQL-Datenbanken) konzipieren, die zu den fachlichen Anforderungen passen.
  • Robuste und skalierbare ETL/ELT-Pipelines entwickeln (Spark, Airflow, dbt, Kafka).
  • Die Performance optimieren (Parallelisierung, Partitionierung, Caching).
  • Datenflüsse von den Quellen (ERP, CRM, APIs, IoT) zu den Analytics- und KI-Plattformen automatisieren.

2. Datenqualität und Verlässlichkeit gewährleisten

  • Qualitätskontrollen einführen (Schemavalidierung, Anomalieerkennung, Bereinigung).
  • Pipelines und Prozesse dokumentieren, um Verständlichkeit und Wartung sicherzustellen.
  • Mit den Data Stewards zusammenarbeiten, um fachliche Regeln und Governance-Standards anzuwenden.
  • Automatisierte Tests integrieren, um die Integrität der Daten zu validieren.

3. Dateninfrastrukturen warten und verbessern

  • Lösungen in der Cloud (AWS, Azure, GCP) oder On-Premise bereitstellen und konfigurieren.
  • Die Performance der Pipelines überwachen und Störungen schnell beheben.
  • An der Migration von Legacy-Systemen auf moderne Architekturen mitwirken (Snowflake, Databricks).
  • Wiederkehrende Aufgaben (Deployments, Updates) mit Terraform, Docker und Kubernetes automatisieren.

4. Mit Data Science und Analytics zusammenarbeiten

  • Für Machine Learning optimierte Datensätze aufbereiten (Feature Engineering, Umgang mit Bias).
  • Mit den Data Scientists zusammenarbeiten, um das Deployment der Modelle zu industrialisieren (MLOps).
  • APIs oder Views erstellen, um den Zugriff auf Daten für die Fachbereiche und BI-Tools (Tableau, Power BI) zu erleichtern.
  • Fachliche Anforderungen in konkrete technische Lösungen übersetzen.

5. Junge Profile als Mentor begleiten und unterstützen

  • Junior Data Engineers in ihren Projekten anleiten und begleiten.
  • Code-Reviews durchführen, um Qualität und Wartbarkeit sicherzustellen.
  • Wissen über Workshops, Pair Programming und Dokumentation teilen.
  • Am Recruiting und Onboarding neuer Teammitglieder mitwirken.

6. Kontinuierlich innovieren und verbessern

  • Neue Technologien bewerten und integrieren (Streaming, Data Mesh, Lakehouse).
  • Die Kosten der Dateninfrastrukturen optimieren, indem Engpässe identifiziert werden.
  • Verbesserungen vorschlagen und zur technischen Roadmap beitragen.
  • An Innovationsprojekten teilnehmen (generative KI, Echtzeitverarbeitung).

Beispiele für konkrete Umsetzungen

  • Entwicklung einer Echtzeit-Pipeline mit Kafka & Spark, die die Reporting-Dauer von 24 Std. auf 1 Std. verkürzte.
  • Migration eines Batch-Systems auf eine Streaming-Architektur, wodurch die Reaktionsfähigkeit der Dashboards um 60 % stieg.
  • Optimierung komplexer SQL-Abfragen, wodurch die Ausführungszeiten um 80 % sanken.
  • Automatisierung der Erfassung und Bereinigung unstrukturierter Daten (Logs, PDFs), wodurch 90 % der manuellen Fehler entfielen.
  • Mentoring von 3 Junior Data Engineers, wodurch die Produktivität des Teams um 25 % stieg.