Senior Data Engineer

Le/la Senior Data Engineer est un expert technique chargé de concevoir, développer et optimiser des pipelines de données complexes ainsi que les infrastructures associées. Il joue un rôle clé dans la transformation des données brutes en actifs exploitables, en garantissant leur fiabilité, performance et scalabilité.

Il/elle collabore étroitement avec les data scientists, data analysts et équipes IT pour soutenir les initiatives d’analytics, de machine learning et d’automatisation des processus métiers. Son expertise lui permet de résoudre des problèmes techniques complexes et de mentorer les membres plus juniors de l’équipe.

Missions et Responsabilités

1. Concevoir et développer des pipelines avancés

• Concevoir des architectures de données (data lakes, data warehouses, bases NoSQL) adaptées aux besoins métiers.
• Développer des pipelines ETL/ELT robustes et scalables (Spark, Airflow, dbt, Kafka).
• Optimiser les performances (parallélisation, partitionnement, caching).
• Automatiser les flux de données depuis les sources (ERP, CRM, APIs, IoT) vers les plateformes d’analytics et d’IA.

2. Garantir la qualité et la fiabilité des données

• Mettre en place des contrôles de qualité (validation de schémas, détection d’anomalies, nettoyage).
• Documenter les pipelines et processus pour assurer compréhension et maintenance.
• Collaborer avec les data stewards pour appliquer règles métiers et standards de gouvernance.
• Intégrer des tests automatisés pour valider l’intégrité des données.

3. Maintenir et améliorer les infrastructures data

• Déployer et configurer des solutions sur le cloud (AWS, Azure, GCP) ou on-premise.
• Monitorer les performances des pipelines et résoudre rapidement les incidents.
• Participer à la migration de systèmes legacy vers des architectures modernes (Snowflake, Databricks).
• Automatiser les tâches récurrentes (déploiements, mises à jour) avec Terraform, Docker, Kubernetes.

4. Collaborer avec Data Science et Analytics

• Préparer des datasets optimisés pour le machine learning (feature engineering, gestion des biais).
• Travailler avec les data scientists pour industrialiser le déploiement des modèles (MLOps).
• Créer des APIs ou vues pour faciliter l’accès aux données par les métiers et outils BI (Tableau, Power BI).
• Traduire les besoins métiers en solutions techniques concrètes.

5. Mentorer et accompagner les profils juniors

• Encadrer et guider les data engineers juniors dans leurs projets.
• Effectuer des revues de code pour garantir la qualité et la maintenabilité.
• Partager ses connaissances via ateliers, pair programming et documentation.
• Participer au recrutement et à l’onboarding de nouveaux membres.

6. Innover et améliorer en continu

• Évaluer et intégrer de nouvelles technologies (streaming, data mesh, lakehouse).
• Optimiser les coûts des infrastructures data en identifiant les goulots d’étranglement.
• Proposer des améliorations et contribuer à la feuille de route technique.
• Participer à des projets d’innovation (IA générative, traitements temps réel).

Exemples de Réalisations Concrètes

• Développement d’un pipeline temps réel avec Kafka & Spark, réduisant le délai de reporting de 24h à 1h.
• Migration d’un système batch vers une architecture streaming, améliorant la réactivité des dashboards de 60 %.
• Optimisation de requêtes SQL complexes, réduisant les temps d’exécution de 80 %.
• Automatisation de la collecte et du nettoyage de données non structurées (logs, PDF), éliminant 90 % des erreurs manuelles.
• Mentorat de 3 data engineers juniors, améliorant la productivité de l’équipe de 25 %.