Offre d'emploi DEV LEAD DATA ENGINEER PYSPARK / DATABRICKS / AZURE

Bonjour,

Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks.

La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique.

Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead.

Ci-après les tâches à maitriser et à réaliser :

Gestion de l’équipe de développement et suivi opérationnel
Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery. Il assure que les projets avancent et que les objectifs sont atteints.

🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité
✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review)
✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units
✅ Assurer le suivi des deadlines et de la vélocité de l’équipe
✅ Identifier les risques et blocages techniques
✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business

Ci-après les tâches à maitriser côté technique :

1️⃣ Analyse et Conception

• Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage.

• (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques.

2️⃣ Développement des Pipelines

• Développer et optimiser des pipelines ETL/ELT avec PySpark, intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance.

• (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors.

3️⃣ Gestion des Environnements Cloud

• Configurer et gérer les clusters Databricks, orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake.

• (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances.

4️⃣ Optimisation et Performance

• Améliorer l’exécution des jobs avec Delta Lake, optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring.

• (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.