Mission freelance Data Engineer Spark/Scala F/H

Nous recherchons un(e) Data Engineer spécialisé(e) en Spark et Scala pour rejoindre notre équipe Data. Vous contribuerez à la conception, au développement, et à l’optimisation des pipelines de données à grande échelle, ainsi qu’à l’implémentation des meilleures pratiques de gestion et de traitement des données.

• Concevoir, développer et maintenir des pipelines de données scalables et robustes en utilisant Spark et Scala.

• Intégrer et transformer des données provenant de différentes sources (bases de données, fichiers, APIs, etc.).

• Assurer la qualité, la performance et la sécurité des flux de données.

• Participer à l’optimisation des performances des traitements Big Data.

• Collaborer avec les équipes Data Science, BI et Développement pour répondre aux besoins des projets.

• Implémenter les meilleures pratiques en matière de gestion des données et d’architecture.

• Surveiller et résoudre les incidents liés aux flux de données en production.

Compétences techniques :

• Excellente maîtrise de Spark et Scala (5+ ans d’expérience souhaitée).

• Solides compétences en conception et optimisation de flux ETL.

• Bonne connaissance des bases de données relationnelles (SQL) et des bases NoSQL.

• Expérience avec des outils de gestion des données (Airflow, Kafka, etc.) et des environnements Cloud (AWS, Azure, GCP).

• Connaissance des écosystèmes Hadoop et des frameworks Big Data.