Offre d'emploi Data Engineer Confirmé

1 - Contexte

La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI.

La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile.

2 - Description de la mission

Nous recherchons un Data Engineer confirmé/sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL

• Développement et l’implémentation de solutions Big Data Analytics

• Analyse du besoin, étude d'impacts et conception de la solution technique

• Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …)

• Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake

• Développements de notebooks (ex : Databricks) de traitements avancés des données

• Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)

• Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….)

• Revue de code

• Réalisation de tests unitaires

• Maintenance corrective et évolutive

• Livraison dans un environnement Devops, CI/CD et outils associés