Le poste Consultant Data Engineer
Partager cette offre
Nous recherchons un(e) Data Engineer qui construira, livrera et maintiendra des produits de données (pipelines de données, services, API...).
Data engineer technologies obligatoires utilisées pour le développement :
- Databricks pour le pipeline de données
- Fonderie Palantir pour l'ontologie et les tableaux de bord
Le Data Engineer travaillera en étroit collaboration avec les équipes produits pour développer de nouvelles fonctionnalités liées à ces produits, notamment des fonctionnalités liées à :
-Pipeline de données au sein ou entre plusieurs produits
-Capacités analytiques et d'entreposage pour l'exploration de données, la science des données, la BI
-Calcul parallèle sur de gros volumes de données
Le Data Engineer est responsable de la construction, de la livraison, de la maintenance, de la documentation des artefacts ou des fonctionnalités de données (pipelines de données, services de données, API...) selon des modèles de l'état de l'art (architecture médaillon, gitflow)
Le Data Engineer doit :
-Être orienté vers la résolution de problèmes avec une forte pensée analytique
-Être autonome et rigoureux dans la façon dont il/elle aborde les défis techniques
-Conseiller sur l'architecture des flux de données de bout en bout
-Collaborer avec diverses parties prenante
Profil recherché
Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation afin d'en faciliter l'exploitation par les équipes. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, ... Il assure la supervision et l'intégration des données qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons,etc.).
Niveau d'expérience : > 6 ans
Environnement de travail
Compétences techniques
· Databricks, Palantir Foundry, Python, SQL, DataViz
· MSDevOps, Jenkins, Artifactory, Container Registry
· parallélisation, technique de programmation distribuée
· deltalake, medaillon archi, blobStorage, fileshare
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Consultant Data Engineer
Hexagone Digitale