Le poste Data Eng Spark
Partager cette offre
L’objectif de la mission est de contribuer à l’industrialisation des processus et traitements big data mis en œuvre dans le cadre de la plateforme mégadonnées de client et d’assurer la maintenance des pipelines d’intégration et de transformation des données à l’EDS
Prestation de développements & Ingénierie big data dans le cadre de l’intégration et d’exploration de données dans un contexte big data et du cluster données massives
Conception et réalisation/développement d’outils et traitements d’intégration et de standardisation de données massives dans le cadre d’une plateforme Hadoop,
Contribution à l’industrialisation d’outils d’exploration des données (restitution des données de type tableaux de bord, projets de recherche thématiques, bibliothèques de code spécifiques, etc.) ;
Participation à la standardisation des modèles de données (format FHIR/OMOP) et à la conception d’API appropriés (Webservices FHIR, etc.) ;
Spécifications techniques détaillées ;
Test unitaire et recette technique ;
Documentation de conception, réalisation et d’exploitation.
L’objectif de la mission consiste à participer à la mise en place d’outils de pilotage
Profil recherché
Profil confirmé à senior
5_10 ans d'exp
Le consultant doit être totalement autonome, prise en charge également des évolutions techniques sur du pilotage
Mission de 2 ans
Environnement de travail
Il s’agit de :
Conception et réalisation/développement d’outils en spark/scala dans le cadre de l’intégration de données ;
Concevoir et mettre en oeuvre des modèles de données standardisés au format FHIR/OMOP ;
Automatiser le déploiement des flux d’intégration de données et des modules de transformation ;
Participer à la conception d’API appropriés (Webservices FHIR, etc.) ;
Participation à la standardisation des modèles de données (format OMOP) et à la conception d’API appropriés (Webservices FHIR, etc.) ;
Contribuer à la mise en place d’outils d’exploration des données innovants (moteur de recherche de type Solr, bibliothèques Spark/Scala, etc.) ;
Participer à la rédaction de la documentation technique (conception, administration et exploitation) ;
Etablir la documentation de recette technique (tests unitaires) des composants mis en oeuvre.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +6 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Eng Spark
REDLAB
