Partager cette offre
Nous recherchons un Data Engineer pour intervenir au sein de l'IT Data Management & BI, dans l'équipe Big Data & API Cette équipe développe et gère un data Lake (Risk Lake), utilisé comme une data plateforme pour les équipes IT et métiers.
MissionsGestion de la production et de la dette technique
Revoir l’architecture actuelle et proposer des évolutions
Développement des pipelines et traitements liés aux projets
Collecter et mettre à disposition les données pour les équipes métiers
Industrialiser et mettre en production des traitements de données
Développer des pipelines d'ingestion et de traitement des données (batch et streaming)
Implémenter et optimiser des jobs Spark pour le prétraitement et la transformation des données
Développer des API génériques pour l’ingestion et le traitement des données
Participer à la conception, mise en place et administration de solutions Big Data
Normaliser et agréger les données pour produire des Business Views et Dashboard
Mettre en place des services d'extraction de données via Spring Boot et Kafka
Profil recherché
Formation : Bac+5 minimum en école d’ingénieur ou en informatique
Expérience : Au moins 7 ans en tant que Data Engineer
Expertise technique en Big Data, Spark, PySpark, Scala et Hadoop
Capacité à travailler en mode Agile et en interaction avec les équipes métiers
Bonne maîtrise des pipelines CI/CD et des environnements DevOps
Force de proposition pour améliorer l’architecture et les performances du data Lake
Environnement de travail
Big Data & Traitement des données : Spark, PySpark, Scala, Hadoop (On-Premise)
Stockage & Requêtage : Hive, SQL/HQL,
DevOps & CI/CD : Jenkins, XLDeploy/XLRelease, Pipeline CI/CD
Environnement & Outils : Unix/Bash, Jira
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.