Offre d'emploi Data Engineer Spark Scala Kafka H/F
Île-de-France
STORM GROUP
Le poste Data Engineer Spark Scala Kafka H/F
Partager cette offre
Contexte :
• Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre Natixis SA servant de référence pour les calculateurs et reportings Finance et Risques
• Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk
• Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka)
• Optimisation et rationalisation du SI Finance (prudentiel notamment) basé sur cette assiette comptable de référence
• Acquisition et complétion des données
• Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données
• Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée.
Missions :
1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD
2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle
Profil recherché
Expérience :
- Expérience significative sur des travaux d'optimisation de la performance, temps d'exécution des traitements dans la distribution des données basées sur une plateforme de distribution Cloudera Hadoop (cluster on premise)
- Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos)
- Expérience de travail dans un environnement Agile; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban)
Compétences techniques requises :
- Spark / Scala : confirmé
- Kafka : connaissance ++
- à l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée)
Compétences relationnelles :
- Curiosité, agilité d’esprit, goût pour l’innovation
- Capacité à s’organiser et travailler en autonomie, rigueur
- Esprit d’équipe
- Esprit d’initiative, pro-actif
- Capacité à comprendre les enjeux techniques nombreux sur le projet et dialoguer avec les autres développeurs
- Bonne communication orale et écrite (Français et Anglais)
Postulez à cette offre !
Trouvez votre prochaine mission parmi +6 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Spark Scala Kafka H/F
STORM GROUP
