Offre d'emploi Data engineer

prestation qui devra contribuer à des sujets tranversaux couvrant les activités aussi bien pre-closing/origination(front) que post-closing/financements structurés(back), sur les programmes Datalake, Interlagos ainsi que sur Pegasus, programme de refonte du modèle opérationnel de GLBA (orginate to distribute).

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique.

La prestation devra avoir une expertise des différents aspects techniques de son socle (Azure, Scality, Spark, Hive, Postgre) et de l'architecture technique préconisée au sein de GBTO.

A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre , la prestation consiste à contribuer à :

- L'intégration des cas d’usages Datalake dans le SI avec l'Architecture Techniques

- Identifier et prévenir les risques éventuels de dérapages en terme de coûts et de délais et proposer le cas échéant des moyens pragmatiques et cohérentes afin de mitiger le risque identifié.

- Développement et Implémentations des collectes de données, des jobs de traitement et Mapping de données (Spark/Scala/SparkSQL)

- Développement des moyens de restitution via génération de fichier et ou API & Dashboarding ( Java Spring Batch/Boot, rest API, Postgres)

- A l'amelioration de la chaîne de livraison continue ( Jenkins, Sonar, Nexus , Kubernetes)

- Mise en place de la revue de code avec l'entité Avec l'Architectures Techniques dans les choix d'implémentation au sein du SI

- Contribuer aux préconisations en termes d'architecture big data

- Mise en place des moyens techniques en conformité avec les lignes directrices fixées par les métiers, les normes et standard SG

- Garantir de la qualité et de la maintenance technique du produit - S'assurer que la stratégie de test du produit est bien respectée

- Contribution à la veille technique du périmètre et à sa diffusion