Offre d'emploi Data Engineer intégration et aws

Missions / Tâches :

Vous intégrerez l’équipe IT Data Integration, qui a pour responsabilité l’intégration des données (ainsi que les flux retours) en provenance d'un partenaire (qui opère le système bancaire en marque blanche pour le compte du client final) vers notre Data Platform sur le cloud AWS.

Vous aurez à travailler sur le « run » (suivi de production et gestion des défauts sur les données reçues/envoyées) :

-

Jobs AWS Glue (Spark serverless sur AWS)

-

Lambda Functions AWS

-

DAG Airflow

-

PYSpark

-

Flux de fichiers CFT/SFTP

-

Reporting PowerBI

ainsi que sur les nouveaux projets :

-

Data Privacy : purge de données, mise en conformité RGPD.

-

Data Quality : mise en place de traitements (DBT) pour détecter les données non conformes et consolider des KPI permettant de gérer la qualité des données.

-

API Management (Gravitee) finalisation d’un Proof of Value et accompagnement au deploiement des nouvelles API / miration des API existantes vers cet outil. Administration de l’outil en lui-même (K8S, helm, AWS).

Formation & Expérience Requises :

Vous justifiez d'une expérience de plus de 5 ans dans le domaine de la data et/ou des solutions cloud AWS (idéalement orientées Data ou API Management).

Vous savez travailler en équipe et en mode agile (Scrum) et vous vous appuyez sur des compétences solides en git et gitlab-ci pour mettre en commun votre code, participer aux revues de l’equipe, déployer les nouvelles versions jusqu’en production.

Vous êtes passionné(e)s de nouvelles technologies et vous souhaitez développer vos compétences.

Formation : A partir de Bac+4, tête bien faite, envie d’apprendre et de relever des défis

Anglais : Professionnel

Missions / Tâches :

Vous intégrerez l’équipe IT Data Integration, qui a pour responsabilité l’intégration des données (ainsi que les flux retours) en provenance d'un partenaire (qui opère le système bancaire en marque blanche pour le compte du client final) vers notre Data Platform sur le cloud AWS.

Vous aurez à travailler sur le « run » (suivi de production et gestion des défauts sur les données reçues/envoyées) :

-

Jobs AWS Glue (Spark serverless sur AWS)

-

Lambda Functions AWS

-

DAG Airflow

-

PYSpark

-

Flux de fichiers CFT/SFTP

-

Reporting PowerBI

ainsi que sur les nouveaux projets :

-

Data Privacy : purge de données, mise en conformité RGPD.

-

Data Quality : mise en place de traitements (DBT) pour détecter les données non conformes et consolider des KPI permettant de gérer la qualité des données.

-

API Management (Gravitee) finalisation d’un Proof of Value et accompagnement au deploiement des nouvelles API / miration des API existantes vers cet outil. Administration de l’outil en lui-même (K8S, helm, AWS).

Formation & Expérience Requises :

Vous justifiez d'une expérience de plus de 5 ans dans le domaine de la data et/ou des solutions cloud AWS (idéalement orientées Data ou API Management).

Vous savez travailler en équipe et en mode agile (Scrum) et vous vous appuyez sur des compétences solides en git et gitlab-ci pour mettre en commun votre code, participer aux revues de l’equipe, déployer les nouvelles versions jusqu’en production.

Vous êtes passionné(e)s de nouvelles technologies et vous souhaitez développer vos compétences.

Formation : A partir de Bac+4, tête bien faite, envie d’apprendre et de relever des défis

Anglais : Professionnel