Mission freelance AWS Data Engineer

Ce poste requiert des compétences en gestion de données et programmation avec un minimum de 5 ans d’expérience dans un contexte de grande volumétrie de données et une capacité à collaborer avec de multiples interlocuteurs.

Compétences principales recherchées :

• Maîtrise avancée de Spark en Scala, Python, SQL

• Expérience approfondie sur l’écosystème cloud AWS (S3, EMR, EKS, EC2, Lambda, Athena)

• Connaissance de Dataiku (développement de flux et de webapp)

• Maîtrise de Kafka (MSK) et des connecteurs pour la récupération ou l’émission de données en temps réel

• Expérience avec un ordonnanceur (Airflow)

• Compétence en versioning (GitLab) et CI/CD (GitLab CI, Maven)

• Connaissance en Infrastructure as Code (Terraform)

• Manipulation de divers formats de fichiers (csv, xml, json, parquet)

• Compréhension des enjeux d'infrastructure, notamment en performance et sécurité

• Méthodologie Scrum/Safe

• Esprit d’équipe, collaboration et amélioration continue

• Compréhension des enjeux fonctionnels et métier

• Promotion de l’acculturation Data et des bonnes pratiques d'utilisation

• Capacité à s’intéresser à divers sujets et à s’adapter aux priorités

• Excellentes compétences en communication, adaptées à divers profils (experts techniques, utilisateurs métier, développeurs d'autres équipes)

• Forte rigueur quotidienne dans la documentation et la traçabilité

• Capacité à vulgariser son travail pour différents interlocuteurs

Le Data Office a pour mission de consolider, gérer et valoriser le patrimoine de données, un capital stratégique pour l’organisation, en développant des produits et services data transversaux au service des différents métiers.

Au sein du Data Office, l’équipe Core Data a pour objectif de développer et de maintenir une plateforme data centrée, sécurisée et fiable, accessible pour les différents usages des directions métier. Elle gère un datalake opérationnel sur le cloud AWS et un ensemble d'applications pour la transformation des données (Scala Spark). L’équipe assure également la maintenance de la plateforme de data science Dataiku.

L’équipe se compose de Product Owner, Scrum Master, Data Engineers, et Architectes SI, travaillant en mode agile (Safe) avec les équipes de développement produit, les équipes métier, et en collaboration avec les équipes de Business Intelligence, Data Science et Data Analyse au sein du Data Office.