Partager cette offre
Synthèse de la mission : Le Développeur Python / Java spécialisé en ETL conçoit, développe et maintien des pipelines de données robustes et performants sur AWS Glue et AWS Lambda. Il assure l’ingestion, la transformation et l’optimisation des flux de données pour répondre aux besoins des applications métier et analytiques.
Missions Principales :
Conception et Développement d’ETL :
Développer et optimiser des workflows ETL sur AWS Glue en Python.
Implémenter des fonctions serverless sur AWS Lambda en Python ou Java pour traiter les données en temps réel.
Gérer le stockage des données via S3, DynamoDB et Redshift.
Optimisation des Performances :
Assurer la performance et la scalabilité des pipelines de données.
Mettre en place des stratégies d’optimisation pour minimiser les coûts et améliorer la latence.
Concevoir des modèles de données adaptés aux traitements analytiques et transactionnels.
Sécurité et Qualité des Données :
Implémenter des contrôles de qualité et de validation des données.
Mettre en place des stratégies de monitoring et logging (selon les directives des équipes Cloud et Sécurité du groupe).
Intégration et Automatisation :
Intégrer les pipelines ETL aux différentes sources et destinations de données (API, bases de données, entrepôts de données).
Automatiser les déploiements et tests via des pipelines Gitlab CI/CD sur AWS via Terraform
Collaborer avec les équipes DevOps et Data pour l’amélioration continue des processus.
Profil recherché
Compétences Requises :
Excellente maîtrise de Python et Java
Expérience avec AWS Glue et AWS Lambda pour l’ETL et le traitement serverless
Bonne connaissance des bases de données SQL et NoSQL (PostgreSQL, DynamoDB, Redshift)
Expérience avec Terraform et CloudFormation pour l’infrastructure as code
Automatisation et CI/CD sur AWS avec GitLab CI/CD ou AWS CodePipeline
Monitoring et Debugging sur AWS (CloudWatch, X-Ray, Step Functions)
Compréhension des architectures orientées événements (EventBridge, SQS, SNS, Kinesis)
Connaissance de Magento (Adobe)
Expérience
Bac+5 en informatique, data engineering ou équivalent
Expérience de 3 à 5 ans en développement ETL sur AWS
Certifications AWS (AWS Certified Developer, Data Analytics, Solutions Architect) appréciées
Environnement de travail
Équipe : Composée de PO, développeurs (PHP/Magento, Typescript/Alokai, ETL), QA, et un coach Agile.
Outils : Confluence, Jira, Gitlab pour le versioning et Gitlab CI/CD pour les déploiements automatisés.
Environnements : 4 environnements de déploiement (non tous opérationnels à ce jour).
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
