Offre d'emploi Data Engineer confirmé (3 à 7 ans d’expérience)

Dans le cadre d’un programme de transformation data au sein d’un acteur majeur du secteur de la distribution, nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer les équipes d’une plateforme Data structurée autour d’une architecture « data-centric ». Cette plateforme vise à décloisonner les silos d’information et à fournir des données en temps réel via API à l’ensemble de l’écosystème métier et SI, dans une logique de convergence entre décisionnel et opérationnel.

Vos responsabilités
Intégré(e) à l’équipe data, vous serez chargé(e) de concevoir, développer et maintenir des pipelines de traitement de données à grande échelle, en environnement cloud. Vous interviendrez à la croisée des enjeux techniques et métiers, dans un environnement résolument agile et orienté performance.

Missions principales

• développer et maintenir des flux de données batch et temps réel (BigQuery, BigTable, Apache Kafka, Apache Spark)

• concevoir des pipelines évolutifs et robustes en lien étroit avec les équipes techniques

• optimiser les processus d’acquisition, de transformation et de stockage des données

• assurer la haute disponibilité et les performances en production dans une démarche DevOps

• contribuer à la définition de l’architecture microservices et à l’amélioration continue

• rédiger et maintenir les tests unitaires et d’intégration

• produire des livrables de qualité et assurer un reporting clair et régulier

• proposer des pistes d’amélioration (refactoring, simplification, industrialisation)
  
  Compétences techniques requises

  • langages : très bonne maîtrise de Java ; la connaissance de Scala est un atout apprécié, mais non bloquant

  • traitement de flux et Big Data : bonne expérience avec Apache Kafka et Apache Spark

  • cloud : expérience sur GCP (BigQuery, Dataproc, Kubernetes...) ou environnement cloud équivalent

  • CI/CD : pratique de Git et des outils d’intégration/déploiement continus (GitLab CI/CD ou similaire)

  • architecture & DevOps : bonne culture des microservices et des pratiques DevOps

  • qualité logicielle : rigueur dans l’écriture de tests et dans le maintien de la qualité du code
    
    Soft skills attendus

    • esprit d’équipe et capacité à collaborer dans un environnement distribué

    • communication fluide, écrite comme orale

    • sens de l’analyse et capacité à challenger l’existant avec bienveillance

    • autonomie et proactivité dans la résolution de problèmes