Offre d'emploi Data Engineer GCP

• Intitulé du poste : Data Engineer GCP

• Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l’entreprise)

• Type de contrat : CDI / Freelance / Autre

• Rémunération : Selon profil et expérience

• Département : Data / IT

• Rattachement hiérarchique : Lead Data Engineer / Data Architect

En tant que Data Engineer GCP, vous serez responsable de la conception, de la mise en place et de l’optimisation des pipelines de données sur Google Cloud Platform. Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données.

• Concevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP

• Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l’ingestion, la transformation et le stockage des données

• Assurer l'optimisation des performances et la scalabilité des traitements de données

• Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD

• Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner

• Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP)

• Implémenter des stratégies de partitionnement, d’indexation et d’optimisation des coûts sur BigQuery

• Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès)

• Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus

• Gérer les incidents et optimiser les performances des traitements et des requêtes SQL

• Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers

• Documenter les pipelines, les architectures et les bonnes pratiques

• Sensibiliser et accompagner les équipes sur l’utilisation des données et des outils GCP

• Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub

• ETL / ELT : Conception et optimisation de pipelines de données

• Langages de programmation : Python, SQL, Scala, Java

• Bases de données : BigQuery, Cloud SQL, Firestore, Spanner

• Infrastructure as Code (IaC) : Terraform, Deployment Manager

• CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins

• Sécurité et Gouvernance des données : IAM, GDPR, DLP

• Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus

• Bonne capacité d’analyse et de résolution de problèmes

• Capacité à vulgariser des concepts techniques complexes

• Esprit collaboratif et bonne communication

• Force de proposition et autonomie