Data engineer GCP

Missions principales : Concevoir, développer et maintenir des pipelines de données robustes et scalables sur GCP. Collecter, transformer et charger des données depuis diverses sources (Oracle, Postgres, MySQL, fichiers plats, API) vers BigQuery . Mettre en place des contrôles de qualité des données , notamment pour les cas d’usage liés à l’achat-revente. Réaliser la modélisation des données dans BigQuery (SQL avancé). Orchestrer les workflows avec Cloud Composer (Airflow) . Assurer une bonne gestion des accès et de la sécurité (IAM / BigQuery). Participer à la mise en place et au maintien de la chaîne CI/CD sur GitLab . Environnement technique : Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Cloud Composer) Orchestration : Airflow (via Cloud Composer) Sources de données : Oracle, PostgreSQL, MySQL, fichiers plats, API CI/CD : GitLab Sécurité & IAM : Gestion fine des accès, bonnes pratiques sur BigQuery
Data Engineer GCP / Talend
Analyser les besoins métiers et comprendre les impacts business des données afin de réaliser une conception pertinente et alignée avec les objectifs stratégiques. • Concevoir et développer des pipelines de données robustes et scalables en utilisant Talend et les services de Google Cloud Platform (BigQuery, DataForm, Dataflow, Pub/Sub, CloudComposer). Vous serez au cœur de la construction d’une infrastructure de données moderne et performante. • Améliorer la performance et la scalabilité des solutions existantes pour répondre aux besoins stratégiques du client • Collaborer étroitement avec les architectes, PO et Data Analyst pour garantir la qualité et l’exploitation optimale des données. • Maintenir une documentation technique précise et complète sur les processus et les solutions implémentés. • Réaliser la recette technique et participer à animer la recette fonctionnelle avec les utilisateurs et le PO • Mettre en place et gérer des systèmes de monitoring et d’alerting pour assurer une supervision proactive des pipelines et systèmes de données, garantissant leur fiabilité et leur disponibilité. • Support au déploiement • Assurer la maintenance corrective ou évolutive • S’assurer de la cohérence des livrables avec les règles et bonnes pratiques prédéfinies
DATA ENGINEER GCP

Je recherche pour un de mes clients un Data Engineer GCP / Python : Missions principales : • Participer aux analyses, études d’impacts et cadrage techniques • Concevoir des solutions en respectant les bonnes pratiques d’architecture data • Réaliser le développement dans les environnements technologiques attendus • Rédiger la documentation technique • Assurer un support aux testeurs Livrables principaux : • Réaliser du code applicatif • Rédiger les documentations techniques liés à ta solution, • Faire des propositions techniques Compétences techniques : • Langages de programmation : Python, SQL, Scripts Shell • Services de streaming data : Kafka • Services d’ingestion des données : Kafka Connect, SFTP • Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint • Processing : Scripts Python, GCP Dataflow, Data Build Tool (DBT) • Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel) • Outils de collaboration et de CI/CD : GitLab, Flamingo • Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform • Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA. • Manipulation des formats de fichiers : CSV, JSON, Avro, XML
Développeur SQL / ETL Talend / Data Engineer GCP (H/F)

Au sein d’une Data Factory jouant un rôle central dans l’exploitation et l’optimisation des données, nous recherchons un Data Engineer expérimenté pour renforcer une squad dédiée au périmètre E-Commerce . Notre mission est de concevoir une infrastructure data robuste, construire des pipelines fiables et produire des insights à forte valeur ajoutée pour appuyer les initiatives stratégiques de l’entreprise. En lien étroit avec un binôme Product Owner / Tech Lead, vous participerez à toutes les étapes des projets data : de l’analyse du besoin à la mise en production des solutions. Vos missions principales : Participer à l’analyse du besoin et à la conception de modèles de données adaptés Construire et maintenir les pipelines de collecte, transformation, stockage et exposition des données Optimiser les performances et fiabiliser les flux de données Garantir la qualité des données grâce à des contrôles et processus automatisés Mettre en place du monitoring, des alertes et mécanismes de reprise automatique Participer à la recette technique et fonctionnelle Rédiger les livrables projet (spécifications, cahier de recette, documentation d’exploitation) Contribuer à l’amélioration continue de la stack data et aux bonnes pratiques d’ingénierie Assurer un reporting régulier et participer au support post-déploiement
Data Engineer GCP & JAVA

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Dans un contexte à fort enjeu de transformation digitale, la mission consistera à accompagner l’équipe Data Engineering dans la conception, le développement et l’industrialisation de pipelines de données robustes, scalables et performants. Maîtrise de Java, Spring Boot, et Maven Expertise en BigQuery Expérience solide avec Apache Airflow Connaissance approfondie du SQL Maîtrise de Dataflow Expertise en BigQuery Expérience avec Apache Airflow Utilisation de Cloud Run Connaissance de Terraform
Data Engineer GCP (H/F)

Contexte de la mission : Nous recherchons un(e) Data Engineer confirmé(e) pour intégrer une équipe agile dédiée à la mise en place et à l’industrialisation de pipelines de données sur la plateforme GCP. Vous interviendrez sur des projets stratégiques autour de la valorisation des données métiers (finance, risque, conformité, etc.). Vos missions : Conception, développement et optimisation de pipelines de données scalables sur Google Cloud Platform (GCP) Intégration et transformation des données issues de diverses sources (BigQuery, Pub/Sub, Cloud Storage, etc.) Utilisation de Apache Spark pour le traitement de gros volumes de données Orchestration des workflows avec Apache Airflow (Cloud Composer) Collaboration avec les Data Analysts, Data Scientists et les équipes métiers pour répondre aux besoins data Mise en place de bonnes pratiques de développement (CI/CD, tests, monitoring, documentation) Participation à l’évolution de la plateforme data et contribution à l’amélioration continue des process Compétences techniques attendues : Langage : Python (maîtrise indispensable) Traitement de données : Apache Spark (PySpark) Orchestration : Airflow (Cloud Composer) Cloud : GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub...) Outils : Git, Docker, Terraform (atout), CI/CD (GitLab CI, Jenkins...) Méthodologie : Agile/Scrum, DevOps
Data Engineer GCP Power BI
Contexte : Nous recherchons un Data Engineer pour une mission freelance à Paris. Vous intégrerez une équipe dynamique, où vos compétences en gestion de données et en outils BI seront essentielles pour optimiser les processus métiers. Responsabilités : Concevoir et implémenter des solutions de gestion de données avec Power BI. Automatiser les flux de données (Data Flow) et les processus avec Power Automate. Collaborer avec les équipes métiers pour comprendre et répondre à leurs besoins. Adopter une posture de consulting pour conseiller et optimiser les solutions de données.
Data Engineer GCP Confirmé

Nous recherchons un Data Engineer GCP pour un client dans le secteur média pour renforcer une équipe data. Votre mission : optimiser l’exploitation des données pour améliorer les offres digitales, assurer une collecte conforme, enrichir l’expérience utilisateur et fournir des outils analytiques aux équipes internes. Adossée à une plateforme cloud, l’équipe développe un produit centralisant les données avec une stack moderne ( SQL, DBT, Airflow, GCP, Python ) en visant performance, qualité et industrialisation.
Data Engineer GCP

Informations Générales Intitulé du poste : Data Engineer GCP Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l’entreprise) Type de contrat : CDI / Freelance / Autre Rémunération : Selon profil et expérience Département : Data / IT Rattachement hiérarchique : Lead Data Engineer / Data Architect Missions Principales En tant que Data Engineer GCP , vous serez responsable de la conception, de la mise en place et de l’optimisation des pipelines de données sur Google Cloud Platform . Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données. 1. Conception et Développement de Pipelines de Données Concevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l’ingestion, la transformation et le stockage des données Assurer l'optimisation des performances et la scalabilité des traitements de données Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD 2. Gestion et Optimisation des Bases de Données Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP) Implémenter des stratégies de partitionnement, d’indexation et d’optimisation des coûts sur BigQuery 3. Sécurité, Monitoring et Fiabilité Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès) Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus Gérer les incidents et optimiser les performances des traitements et des requêtes SQL 4. Collaboration et Documentation Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers Documenter les pipelines, les architectures et les bonnes pratiques Sensibiliser et accompagner les équipes sur l’utilisation des données et des outils GCP Compétences Requises Compétences Techniques Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub ETL / ELT : Conception et optimisation de pipelines de données Langages de programmation : Python, SQL, Scala, Java Bases de données : BigQuery, Cloud SQL, Firestore, Spanner Infrastructure as Code (IaC) : Terraform, Deployment Manager CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins Sécurité et Gouvernance des données : IAM, GDPR, DLP Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus Compétences Transverses Bonne capacité d’analyse et de résolution de problèmes Capacité à vulgariser des concepts techniques complexes Esprit collaboratif et bonne communication Force de proposition et autonomie
data engineer GCP

Les principales missions consistent à : - produire des analyses permettant de construire des visions enrichies du marché, des tendances/benchmark pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs. - construire des algorithmes, élaborer des modèles prédictifs permettant d’anticiper des tendances relatives à l’activité des paiements ou d’améliorer significativement certains processus de production et commerciaux. - d’alimenter et d'assister les équipes métiers en données de paiement et clients permettant de mener les analyses, - être force de proposition sur les méthodes / techniques à mettre en place pour répondre aux demandes d’études. Le consultant sera également en charge de modéliser ses résultats d’analyse pour les rendre lisibles et exploitables par les managers. Il participe à la collecte, à la transformation et à la gestion des données pour en assurer l'intégrité, la sécurité et la qualité dans le cadre de la gouvernance Data du Groupe. Le consultant participe activement aux différentes communautés Data Analyse Profil : • Compétences métiers en moyens de paiements appréciées • Etudes statistiques • Rigueur dans le développement, les stratégies de recette et de qualification de ses travaux • Très bon sens relationnel • Bon communicant à l’écrit et à l’oral • Capacité d’initiative • Capacité à travailler en équipe et co-création • Support utilisateur • Méthodologies : Scrum, Kanban, SAFe Maitrise des méthodes agiles et des rituels associés. Capacité à gérer plusieurs sujets en même temps et de travailler en équipe. Proactivité et adaptabilité.
Analytics Engineer / Data Engineer GCP | Télétravail Hybride

Nous recherchons un Data Engineer pour rejoindre une équipe technique travaillant sur un produit data clé permettant la mise à disposition des données pour les dashboards internes. Ce projet s’appuie sur la Google Cloud Platform (GCP) et une stack moderne orientée DBT, Airflow, BigQuery et Terraform . Missions Concevoir, développer et maintenir les pipelines de données Développer des modèles de données optimisés pour l’analyse et le reporting Assurer la qualité et la fiabilité des indicateurs et métriques utilisés par les équipes métier Auditer, cartographier et optimiser les données existantes pour une meilleure performance et gouvernance Collaborer avec les équipes techniques et fonctionnelles pour améliorer la stack et les performances Participer aux phases de cadrage, planification et veille technologique
Data Engineer Sénior GCP / JAVA H/F

Intégrer l’équipe Move To Cloud pour réaliser la migration dans le cloud GCP. X est le système de Revenue Management du groupe 100% migration cloud GCP Intégration d’une équipe de 6 personnes Présence sur site (Sophia Antipolis) obligatoire 1x par semaine. Présence sur site (Sophia Antipolis) obligatoire 3x par semaine pendant les 3 premiers mois (on boarding) Communication, leadership, autonomie, coaching Profils séniors uniquement Anglais niveau B2 Obligatoire Data engineering / Big Data Development Hadoop et Spark pour migration dans le cloud GCP
Data Engineer BigData GCP (H/F)

Notre client recherche un data eng pour une mission longue à Valbonne. Contexte : Intégrer l’équipe Move To Cloud pour réaliser la migration dans le cloud GCP. Anglais niveau B2 minimum Intégration d’une équipe de 6 personnes Présence sur site (Sophia Antipolis) obligatoire 1x par semaine. Compétences requises : Java, Python Hadoop, Spark SQL GCP, GCS, BigQuery, Cloud fonctions / Cloud run, Dataproc cluster & server less, Github action, Terraform Point différentiant : Une bonne connaissance de l’environnement GCP et la réalisation d’une migration Hadoop / Spark dans GCP
Data Engineer Senior (GCP, BigQuery, DBT, Airflow)-ASAP
ous interviendrez au sein de l’équipe Data Pilotage, composée d’un Product Owner et d’un ingénieur data. Votre mission portera sur l’évolution, l’industrialisation et le support de la plateforme Data4All , solution centrale d’accès aux données transverses. Vos principales responsabilités : Construction et amélioration des pipelines de traitement : Création d’indicateurs, transformation des données, gestion de la volumétrie et des coûts sur GCP Modélisation et exposition des données : Développement de modèles de données optimisés, intégration depuis la zone silver, exposition vers Data4All Industrialisation & optimisation : Mise en place CI/CD, intégration Terraform/Terragrunt, performances des environnements Data4All Collaboration active : Participation aux ateliers de cadrage, veille technique, accompagnement des utilisateurs internes
Consultant (H-F) Data engineer Looker/GCP

Nous recherchons pour l’un de nos clients, un grand groupe international du secteur du luxe basé à Paris , un Data Engineer spécialisé sur Looker et BigQuery . Vous interviendrez au sein des équipes Ventes & Marketing pour contribuer à la modélisation, l’analyse et la restitution des données , en lien avec les équipes métiers. Votre rôle sera central pour accompagner les métiers dans la prise de décision grâce à la mise en place de modèles de données robustes et la création de dashboards stratégiques et performants via Looker . Vous évoluerez dans un environnement international, au sein d’une équipe dynamique, avec des projets à forte visibilité pour la direction.
Data Engineer

Missions principales : En tant que Data Engineer GCP, vous serez responsable de la conception, de la mise en œuvre et de la maintenance de pipelines de données sur l’écosystème Google Cloud. Vous garantirez la qualité, la fiabilité et la scalabilité des traitements de données pour les besoins analytiques, IA ou BI. Vos responsabilités : • Construire et maintenir des pipelines de données sur GCP (batch & streaming). • Développer des workflows avec Dataflow (Apache Beam), Cloud Composer (Airflow), et orchestrer les traitements. • Concevoir des modèles de données dans BigQuery et optimiser les requêtes. • Ingestion de données via Pub/Sub, Cloud Storage, Data Transfer Service. • Participer à la mise en place d’une gouvernance data (Data Catalog, IAM, sécurité). • Assurer la qualité, le monitoring et le versioning des pipelines de données. • Travailler avec les équipes produit, data science et BI pour livrer des datasets fiables. Stack & compétences attendues : • GCP Core : BigQuery, Dataflow, Pub/Sub, Cloud Storage, Composer (Airflow), Dataform (ou DBT sur GCP), Vertex AI (bonus). • Langages : Python, SQL, éventuellement Java/Scala pour Apache Beam. • Orchestration / ETL : Airflow (Cloud Composer), DBT, Dataform. • Infrastructure as Code : Terraform (fortement recommandé), Deployment Manager. • Monitoring / Qualité : Stackdriver, Great Expectations, Dataform tests. • Sécurité : IAM, DLP, gestion des accès fine.
Déposez votre CV
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Derniers posts sur le forum
- Nostalgia Mesin Slot di Era Digital: Review Slot Triple Diamondil y a 25 minutes
- Auto entrepreneur vs portageil y a 11 heures
- Délai demande ARCEil y a 21 heures
- startup dubai IA/Data quel type visa /structureil y a un jour
- Client impose retour sur site full presentielil y a un jour
- Expert IA en galèreil y a 2 jours