Trouvez votre prochaine mission ou futur job IT.

Nous recherchons un Data Engineer GCP pour un client dans le secteur média pour renforcer une équipe data. Votre mission : optimiser l’exploitation des données pour améliorer les offres digitales, assurer une collecte conforme, enrichir l’expérience utilisateur et fournir des outils analytiques aux équipes internes. Adossée à une plateforme cloud, l’équipe développe un produit centralisant les données avec une stack moderne ( SQL, DBT, Airflow, GCP, Python ) en visant performance, qualité et industrialisation.

Informations Générales Intitulé du poste : Data Engineer GCP Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l’entreprise) Type de contrat : CDI / Freelance / Autre Rémunération : Selon profil et expérience Département : Data / IT Rattachement hiérarchique : Lead Data Engineer / Data Architect Missions Principales En tant que Data Engineer GCP , vous serez responsable de la conception, de la mise en place et de l’optimisation des pipelines de données sur Google Cloud Platform . Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données. 1. Conception et Développement de Pipelines de Données Concevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l’ingestion, la transformation et le stockage des données Assurer l'optimisation des performances et la scalabilité des traitements de données Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD 2. Gestion et Optimisation des Bases de Données Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP) Implémenter des stratégies de partitionnement, d’indexation et d’optimisation des coûts sur BigQuery 3. Sécurité, Monitoring et Fiabilité Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès) Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus Gérer les incidents et optimiser les performances des traitements et des requêtes SQL 4. Collaboration et Documentation Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers Documenter les pipelines, les architectures et les bonnes pratiques Sensibiliser et accompagner les équipes sur l’utilisation des données et des outils GCP Compétences Requises Compétences Techniques Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub ETL / ELT : Conception et optimisation de pipelines de données Langages de programmation : Python, SQL, Scala, Java Bases de données : BigQuery, Cloud SQL, Firestore, Spanner Infrastructure as Code (IaC) : Terraform, Deployment Manager CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins Sécurité et Gouvernance des données : IAM, GDPR, DLP Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus Compétences Transverses Bonne capacité d’analyse et de résolution de problèmes Capacité à vulgariser des concepts techniques complexes Esprit collaboratif et bonne communication Force de proposition et autonomie

tACHES - La mise en place de pipelines de traitement de données - Le développement des modèles de données - L’extraction et l’exposition des données - L’industrialisation des différents environnements en collaboration avec l’équipe d’ops - La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe - La participation active à la veille technique pour l’amélioration de la stack - L’amélioration des performances et la maîtrise des coûts sur GCP

Les principales missions consistent à : - produire des analyses permettant de construire des visions enrichies du marché, des tendances/benchmark pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs. - construire des algorithmes, élaborer des modèles prédictifs permettant d’anticiper des tendances relatives à l’activité des paiements ou d’améliorer significativement certains processus de production et commerciaux. - d’alimenter et d'assister les équipes métiers en données de paiement et clients permettant de mener les analyses, - être force de proposition sur les méthodes / techniques à mettre en place pour répondre aux demandes d’études. Le consultant sera également en charge de modéliser ses résultats d’analyse pour les rendre lisibles et exploitables par les managers. Il participe à la collecte, à la transformation et à la gestion des données pour en assurer l'intégrité, la sécurité et la qualité dans le cadre de la gouvernance Data du Groupe. Le consultant participe activement aux différentes communautés Data Analyse Profil : • Compétences métiers en moyens de paiements appréciées • Etudes statistiques • Rigueur dans le développement, les stratégies de recette et de qualification de ses travaux • Très bon sens relationnel • Bon communicant à l’écrit et à l’oral • Capacité d’initiative • Capacité à travailler en équipe et co-création • Support utilisateur • Méthodologies : Scrum, Kanban, SAFe Maitrise des méthodes agiles et des rituels associés. Capacité à gérer plusieurs sujets en même temps et de travailler en équipe. Proactivité et adaptabilité.

Je recherche pour un de mes clients un Data Engineer GCP / Python : Missions principales : • Participer aux analyses, études d’impacts et cadrage techniques • Concevoir des solutions en respectant les bonnes pratiques d’architecture data • Réaliser le développement dans les environnements technologiques attendus • Rédiger la documentation technique • Assurer un support aux testeurs Livrables principaux : • Réaliser du code applicatif • Rédiger les documentations techniques liés à ta solution, • Faire des propositions techniques Compétences techniques : • Langages de programmation : Python, SQL, Scripts Shell • Services de streaming data : Kafka • Services d’ingestion des données : Kafka Connect, SFTP • Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint • Processing : Scripts Python, GCP Dataflow, Data Build Tool (DBT) • Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel) • Outils de collaboration et de CI/CD : GitLab, Flamingo • Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform • Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA. • Manipulation des formats de fichiers : CSV, JSON, Avro, XML

RESPONSABILITÉS CLÉS Garantir l'harmonisation de l'architecture et le support technique Être responsable de l'architecture technique du produit de données Assurer l'alignement avec les directives d'architecture et être le relais avec les équipes d'architecture Veiller à ce que la construction du produit soit conforme aux principes de données Résoudre les problèmes techniques et partager les meilleures pratiques de codage Diffuser les directives technologiques du groupe et les bonnes pratiques au sein de l'équipe Partager avec les équipes de développement et assurer l'amélioration continue (rétrospectives) Garantir la qualité de service pour chaque produit et respecter les SLA Responsable de la documentation technique, des revues de code et de toutes les pratiques techniques Accompagner le PO et assurer la qualité de service Responsable de la qualité de service et des SLA Aider le PO dans la phase de découverte de solution/produit Veiller à des documents clairs pour l'auto-service Référent technique au sein de son équipe Responsable de diffuser la vision technique Data au sein de son équipe Responsable de la qualité du développement au sein de son équipe Responsable des revues de code et de l'amélioration continue du produit qu'il gère Responsable des demandes de fusion (merge request) au sein de son équipe (Github) Gérer les affinements ad-hoc Maintenir la relation avec les sources de données Garantir la connaissance opérationnelle des données Enregistrer et suivre la dette technique avec l'équipe d'architecture

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Le candidat devra être autonome tout au long de la mission Maîtrise de Java, Spring Boot, et Maven Expertise en BigQuery Expérience solide avec Apache Airflow Connaissance approfondie du SQL Maîtrise de Dataflow Expertise en BigQuery Expérience avec Apache Airflow Utilisation de Cloud Run Connaissance de Terraform Connaissance de Dataform ou DBT

Vos principales missions Contribuer à la migration de l’environnement Hadoop / Spark vers le cloud GCP Participer au développement et à l’optimisation des traitements Big Data Concevoir et maintenir des pipelines de données performants et scalables Mettre en place des architectures serverless et clusterisées sur GCP (DataProc, BigQuery, GSC) Assurer la qualité et la robustesse des solutions déployées Accompagner et coacher les équipes internes sur les bonnes pratiques Cloud et Big Data

Nous recherchons un data engineer GCP Spark/Scala avec pour missions principales : Collecter des données provenant de diverses sources externes. Exploiter les capacités du Datalake sur GCP. Implémenter l’ensemble du processus incluant : L’ingestion des données, La validation des données, Le croisement des données, L’intégration des données enrichies dans le Datalake. Développer en respectant les principes d’architecture définis. Rédiger et documenter les user stories en collaboration avec le Product Owner. Rédiger les scripts nécessaires au déploiement. Identifier et prioriser la correction des anomalies. Assister les équipes en charge de l’exploitation. Contribuer à la mise en place d’une chaîne de livraison continue. Automatiser les tests fonctionnels. Encadrer et superviser le travail des data engineers de la squad.

Bonjour, Je vous envoie ce mail car dans le cadre d'une mission de longue durée pour notre client situé en à Paris, nous recherchons un Data Engineer GCP. Type de profils confirmé (> 5 ans d'expérience) Technologies GCP (expérience obligatoire sur ce cloud provider) Python (expérience obligatoire) Bonne maîtrise BigQuery (obligatoire) Bonne maîtrise Terraform Git (obligatoire) Dans le cas où vous êtes intéressé, pourriez-vous svp envoyer votre CV au format Word en indiquant votre disponibilité ainsi qu'une fourchette de vos prétentions salariales ou de votre tarification journalière si vous êtes indépendant ?

Nous sommes à la recherche d'un profil Data Engineer pour participer aux opérations de build sur les environnements Big Data basées sur Google Cloud. Ses principales missions seront les suivantes : - Concevoir et développer les futures fonctionnalités de la plateforme Data sous Google Cloud Platform. - Expérience significative dans l'utilisation des systèmes cloud GCP et de ses services : big querry, stockage cloud google, fonction cloud google... - Expérience avec les processus de transformation les données et une connaissance du langage Python et de l’ordonnanceur Airflow - Experience souhaitée sur des projets DATA et leurs implémentations - Excellentes connaissances du SQL et des grands principes de modèle de données - Capacité d'analyse de spécifications fonctionnelles pour les traduire en conception technique. - Travailler en étroite collaboration avec l'équipe actuelle de Data Engineer, Data Scientist et les équipes métiers.

Description de la Mission : Analyse et Conception Participer à l'analyse du besoin avec la supervision du binôme PO/TechLead et à la conception du modèle de données permettant de répondre aux enjeux. Utiliser l'analyse des données pour fournir des éléments significatifs et éclairer la conception/mise en oeuvre des projets. Être force de proposition sur l'amélioration de notre stack Data. Développement et Intégration Concevoir, développer et maintenir les pipelines de données pour l'acquisition, la transformation, le stockage et la mise à disposition des données. Optimiser les performances des développements pour assurer une disponibilité et une fiabilité maximale. Identifier et résoudre les goulots d'étranglement et les problèmes de performances dans les flux de données. Qualité, Maintenance et Supervision Mettre en place des processus et des contrôles pour garantir la qualité des données. Concevoir et mettre en oeuvre des systèmes d'alerte, de monitoring et de reprise automatique efficaces. Assurer la maintenance corrective ou évolutive. S'assurer de la cohérence des livrables avec les règles et bonnes pratiques définies au sein de l'équipe. Documentation, Support, Pilotage Rédiger les documents associés au projet (Spécifications Techniques, Cahier de recette Technique, Document d'exploitation). Réaliser la recette technique et participer à animer la recette fonctionnelle avec les utilisateurs et le PO. Faire le reporting d'avancement des travaux. Supporter le déploiement. Environnement Technique : Langages/Framework : SQL, BigQuery, Python, Shell. Outils : GCP (BigQuery, DataForm, PubSub, Dataflow, Cloud Composer, Cloud Run, Compute Engine), Gitlab, Terraform, Talend. Base de données : BigQuery, Teradata, SQL Server, IBM DB2.

Nous recherchons un Data Engineer Confirmé (h/f) pour rejoindre les équipes Data d’un grand acteur du retail . L’objectif ? Concevoir, développer et maintenir des solutions de traitement de données à grande échelle dans un environnement 100% Cloud (GCP) et Full Remote . Tu évolueras dans un cadre stimulant où la data est au cœur des décisions stratégiques et où l’innovation technologique est une priorité ! Concevoir et développer des pipelines de données en Scala/Java et Spark Exploiter des outils GCP (BigQuery, BigTable, Dataproc) pour le stockage et le traitement des données Mettre en place des solutions de streaming en temps réel avec Kafka Travailler sur une architecture Data Centric , cassant les silos d’information pour fluidifier la gestion des données Assurer la qualité, la performance et la scalabilité des solutions Collaborer avec des équipes internationales et multidisciplinaires 🔧 Les technologies et outils que tu utiliseras : Cloud : GCP (BigQuery, BigTable, Dataproc, Cloud Storage) Développement : Scala, Java, SQL Big Data & Streaming : Spark, Kafka CI/CD & DevOps : Git, Kubernetes, GitLab CI/CD Méthodologies : Agile, Microservices

Contexte Intégrez la Direction de la Transformation au sein des Centres de Services Partagés (CSP) d’une grande organisation. Vous évoluerez dans une équipe dédiée au développement et à la maintenance de solutions IT couvrant une large gamme de technologies : développement applicatif, DevSecOps, intelligence artificielle, gestion documentaire, IoT, portails web et bien d'autres. Vous interviendrez au sein des départements Solutions Lab et Solutions Groupe , qui construisent et maintiennent les paliers techniques de composants logiciels. L’objectif est de fournir des solutions fiables, évolutives et répondant aux attentes métier. Missions Dans le cadre d’un projet BI pour la Direction Nucléaire, vos principales missions seront : Ateliers et chiffrage : Participer à la collecte des besoins utilisateurs et aux ateliers de définition des exigences métiers. Documentation : Produire la documentation des réalisations et études dans les outils collaboratifs de la plateforme DevOps (Cloud GCP ). Build et MCO : Contribuer au développement des applications BI et à leur maintenance en conditions opérationnelles. Démarche DevSecOps : Intégrer la qualité et la sécurité dans une démarche DevSecOps pour assurer des produits robustes et performants.

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (HDP & CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l’installation de cluster · Au monitoring et à l’administration des outils Big Data · A l’administration de cluster · A l’upgrade des distributions et des composants Hadoop · A l’installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d’environnements de développement et de test · A la sécurisation des clusters

Contexte : Adossée à la plateforme data, la prestation se déroulera au sein de l’équipe Pilotage. L’équipe actuellement constituée d’un Product Owner et d’un Data ingénieur a la charge de la mise à disposition des données utiles à l’ensemble des dashboards via son produit “Data4All”, basé sur la Google Cloud Platform. La stack technique de l’équipe est principalement constituée de SQL, Dbt et Airflow pour l’orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l’industrialisation de l’infrastructure (IaC). La stack inclut aussi d’autres services de la Google Cloud Platform. Activité de cette équipe : 1- Prendre en charge le produit data Data4All aussi bien dans le build que dans le run : - Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes - Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données - Traiter et corriger les anomalies - Concevoir les modèles de données adaptés aux besoins des utilisateurs dans un environnement big data (gestion de la volumétrie et des coûts) 2- Accompagner les utilisateurs de Data4All dans leurs usages 3- Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes 4- Mettre en place le contrôle qualité sur les données Prestation attendue : En interaction avec les membres de l’équipe, la prestation consiste en : - La mise en place de pipelines de traitement de données - Le développement des modèles de données - L’extraction et l’exposition des données issues de la zone silver de la plateforme data vers Data4All - L’industrialisation des différents environnements de Data4All, en collaboration avec l’équipe d’ops - La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe - La participation active à la veille technique pour l’amélioration de la stack - L’amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP