Trouvez votre prochaine mission ou futur job IT.

Contexte de la mission : Nous recherchons un(e) Data Engineer confirmé(e) pour intégrer une équipe agile dédiée à la mise en place et à l’industrialisation de pipelines de données sur la plateforme GCP. Vous interviendrez sur des projets stratégiques autour de la valorisation des données métiers (finance, risque, conformité, etc.). Vos missions : Conception, développement et optimisation de pipelines de données scalables sur Google Cloud Platform (GCP) Intégration et transformation des données issues de diverses sources (BigQuery, Pub/Sub, Cloud Storage, etc.) Utilisation de Apache Spark pour le traitement de gros volumes de données Orchestration des workflows avec Apache Airflow (Cloud Composer) Collaboration avec les Data Analysts, Data Scientists et les équipes métiers pour répondre aux besoins data Mise en place de bonnes pratiques de développement (CI/CD, tests, monitoring, documentation) Participation à l’évolution de la plateforme data et contribution à l’amélioration continue des process Compétences techniques attendues : Langage : Python (maîtrise indispensable) Traitement de données : Apache Spark (PySpark) Orchestration : Airflow (Cloud Composer) Cloud : GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub...) Outils : Git, Docker, Terraform (atout), CI/CD (GitLab CI, Jenkins...) Méthodologie : Agile/Scrum, DevOps

Nous recherchons un Data Engineer GCP pour un client dans le secteur média pour renforcer une équipe data. Votre mission : optimiser l’exploitation des données pour améliorer les offres digitales, assurer une collecte conforme, enrichir l’expérience utilisateur et fournir des outils analytiques aux équipes internes. Adossée à une plateforme cloud, l’équipe développe un produit centralisant les données avec une stack moderne ( SQL, DBT, Airflow, GCP, Python ) en visant performance, qualité et industrialisation.

Nous recherchons un Data Engineer pour rejoindre une équipe technique travaillant sur un produit data clé permettant la mise à disposition des données pour les dashboards internes. Ce projet s’appuie sur la Google Cloud Platform (GCP) et une stack moderne orientée DBT, Airflow, BigQuery et Terraform . Missions Concevoir, développer et maintenir les pipelines de données Développer des modèles de données optimisés pour l’analyse et le reporting Assurer la qualité et la fiabilité des indicateurs et métriques utilisés par les équipes métier Auditer, cartographier et optimiser les données existantes pour une meilleure performance et gouvernance Collaborer avec les équipes techniques et fonctionnelles pour améliorer la stack et les performances Participer aux phases de cadrage, planification et veille technologique

Informations Générales Intitulé du poste : Data Engineer GCP Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l’entreprise) Type de contrat : CDI / Freelance / Autre Rémunération : Selon profil et expérience Département : Data / IT Rattachement hiérarchique : Lead Data Engineer / Data Architect Missions Principales En tant que Data Engineer GCP , vous serez responsable de la conception, de la mise en place et de l’optimisation des pipelines de données sur Google Cloud Platform . Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données. 1. Conception et Développement de Pipelines de Données Concevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l’ingestion, la transformation et le stockage des données Assurer l'optimisation des performances et la scalabilité des traitements de données Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD 2. Gestion et Optimisation des Bases de Données Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP) Implémenter des stratégies de partitionnement, d’indexation et d’optimisation des coûts sur BigQuery 3. Sécurité, Monitoring et Fiabilité Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès) Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus Gérer les incidents et optimiser les performances des traitements et des requêtes SQL 4. Collaboration et Documentation Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers Documenter les pipelines, les architectures et les bonnes pratiques Sensibiliser et accompagner les équipes sur l’utilisation des données et des outils GCP Compétences Requises Compétences Techniques Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub ETL / ELT : Conception et optimisation de pipelines de données Langages de programmation : Python, SQL, Scala, Java Bases de données : BigQuery, Cloud SQL, Firestore, Spanner Infrastructure as Code (IaC) : Terraform, Deployment Manager CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins Sécurité et Gouvernance des données : IAM, GDPR, DLP Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus Compétences Transverses Bonne capacité d’analyse et de résolution de problèmes Capacité à vulgariser des concepts techniques complexes Esprit collaboratif et bonne communication Force de proposition et autonomie

Les principales missions consistent à : - produire des analyses permettant de construire des visions enrichies du marché, des tendances/benchmark pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs. - construire des algorithmes, élaborer des modèles prédictifs permettant d’anticiper des tendances relatives à l’activité des paiements ou d’améliorer significativement certains processus de production et commerciaux. - d’alimenter et d'assister les équipes métiers en données de paiement et clients permettant de mener les analyses, - être force de proposition sur les méthodes / techniques à mettre en place pour répondre aux demandes d’études. Le consultant sera également en charge de modéliser ses résultats d’analyse pour les rendre lisibles et exploitables par les managers. Il participe à la collecte, à la transformation et à la gestion des données pour en assurer l'intégrité, la sécurité et la qualité dans le cadre de la gouvernance Data du Groupe. Le consultant participe activement aux différentes communautés Data Analyse Profil : • Compétences métiers en moyens de paiements appréciées • Etudes statistiques • Rigueur dans le développement, les stratégies de recette et de qualification de ses travaux • Très bon sens relationnel • Bon communicant à l’écrit et à l’oral • Capacité d’initiative • Capacité à travailler en équipe et co-création • Support utilisateur • Méthodologies : Scrum, Kanban, SAFe Maitrise des méthodes agiles et des rituels associés. Capacité à gérer plusieurs sujets en même temps et de travailler en équipe. Proactivité et adaptabilité.

Je recherche pour un de mes clients un Data Engineer GCP / Python : Missions principales : • Participer aux analyses, études d’impacts et cadrage techniques • Concevoir des solutions en respectant les bonnes pratiques d’architecture data • Réaliser le développement dans les environnements technologiques attendus • Rédiger la documentation technique • Assurer un support aux testeurs Livrables principaux : • Réaliser du code applicatif • Rédiger les documentations techniques liés à ta solution, • Faire des propositions techniques Compétences techniques : • Langages de programmation : Python, SQL, Scripts Shell • Services de streaming data : Kafka • Services d’ingestion des données : Kafka Connect, SFTP • Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint • Processing : Scripts Python, GCP Dataflow, Data Build Tool (DBT) • Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel) • Outils de collaboration et de CI/CD : GitLab, Flamingo • Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform • Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA. • Manipulation des formats de fichiers : CSV, JSON, Avro, XML

RESPONSABILITÉS CLÉS Garantir l'harmonisation de l'architecture et le support technique Être responsable de l'architecture technique du produit de données Assurer l'alignement avec les directives d'architecture et être le relais avec les équipes d'architecture Veiller à ce que la construction du produit soit conforme aux principes de données Résoudre les problèmes techniques et partager les meilleures pratiques de codage Diffuser les directives technologiques du groupe et les bonnes pratiques au sein de l'équipe Partager avec les équipes de développement et assurer l'amélioration continue (rétrospectives) Garantir la qualité de service pour chaque produit et respecter les SLA Responsable de la documentation technique, des revues de code et de toutes les pratiques techniques Accompagner le PO et assurer la qualité de service Responsable de la qualité de service et des SLA Aider le PO dans la phase de découverte de solution/produit Veiller à des documents clairs pour l'auto-service Référent technique au sein de son équipe Responsable de diffuser la vision technique Data au sein de son équipe Responsable de la qualité du développement au sein de son équipe Responsable des revues de code et de l'amélioration continue du produit qu'il gère Responsable des demandes de fusion (merge request) au sein de son équipe (Github) Gérer les affinements ad-hoc Maintenir la relation avec les sources de données Garantir la connaissance opérationnelle des données Enregistrer et suivre la dette technique avec l'équipe d'architecture

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Le candidat devra être autonome tout au long de la mission Maîtrise de Java, Spring Boot, et Maven Expertise en BigQuery Expérience solide avec Apache Airflow Connaissance approfondie du SQL Maîtrise de Dataflow Expertise en BigQuery Expérience avec Apache Airflow Utilisation de Cloud Run Connaissance de Terraform Connaissance de Dataform ou DBT

Nous recherchons un data engineer GCP Spark/Scala avec pour missions principales : Collecter des données provenant de diverses sources externes. Exploiter les capacités du Datalake sur GCP. Implémenter l’ensemble du processus incluant : L’ingestion des données, La validation des données, Le croisement des données, L’intégration des données enrichies dans le Datalake. Développer en respectant les principes d’architecture définis. Rédiger et documenter les user stories en collaboration avec le Product Owner. Rédiger les scripts nécessaires au déploiement. Identifier et prioriser la correction des anomalies. Assister les équipes en charge de l’exploitation. Contribuer à la mise en place d’une chaîne de livraison continue. Automatiser les tests fonctionnels. Encadrer et superviser le travail des data engineers de la squad.

Mission pour un profil de 2 / 3 ans d'expérience environ hors stages / alternance (budget correspondant), pas de profil senior svp. Mission longue renouvelée par période de 3 mois. Dans le cadre de l’industrialisation des projets Data Science pour un client bancaire, nous recherchons un Data Engineer expérimenté maîtrisant l’environnement GCP. Vous interviendrez au sein d’une équipe agile et serez en charge de la conception, de la mise en place et de l’optimisation des pipelines de données. Missions Principales Concevoir, développer et maintenir des pipelines de données robustes et scalables sur Google Cloud Platform (GCP). Assurer l'industrialisation et la mise en production des modèles de Data Science. Automatiser et optimiser les processus de traitement et de transformation des données. Gérer les infrastructures et les workflows de données en environnement cloud. Collaborer avec les Data Scientists et les équipes métier pour garantir la performance et la fiabilité des solutions mises en place. Appliquer les bonnes pratiques DevOps et CI/CD pour l’intégration et le déploiement continu. Assurer la qualité, la sécurité et la conformité des données.

Nous sommes à la recherche d'un profil Data Engineer pour participer aux opérations de build sur les environnements Big Data basées sur Google Cloud. Ses principales missions seront les suivantes : - Concevoir et développer les futures fonctionnalités de la plateforme Data sous Google Cloud Platform. - Expérience significative dans l'utilisation des systèmes cloud GCP et de ses services : big querry, stockage cloud google, fonction cloud google... - Expérience avec les processus de transformation les données et une connaissance du langage Python et de l’ordonnanceur Airflow - Experience souhaitée sur des projets DATA et leurs implémentations - Excellentes connaissances du SQL et des grands principes de modèle de données - Capacité d'analyse de spécifications fonctionnelles pour les traduire en conception technique. - Travailler en étroite collaboration avec l'équipe actuelle de Data Engineer, Data Scientist et les équipes métiers.

Nous recherchons un Data Engineer Confirmé (h/f) pour rejoindre les équipes Data d’un grand acteur du retail . L’objectif ? Concevoir, développer et maintenir des solutions de traitement de données à grande échelle dans un environnement 100% Cloud (GCP) et Full Remote . Tu évolueras dans un cadre stimulant où la data est au cœur des décisions stratégiques et où l’innovation technologique est une priorité ! Concevoir et développer des pipelines de données en Scala/Java et Spark Exploiter des outils GCP (BigQuery, BigTable, Dataproc) pour le stockage et le traitement des données Mettre en place des solutions de streaming en temps réel avec Kafka Travailler sur une architecture Data Centric , cassant les silos d’information pour fluidifier la gestion des données Assurer la qualité, la performance et la scalabilité des solutions Collaborer avec des équipes internationales et multidisciplinaires 🔧 Les technologies et outils que tu utiliseras : Cloud : GCP (BigQuery, BigTable, Dataproc, Cloud Storage) Développement : Scala, Java, SQL Big Data & Streaming : Spark, Kafka CI/CD & DevOps : Git, Kubernetes, GitLab CI/CD Méthodologies : Agile, Microservices

Description de la Mission : Analyse et Conception Participer à l'analyse du besoin avec la supervision du binôme PO/TechLead et à la conception du modèle de données permettant de répondre aux enjeux. Utiliser l'analyse des données pour fournir des éléments significatifs et éclairer la conception/mise en oeuvre des projets. Être force de proposition sur l'amélioration de notre stack Data. Développement et Intégration Concevoir, développer et maintenir les pipelines de données pour l'acquisition, la transformation, le stockage et la mise à disposition des données. Optimiser les performances des développements pour assurer une disponibilité et une fiabilité maximale. Identifier et résoudre les goulots d'étranglement et les problèmes de performances dans les flux de données. Qualité, Maintenance et Supervision Mettre en place des processus et des contrôles pour garantir la qualité des données. Concevoir et mettre en oeuvre des systèmes d'alerte, de monitoring et de reprise automatique efficaces. Assurer la maintenance corrective ou évolutive. S'assurer de la cohérence des livrables avec les règles et bonnes pratiques définies au sein de l'équipe. Documentation, Support, Pilotage Rédiger les documents associés au projet (Spécifications Techniques, Cahier de recette Technique, Document d'exploitation). Réaliser la recette technique et participer à animer la recette fonctionnelle avec les utilisateurs et le PO. Faire le reporting d'avancement des travaux. Supporter le déploiement. Environnement Technique : Langages/Framework : SQL, BigQuery, Python, Shell. Outils : GCP (BigQuery, DataForm, PubSub, Dataflow, Cloud Composer, Cloud Run, Compute Engine), Gitlab, Terraform, Talend. Base de données : BigQuery, Teradata, SQL Server, IBM DB2.

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Teksystems recherche pour l'un de ses clients un(e) Architecte solutions data (H/F) Vous intégrerez la guilde Architecture Solutions au sein la Direction Technologie dont les missions sont principalement : - Être force de proposition en concevant l’architecture des solutions sur différents scénarios - Participer à l’élaboration d’une cible d’architecture en collaborant avec les architectes d’entreprise. - Concevoir l'architecture logicielle en partenariat avec les équipes de développement - Cartographier les flux des solutions - Garantir la qualité de la réalisation - Sécuriser la qualité de service en s’appuyant sur la matrice de performance du système applicatif concerné - S'assurer du respect des standards - Apporter votre compétence technique - Faire respecter les patterns d’architecture inscrits au référentiel

Les rôles de la DSI sur cette plateforme nommée GAIA sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l’équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme GAIA. En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme.