Trouvez votre prochaine mission ou futur job IT.

Nous recherchons un data engineer GCP Spark/Scala avec pour missions principales : Collecter des données provenant de diverses sources externes. Exploiter les capacités du Datalake sur GCP. Implémenter l’ensemble du processus incluant : L’ingestion des données, La validation des données, Le croisement des données, L’intégration des données enrichies dans le Datalake. Développer en respectant les principes d’architecture définis. Rédiger et documenter les user stories en collaboration avec le Product Owner. Rédiger les scripts nécessaires au déploiement. Identifier et prioriser la correction des anomalies. Assister les équipes en charge de l’exploitation. Contribuer à la mise en place d’une chaîne de livraison continue. Automatiser les tests fonctionnels. Encadrer et superviser le travail des data engineers de la squad.

Informations Générales Intitulé du poste : Data Engineer GCP Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l’entreprise) Type de contrat : CDI / Freelance / Autre Rémunération : Selon profil et expérience Département : Data / IT Rattachement hiérarchique : Lead Data Engineer / Data Architect Missions Principales En tant que Data Engineer GCP , vous serez responsable de la conception, de la mise en place et de l’optimisation des pipelines de données sur Google Cloud Platform . Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données. 1. Conception et Développement de Pipelines de Données Concevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l’ingestion, la transformation et le stockage des données Assurer l'optimisation des performances et la scalabilité des traitements de données Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD 2. Gestion et Optimisation des Bases de Données Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP) Implémenter des stratégies de partitionnement, d’indexation et d’optimisation des coûts sur BigQuery 3. Sécurité, Monitoring et Fiabilité Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès) Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus Gérer les incidents et optimiser les performances des traitements et des requêtes SQL 4. Collaboration et Documentation Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers Documenter les pipelines, les architectures et les bonnes pratiques Sensibiliser et accompagner les équipes sur l’utilisation des données et des outils GCP Compétences Requises Compétences Techniques Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub ETL / ELT : Conception et optimisation de pipelines de données Langages de programmation : Python, SQL, Scala, Java Bases de données : BigQuery, Cloud SQL, Firestore, Spanner Infrastructure as Code (IaC) : Terraform, Deployment Manager CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins Sécurité et Gouvernance des données : IAM, GDPR, DLP Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus Compétences Transverses Bonne capacité d’analyse et de résolution de problèmes Capacité à vulgariser des concepts techniques complexes Esprit collaboratif et bonne communication Force de proposition et autonomie

Les principales missions consistent à : - produire des analyses permettant de construire des visions enrichies du marché, des tendances/benchmark pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs. - construire des algorithmes, élaborer des modèles prédictifs permettant d’anticiper des tendances relatives à l’activité des paiements ou d’améliorer significativement certains processus de production et commerciaux. - d’alimenter et d'assister les équipes métiers en données de paiement et clients permettant de mener les analyses, - être force de proposition sur les méthodes / techniques à mettre en place pour répondre aux demandes d’études. Le consultant sera également en charge de modéliser ses résultats d’analyse pour les rendre lisibles et exploitables par les managers. Il participe à la collecte, à la transformation et à la gestion des données pour en assurer l'intégrité, la sécurité et la qualité dans le cadre de la gouvernance Data du Groupe. Le consultant participe activement aux différentes communautés Data Analyse Profil : • Compétences métiers en moyens de paiements appréciées • Etudes statistiques • Rigueur dans le développement, les stratégies de recette et de qualification de ses travaux • Très bon sens relationnel • Bon communicant à l’écrit et à l’oral • Capacité d’initiative • Capacité à travailler en équipe et co-création • Support utilisateur • Méthodologies : Scrum, Kanban, SAFe Maitrise des méthodes agiles et des rituels associés. Capacité à gérer plusieurs sujets en même temps et de travailler en équipe. Proactivité et adaptabilité.

Je recherche pour un de mes clients un Data Engineer GCP / Python : Missions principales : • Participer aux analyses, études d’impacts et cadrage techniques • Concevoir des solutions en respectant les bonnes pratiques d’architecture data • Réaliser le développement dans les environnements technologiques attendus • Rédiger la documentation technique • Assurer un support aux testeurs Livrables principaux : • Réaliser du code applicatif • Rédiger les documentations techniques liés à ta solution, • Faire des propositions techniques Compétences techniques : • Langages de programmation : Python, SQL, Scripts Shell • Services de streaming data : Kafka • Services d’ingestion des données : Kafka Connect, SFTP • Services de stockage : GCP BigQuery, Cloud Storage, Kafka, Sharepoint • Processing : Scripts Python, GCP Dataflow, Data Build Tool (DBT) • Restitution : Looker (Dashboards, Explores de données), Fichiers de reporting (CSV, Excel) • Outils de collaboration et de CI/CD : GitLab, Flamingo • Utilisation de plateformes pour le développement et le déploiement : Docker, Kubernetes, Kustomize, Helm, Terraform • Testing : Tests avec DBT, Tests de non-régression, collaboration avec la QA. • Manipulation des formats de fichiers : CSV, JSON, Avro, XML

Vos principales missions Contribuer à la migration de l’environnement Hadoop / Spark vers le cloud GCP Participer au développement et à l’optimisation des traitements Big Data Concevoir et maintenir des pipelines de données performants et scalables Mettre en place des architectures serverless et clusterisées sur GCP (DataProc, BigQuery, GSC) Assurer la qualité et la robustesse des solutions déployées Accompagner et coacher les équipes internes sur les bonnes pratiques Cloud et Big Data

RESPONSABILITÉS CLÉS Garantir l'harmonisation de l'architecture et le support technique Être responsable de l'architecture technique du produit de données Assurer l'alignement avec les directives d'architecture et être le relais avec les équipes d'architecture Veiller à ce que la construction du produit soit conforme aux principes de données Résoudre les problèmes techniques et partager les meilleures pratiques de codage Diffuser les directives technologiques du groupe et les bonnes pratiques au sein de l'équipe Partager avec les équipes de développement et assurer l'amélioration continue (rétrospectives) Garantir la qualité de service pour chaque produit et respecter les SLA Responsable de la documentation technique, des revues de code et de toutes les pratiques techniques Accompagner le PO et assurer la qualité de service Responsable de la qualité de service et des SLA Aider le PO dans la phase de découverte de solution/produit Veiller à des documents clairs pour l'auto-service Référent technique au sein de son équipe Responsable de diffuser la vision technique Data au sein de son équipe Responsable de la qualité du développement au sein de son équipe Responsable des revues de code et de l'amélioration continue du produit qu'il gère Responsable des demandes de fusion (merge request) au sein de son équipe (Github) Gérer les affinements ad-hoc Maintenir la relation avec les sources de données Garantir la connaissance opérationnelle des données Enregistrer et suivre la dette technique avec l'équipe d'architecture

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Le candidat devra être autonome tout au long de la mission Maîtrise de Java, Spring Boot, et Maven Expertise en BigQuery Expérience solide avec Apache Airflow Connaissance approfondie du SQL Maîtrise de Dataflow Expertise en BigQuery Expérience avec Apache Airflow Utilisation de Cloud Run Connaissance de Terraform Connaissance de Dataform ou DBT

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Leader technique Spark Java Angular (H/F) à Lyon, France. Contexte : Concevoir, développer et exploiter des produits, services et études innovants pour accompagner les acteurs internes et externes vers la transition écologique. Les missions attendues par le Leader technique Spark Java Angular (H/F) : Activité principale : Revue de code Proposition d’architecture Cadrage/arbitrage technique Implémentation de fonctionnalités métiers dans un contexte agile (Kanban) Activité secondaire : Chiffrage Animation de KATA Recrutement et formation des nouveaux arrivants Stack technique de l'équipe : Ajout de tests E2E à l’aide de Cypress 13 Mise à jour de pipelines Jenkins (Groovy) Déploiement des applications sur Kubernetes Interfaces réalisées en Typescript (Angular 17) Ajout de tests unitaire/intégration avec JUnit 5 et Mockito Définition de scénarios de tests de performance avec Gatling Utilisation de la plateforme Gitlab et mise à jour de playbooks Ansible Accès aux bases Postgre via une API écrite en Java (Spring 3, Java 21) Transformation de donnée via le framework Spring Batch et la librairie Spark Java Echanges de données avec d'autres SI via Kafka (création de topics sur la BEM, supervision) Utilisation des normes OpenID et OAuth2 pour l'authentification et l'autorisation des utilisateurs

Bonjour, Je vous envoie ce mail car dans le cadre d'une mission de longue durée pour notre client situé en à Paris, nous recherchons un Data Engineer GCP. Type de profils confirmé (> 5 ans d'expérience) Technologies GCP (expérience obligatoire sur ce cloud provider) Python (expérience obligatoire) Bonne maîtrise BigQuery (obligatoire) Bonne maîtrise Terraform Git (obligatoire) Dans le cas où vous êtes intéressé, pourriez-vous svp envoyer votre CV au format Word en indiquant votre disponibilité ainsi qu'une fourchette de vos prétentions salariales ou de votre tarification journalière si vous êtes indépendant ?

Notre client recherche un Développeur Java Spark Angular , profil Confirmé 3-5 ans d'expérience Obligatoire : Java, Spark, Angular Mission : 6 mois avec possibilité d'être prolongé Télétravail : 2 jours par semaine (non négociable) Secteur : Divertissement L'entreprise souhaite migrer plusieurs jobs Datastage vers Spark, une plateforme de traitement de données Big Data. Le consultant devra travailler sur la plateforme Spark pour réaliser les évolutions nécessaires. L'environnement : Java , Angular, Spark, Kafka, AWS

📑 CDI (36 - 40K€) / Freelance / Portage Salarial - 🏠 2 jours de télétravail / semaine - 📍 Toulouse - 🛠 Expérience de 2/3 ans minimum Rejoignez une équipe passionnée et boostez la transformation Big Data ! 🚀 Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l’industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l’exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs. Votre défi à relever 🎯 En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l’optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables.

En tant qu’Ingénieur(e) Move To Cloud, vous intégrerez l’équipe KARMA Move To Cloud pour piloter la migration du système de Revenue Management KARMA, vers Google Cloud Platform (GCP). Vos missions incluront : Migration des workloads Hadoop /Spark vers GCP ( Dataproc, BigQuery, GCS ). Développement et optimisation de pipelines de données. Mise en œuvre d’infrastructures avec Terraform et automatisation via Github Actions. Collaboration avec l’équipe pour assurer une transition fluide et performante..

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Data Engineer Python - Spark - Airflow , pour renforcer les équipes de notre client. Missions : Réalisation des cas d’usage de bout en bout Application des règles de bonnes pratiques Réalise des développements maintenables, scalables, réutilisables et optimisés Réalise des développements de qualité et performants Réalise de la documentation technique à la fin de chaque sprint Exploite et déploie de manière propre sur GIT (version, repository, nom de l’US ou la Feature…) Réalise des tests techniques automatisés (tests unitaires, tests de non-régression…) et les traces Applique le devoir de conseil Travail en équipe Propose des solutions, des alternatives et débloque les autres développeurs si besoinAppui et aide les Product Owner si besoin Réalise le modèle de données en support avec la gouvernance, Product Owner et le data analyst Explique et effectue du support auprès des data analyst notamment sur la structure des données et les modèles en base de données Respecte les règles de nommage imposée par l’entreprise

Fiche de Poste – Expert Technique Java / Spark / Angular Localisation : Paris Expérience : 10 à 15 ans Contexte : Le bénéficiaire recherche un Expert Technique Java / Spark / Angular pour accompagner les évolutions réglementaires des plateformes de projections des paramètres de risque et de simulation d’impact des chocs sur le coût du risque et les provisions. L’objectif est d’assurer le bon fonctionnement et l’évolution des moteurs de calculs réglementaires tout en migrant les applications vers le Cloud DMZR.

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Tech Lead Data - Python - Spark - Airflow , pour renforcer les équipes de notre client : Missions : Analyse des besoins métier dans la phase du cadrage, conception d’une architecture technique et applicative et estimation du macro-chiffrage de réalisation ; définition des différents scénarios possibles et établissement des dossiers de décision associés. Contribution à la mise en œuvre de l’architecture technique des projets en lien avec les acteurs externes et contribution à la mise en œuvre de l’architecture applicative des projets en lien avec les intervenants. Participation à l’industrialisation et la documentation technique du projet Analyse des demandes d’évolution fonctionnelles : identification des impacts, préconisations techniques Conception et réalisation de l’architecture en cohérence avec le cadre d’architecture du service Conception et modélisation du modèle de données Support auprès de l’équipe Agile sur les aspects techniques : bonnes pratiques, résolution de problèmes techniques complexes, collecte des éléments nécessaires auprès des intervenants fonctionnels pour la bonne réalisation des taches, utilisation de l’outillage DevOps souhaité par l’ENTREPRISE (Gitlab, Ansible, Jenkins, Visual Studio…) Proposition, conception, rédaction des spécifications techniques et réalisation à la demande de l’'entreprise pour la mise en œuvre des bonnes pratiques Data : o Procédures de test automatisées o Optimisation des performances Contrôle de la qualité et conformité des développements, contrôle de la cohérence technique des réalisations par rapport aux exigences ; contrôle de la cohésion technique des développements réalisés. Exploitation de l’environnement de développement mis à disposition par l’ENTREPRISE dont installation des briques logicielles fournies par l’ENTREPRISE pour la mise en œuvre des développements Contribution à la rédaction du DAT en cas d’évolutions d’infrastructure. Mise en place d’exploratoires (Proof of Concept)

🚀 Contexte du poste Dans le cadre d’une migration vers Google Cloud Platform (GCP) et de plusieurs projets d’expansion, nous recherchons un développeur Python/Spark/GCP (F/H) pour intervenir sur un projet dans le domaine bancaire. Au sein d’une équipe Data et en collaboration avec les Data Scientists, votre rôle sera de concevoir, industrialiser et optimiser les pipelines de données tout en intégrant et déployant les modèles de Machine Learning développés par l’équipe. 🎯 Vos missions Concevoir et développer des pipelines de données optimisés sur Google Cloud Platform (GCP) Industrialiser et déployer des modèles de Machine Learning via Spark et d’autres services GCP (BigQuery, Dataproc, Vertex AI) Optimiser la gestion des alertes LCB-FT et contribuer à l’amélioration des modèles de scoring Assurer la migration des données et traitements de PHG vers GCP Travailler sur des architectures scalables et performantes pour l’extension du moteur de scoring Automatiser et superviser les traitements pour garantir un fort niveau de fiabilité et de performance 🛠 Stack technique Google Cloud Platform (GCP) : BigQuery, Dataflow, Dataproc, Cloud Storage, Pub/Sub Spark (PySpark / Scala) pour le traitement distribué Python (pandas, scikit-learn, airflow) CI/CD & Infra : Terraform, Kubernetes, GitLab CI/CD Bases de données : SQL, NoSQL