Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Paris

Dans le cadre du renforcement de nos équipes Big Data orientées production , nous recherchons un Consultant Big Data expérimenté, capable d’intervenir sur des environnements critiques. Vous serez en charge de la gestion des incidents , de la supervision , du déploiement et du maintien en conditions opérationnelles des plateformes data. Suivi et gestion des incidents de production Maintenance des clusters Kubernetes et des composants CDP Automatisation et industrialisation des processus Contribution à la fiabilisation et à l’ amélioration continue Participation possible à l’astreinte (selon organisation) Migration vers Starburst

Missions principales : Concevoir, développer et maintenir des pipelines de données robustes et scalables sur GCP. Collecter, transformer et charger des données depuis diverses sources (Oracle, Postgres, MySQL, fichiers plats, API) vers BigQuery . Mettre en place des contrôles de qualité des données , notamment pour les cas d’usage liés à l’achat-revente. Réaliser la modélisation des données dans BigQuery (SQL avancé). Orchestrer les workflows avec Cloud Composer (Airflow) . Assurer une bonne gestion des accès et de la sécurité (IAM / BigQuery). Participer à la mise en place et au maintien de la chaîne CI/CD sur GitLab . Environnement technique : Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Cloud Composer) Orchestration : Airflow (via Cloud Composer) Sources de données : Oracle, PostgreSQL, MySQL, fichiers plats, API CI/CD : GitLab Sécurité & IAM : Gestion fine des accès, bonnes pratiques sur BigQuery

ous interviendrez au sein de l’équipe Data Pilotage, composée d’un Product Owner et d’un ingénieur data. Votre mission portera sur l’évolution, l’industrialisation et le support de la plateforme Data4All , solution centrale d’accès aux données transverses. Vos principales responsabilités : Construction et amélioration des pipelines de traitement : Création d’indicateurs, transformation des données, gestion de la volumétrie et des coûts sur GCP Modélisation et exposition des données : Développement de modèles de données optimisés, intégration depuis la zone silver, exposition vers Data4All Industrialisation & optimisation : Mise en place CI/CD, intégration Terraform/Terragrunt, performances des environnements Data4All Collaboration active : Participation aux ateliers de cadrage, veille technique, accompagnement des utilisateurs internes

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

- Migrer les données existantes de Redshift vers Snowflake à l'aide de DBT et d'Airflow. - Collaborer avec des équipes transverses pour traduire les exigences métier en solutions techniques. - Concevoir et mettre en œuvre des pipelines de données, des processus ETL et des modèles de données. - Automatiser l'ingestion, la transformation et la validation des données grâce aux technologies Azure (Data Factory, Functions, Databricks). - Développer des procédures stockées, des vues et des fonctions SQL Server pour l'accès aux données et le reporting. - Optimiser les performances de l'entrepôt de données et identifier les axes d'amélioration. - Mettre en œuvre des politiques de gouvernance des données pour garantir l'exactitude, l'exhaustivité et la sécurité. - Documenter les processus et les bonnes pratiques d'ingénierie des données. - Se tenir informé des tendances du secteur et des technologies émergentes en matière d'ingénierie des données et de cloud computing.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Contexte de la mission : Nous recherchons un(e) Data Engineer confirmé(e) pour intégrer une équipe agile dédiée à la mise en place et à l’industrialisation de pipelines de données sur la plateforme GCP. Vous interviendrez sur des projets stratégiques autour de la valorisation des données métiers (finance, risque, conformité, etc.). Vos missions : Conception, développement et optimisation de pipelines de données scalables sur Google Cloud Platform (GCP) Intégration et transformation des données issues de diverses sources (BigQuery, Pub/Sub, Cloud Storage, etc.) Utilisation de Apache Spark pour le traitement de gros volumes de données Orchestration des workflows avec Apache Airflow (Cloud Composer) Collaboration avec les Data Analysts, Data Scientists et les équipes métiers pour répondre aux besoins data Mise en place de bonnes pratiques de développement (CI/CD, tests, monitoring, documentation) Participation à l’évolution de la plateforme data et contribution à l’amélioration continue des process Compétences techniques attendues : Langage : Python (maîtrise indispensable) Traitement de données : Apache Spark (PySpark) Orchestration : Airflow (Cloud Composer) Cloud : GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub...) Outils : Git, Docker, Terraform (atout), CI/CD (GitLab CI, Jenkins...) Méthodologie : Agile/Scrum, DevOps

Au sein d'une organisation dynamique dans le domaine du numérique, vous interviendrez sur la gestion et l’optimisation d’infrastructures cloud, ainsi que sur la gestion de plateformes de données à grande échelle. Vous serez responsable de l’industrialisation et de l’automatisation des services cloud pour garantir leur performance et leur évolutivité. Compétences techniques requises : Expertise dans les environnements cloud public (AWS, GCP, OVH) avec une préférence pour GCP . Maîtrise des outils d’automatisation et d'industrialisation des infrastructures ( Puppet , Ansible , Terraform ). Solides compétences en Big Data et technologies associées (notamment Spark , Python , Hadoop , SQL ). Expérience avec des solutions de déploiement et d’orchestration ( Jenkins , GitLab , Airflow ). Bonne culture des systèmes Unix/Linux et des environnements virtualisés. Compétences complémentaires appréciées : Expérience avec des architectures Data telles que Lakehouse et Datalake . Connaissance des solutions de stockage et traitement des données (ex : Delta , Parquet , DBT , BigQuery ). Bonne maîtrise des concepts systèmes , réseaux et virtualisation . Expérience sur des sites web à fort trafic .

Streamlink propose des solutions sur mesure et innovantes sur l’ensemble du cycle de développement des solutions Data, CRM / SAP, Dév & APPS, Cybersécurité, Cloud & infrastructures. Grâce à un réseau d’excellence à travers le Monde, basé entre Tunis (Tunisie) – Paris (France) – Port Louis (Maurice) , Streamlink favorise l'innovation digitale de ses clients. Streamlink, un environnement très agile et en forte croissance recherche pour un client dans le secteur BFA un Senior Data Engineer - Lead / Dev Lead Pyspark / Fin Ops Prestation attendues : • Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données • Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud • Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, PySpark , Glue) • Être un métronome de l'agilité Compétences Techniques : • Catalogue des données consommées et produites et des règles de transformation associées • Solution pour alimenter Pluri en données provenant de plusieurs SI partenaires Compétences techniques requises : • Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark) • Expertise Spark, quelque soit le langage de prédilection (Python, Scala , Python). • Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data. • Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performances • Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform) • Connaissance de DataBricks • Connaissance du cloud Azure Savoir Faire: • Esprit analytique, rigueur et aisance relationnelle • Appétence et curiosité pour les nouvelles technologies, le Système d’Information et l’Agilité. Expériences professionnelles requises : • Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming • Mise en oeuvre des outils disponibles dans le cloud AWS pour stocker et traiter de la données: Glue, Spark, Airflow, RDS, OpenSearch, S3 Parquet Ce poste est ouvert aux personnes en situation de Handicap

📢 Offre d’Emploi – Data Engineer (Freelance) 🔎 Nous recherchons un Data Engineer expérimenté pour une mission passionnante au sein d’une équipe technique innovante dans un environnement Google Cloud Platform (GCP) . 🎯 Missions principales : ✔️ Développement et optimisation de pipelines de données (ETL/ELT) ✔️ Modélisation et industrialisation des données ✔️ Mise en place et évolution des indicateurs de performance ✔️ Optimisation des coûts et des performances sur BigQuery ✔️ Collaboration avec les équipes Data et Ops pour améliorer la plateforme 🛠 Stack technique : 🔹 Cloud : Google Cloud Platform (GCP) 🔹 Orchestration : Airflow 🔹 Modélisation : DBT (gestion de tables incrémentales) 🔹 CI/CD & Infra : GitLab CI/CD, Terraform, Terragrunt, Docker 🔹 Langages : SQL, Python 💡 Profil recherché : ✅ +5 ans d’expérience en Data Engineering ✅ Maîtrise des environnements GCP, BigQuery, Airflow et DBT ✅ Solides compétences en SQL et Python ✅ Expérience avec l’ industrialisation de pipelines et l’optimisation des performances ✅ Bonne connaissance des méthodes Agile (Scrum, Kanban) ✅ Esprit d’analyse, capacité à vulgariser et à collaborer avec les équipes métier 📍 Localisation : Paris (Présence sur site 50%) 📅 Démarrage : mi-avril

Vous serez en charge de : * Concevoir, implémentez et fournir des solutions pour les problématiques data. * L’intégration et la collecte des données issues des applications tierces (CRM, réseaux sociaux, etc.) ; * La conception, le développement et déploiement de nouveaux flux Spark pour les différents besoin métiers (finance, support, industrie…) * La caractérisation des architectures des produits technologiques ; Choix d’architecture en anticipant les besoins de scalabilité * La planification et l’orchestration des flux afin d’optimiser la mise à disposition de données. * Détecter les points bloquants ou les chaînons manquants dans le cycle de traitement des données, et à proposer des solutions à soumettre à leurs collaborateurs. * D’assurer la continuité de service et le monitoring des flux développés. * Documentation : capitalisation des savoirs, retours d'expérience et fiches de best practices pour aider à la montée en compétencesdes équipes métier. * De la veille technologique : proposer de nouvelles solutions techniques pour challenger le fonctionnement actuel et optimiser les temps de traitements tout en réduisant les coûts. * Évangéliser les meilleures pratiques dans le traitement de la data. Vous travaillerez en relation avec les équipes responsables des infrastructures et des bases de données ainsi qu’avec les équipes de data analystes et de data scientistes, avec l'appui du chef de projet et en relation directe avec les équipes métiers. Environnement technique : * Spark , PySpark , Scala * HDFS, YARN, Hive, SQL Server, Airflow, Postgresql, kafka * Python, Java, Shell * API, Web services * Git Stash, Ansible, YAML * Puppet * Ansible * CI/CD * Docker / Kubernetes * Agilité / Scrum * la gestion de l’environnement, des tests unitaires, de l’automatisation et des versions ; Savoir être * Autonome & Résilient * Force de proposition * Rigoureux & Capable de gérer plusieurs sujets en parallèle * Faire preuve d’adaptabilité * Pédagogue, vous avez la capacité de vulgariser votre savoir technique pour le mettre au service des autres. * Organisé , vous avez le sens des responsabilités. * État d'esprit orienté utilisateur. Vous avez l’esprit d’équipe, vous participez et êtes acteur des différents rituels agiles

Contexte : Dans le cadre de l’amélioration de ses pratiques DevOps et DataOps sur Google Cloud Platform, le client recherche un(e) Consultant(e) Expert(e) CI/CD capable d’auditer l’existant et de concevoir une chaîne d’intégration et de déploiement continue unifiée pour les environnements Data et Applicatifs. Cette mission s’inscrit dans un contexte technique exigeant, mêlant infrastructure as code, déploiement multi-stack (Java, JS/React, BigQuery), conteneurisation, automatisation avancée avec GitLab CI, et supervision via Splunk. L’objectif est d’industrialiser et de fiabiliser les livraisons tout en accompagnant la montée en compétences des équipes internes. Missions : Auditer les pratiques actuelles et proposer une architecture cible détaillée pour la chaîne CI/CD Data & App sur GCP. Concevoir et implémenter les pipelines dans GitLab CI pour automatiser : Le build, le test et le déploiement de l'Infrastructure as Code avec Terraform. Le déploiement et les tests des transformations BigQuery (SQL). Le build, le test et le déploiement d’applications JS et ReactJS (SFCC). Le build, le test et le déploiement d’applications Java (Mulesoft). Le build (via Cloud Build), le stockage (sur Artifact Registry) et le déploiement d'applications conteneurisées (Cloud Run, GKE si nécessaire). L'intégration de tests automatisés (unitaires, intégration, qualité des données. Proposer et implémenter le plus souvent possible de l’IA (Gemini 2.5 ou autre) pour simplifier et accélérer la CI/CD dans les domaines du code, du débug, des tests, de la documentation ou d’autres usages. Configurer et optimiser l'intégration entre GitLab CI et GCP (Runners sur GCE/GKE, gestion des secrets avec Secret Manager). Intégrer les fonctionnalités de Splunk Cloud pour assurer la visibilité et l'alerting sur les pipelines CI/CD et les assets déployés. Promouvoir et mettre en oeuvre les meilleures pratiques DevOps / DataOps (gestion des environnements dev/staging/prod, sécurité, reproductibilité). Accompagner et former les équipes internes (Data Engineers, Data Scientists) à l'utilisation et à la maintenance de la chaîne CI/CD. Documenter l'architecture, les processus et les configurations mis en place sur Atlassian Confluence. Compétences : Expertise confirmée en conception et mise en oeuvre de chaînes CI/CD complexes, avec une maîtrise approfondie de GitLab CI/CD. Solide expérience pratique sur Google Cloud, notamment avec les services suivants : Compute/Containers : GCE, GKE, Cloud Run, Cloud Build, Artifact Registry. Stockage/Base de données : GCS, BigQuery, Cloud SQL. Traitement/Orchestration : Dataform, Airflow, Pub/Sub. Opérations & Sécurité : Splunk, IAM, Secret Manager. Maîtrise indispensable de Terraform pour l'Infrastructure as Code sur Google Cloud.. Excellentes compétences en scripting, particulièrement en Python. La connaissance de Shell est également nécessaire. Expérience significative avec la conteneurisation (Docker). Compréhension solide des principes et enjeux du Data Engineering et du DataOps. Habitué(e) aux outils de développement modernes : Git, VS Code. Excellentes capacités de communication, d'analyse et de résolution de problèmes. Autonomie, proactivité et capacité à travailler en collaboration avec des équipes techniques

Contexte de la prestation : La prestation se déroulera au sein de de la Direction Technique du Numérique. Elle concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data du Numérique du client, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - interventionx sur incidents - la documentation Le prestataire sera la référence technique auprès des acteurs projets : - Ingénieurs d’exploitation - Développeurs - PO/PM - Prestataires externes - Maitrise de l’anglais technique (lu/écrit) - Veille technologique Expertises techniques requises pour la réalisation de la prestation - Expertise en hébergement cloud plubic (AWS, GCP, OVH) : de préférence GCP - Compétences solides dans les solutions d’automation et d’industrialisation (Puppet, Ansible, Terraform, etc.) - Fortes compétences en technologies Big Data : Spark, Python, Hadoop, SQL - Une expérience sur une plateforme Big Data est un plus - Une bonne culture Unix/Linux Expertises techniques complémentaires souhaitées pour la réalisation de la prestation - Expériences dans un ou plusieurs langages dont Python et SQL - Solutions de déploiement (Jenkins, Capistrano, Gitlab) et d'orchestration (Airflow) - Architectures Data : Lakehouse, Datalake - Solutions de stockage et de traitement de données (delta, parquet, dbt, BigQuery) Une bonne culture système, réseau et virtualisation ainsi qu’une expérience sur des sites web à fort trafic sont un plus. Le prestataire pourra être amené à effectuer exceptionnellement des astreintes ou des interventions le soir et le weekend.

Dans un environnement technique exigeant et en évolution constante, nous recherchons un Chef de Projet Technique pour piloter des projets transverses autour des architectures de données et de l’expérience utilisateur. Vos principales missions seront : Gestion de projet et coordination Animer les réunions et ateliers avec les équipes techniques et métiers. Suivre et optimiser les indicateurs de performance et de monitoring. Coordonner la mise en production et assurer un suivi rigoureux des déploiements. Accompagnement technique & méthodologique Rédiger et contribuer aux documents de cadrage et d’exploitation. Garantir la qualité, la performance et la sécurité des environnements techniques. Faciliter la communication entre les équipes internes et les parties prenantes. Expertise data & digital Participer à l’évolution des architectures data et CRM (Mediarithmics, Adobe Campaign). Assurer la bonne intégration des bonnes pratiques de conception et d’industrialisation. Intervenir sur des environnements technologiques variés : Python, Spark, SQL, BigQuery, Airflow (orchestration GCP).

Contexte : Adossée à la plateforme data, la prestation se déroulera au sein de l’équipe Pilotage. L’équipe actuellement constituée d’un Product Owner et d’un Data ingénieur a la charge de la mise à disposition des données utiles à l’ensemble des dashboards via son produit “Data4All”, basé sur la Google Cloud Platform. La stack technique de l’équipe est principalement constituée de SQL, Dbt et Airflow pour l’orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l’industrialisation de l’infrastructure (IaC). La stack inclut aussi d’autres services de la Google Cloud Platform. Activité de cette équipe : 1- Prendre en charge le produit data Data4All aussi bien dans le build que dans le run : - Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes - Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données - Traiter et corriger les anomalies - Concevoir les modèles de données adaptés aux besoins des utilisateurs dans un environnement big data (gestion de la volumétrie et des coûts) 2- Accompagner les utilisateurs de Data4All dans leurs usages 3- Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes 4- Mettre en place le contrôle qualité sur les données Prestation attendue : En interaction avec les membres de l’équipe, la prestation consiste en : - La mise en place de pipelines de traitement de données - Le développement des modèles de données - L’extraction et l’exposition des données issues de la zone silver de la plateforme data vers Data4All - L’industrialisation des différents environnements de Data4All, en collaboration avec l’équipe d’ops - La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe - La participation active à la veille technique pour l’amélioration de la stack - L’amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP

CONTEXTE Au sein de l’équipe projet et en étroite collaboration avec les différentes parties prenantes, la mission consistera à accompagner les membres de l’équipe sur tous les aspects techniques et en interaction avec les équipes techniques concernées. Le stack technique du projet repose principalement sur Mediarithmics (CDP) et Adobe Campagn (CRM). Le stack technique de notre plateforme Data est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : En interaction avec les membres de l’équipe en place, la prestation consistera à : - Rédiger et contribuer à la constitution des documents de cadrage, d’exploitation et de pilotage, - Définir les indicateurs de performance, du monitoring et des tests, - Suivre les indicateurs, les communiquer et alerter en cas de difficultés, - Coordonner et définir les stratégies de mise en production, - Organiser et animer les ateliers, les réunions de suivi et autres rituels agiles, - Accompagner les équipes dans les différentes étapes des projets avec des objectifs de qualité, de performance et de respects des engagements, - Faciliter et coordonner les interactions entre les équipes et avec les différentes parties prenantes, - Assurer l’évolutivité, la sécurité, la stabilité des environnements.