Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte de la mission : Nous recherchons un(e) ML Ops freelance expérimenté(e) pour accompagner l'équipe Data de notre client dans la mise en place, l’optimisation et le déploiement de pipelines de Machine Learning. Vous interviendrez au sein d’un environnement technique moderne et stimulant, en lien direct avec les Data Scientists et les équipes DevOps Rythme de télétravail : 2jours sur site client, 3 jours de remote Vos missions principales : Concevoir, industrialiser et maintenir des pipelines ML avec Apache Airflow Déployer et gérer des services ML dans un environnement Kubernetes Participer à l’automatisation des workflows d'entraînement, de validation et de mise en production des modèles Monitorer les performances des modèles en production Mettre en place des bonnes pratiques de CI/CD orientées ML Collaborer avec les Data Scientists pour assurer la scalabilité et la robustesse des solutions

Notre client dans le secteur Banque et finance recherche un Data Engineer IA - Pipelines ou Graphe ou QA/Testing H/F Descriptif de la mission: Digital Twins : Data Engineer “Pipelines” Responsabilités: ● L’ingestion des données de topologie : extraire CMDB, inventaire des services, dépendances réseau. ● La récupération des métriques opérationnelles historiques et temps-réel (logs, KPIs CPU/mémoire, latence). ● La conception de workflows d’orchestration (Airflow/Cympy) pour alimenter en continu le moteur de simulation. ● L’automatisation des synchronisations (batch et micro-batch) entre les sources réelles et le jumeau applicatif. Compétences clés ● Maîtrise d’Airflow, DBT ou équivalent, et de frameworks de streaming léger (Cympy). ● Solides pratiques ETL/ELT ● Sensibilité aux problématiques de volumétrie et latence (< 1 min de délai idéal). Digital Twins : Data Engineer “Graphe” Responsabilités : ● Modélisation du graphe applicatif : nœuds (services, bases, API), arcs (flux de données, appels). ● Implémentation des pipelines ETL/vectorisation vers TigerGraph (ou Neo4j) pour maintenir le jumeau à jour. ● Écriture de requêtes optimisées (Cypher/Gremlin) pour alimenter la couche de simulation en temps réel. ● Gestion de l’évolution du schéma graphe au fur et à mesure de l’ajout de services ou d’enrichissements. Compétences clés ● Expérience avec TigerGraph (ou alternative) en production : sharding, indexation, backup/restore. ● Optimisation des performances graph (profilage de requêtes, caching). ● Connaissance de la vectorisation et des embeddings pour enrichir le graphe. Digital Twins : Data Engineer « QA/testing » Responsabilités : ● Définition et automatisation des tests de cohérence entre SI réel et digital twin (completeness, freshness). ● Tests de non-régression à chaque itération de schéma ou de pipeline (comparaison baseline vs simulation). ● Mise en place de métriques d’écart (drift) : variations acceptables des indicateurs simulés. ● Alerting et reporting en cas d’anomalie de sync (pipeline cassé, données manquantes). Compétences clés ● Maîtrise d’outils de testing data (Great Expectations, Deequ ou équivalent). ● Sensibilité aux KPIs de qualité (accuracy, timeliness, validity). Intégration des tests dans les pipelines CI/CD. Compétences / Qualités indispensables: Data Engineering,IA,Python,Airflow Compétences / Qualités qui seraient un +: Anglais, expérience bancaire

Nous recherchons pour notre client situé sur Marseille un Ingénieur Data expert airflow H/F. Missions principales : · Concevoir et développer des pipelines de données robustes et scalables sur GCP. · Implémenter des solutions ETL/ELT · Orchestrer des workflows data avec Cloud Composer · Mettre en place du monitoring et de l'observabilité des plateformes data · Participer à la modernisation des architectures data des clients Stack technique : Airflow (Workflow), Cloud…

Nous recherchons pour notre client, acteur majeur du secteur médias , un SysOps Ordonnancement Senior pour intégrer l’équipe produit “Middleware / Plateforme d’échanges” , au sein du Train Plateforme . L’objectif est de contribuer à la conception, la mise à disposition et l’évolution de solutions PaaS utilisées en autonomie par les équipes produit de la DSI. Votre rôle portera principalement sur : L’administration et l’évolution des plateformes d’ordonnancement : $Universe et Airflow (orchestration as a service) Le soutien aux plateformes d’échanges et d'intégration (RabbitMQ, WSO2 API Manager, Boomi) Le support aux plateformes de conteneurisation On Premises (Kubernetes) L’automatisation, la fiabilisation et la documentation des outils pour un usage self-service

Implement an interface between our ERP (QAD) and our finance Tool (HFM) - QAD (ODBC connection) - Transform Data according specifications - Store the data in Datastore and expose it - Load data in HMH thru API - Ensure the integration with the a application will be done properly - compréhension des process dans le domaine banque et finance - ERP Finance - Excellente communication and leadership. - importante compréhension du managementr de projet avec sa methodologie Agile, Scrum, ou Waterfall. - Experience dans le secteur desFinance - abilité à trouver des solutions et résoudre des problèmes.

Poste : Data Engineer (H/F) Type de contrats : CDI/Freelance Localisation : Niort (79) L’ IT chez ARTEMYS combine la technologie et l’humain ! Nous sommes convaincus que les compétences, le savoir-être et l’épanouissement de nos Talents sont les clés de notre réussite . 👍 Alors, vous nous rejoignez ?! Artemys Agil-IT recrute dès à présent un.e Data Engineer . Dans cette nouvelle étape de votre carrière, nous vous proposons d’intervenir sur de belles missions auprès d’un d'un de nos clients auprès duquel vous interviendrez sur les missions suivantes : Modéliser et structurer des bases de données en fonction des besoins analytiques. Implémenter des DAGs en python pour alimenter les entrepôts de données. Contribuer à la définition et l’optimisation des normes de développements de l’équipe Data Automatiser et enrichir les contrôles permettant de garantir la fiabilité des données alimentées. Réaliser la documentation fonctionnelles. Réaliser la documentation technique. Contribuer à la définition et l’exécution des plan de tests pour valider le bon fonctionnement des DAGs et assurer la cohérence et fiabilité des jeux de données. Maintenir les entrepôts de données. Participer à la mise en place de tableaux de bord Préparer, suivre les phrases d'homologation et de déploiement des réalisations. Assurer un support technique et fonctionnel auprès des équipes métiers sur l'utilisation des données et des outils analytiques. Optimiser les process et proposer des méthodologies adaptées (veille sur les données, les outils).

Consultant technico fonctionnel Adobe Campaign Contexte : Nous recherchons un consultant technico fonctionnel Adobe Campaign v7 en charge du support technique du run des chefs de projet fonctionnels CRM en charge des campagnes d’emailings et du plan d’animation relationnelle, en collaboration avec un Expert Senior Technico Fonctionnel Adobe Campaign. MISSIONS Périmètre des projets - Audit - Optimisations - Réalisations - Support technique de niveaux 1 et 2 (avec l’éditeur) auprès des équipes métier - Gestion des incidents et des demandes quotidiennes utilisateurs - Accompagnement / support des utilisateurs (équipe CRM, Communication, Régions…) - Correction de bug et réalisation de post-mortems - Rédaction et évolution des documentations techniques (spécifications & cahiers de charges techniques, post mortem) - Mise en place de cycles automatiques de campagnes - Création, vérification et mise en place des workflows complexes - Mise en qualité de la base de données Adobe Campaign et de son modèle de données - Création de schémas de données, formulaires, arborescences, webApp et rapports - Développement et paramétrage du Content Manager (Gestion de contenu) - Développement JavaScript, HTML, XML, CSS… - Création et appel de Webservices - Elaboration de workflows permettant d'automatiser les process - Recette technique - Création et gestion de messages transactionnels (Message Center) - Formalisation des besoins exprimés autour de l’utilisation d’Adobe Campaign - Configurations et développements sur Adobe Campaign, de la recette, des mises en production et des montées de version - Participation à l’interfaçage et à l’utilisation de services internes et tiers (développement de connecteurs, de middlewares, etc.) - Monitoring de la plateforme - Création de rapports spécifiques - Production de rapports automatisés Adobe Campaign - Evolutions techniques / personnalisation de la plateforme (workflows, webservices, WebApp, Survey, Interaction...) - Migration de la V7 vers la V8 - Accompagnement des équipes dans la prise en main de la V8 - Accompagnement et participation à la veille technologique de l’équipe Expertises requises pour la réalisation de la prestation : - Expertise technico-fonctionnelle sur Adobe Campaign version 7 et 8 - Expertise en matière de SGBD et du langage SQL (au travers MySQL et/ou PostgreSQL) - Connaissance de l’Agilité - Très bonne connaissance des outils Jira et Confluence - Bonne connaissance des architectures orientées services (API REST, Web Services) - Connaissance de la manipulation de données et du respect du RGPD et des contraintes de sécurité - Maitrise des enjeux de délivrabilité - Référence(s) professionnelle(s) sur des missions d’expertise ou de développement sur Adobe Campaign - Bonne connaissance CDP (Mediarithmics) - Connaissance connecteur (Airship…) - Références dans le secteur des médias serait un plus

🎯 Mission Freelance – Senior Data Engineer 📍 Remote / GCP / Début : Mai 2025 Pour un client, nous recherchons un(e) Senior Data Engineer pour renforcer et optimiser son infrastructure data sur GCP. Objectif : garantir performance, fiabilité et scalabilité de nos pipelines. ✅ Vos missions : Auditer et améliorer la stack (Airflow, DBT, Terraform, etc.) Optimiser les pipelines ETL/ELT et les performances systèmes Sécuriser l’infra (GCP, IaC) et industrialiser les workflows Mettre en place une démarche DataOps (tests, monitoring, alerting) Accompagner la montée en compétence des Data Engineers

Dans le cadre du renforcement de nos équipes Big Data orientées production , nous recherchons un Consultant Big Data expérimenté, capable d’intervenir sur des environnements critiques. Vous serez en charge de la gestion des incidents , de la supervision , du déploiement et du maintien en conditions opérationnelles des plateformes data. Suivi et gestion des incidents de production Maintenance des clusters Kubernetes et des composants CDP Automatisation et industrialisation des processus Contribution à la fiabilisation et à l’ amélioration continue Participation possible à l’astreinte (selon organisation) Migration vers Starburst

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Dans un contexte à fort enjeu de transformation digitale, la mission consistera à accompagner l’équipe Data Engineering dans la conception, le développement et l’industrialisation de pipelines de données robustes, scalables et performants. Expertise en BigQuery Connaissance approfondie du SQL Connaissance de Terraform Java / Python & SQL Devops sur Github

VOTRE QUOTIDIEN RESSEMBLERA A… La mission consiste à assurer : Le design de solutions et d'architecture technique pour le backend Les développements d'alimentations et processing de données L’implémentation pour l'exploitation des données, restitution dans des Datasets ou Datamarts Le Support et la maintenance évolutive du backend La mise en œuvre de méthodes d'amélioration continue : Craft & Prod CI Le monitoring et CI sur qualité du code Vous rejoignez notre client en qualité de Big Data Engineer Senior F/H pour : Assurer le Développement des solutions Big Data Gérer l'intégration continue Définir les solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing) Poser la stratégie de développement et de tests Analyser l'impact de la conception du produit sur l'architecture technique du SI, définir les choix d'implémentation dans le SI Assurer le support applicatif via le monitoring et résolution associée Gérer le DevOps pour les parties IAAS et CD... Le poste est basé à Nantes (44) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 ou 2 jours de télétravail par semaine.

Contexte : Nous recherchons un Expert DataOps pour accompagner un acteur emblématique du secteur du luxe dans la construction de son socle data. Vous rejoindrez une équipe à taille humaine composée de 5 experts techniques, dans un environnement prestigieux, exigeant et stimulant. Mission longue durée avec démarrage immédiat. Vos missions : Encadrer et suivre les projets data en lien avec les équipes internes. Implémenter, optimiser et automatiser la plateforme Data. Accompagner les équipes dans la prise en main des outils DataOps. Participer à la définition des architectures cloud et des standards internes. Exécuter et maintenir les pipelines de données (data modeling, fiabilité des flux). Stack technique : Obligatoires : Python, SQL, DBT, Snowflake. Également utilisés : Apache Airflow, BigQuery, CI/CD, GCP, AWS.

Missions principales : Concevoir, développer et maintenir des pipelines de données robustes et scalables sur GCP. Collecter, transformer et charger des données depuis diverses sources (Oracle, Postgres, MySQL, fichiers plats, API) vers BigQuery . Mettre en place des contrôles de qualité des données , notamment pour les cas d’usage liés à l’achat-revente. Réaliser la modélisation des données dans BigQuery (SQL avancé). Orchestrer les workflows avec Cloud Composer (Airflow) . Assurer une bonne gestion des accès et de la sécurité (IAM / BigQuery). Participer à la mise en place et au maintien de la chaîne CI/CD sur GitLab . Environnement technique : Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Cloud Composer) Orchestration : Airflow (via Cloud Composer) Sources de données : Oracle, PostgreSQL, MySQL, fichiers plats, API CI/CD : GitLab Sécurité & IAM : Gestion fine des accès, bonnes pratiques sur BigQuery

ous interviendrez au sein de l’équipe Data Pilotage, composée d’un Product Owner et d’un ingénieur data. Votre mission portera sur l’évolution, l’industrialisation et le support de la plateforme Data4All , solution centrale d’accès aux données transverses. Vos principales responsabilités : Construction et amélioration des pipelines de traitement : Création d’indicateurs, transformation des données, gestion de la volumétrie et des coûts sur GCP Modélisation et exposition des données : Développement de modèles de données optimisés, intégration depuis la zone silver, exposition vers Data4All Industrialisation & optimisation : Mise en place CI/CD, intégration Terraform/Terragrunt, performances des environnements Data4All Collaboration active : Participation aux ateliers de cadrage, veille technique, accompagnement des utilisateurs internes

Aubay Grand Ouest recherche un Data Engineer, dans le cadre de l’accélération de l’IA chez son client grand compte du secteur bancaire. L’activité portera sur la transformation de la solution d’industrialisation de l’IA vers une nouvelle solution logicielle. Localisation : Nantes et périphérie sur site client Télétravail : 2 jours par semaine Les missions sont : 1. Cadrage Collaboration avec les équipes métiers pour comprendre leurs problématiques liées aux verbatims clients Accompagnement de la rédaction des spécifications fonctionnelles 2. Mise en place d’un dispositif d’annotation Création d’échantillons (jeux d’apprentissage, de validation et de test) Définition des règles d’annotation Création d’un formulaire sur l’outil d’annotation 3. Détection de topics et classification de verbatims Détection des topics abordés dans les verbatims et construire une catégorisation de verbatims avec l'aide du métier reposant sur les topics détectés Classification des verbatims dans chaque catégorie Intégration de l’analyse de la tonalité 4. Déploiement et suivi Optimisation des modèles pour garantir leur performance en production Développement des pipelines d’inférence robustes pour l’intégration des modèles dans les systèmes existants Collaboration avec l’équipe MLOps pour le déploiement. Suivi de la fiabilité des modèles et identifier les biais ou dérives dans le temps et procéder à leur amélioration le cas échéant. 5. Documentation et veille technologique Documentation toutes les étapes des projets pour assurer la traçabilité et la reproductibilité. Suivi de évolutions technologiques dans les domaines de l’IA Environnement technique : python, Poetry, FastApi, spark (et donc pyspark), SQL, cassandra et postgresql, Kafka, GitLab CI, Docker, Airflow, MLflow, Conda, APIs RESTful.

Dans le cadre d’un projet d’industrialisation des pipelines de données, notre client recherche un Data Engineer confirmé Python / Spark / Dataiku pour renforcer une équipe data déjà en place. L’objectif principal est de structurer un socle technique robuste, améliorer la qualité des traitements et fiabiliser les processus de mise en production. Vous serez amené à travailler sur des sujets de tests automatisés, de monitoring de pipelines, de performance, et de déploiement continu. Le rôle est transverse : il implique à la fois des compétences techniques solides et une capacité à faire évoluer les pratiques de l’équipe.