Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Pour notre client Rouennais nous sommes à la recherche d'un Data Eng Airflow Expérimenté : Expérience significative sur Python /Airflow/Git/SQL Expérience en tests automatisés data Connaissance des pratiques CI/CD Etre force de proposition Etre rigoureux et organisé Etre autonome Capacité d'analyse et de synthèse Aisance relationnelle Goût pour le travail en équipe Disposer de très bonnes qualités pédagogiques Savoir communiquer / rendre compte De bonnes connaissances des architectures DATA récentes

Nous recherchons pour notre TOP client un Analyste BI - AirFLOW (H/F) Prestation pure Freelance ou Portage salarial (CDI.c) ; Durée : 3 mois ; Possibilité d’évolution en CDI chez le client si souhaité /!\ Démarrage : ASAP ; Localisation du client : Marseille (13) ; Télétravail : 2 jours par semaine. Contexte : Vous évoluez dans un environnement dynamique marqué par la croissance externe de l’entreprise. Votre mission principale est de structurer et d’agréger des systèmes de données hétérogènes afin d’améliorer la visibilité opérationnelle et stratégique. Mission : Vous gérez les projets de bout en bout, depuis le recueil du besoin jusqu’à la visualisation des données. Recueillir les besoins utilisateurs, clarifier les besoins et mener les analyses fonctionnelles. Pipelines de données : Rassembler et transformer les données issues de divers outils pour les rendre exploitables via un ETL. Datawarehouse : Restructurer la base de données existante pour garantir sa qualité et son accessibilité. Dashboard et accompagnement des utilisateurs dans la création de rapports en les rendant autonomes. Garantie sur la qualité des données : Superviser la structuration et veiller à la fiabilité des données. Environnement technique : Python, SQL, ETL Airflow, Dataviz Superset.

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Data Engineer Python - Spark - Airflow , pour renforcer les équipes de notre client. Missions : Réalisation des cas d’usage de bout en bout Application des règles de bonnes pratiques Réalise des développements maintenables, scalables, réutilisables et optimisés Réalise des développements de qualité et performants Réalise de la documentation technique à la fin de chaque sprint Exploite et déploie de manière propre sur GIT (version, repository, nom de l’US ou la Feature…) Réalise des tests techniques automatisés (tests unitaires, tests de non-régression…) et les traces Applique le devoir de conseil Travail en équipe Propose des solutions, des alternatives et débloque les autres développeurs si besoinAppui et aide les Product Owner si besoin Réalise le modèle de données en support avec la gouvernance, Product Owner et le data analyst Explique et effectue du support auprès des data analyst notamment sur la structure des données et les modèles en base de données Respecte les règles de nommage imposée par l’entreprise

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Nous recherchons actuellement un consultant BI / DATA expérimenté sur Airflow & Python pour une mission avec un client final sur Marseille De l’analyse des besoins utilisateurs à la visualisation des données les Missions principales sont : ✅ Développer et maintenir des pipelines de données via un ETL. ✅ Restructurer la base existante pour en garantir la qualité et l’accessibilité. ✅ Création de dashboards : Concevoir des rapports et accompagner les utilisateurs pour les rendre autonomes. ✅ Qualité des données : Assurer la structuration et la fiabilité des données.

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Tech Lead Data - Python - Spark - Airflow , pour renforcer les équipes de notre client : Missions : Analyse des besoins métier dans la phase du cadrage, conception d’une architecture technique et applicative et estimation du macro-chiffrage de réalisation ; définition des différents scénarios possibles et établissement des dossiers de décision associés. Contribution à la mise en œuvre de l’architecture technique des projets en lien avec les acteurs externes et contribution à la mise en œuvre de l’architecture applicative des projets en lien avec les intervenants. Participation à l’industrialisation et la documentation technique du projet Analyse des demandes d’évolution fonctionnelles : identification des impacts, préconisations techniques Conception et réalisation de l’architecture en cohérence avec le cadre d’architecture du service Conception et modélisation du modèle de données Support auprès de l’équipe Agile sur les aspects techniques : bonnes pratiques, résolution de problèmes techniques complexes, collecte des éléments nécessaires auprès des intervenants fonctionnels pour la bonne réalisation des taches, utilisation de l’outillage DevOps souhaité par l’ENTREPRISE (Gitlab, Ansible, Jenkins, Visual Studio…) Proposition, conception, rédaction des spécifications techniques et réalisation à la demande de l’'entreprise pour la mise en œuvre des bonnes pratiques Data : o Procédures de test automatisées o Optimisation des performances Contrôle de la qualité et conformité des développements, contrôle de la cohérence technique des réalisations par rapport aux exigences ; contrôle de la cohésion technique des développements réalisés. Exploitation de l’environnement de développement mis à disposition par l’ENTREPRISE dont installation des briques logicielles fournies par l’ENTREPRISE pour la mise en œuvre des développements Contribution à la rédaction du DAT en cas d’évolutions d’infrastructure. Mise en place d’exploratoires (Proof of Concept)

📢 𝐏𝐫𝐨𝐝𝐮𝐜𝐭 𝐎𝐰𝐧𝐞𝐫 𝐨𝐧 𝐂𝐥𝐨𝐮𝐝 𝐀𝐳𝐮𝐫𝐞 – 𝐌𝐨𝐧𝐢𝐭𝐨𝐫𝐢𝐧𝐠, 𝐎𝐛𝐬𝐞𝐫𝐯𝐚𝐛𝐢𝐥𝐢𝐭𝐞́ & 𝐃𝐚𝐭𝐚 📍 𝟗𝟐 – 𝐏𝐫𝐞́𝐬𝐞𝐧𝐭𝐢𝐞𝐥 𝐡𝐲𝐛𝐫𝐢𝐝𝐞 🗓 𝐀𝐒𝐀𝐏 🎙️ 𝐀𝐧𝐠𝐥𝐚𝐢𝐬 𝐟𝐥𝐮𝐢𝐝𝐞 𝐨𝐛𝐥𝐢𝐠𝐚𝐭𝐨𝐢𝐫𝐞 ✒️ 𝐅𝐫𝐞𝐞𝐥𝐚𝐧𝐜𝐞 𝐨𝐧𝐥𝐲 - 𝐏𝐚𝐬 𝐝𝐞 𝐒𝐓𝐓 🎯 𝐕𝐨𝐭𝐫𝐞 𝐦𝐢𝐬𝐬𝐢𝐨𝐧 Dans un environnement cloud et data-driven, vous piloterez la roadmap produit d'une équipe dédiée à l'Observabilité et à la Data, en assurant la bonne traduction des besoins métier en solutions techniques performantes. 🔍 𝐕𝐨𝐬 𝐨𝐛𝐣𝐞𝐜𝐭𝐢𝐟𝐬 ✅ Recueillir, formaliser et prioriser les besoins métiers et techniques ✅ Définir et maintenir le backlog produit ✅ Assurer la qualité et la pertinence des solutions livrées ✅ Collaborer avec les équipes de développement et animer les cérémonies Agile/Scrum ✅ Suivre et analyser les KPIs de performance pour l’amélioration continue ✅ Assurer une veille technologique sur les outils de monitoring et data 🛠 𝐄𝐧𝐯𝐢𝐫𝐨𝐧𝐧𝐞𝐦𝐞𝐧𝐭 𝐭𝐞𝐜𝐡𝐧𝐢𝐪𝐮𝐞 Cloud & Conteneurs = > Azure Kubernetes Service (AKS), Azure Functions Stockage & Bases de données => Azure Blob Storage, ADLS Gen2, PostgreSQL, ElasticSearch, Delta Lake Streaming & Messagerie => Event Hub, RabbitMQ Data Engineering & Logging => Apache Airflow, Apache Spark, Logstash, Azure Log Analytics Visualisation => Grafana CI/CD & Collaboration => GitHub #ProductOwner #Data #Monitoring #Observabilité #Cloud #Azure

Nous recherchons pour notre client, une entreprise de premier plan, un Data Engineer expérimenté avec une expertise en Cloud, de préférence sur Google Cloud Platform (GCP). Dans un contexte à fort enjeu de transformation digitale, la mission consistera à accompagner l’équipe Data Engineering dans la conception, le développement et l’industrialisation de pipelines de données robustes, scalables et performants. Maîtrise de Java, Spring Boot, et Maven Expertise en BigQuery Expérience solide avec Apache Airflow Connaissance approfondie du SQL Maîtrise de Dataflow Expertise en BigQuery Expérience avec Apache Airflow Utilisation de Cloud Run Connaissance de Terraform

📢 [OFFRE D’EMPLOI] Data Engineer – GCP | PySpark | BigQuery | Airflow 📍 Lieu : Paris 🕒 Expérience requise : 4 ans minimum 📅 Disponibilité : ASAP / à convenir Nous recherchons un Data Engineer expérimenté pour renforcer une équipe data dynamique intervenant sur des projets à fort volume. 🎯 Vos missions principales : Conception et développement de pipelines data scalables Traitement et transformation de données avec PySpark Exploitation de l’écosystème GCP : BigQuery, DataProc, Cloud Storage Orchestration avec Airflow / Cloud Composer Participation à l’industrialisation des workflows et à la mise en place des bonnes pratiques DevOps/DataOps

Aubay Grand Ouest recherche un Data Engineer, dans le cadre de l’accélération de l’IA chez son client grand compte du secteur bancaire. L’activité portera sur la transformation de la solution d’industrialisation de l’IA vers une nouvelle solution logicielle. Localisation : Nantes et périphérie sur site client Télétravail : 2 jours par semaine Les missions sont : 1. Cadrage Collaboration avec les équipes métiers pour comprendre leurs problématiques liées aux verbatims clients Accompagnement de la rédaction des spécifications fonctionnelles 2. Mise en place d’un dispositif d’annotation Création d’échantillons (jeux d’apprentissage, de validation et de test) Définition des règles d’annotation Création d’un formulaire sur l’outil d’annotation 3. Détection de topics et classification de verbatims Détection des topics abordés dans les verbatims et construire une catégorisation de verbatims avec l'aide du métier reposant sur les topics détectés Classification des verbatims dans chaque catégorie Intégration de l’analyse de la tonalité 4. Déploiement et suivi Optimisation des modèles pour garantir leur performance en production Développement des pipelines d’inférence robustes pour l’intégration des modèles dans les systèmes existants Collaboration avec l’équipe MLOps pour le déploiement. Suivi de la fiabilité des modèles et identifier les biais ou dérives dans le temps et procéder à leur amélioration le cas échéant. 5. Documentation et veille technologique Documentation toutes les étapes des projets pour assurer la traçabilité et la reproductibilité. Suivi de évolutions technologiques dans les domaines de l’IA Environnement technique : python, Poetry, FastApi, spark (et donc pyspark), SQL, cassandra et postgresql, Kafka, GitLab CI, Docker, Airflow, MLflow, Conda, APIs RESTful.

Analyser des ensembles de données volumineux et complexes pour relever les défis stratégiques et opérationnels. Donner aux équipes produit les moyens de naviguer dans les tableaux de bord Amplitude et de prendre des décisions éclairées par les données. Fournir des insights exploitables issus des tests A/B pour influencer la feuille de route produit. Créer et faire évoluer une infrastructure de données robuste répondant aux besoins en business intelligence et en data science. Encadrer et encadrer une équipe d'analystes, d'ingénieurs et de data scientists.

- Migrer les données existantes de Redshift vers Snowflake à l'aide de DBT et d'Airflow. - Collaborer avec des équipes transverses pour traduire les exigences métier en solutions techniques. - Concevoir et mettre en œuvre des pipelines de données, des processus ETL et des modèles de données. - Automatiser l'ingestion, la transformation et la validation des données grâce aux technologies Azure (Data Factory, Functions, Databricks). - Développer des procédures stockées, des vues et des fonctions SQL Server pour l'accès aux données et le reporting. - Optimiser les performances de l'entrepôt de données et identifier les axes d'amélioration. - Mettre en œuvre des politiques de gouvernance des données pour garantir l'exactitude, l'exhaustivité et la sécurité. - Documenter les processus et les bonnes pratiques d'ingénierie des données. - Se tenir informé des tendances du secteur et des technologies émergentes en matière d'ingénierie des données et de cloud computing.

Envie d’un nouveau challenge ? CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un Tech Lead Data Hub pour intervenir chez un de nos clients. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : Piloter la migration d’un DataHub on-prem (actuellement sous Hadoop) vers le service DataHub du groupe. Assurer la réécriture des traitements Hadoop vers Spark en optimisant les performances. Encadrer et accompagner les équipes techniques dans la montée en compétences sur les nouvelles technologies. Mettre en place et orchestrer les workflows de données avec Airflow. Optimiser et requêter les données via SQL, Starburst, Presto ou Trino. Faciliter le retro-engineering des pipelines Hadoop/Hive si nécessaire. Garantir la qualité, la robustesse et la scalabilité des traitements de données.

- Vos missions quotidiennes : Vous évoluerez dans un environnement GCP. Analyses SQL complexes nécessitant de naviguer dans les DAGs Ariflow Être garant de l'intégralité des données de ventes via le portail de DataSharing. Vous répondrez aux tickets de nos fournisseurs en anglais ou en français, ceci afin de les aider dans leur utilisation de la plateforme, dans la compréhension des KPIs ou dans la gestion de leur accès. Être en capacité de remonter les ventes manquantes auprès des équipes techniques. Même si la mission ne consiste pas principalement à des tâches de Data Engineer, être capable de réaliser des développements dans un environnement GCP serait un plus ; des connaissances sur l’outil Power BI sont également souhaitable. Il faudra faire preuve d’autonomie et être capable de gérer vos priorités. Avoir un esprit de synthèse pour partager vos analyses au sein de l’équipe.

ous interviendrez au sein de l’équipe Data Pilotage, composée d’un Product Owner et d’un ingénieur data. Votre mission portera sur l’évolution, l’industrialisation et le support de la plateforme Data4All , solution centrale d’accès aux données transverses. Vos principales responsabilités : Construction et amélioration des pipelines de traitement : Création d’indicateurs, transformation des données, gestion de la volumétrie et des coûts sur GCP Modélisation et exposition des données : Développement de modèles de données optimisés, intégration depuis la zone silver, exposition vers Data4All Industrialisation & optimisation : Mise en place CI/CD, intégration Terraform/Terragrunt, performances des environnements Data4All Collaboration active : Participation aux ateliers de cadrage, veille technique, accompagnement des utilisateurs internes