Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Paris

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Intégration des modèles d’IA · Développement de processus automatisés en utilisant la technologie Airflow en relation étroite avec les métiers · Conception des solutions nécessitant l’utilisation de technologies data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données · Travaille avec différents profils data du groupe (Data Scientist, Data Engineer, Data Architect, Data Analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Cherry Pick est à la recherche d'un "Lead Dev BI (Airflow)" pour un client dans le secteur du conseil juridique. Consultant Migration Talend vers Airflow & BigQuery (GCP) Contexte de la mission : Dans le cadre d’une refonte de notre infrastructure ETL, nous recherchons un consultant pour accompagner la migration des jobs existants de Talend vers Airflow, en exploitant la puissance de BigQuery sur GCP. L’objectif est d’assurer la transition technique tout en renforçant la communication avec les métiers pour garantir une adoption optimale des nouvelles solutions. Cette mission nécessite une forte implication opérationnelle, de l’autonomie, et des compétences en architecture technique. Migration technique : Réaliser la migration des workflows existants de Talend vers Airflow. Optimiser les pipelines pour exploiter pleinement BigQuery sur GCP. Développer, tester et documenter les nouveaux jobs Airflow. Communication et collaboration : Travailler en collaboration étroite avec les équipes métiers pour comprendre leurs besoins. Vulgariser les concepts techniques et proposer des solutions adaptées. Assurer un transfert de connaissances aux équipes internes. Support opérationnel : Intervenir directement sur les jobs existants pour répondre aux besoins immédiats. Architecture technique : Participer à la réflexion architecturale pour structurer les workflows dans Airflow Documenter les bonnes pratiques et définir les standards techniques.

Fiche de Poste – Tech Lead / Développeur Contexte de la mission : Notre client recherche des profils expérimentés pour intervenir sur un projet stratégique. L’équipe sera responsable de la conception et du développement des plateformes permettant le calcul des indicateurs de performance. Ces plateformes utilisent des technologies avancées telles qu’AWS, Airflow et Snowflake. Missions principales : Tech Lead : Superviser et accompagner les équipes de développement dans la mise en œuvre des solutions techniques. Garantir la qualité des livrables et la bonne gestion des projets techniques. Développeur : Participer au développement des plateformes, en particulier dans la conception des solutions techniques pour le calcul des indicateurs et des rapports. Assurer la mise en place et l'optimisation des processus de calcul des indicateurs sur des environnements de données complexes. Développer des solutions évolutives et robustes sur les plateformes cloud, principalement AWS, et participer à l'intégration des différents outils et systèmes. Technologies et outils utilisés : AWS : Mise en place et gestion des ressources cloud (EC2, S3, Lambda, etc.) Airflow : Orchestration des workflows de données. Snowflake : Data warehouse pour la gestion des données et l’analyse. Profils recherchés : Tech Lead : Expérience significative en gestion d’équipes techniques et en développement sur des plateformes cloud. Compétences en gestion de projets et maîtrise des outils mentionnés ci-dessus. Développeur : Forte expérience en développement, notamment sur des environnements cloud. Bonne maîtrise de Python, SQL, ainsi que des outils comme Snowflake et Airflow. Compétences clés : Expertise en AWS, Airflow, et Snowflake. Conception et développement de solutions techniques. Maîtrise des processus de gestion de données et des calculs d’indicateurs. Capacité à travailler en équipe et à coordonner des projets techniques. Esprit d’analyse et compétences en résolution de problèmes complexes.

Conception et développement de pipelines de données : Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d’autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python). Optimisation et maintenance : Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.). Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées. Automatisation des processus : Mettre en place et gérer des workflows d’automatisation des tâches avec Apache Airflow . Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins . Collaboration avec les équipes de data science et d’infrastructure : Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès. Travailler étroitement avec les équipes d’infrastructure pour assurer la stabilité et la scalabilité des pipelines de données. Veille technologique : Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines. Langages de programmation : Scala et Python : Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python. Technologies Big Data : Apache Spark : Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python. Apache Airflow : Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production. Outils de CI/CD : Jenkins : Expérience avec Jenkins pour l’automatisation des déploiements et des tests des pipelines de données. Bases de données et gestion des données : Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

Notre client recherche un Architecte pour travailler sur une refonte du SI niveau groupe. L'objectif est d'intégrer les équipes IaaS et de travailler sur plusieurs chantiers techniques : Design d'architecture Infra Infra as a service, basée sur IBM, VMWare DevOps (accompagnement des développeurs sur certains sujets sensibles), avec GitlabCI Migration de l'orchestrateur (Java, Kubernetes vers Python, Terraform, Airflow) Accompagnement des équipes sur des choix d'architecture, et solutions de backup Organisation en Agile Scrum Confluence

En tant que consultant, vous êtes en charge de participer aux développements au sein de notre équipe projets Votre expérience vous permet de proposer des améliorations et d’être force de proposition quant aux choix technologiques , fonctionnalités à intégrer dans les solutions Suivant les projets et votre expertise, vous participez aux phases d'analyse , de développement , de test et de mise en production des applications. Vous participerez au développement de la Plateforme dédiée à l’intelligence artificielle, et services d’IA à destination des unités business internes et partenaires externes.

Dans une démarche orientée qualité (documentation, tests de non régression automatisés, usine de builds…), le candidat définira et implémentera les apis et écrans nécessaire à l'execution des process business. Il orchestrera les différents composants intervenant dans la production des résultats et apportera un soin particulier à l'élaboration et la validation d'une plateforme stable, sécrusisée, scalable et performante. Il aidera les tema lead et tech lead à organiser la vie de l'équipe et sera un référent technique. La Mission à réaliser se déclinera notamment à travers: - La montée en compétence sur les applications existantes - La mise en place de builds et des outils de tests et de maintenance associés - La définition des apis, modules, libraires et écrans - Le lotissement des développements - L'implémentation des différents besoins - Les optimisations et évolutions diverses - La rédaction de tests en collaboration avec les Functional Analysts - La documentation et les manuels d'utilisations - L'assistance et le support aux utilisateurs - Le support niveau2, résolution d'incidents et résolution de problèmes (root causes d'incidents récurrents) - Le suivi post-release des livrables

🚀 Data Engineer Confirmé - Rejoignez un acteur emblématique du retail de luxe ! Vous êtes passionné(e) par la data et souhaitez contribuer à la transformation digitale d'une entreprise iconique dans le secteur du retail haut de gamme ? Cette opportunité est pour vous ! Stack moderne : GCP, BigQuery, Dataflow, Airflow. Votre mission : Concevoir des pipelines robustes pour des projets data stratégiques (analyses clients, recommandations produits, supply chain), collaborer avec des équipes pluridisciplinaires, et jouer un rôle clé dans l'évolution technologique de l'entreprise. 🌟 Ce que vous gagnez : Travailler au cœur de la transformation digitale d'une enseigne prestigieuse Culture d'innovation et projets variés Package attractif + télétravail hybride Prêt(e) à rejoindre une aventure data ambitieuse ? DM ou postulez dès maintenant ! 💼

Mon client est une entreprise reconnue dans le domaine de la transformation et de l'analyse de données, dédiée à aider ses partenaires à exploiter leurs données stratégiques pour gagner en performance. Acteur majeur dans l'intégration de solutions Cloud, il accompagne divers secteurs, du retail à la finance, en passant par la santé. L'entreprise rassemble des talents internationaux autour de projets innovants et est en pleine croissance. Description du Poste : En tant que Data Engineer Senior spécialisé en GCP & AWS , vous participerez à la conception, au développement et au déploiement de pipelines de données robustes et évolutifs sur les plateformes Cloud. Vous collaborerez étroitement avec les Data Scientists, Data Analysts et équipes DevOps pour assurer la fiabilité et l'optimisation des architectures de données sur des projets à fort impact. Responsabilités : 📈 Développer et Gérer des Pipelines de Données : Concevoir, déployer et gérer des pipelines complexes sur Google Cloud Platform (GCP) et Amazon Web Services (AWS) pour l'ingestion, la transformation et la modélisation des données. 🚀 Optimiser les Flux de Données : Identifier et résoudre les points de latence pour maximiser la performance et l'efficacité des architectures Big Data. ⏱️ Gérer les Données en Temps Réel : Mettre en place des solutions pour gérer des données en streaming en utilisant des outils tels qu'Apache Kafka, Google Pub/Sub ou Kinesis. 🔒 Assurer la Sécurité et la Conformité : Veiller à la conformité des données en déployant des pratiques de gouvernance et de catalogage. 🤝 Collaborer avec les Équipes : Travailler main dans la main avec les équipes Data Science et DevOps pour déployer des modèles de Machine Learning en production et contribuer aux initiatives IA. 🛠️ Automatiser et Maintenir les Pipelines : Intégrer des technologies de CI/CD et des outils de monitoring pour garantir la disponibilité et la performance continue des flux de données. Environnement Technique : Cloud : Google Cloud Platform (BigQuery, Dataflow, Pub/Sub, Dataproc), Amazon Web Services (Redshift, Glue, Kinesis, Lambda) Data Engineering : Spark, Airflow, Python, SQL, Terraform, Docker Big Data & Streaming : Apache Kafka, Google Pub/Sub, Kinesis Sécurité et Conformité : IAM, gestion des rôles et permissions, chiffrement des données Profil Recherché : Formation : Diplôme en informatique, ingénierie ou domaine connexe. Expérience : Minimum 5 ans d'expérience en Data Engineering, avec une expertise en GCP et AWS. Compétences Techniques : Excellente maîtrise de Python et SQL, et des outils d'orchestration de données (Airflow, Spark) ainsi que de CI/CD. Expérience en data warehousing (BigQuery, Redshift) appréciée. Esprit d'Analyse et Autonomie : Solide capacité à optimiser et structurer des flux de données, et aptitude à gérer plusieurs projets simultanément. Langues : Maîtrise du français et de l'anglais (écrit et oral). Pourquoi Rejoindre ? Mon client valorise l'innovation, la collaboration et l'excellence technique. Il propose un environnement dynamique, des perspectives d'évolution, et un accès aux formations et technologies de pointe dans le domaine de la data. Rejoignezuneéquipepassionnéeetcontribuez à desprojetstransformantsdansledomainedu Cloud etdesdonnées.

• Concevoir, créer et maintenir des pipelines de données évolutifs pour prendre en charge les processus d'intégration, de transformation et de chargement des données (ETL) à l'aide d'outils tels qu'Apache Airflow, Apache NiFi et Talend. • Développer et optimiser des modèles de données, des schémas et des bases de données pour garantir un stockage et une récupération efficaces des données à l'aide de technologies telles que Snowflake, Cassandra et MongoDB. • Collaborer avec des data scientists, des analystes et d'autres parties prenantes pour comprendre les exigences en matière de données et fournir des solutions de données de haute qualité. • Mettre en œuvre des processus de qualité et de validation des données à l'aide d'outils tels que Great Expectations et dbt pour garantir l'exactitude et la cohérence des données. • Surveiller et dépanner les pipelines et les systèmes de données à l'aide d'outils de surveillance tels que Prometheus et Grafana pour identifier et résoudre rapidement les problèmes. • Rester au courant des dernières tendances et technologies du secteur pour améliorer en permanence notre infrastructure de données.

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. - MDx Datalake : une application qui copie les données MSD et MATRIX sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

NOTRE CLIENT Pionnier dans le domaine des solutions de plateforme, notre client offre une suite innovante permettant aux sociétés de transformer leur e-commerce pour accélérer leur croissance de manière durable et rentable. Depuis le début des années 2010, il accompagne les entreprises B2C et B2B en leur fournissant des technologies avancées, sécurisées et évolutives pour digitaliser leur activité, étendre leur offre via la marketplace ou le dropship, optimiser la gestion des catalogues et paiements de fournisseurs, offrir une expérience d'achat personnalisée à leurs clients, et augmenter leurs profits grâce au retail media. En tant que Data Engineer (Senior) au sein de l'équipe Data, vos principales missions consisteront à : - Contribuer à l'enrichissement de la plateforme de données (ETL). - Améliorer la robustesse des pipelines de production pour les applications de - - Machine Learning (inférence en temps réel, etc.). - Intégré(e) dans une équipe de spécialistes en données (data engineers, machine - learning engineers, data scientists, data analysts), vous jouerez un rôle clé pour garantir la position dominante de la solution sur son marché. STACK ET OUTILS Technologies : Apache Spark, Kafka, AWS, Databricks, Python, Airflow, Mlflow, TensorFlow, Delta Lake, Superset, Kubernetes, Redshift, SQL, Terraform, Ansible. LES MISSIONS - Concevoir et implémenter une architecture performante, robuste, scalable et avec des coûts maîtrisés pour les applications Spark ainsi que pour les pipelines de production de Machine Learning (évaluation des feature stores, refactoring de DAG Airflow). - Accompagner les Data Scientists lors de la mise en production (relecture de code, pair programming) et établir les meilleures pratiques. - Optimiser et améliorer la CI/CD de l'équipe en collaboration avec l'équipe SRE. - Assurer la montée en compétences des membres de l’équipe sur les sujets de MLOps et Data Engineering. - Explorer les meilleures façons d'intégrer les données Google Analytics dans la plateforme de données. - Partager vos connaissances et présenter les travaux devant toutes les équipes techniques.

À propos de l'opportunité : Envie de contribuer aux projets data de demain au sein d'une structure à l'avant-garde de l'innovation ? Nous recherchons un Data Engineer Senior spécialisé en Google Cloud Platform (GCP) , passionné par les environnements Cloud et motivé par la création d'architectures de données robustes et scalables. Rejoignez une équipe data dynamique, qui travaille sur des projets divers et stimulants pour accompagner la transformation numérique de ses clients. Missions 🏗️ : 📊 Concevoir et Développer des Pipelines de Données : Concevoir et optimiser des pipelines ETL/ELT dans un environnement GCP, en assurant la performance et la fluidité des flux de données. 🚀 Optimiser les Processus de Collecte et Transformation : Travailler avec les équipes Data Science et Analytics pour automatiser et améliorer l'ingestion, la transformation et le stockage de données, avec des outils comme Dataflow et BigQuery. 🛠️ Mettre en Place des Meilleures Pratiques DevOps : Implémenter des processus de CI/CD et des solutions de monitoring pour garantir des déploiements rapides et fiables. 🕹️ Participer à la Stratégie de Gouvernance et Sécurité : Veiller à la sécurité et à la conformité des données en respectant les standards de sécurité et en participant à la mise en œuvre de pratiques de gouvernance data. 🤝 Collaborer avec les Équipes : Travailler en étroite collaboration avec les équipes produits, data scientists, et analystes pour bien aligner les solutions techniques avec les objectifs business. Environnement Technique 💻 : Cloud : Google Cloud Platform (BigQuery, Dataflow, Pub/Sub, Dataproc) Outils d'Ingénierie de Données : Spark, Apache Beam, Airflow Langages de Programmation : Python, SQL Outils de DevOps : Terraform, Docker, Kubernetes Gouvernance et Sécurité : IAM, gestion des rôles, chiffrement de données Profil Recherché : Expérience : Minimum 4 ans en ingénierie de données avec une spécialisation Cloud, idéalement sur Google Cloud Platform. Compétences Techniques : Maîtrise de GCP (BigQuery, Dataflow), avec de solides compétences en Python et SQL pour le traitement et la transformation de données. Connaissances Avancées en Cloud et Data Engineering : Expérience dans la conception et l'optimisation de pipelines ETL/ELT. Esprit d'Analyse et Résolution de Problèmes : Capacité à identifier des solutions data innovantes et efficaces, en tenant compte des contraintes de temps et des impératifs business. Qualités Personnelles : Proactivité, esprit d'équipe, rigueur et capacité à communiquer efficacement avec des interlocuteurs variés (techniques et non techniques). Pourquoi Rejoindre ? 🌐 Notre environnement est à la fois stimulant et axé sur l'innovation, où chaque membre de l'équipe peut exprimer sa créativité technique et avoir un réel impact sur les projets clients. En rejoignant cette équipe, vous participerez activement à la transformation numérique et bénéficierez d'opportunités de développement professionnel.

Nous recherchons un(e) Service Manager pour superviser et optimiser la gestion des systèmes informatiques au sein du département qui intègre et exploite les infrastructures et services IT pour plusieurs entités du groupe, incluant la banque de détail, la banque d'investissement, et les directions fonctionnelles. Vous serez en charge du maintien en conditions opérationnelles (MCO) et du pilotage de la production pour le service Oracle Cloud Platform , tout en coordonnant les développements et évolutions avec les équipes techniques et les Product Owners. Missions principales : Supervision opérationnelle : Garantir le MCO, suivre les KPI de production et piloter les ressources provisionnées pour les utilisateurs. Assurer le suivi quotidien de l’état du service OCP et gérer les incidents. Coordination des développements : Travailler en collaboration avec le PO pour prioriser les demandes et piloter les développements des fonctionnalités. Garantir la qualité des développements en alignement avec les standards IT. Support technique : Assister à la mise en œuvre d'une API pour la gestion des instances Oracle sur des serveurs virtuels Linux. Contribuer au développement du control plane en Python/Flask et des workflows backend sur Airflow. Documentation et reporting : Rédiger des documentations techniques (diagrammes UML) et assurer la mise à jour des livrables liés à la plateforme.

À propos de notre client : Notre client est un acteur majeur du prêt-à-porter, reconnu pour son innovation et sa présence internationale. Avec plus de 1 500 magasins dans plus de 50 pays, l'entreprise cultive une relation unique avec sa clientèle à travers ses marques phares. Poste : Data Engineer Confirmé (H/F) Dans le cadre de sa transformation digitale, notre client recherche un Data Engineer confirmé pour renforcer son équipe Data et participer à des projets stratégiques visant à optimiser l'expérience client et les processus internes. Vos missions : Concevoir, développer et maintenir des pipelines de données. Intégrer et transformer des données provenant de diverses sources pour répondre aux besoins métiers. Collaborer avec les équipes marketing, e-commerce et IT pour fournir des solutions data adaptées. Assurer la qualité, la sécurité et la performance des infrastructures de données. Participer à l'implémentation des meilleures pratiques en matière de gouvernance des données. Votre profil : Expérience : 3 à 5 ans en tant que Data Engineer Compétences techniques : Maîtrise des services GCP : BigQuery, Dataflow, Pub/Sub, Cloud Storage. Solides compétences en Python et SQL pour le développement de pipelines ETL. Connaissance des bases de données relationnelles et non relationnelles. Une expérience avec des outils tels qu'Airflow, Terraform ou Apache Beam est un plus. Qualités personnelles : Esprit analytique, autonomie, capacité à travailler en équipe et sens de l'innovation. Ce que nous offrons : Intégrer une entreprise leader dans son secteur, en pleine transformation digitale. Participer à des projets d'envergure avec des défis techniques stimulants. Un environnement de travail collaboratif et bienveillant. Télétravail partiel possible. Rémunération attractive selon profil et expérience. Lieu : Poste basé à Paris, avec possibilité de télétravail partiel. Rejoignez une entreprise innovante et contribuez à sa transformation digitale en apportant votre expertise en ingénierie des données !

Je suis à la recherche pour un de nos clients d'un Référent technique Socles IT (Datalab, CI/CD, APIs).  Apporter le support nécessaire aux entités dans leur utilisation accompagnement sur Talend/Java et sur l'amélioration de la performance de leur JOB ainsi que sur les bases de données (VERTICA/Oracle). Impliquant le suivi de migrations, l’amélioration des processus, l’administration de la TMC et l’entretien du lien avec l’éditeur et le support.  Développer les nouveaux composants (Talend / Java / Shell / Oracle / Vertica / Snowflake / Jupyter / Python) afin d'alléger le travail des entités dans la Data Factory et permettre aux entités de se focaliser sur leur business.  Assurer le RUN (niveau 3) de l'infrastructure en utilisant les composants CA-GIP pour debugger les applicatifs et pour apporter des solutions efficientes (ElasticSearch/Logstash/Kibana/Grafana).  Evaluer et valider les estimations de l’infogérant et des sous-traitants.  Accompagner et superviser les missions confiées aux sous-traitants.  Analyse, conception et mise en place d’un monitoring centralisé des flux Datawarehouse. • Connaissances techniques : - Expérimenté(e) sur la mise en place des flux d’ingestion des données (ETL Talend…) - Maitrise des outils de DevOps et des langages de programmation (java, spark, elk, kubernetes, gitlab, jenkins, spring Framework, unix, shell) - Connaissance Hadoop, Bases de données relationnelles et non relationnelles (Oracle, Snowflake, Vertica) - Notions des outils d’explorations de données mis à disposition sur le Datalake/Datalab (SAS, Qliksense, Dataiku, Jupyter). - Technologies complémentaires : Active Directory, SSO, AWS s3, AWS Bedrock, wso2, Jfrog Artifactory, Docker, MLflow, Airflow, Terraform.