Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Intégration des modèles d’IA · Développement de processus automatisés en utilisant la technologie Airflow en relation étroite avec les métiers · Conception des solutions nécessitant l’utilisation de technologies data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données · Travaille avec différents profils data du groupe (Data Scientist, Data Engineer, Data Architect, Data Analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Les missions : · Compréhension des besoins métiers · Maintenance et évolution de ces automates et micro-services · Développement de processus automatisés en utilisant la technologie Airflow en relation étroite avec les métiers · Travaille avec différents profils data du groupe (Data Scientist, data engineer, Data Architect, data analyst) · Contribuer au développement et à l’amélioration continue des outils data interne

nous recherchons un expert devops + Apache AIFRLOW ou STARBURST ou SPARK pour fournir et maintenir l'outillage facilitant l'intégration de solutions Data ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) Fournir des standards et modèles d'intégrations de solutions Data à BNP Accompagner et former les équipes de solutions Data Les missions sont creer de l'Airflow Aas ou STARBURT ou SPARK3 Participation à la maintenance opérationnelle de l'outillage Amélioration de l'industrialisation des outils Participation au projet de migration vers Openshift et à sa sécurisation Maintien et amélioration de nos templates pour nous et nos clients Test et proposition des solutions innovantes pour améliorer notre offre de service Accompagnement des clients dans l'implémentation et le design de la sécurité Participation à l'amélioration du monitoring avec Dynatrace Participation à l'intégration de solutions Data

Le client est un acteur majeur du secteur bancaire. Dans le cadre du renforcement de sa Squad de développement pour un produit dans le cloud privé du client, une recherche est nécessaire sur un poste de développeur, capable de maintenir le produit existant et de réaliser le développement de nouvelles fonctionnalités. L'application étant déjà en en cours de développement, l'adaptabilité du candidat a reprendre de l'existant est très importante • Être force de proposition sur les choix techniques, savoir vulgariser et documenter pour les membres de l’équipe • Orientation client pour saisir les besoins, et les traduire en application technique • Correction des bugs 10 ans d'expérience nécessaire pour prétendre au poste

developper l'offre SPARK aas sur le cloud privé IBM Nous recherchons un Architecte Data - qui maitrise les notions DEVOPS et les études d'architectures des produits as a Services qu'on fournit: (Apache AIFRLOW OU STARBURST OU SPARK) L'outillage/ecosystème ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) - Challenger les nouveaux besoins des clients et les inclure dans la roadmap/release management - Fournir des standards et modèles d'intégrations de solutions Data à BNP - Accompagner et former les équipes de solutions Data

Les principales activités de la prestations sont: Construction d’offres DATA : • Packaging des nouvelles offres dans un environnement Kubernetes • L’automatisation, l’industrialisation et la documentation des solutions • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits • Assurer le RUN des solutions • Veille technologique autour de la Data: réalisation de POC, tests de performances et comparaison de solutions. Adaptions d’offres DATA existantes pour les intégrer dans l’environnement client : • Qualification des offres afin de mesurer leur niveau de maturité • L’intégration des offres Data de CA-GIP dans le SI client • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits Rôle de conseil expert : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Evaluer les tendances du marché. Utiliser ces informations pour définir une vision du produit, cohérente avec la stratégie de l'entreprise, et déterminer les roadmaps a suivre • En lien avec les architectes, identifier la meilleur solution pour répondre au besoin client • Préparer la mise en place du produit en présentant sa valeur, et des démonstrations • Définir et documenter les patterns d’usage

Nous recherchons un ANALYTICS/WEB ENGINEER pour le compte d'un grand client des secteurs de médias en place parisienne. Vous aurez à les accompagner sur le produit d'Activation au sein de la DATECH, avec un fort penchant sur les problématiques publicitaires. Vous devrez : - Gérer la DMP (Mediarithmics) en mettant à jour les collectes dans celle-ci, assister sur la création de segments et vérifier la bonne diffusion de ces derniers - Prendre en main les contraintes de ciblage sur les différents environnements en collaboration avec les différentes entité de DATECH et PUB - Travailler sur la mise en place de partenariats datas avec des annonceurs / data providers - Aider à la mise en place de tests publicitaires avec les équipes L'environnement technique de l'équipe : Snowflake, Databricks, Airflow, Azure DevOps, Mediarithmics, Liveramp

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Data Engineer (H/F) - Lille Mission à pourvoir en région Lilloise Compétences obligatoires : - AWS - Scheduling Airflow - DBT - Databricks - Pyspark Vous savez communiquer en anglais dans un contexte professionnel Votre mission : - Vous implémentez des solutions selon les règles fonctionnelles définies - Vous documentez vos actions - Vous créez des pipelines scalables de données structurées - Vous réalisez le support utilisateur en répondant à leurs questions - Vous documentez les flux implémentés - Vous prenez part à l’élaboration des bonnes pratiques de l’équipe - Vous partagez vos savoirs avec les autres Data Engineers Vous avez de l’expérience sur un poste similaire REFERENCE : EFN/DAENDE/111

En prestation au sein de l'un de nos clients : Le projet de promouvoir l'excellence opérationnelle à travers l'ensemble du groupe, en s'appuyant sur les avancées technologiques (digital, données et intelligence artificielle) ainsi que sur les talents internes. Le département concerné regroupe l'ensemble des moyens d'infrastructures informatiques du groupe et de ses filiales, tant sur le territoire national qu'international. Le département est chargé de la gestion des domaines techniques tels que les bases de données, le Big Data, les middlewares et les containers, en lien avec la production informatique du groupe. il conçoit, construit et opère des services de cloud privés et publics. La mission consiste à contribuer aux aspects suivants : Définition des architectures et des services associés Assistance auprès des différentes entités sur les sujets d’architecture technique d'infrastructure Respect des principes de sécurité dans les projets d'architecture Documentation des architectures, des principes et des bonnes pratiques Déploiement des architectures

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Principales missions et tâches à effectuer : Accompagnement de l’équipe OPS pour la migration vers Cloudera Data Plateform Compléter la Roadmap Architecture et la mettre en place (Rationalisation des environnements ; distribution Hadoop; Stratégie de Backup; Process d'onboarding: nouveau cas d'usage, nouvel utilisateur; Secret Management; SSSD; Refonte de l'organisation LDAP; Gestion des permissions; SSO; Haute disponibilité; Catalogue de données et de usecase …) Poursuivre et mettre en place la politique de Gouvernance DATA sur la plateforme. Assister l'équipe exploitation en cas de blocage dans le déploiement des livraisons, l'installation des outils, le debug. Soutenir les travaux de développement de pipeline de l'équipe DATA ING (choix techniques, optimisation de perfs, bonnes pratiques etc.). Technos/Outils du projet : Les outils de stockage : Hadoop, Hive, Hbase, Postgresql, Ceph Les outils de gestion de calcul distribué : Spark, Yarn Les outils de prototypage : Jupyter, Dataiku, Hue, Airflow Les outils d’alimentation : Kafka, Nifi Les outils d’affichage : Grafana, Tableau Les outils d’administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap Les outils de proxyfication : Knox, HAProxy Les outils de supervision : Prometheus Les outils de configuration management : Puppet, Ansible Outil de secret management: Vault Cloud Computing: Openstack

Nous recherchons pour le compte d'un de nos clients dans le secteur des médias un Ingénieur Data freelance pour une durée de 12 mois sur la base d'un projet. Rôle : Data Ingénieur Lieu de travail : Paris Durée du contrat : 12 mois Travail hybride Date de début : Novembre/Décembre Principales responsabilités : Construire et améliorer les produits de données pour soutenir une culture axée sur les données et des expériences utilisateur personnalisées. Travailler au sein de l'équipe d'ingénierie analytique pour : Collecter des données brutes à partir de systèmes dorsaux, d'interactions avec les utilisateurs et d'autres sources. Transformer les données en ensembles de données et métriques de haute qualité et bien définis. Fournir un accès aux données via des tableaux de bord en libre-service, des API et d'autres plateformes. Collaborer avec des analystes, des développeurs et des parties prenantes au sein de différentes équipes (produit, marketing, ventes, finance, juridique, etc.). Assurer la fiabilité, l'exactitude et l'accessibilité des systèmes de données. Environnement Technique : Principale pile technologique : Google Cloud Platform, BigQuery, Scala, Airflow, Google Dataflow, dbt, Tableau, Mixpanel, Terraform. Si le rôle vous intéresse, veuillez postuler directement!

Mon client est une entreprise reconnue dans le domaine de la transformation et de l'analyse de données, dédiée à aider ses partenaires à exploiter leurs données stratégiques pour gagner en performance. Acteur majeur dans l'intégration de solutions Cloud, il accompagne divers secteurs, du retail à la finance, en passant par la santé. L'entreprise rassemble des talents internationaux autour de projets innovants et est en pleine croissance. Description du Poste : En tant que Data Engineer Senior spécialisé en GCP & AWS, vous participerez à la conception, au développement et au déploiement de pipelines de données robustes et évolutifs sur les plateformes Cloud. Vous collaborerez étroitement avec les Data Scientists, Data Analysts et équipes DevOps pour assurer la fiabilité et l'optimisation des architectures de données sur des projets à fort impact. Responsabilités : • ???? Développer et Gérer des Pipelines de Données : Concevoir, déployer et gérer des pipelines complexes sur Google Cloud Platform (GCP) et Amazon Web Services (AWS) pour l'ingestion, la transformation et la modélisation des données. • ???? Optimiser les Flux de Données : Identifier et résoudre les points de latence pour maximiser la performance et l'efficacité des architectures Big Data. • ?? Gérer les Données en Temps Réel : Mettre en place des solutions pour gérer des données en streaming en utilisant des outils tels qu'Apache Kafka, Google Pub/Sub ou Kinesis. • ???? Assurer la Sécurité et la Conformité : Veiller à la conformité des données en déployant des pratiques de gouvernance et de catalogage. • ???? Collaborer avec les Équipes : Travailler main dans la main avec les équipes Data Science et DevOps pour déployer des modèles de Machine Learning en production et contribuer aux initiatives IA. • ????? Automatiser et Maintenir les Pipelines : Intégrer des technologies de CI/CD et des outils de monitoring pour garantir la disponibilité et la performance continue des flux de données. Environnement Technique : • Cloud : Google Cloud Platform (BigQuery, Dataflow, Pub/Sub, Dataproc), Amazon Web Services (Redshift, Glue, Kinesis, Lambda) • Data Engineering : Spark, Airflow, Python, SQL, Terraform, Docker • Big Data & Streaming : Apache Kafka, Google Pub/Sub, Kinesis • Sécurité et Conformité : IAM, gestion des rôles et permissions, chiffrement des données Profil Recherché : • Formation : Diplôme en informatique, ingénierie ou domaine connexe. • Expérience : Minimum 5 ans d'expérience en Data Engineering, avec une expertise en GCP et AWS. • Compétences Techniques : Excellente maîtrise de Python et SQL, et des outils d'orchestration de données (Airflow, Spark) ainsi que de CI/CD. Expérience en data warehousing (BigQuery, Redshift) appréciée. • Esprit d'Analyse et Autonomie : Solide capacité à optimiser et structurer des flux de données, et aptitude à gérer plusieurs projets simultanément. • Langues : Maîtrise du français et de l'anglais (écrit et oral). Pourquoi Rejoindre ? Mon client valorise l'innovation, la collaboration et l'excellence technique. Il propose un environnement dynamique, des perspectives d'évolution, et un accès aux formations et technologies de pointe dans le domaine de la data. Rejoignezuneéquipepassionnéeetcontribuez à desprojetstransformantsdansledomainedu Cloud etdesdonnées.

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

L'équipe DCF (Data Component and Framework) est une équipe transverse dont l'objectif est de construire un socle technique et des outils permettant à chaque Business Unit local ou international de mettre en place en autonomie ses Uses cases Data. Environnement technique : • Stockage : Google Cloud Storage • Base de données : BigQuery, Datastore, Firestore, MongoDB • Monitoring : Stackdriver • Ordonnanceur : Airflow puis Google Cloud Composer • Compute: Cloud Function, Compute engine • API: App Engine, Cloud run, FastAPI • Déploiement : Terraform, Pulumi • Versioning : Git • Langage: Python, Shell • CICD : Cloud build, Github Action

À propos de l'opportunité : Envie de contribuer aux projets data de demain au sein d'une structure à l'avant-garde de l'innovation ? Nous recherchons un Data Engineer Senior spécialisé en Google Cloud Platform (GCP), passionné par les environnements Cloud et motivé par la création d'architectures de données robustes et scalables. Rejoignez une équipe data dynamique, qui travaille sur des projets divers et stimulants pour accompagner la transformation numérique de ses clients. Missions ????? : • ???? Concevoir et Développer des Pipelines de Données : Concevoir et optimiser des pipelines ETL/ELT dans un environnement GCP, en assurant la performance et la fluidité des flux de données. • ???? Optimiser les Processus de Collecte et Transformation : Travailler avec les équipes Data Science et Analytics pour automatiser et améliorer l'ingestion, la transformation et le stockage de données, avec des outils comme Dataflow et BigQuery. • ????? Mettre en Place des Meilleures Pratiques DevOps : Implémenter des processus de CI/CD et des solutions de monitoring pour garantir des déploiements rapides et fiables. • ????? Participer à la Stratégie de Gouvernance et Sécurité : Veiller à la sécurité et à la conformité des données en respectant les standards de sécurité et en participant à la mise en œuvre de pratiques de gouvernance data. • ???? Collaborer avec les Équipes : Travailler en étroite collaboration avec les équipes produits, data scientists, et analystes pour bien aligner les solutions techniques avec les objectifs business. Environnement Technique ???? : • Cloud : Google Cloud Platform (BigQuery, Dataflow, Pub/Sub, Dataproc) • Outils d'Ingénierie de Données : Spark, Apache Beam, Airflow • Langages de Programmation : Python, SQL • Outils de DevOps : Terraform, Docker, Kubernetes • Gouvernance et Sécurité : IAM, gestion des rôles, chiffrement de données Profil Recherché : • Expérience : Minimum 5 ans en ingénierie de données avec une spécialisation Cloud, idéalement sur Google Cloud Platform. • Compétences Techniques : Maîtrise de GCP (BigQuery, Dataflow), avec de solides compétences en Python et SQL pour le traitement et la transformation de données. • Connaissances Avancées en Cloud et Data Engineering : Expérience dans la conception et l'optimisation de pipelines ETL/ELT. • Esprit d'Analyse et Résolution de Problèmes : Capacité à identifier des solutions data innovantes et efficaces, en tenant compte des contraintes de temps et des impératifs business. • Qualités Personnelles : Proactivité, esprit d'équipe, rigueur et capacité à communiquer efficacement avec des interlocuteurs variés (techniques et non techniques). Pourquoi Rejoindre ? ???? Notre environnement est à la fois stimulant et axé sur l'innovation, où chaque membre de l'équipe peut exprimer sa créativité technique et avoir un réel impact sur les projets clients. En rejoignant cette équipe, vous participerez activement à la transformation numérique et bénéficierez d'opportunités de développement professionnel.