Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un(e) Ingénieur(e) DEVOPS / Spécialiste MLOps pour rejoindre notre équipe dans le cadre d’une mission stratégique visant à optimiser et déployer des solutions Data au sein du Groupe. Les principales responsabilités incluent : Mise en œuvre opérationnelle et technique des produits Data : Industrialiser et automatiser le déploiement de la plateforme Dataiku. Tester et maintenir la plateforme afin de garantir sa sécurité, sa résilience et sa disponibilité, en respectant les engagements pris avec les différentes entités du Groupe. Documenter les travaux réalisés pour un usage interne ou pour la présentation de l’offre aux entités. Accompagner les métiers dans leur prise en main de la plateforme. Gérer les incidents en respectant les engagements définis dans l’offre. Gestion de projet : Être le point de contact opérationnel privilégié pour les clusters et/ou entités. Participer à l’élaboration des formations et des présentations destinées aux référents des clusters et entités consommatrices (ou potentiellement consommatrices) de l’offre. Contribuer aux réunions de co-construction de la roadmap et à sa mise en œuvre. Prendre le lead sur des aspects ou fonctionnalités techniques identifiés de l’offre. Participer ou réaliser des démonstrations et des WebTech autour de la plateforme MLOps. S’impliquer dans l’ensemble des rituels de la Squad, de la plateforme et du socle technique.

Contexte : 3 jours sur site en périphérie lyonnaise + 2 jours télétravail Les missions attendues par le Data Engineer Big Data (H/F) : Notre domaine fournit les services IT pour l’activité Professional Coffee Machine (PCM) : Digital Platform PCM, un datalake Azure dédié et des reportings pour nos clients et équipes internes (hors scope de la recherche) Back-office process (ERP et Field Service Management) : des reportings corporate et locaux sous SAP BW, Analysis for Office ou encore Qlik Sense DATA ENGINEER CONFIRME Dans le cadre de la Digital Platform PCM, nous recherchons un·e Data Engineer confirmé·e qui aura pour missions de prendre en charge des tâches de développement sur des projets de build pour fournir les data pipelines du Datalake et d’intervenir sur le maintien en condition opérationnelle du Datalake. Les développements réalisés permettent aux développeurs Qlik Sense et Azure Dashboard de construire les reports adéquates pour nos clients. Une expérience requise dans ce type d’environnement de 3 ans minimum est pré-requise. Contexte de la mission La mission s’opère en 3 jours sur site et 2 jours en télétravail. Le site est situé à Ecully dont 2 jours au campus et 1 journée au 4M. La mission est un remplacement temporaire d'un membre de l'équipe actuellement composée de 2 Data Engineer et pour une durée de 6 mois minimum. Démarrage souhaitée fin avril/début mai pour une date de fin prévisionnelle fin novembre 2025.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Spark/AWS Description Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise. Livrables Définir et analyser des structures de données, Contribuer aux assets des différentes équipes produits pour interconnecter et collecter les données, Mettre à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données), Être garant de la production (mise en place de monitoring, d'alerting et intervention si nécessaire), Développer et maintenir le continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés), Construire l’architecture cloud AWS qui hébergera notre infrastructure existante ou future, Présenter et expliquer les réalisations à des publics métiers et techniques.

Développer et maintenir des pipelines de données actuarielles, assurer la qualité des données et contribuer à divers projets d'analyse de données sur une plateforme DATA moderne. Développer et maintenir des pipelines de données robustes et évolutifs sur Databricks. Assurer la qualité et l'intégrité des données collectées et traitées. Collaborer avec les équipes d'inventaire pour comprendre les besoins en matière de données et fournir des solutions adaptées. Participer à l'optimisation des performances des bases de données et des systèmes de traitement des données. - Contribuer à la documentation des processus et des flux de données.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Vous êtes Ingénieur Support Applicatif et vous souhaitez évoluer dans un environnement bancaire stimulant et intervenir sur des applications stratégiques ? Alors, nous avons la mission qu’il vous faut ! Nous recherchons un·e qu’Ingénieur Support Applicatif pour l’un de nos clients du secteur bancaire. Dans le cadre de cette mission, vous serez en charge du support et du bon fonctionnement des applications dédiées aux risques financiers, notamment sur l’application BALE 4. Vos missions seront les suivantes : • Assurer le suivi opérationnel de l’activité (gestion des incidents Niveaux 1, 2 et 3, demandes et problèmes) • Superviser et gérer la production applicative • Accompagner les utilisateurs et gérer les changements applicatifs • Apporter votre expertise sur les technologies KUBE (Spark, Minio S3, Oracle, Kubernetes, ELK, ArgoCD, ArgoWorkFlow) • Collaborer avec les équipes IT, projets et production pour optimiser le fonctionnement des applications • Contribuer aux plans d’amélioration et suivre les actions de remédiation • Assurer la gestion des vulnérabilités et participer aux initiatives de sécurité (plans de secours, audits, etc.) • Être le premier point de contact IT pour les métiers (conseils, documentation, communication) • Participer aux comités de suivi (RUN, COPIL, sécurité, gouvernance métier, etc.) • Produire des indicateurs de suivi et fournir des supports aux équipes métier • Gérer les plans d’obsolescence et assurer l’évolution des applications • Intervenir sur des sujets transverses ou dédiés selon les besoins

Notre client dans le secteur Aérospatial et défense recherche un/une Tech Lead Big Data H/F Description de la mission : Dans le cadre d'un remplacement au sein de ses équipes, notre client va rechercher un Freelance expérimenté sur la partie Big Data. Vous interviendrez en tant que Technical Leader sur l'activité d'une application sensible de maintenance prédictive de notre client, vous serez en charge des activités suivantes : - Accompagner l’évolution du produit en relation en avec le métier - Pilotage technique de l’équipe composée d'environ 15 personnes - Coordination et échanges avec les Product Owners (AMO dans la direction métier) et quelques Key Users.

Notre souhaite une prestation d'accompagnement dans le cadre de l’accélération de l’IA d’une grande banque française. L'objectif est de renforcer l'équipe en charge de la mise en place et de l'optimisation des solutions de traitement de données massives, en s'appuyant sur des technologies Big Data et d'intelligence artificielle. Dans ce cadre, nous recherchons un Data Engineer Spark pour intégrer une équipe spécialisée et intervenir sur des problématiques de Delivery. La mission consiste à assurer la mise en place, l'optimisation et le maintien des règles métier dans un environnement de production à forte volumétrie. Les principales missions seront : Écriture, test et validation des règles métier en collaboration avec les équipes métiers et IT ; Développement et maintenance des règles dans Rule Designer et Decision Center ; Contribution à l'amélioration et à l'optimisation des traitements existants ; Analyse des besoins, modélisation des données et rédaction de spécifications fonctionnelles et techniques ; Participation aux ateliers et aux échanges avec les parties prenantes afin de garantir la bonne implémentation des solutions.

Bonjour, Dans le cadre de ses projets clients Visian est à la recherche d'un Data Ops AWS. nous recherchons un profil Data OPS/devOPS disposant d'une bonne expérience sur le cloud AWS avec une appétence DATA. Outre les compétences techniques, l'état d'esprit et la personnalité seront des points d'attention. Ta^ches Assurer l'exploitation de la Data Platform au quotidien Accompagner le DELIVERY dans le cycle des releases Maintien opérationnel des outils d’accès aux données de l’entreprise et à l'infrastructure Améliorer la supervision + l'alerting de l'infrastructure Surveillance et optimisation des coûts d’infrastructure Dynamiser le fonctionnement sur les environnements hors PROD Participation aux développements sur le socle Data Assistance et support aux utilisateurs (Équipes technique et métiers) Appliquer les règles définies par la Gouvernance Data Accompagner les équipes Data dans la définition d’une architecture technique cible. Être garant de la stack technique utilisée par les différentes équipes Data et travailler avec les équipes pour l'améliorer en continu Mise en place d'outils pour faciliter le développement et le suivi de produits Data dans notre écosystème avec aussi un accompagnement. Livrables • Suivi opérationnel : mise en place et suivi de métriques sur nos environnements de prod et hors prod (intégration, recette), suivi du statut des environnements, support technique sur les environnements. • Contribution aux releases et déploiements/livraisons de nos assets en prod et hors prod. • Industrialisation de nos processus et pratiques (gestion des versions, releases, releases notes, notes d’installation, procédure de déploiement etc). • Prise en charge des évolutions techniques sur les produits : montée de versions, sujets de sécurité, évolutions des pods ou de pipelines. • Participation au suivi sécurité sur nos assets. • Participation à la conception et à la réalisation de nos produits : infrastructure et besoins non fonctionnels (monitoring, performance, exploitation…). Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

Spécialisé dans le secteur bancaire, l'entreprise recherche deux Business Analysts orientés Data pour renforcer son équipe. Les candidats idéaux auront une solide expérience en bases de données SQL et seront capables de travailler avec divers outils et technologies de traitement de données. Compétences requises : Bases de données SQL : Maîtrise obligatoire. Datalake Cloudera : Connaissance souhaitée. HDFS (stockage) : Connaissance souhaitée. Framework et traitement de données : Apache Spark Indexima pour l'indexation de données Profil recherché : Formation scientifique ou technique (ingénierie, informatique, mathématiques, etc.) pour une montée en compétence rapide. Capacité à démarrer dès que possible (ASAP). Anglais professionnel : Travail principalement en français avec quelques échanges en anglais.

Nous recherchons un Data Engineer talentueux et passionné pour rejoindre notre équipe. Vous serez responsable de la conception, du développement et de l’optimisation des infrastructures de données, garantissant ainsi leur scalabilité, leur fiabilité et leur performance. Vous travaillerez en étroite collaboration avec les Data Scientists, les Analystes et les Développeurs pour exploiter les données et en extraire toute leur valeur. Si vous avez l'envie d'évoluer et d'apprendre n'hésitez pas à nous faire part de votre candidature.

Vous êtes un·e ingénieur support applicatif avec une solide expérience bancaire ? Vous êtes à la recherche de votre nouvelle équipe ? Alors, nous avons la mission qu'il vous faut ! Nous recherchons un·e Ingénieur Support Applicatif pour l’un de nos clients du secteur bancaire. En tant qu’Ingénieur Support Applicatif, vous aurez pour mission de garantir le bon fonctionnement et la disponibilité du SI Risques Opérationnels. Missions principales Maintien en condition opérationnelle des applications o Suivi quotidien des activités de fonctionnement (incidents, demandes, problèmes) o Gestion des incidents de niveaux 1, 2 et 3 et suivi de la production applicative o Traitement des demandes utilisateurs et gestion des changements applicatifs o Accompagnement et conseil aux utilisateurs sur l’utilisation du système applicatif Collaboration avec les équipes IT et métiers o Support et expertise technique auprès des équipes projet Risques o Participation aux comités équipes projets / fonctionnement et instances de gouvernance métier (RUN, COPIL) o Coordination avec les équipes IT, architectes et production pour assurer la performance et la fiabilité des applications o Gestion des interactions avec les Métiers (documentation, communication, gestion des cas atypiques) Amélioration continue et sécurité o Mise en place et suivi du plan d’amélioration sur les applications incidentées o Gestion du plan d’obsolescence sur son périmètre o Traitement des vulnérabilités et suivi des plans de remédiation o Participation aux actions liées à la sécurité IT (plans de secours, suivi des failles de sécurité) o Production des indicateurs et supports pour les métiers Livrables attendus o Gestion et suivi de la production au quotidien o Pilotage et reporting de l’activité sur le périmètre o Documentation technique et process de support o Supports à destination des métiers

La DSI Fonctions Centrales de BNP Paribas Personal finance (350 personnes) a en charge la gestion d'applications métiers pour le compte des clients corporate de PF (Finance, risque, conformité, marketing, automobile, RH, ...) et des plateformes data. Elle opère pour le compte de ses clients en central, mais est également fournisseur d'applications pour l'ensemble des filiales de PF sur ce périmètre transverse. La prestation se déroule sur le site de BNPP PF Unicity (Levallois) au sein de la Tribe Data France. Au sein de l’équipe "DATA IT", la prestation consiste à : Contribuer à l’estimation des User Stories et s’engager avec l’équipe sur un périmètre de réalisation au cours du prochain sprint, en adéquation avec la capacité à faire de l’équipe Développer les User Stories dans le respect des normes et standards de développement et de sécurité, en intégrant les enjeux data et sécurité Aider à définir et actualiser régulièrement les artefacts de l’équipe (DOR, DOD…) Durant le Sprint, partager l’avancement de ses travaux ainsi que les points de blocage à lever pour atteindre l’objectif fixé Contribuer à l’optimisation de la qualité du code (code review) et à sa maintenabilité Assurer les tests unitaires et contribuer aux autres activités de tests Mettre en œuvre les corrections nécessaires sur les anomalies détectées (build et run) Co-présenter en Sprint Review les résultats des stories prises en charge, les problèmes rencontrés et leur résolution, et répondre aux questions des participants Contribution à la documentation technique du produit Participer à la livraison du produit dans les différents environnements L'environnement technologique est du Big Data Hadoop, le développement est en SPARK SCALA. Expérience requise en SPARK SCALA

Contexte : Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en Elasticsearch, MongoDB ainsi qu’une expérience sur la plateforme Dataiku seraient un plus. Missions Principales : Support Technique Niveau 2 et 3 sur Cloudera Data Platform - Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera ; - Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers ; - Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire ; - Implémenter et Améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes ; - Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka - Administrer et Optimiser l’infrastructure Kafka sur Cloudera ; - Gérer la scalabilité et la résilience des clusters Kafka ;Assurer une supervision efficace des topics, brokers et consommateurs ; - Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets ; - Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement - Développer et Maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation ; - Automatiser la gestion des incidents récurrents et les procédures de maintenance ; - Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure - Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail ; - Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources ; - Analyser et Proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier ; - Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances - Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre ; - Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents ; - Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Poste : Nous recherchons un Data Engineer (H/F) afin de renforcer notre pôle AI Experts qui intervient sur des sujets impactant directement notre business et l'expérience client, afin d'optimiser la personnalisation, le taux de conversion et les assets. Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise.

En tant que Data Engineer, vos principales responsabilités incluront : Optimisation et migration des jobs existants : Optimiser des jobs déjà en place et migrer ceux écrits en Hive vers Spark pour améliorer leurs performances. Modification et ajustement des workflows : Adapter les workflows actuels pour répondre aux nouvelles exigences des partenaires. Tuning des applications Spark : Effectuer des ajustements techniques pour améliorer les performances des applications Spark. Création et développement de nouveaux jobs : Concevoir et développer de nouveaux jobs de bout en bout en réponse aux besoins clients. Développement de backend : Développer de nouveaux backends afin de faire évoluer la stack technique du train SAFe PNS. Résultats attendus : Amélioration significative des performances grâce à la migration vers Spark. Refonte de l'architecture de certains jobs permettant de détecter et corriger des problèmes des anciennes versions. Création de jobs répondant aux nouvelles attentes des clients dans les délais impartis.