Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant Semarchy H/F à Lille, France. Contexte : Les missions attendues par le Consultant Semarchy H/F : Les tâches suivantes seront requises sur la mission : - Analyse des besoins métier et réalisation des spécifications - Conception, Développement et testing des applications - Maintien de la documentation - Forte attente sur la garantie de non-régression - MCO

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

CONTEXTE Role of System Architect in the Data-AI trains to process/expose data processing Crée en 2008, Kéoni Consulting est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, et de l'industrie. Nous sommes le partenaire dans la transformation digitale des grands Comptes. Nous les aidons à transformer leur modèle économique, aligner vos processus opérationnels, sélectionner les meilleures technologies, atténuer et palier les risques liés au digital. Kéoni Consulting aide les entreprises à : Faire la différence Innover et créer Réinventer votre business Satisfaire les clients Gagner en avantages compétitifs Devenir le leader de leur secteur Devenir le leader de votre secteur Notre activité couvre la totalité du cycle de vie des systèmes d’informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation)

Nous recherchons un Architecte Data Senior passionné et expérimenté pour rejoindre l'équipe dynamique de notre client. Le candidat idéal sera un expert en architecture de données, capable de concevoir et de mettre en œuvre des solutions innovantes et évolutives pour répondre aux besoins de notre entreprise. Il sera également un chef de projet, capable de gérer des projets complexes de bout en bout, en respectant les délais et les budgets. La mission courra jusqu’à la fin de l’année minimum. Localisation : Maroc.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (RiskLake). 🤝 Expertises indispensables Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du RiskLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Nous recherchons un(e) professionnel(le) de l'IT pour la prochaine publication de notre vidéo qui portera sur HBase. "Pourquoi pas moi ? Je suis développeur(euse), data engineer, big data architect ou formateur(trice)... et HBase n'a aucun secret pour moi. J’ai envie de partager mon expertise au plus grand nombre ! Participer à la création d'une vidéo me permettra de renforcer ma crédibilité et de mettre à profit mes connaissances." Notre équipe éditoriale t'accompagnera à chaque étape de la conception de la vidéo en partageant avec toi leur savoir-faire et leur expérience dans la création de vidéos en informatique.

Dans le cadre du renforcement de nos équipes Big Data orientées production , nous recherchons un Consultant Big Data expérimenté, capable d’intervenir sur des environnements critiques. Vous serez en charge de la gestion des incidents , de la supervision , du déploiement et du maintien en conditions opérationnelles des plateformes data. Suivi et gestion des incidents de production Maintenance des clusters Kubernetes et des composants CDP Automatisation et industrialisation des processus Contribution à la fiabilisation et à l’ amélioration continue Participation possible à l’astreinte (selon organisation) Migration vers Starburst

Au sein d'ITG Architecture, l'équipe Payment Architecture (PA) a en charge d'assurer l'architecture de la filière des paiements. Dans ce cadre, l'équipe travaille à la fois avec les équipes métier et IT pour répondre aux besoins des clients et collaborateurs du Groupe BNP Paribas. Les architectes paiement participent à l'instruction des dossiers et à leurs validations avec les SME (Risk, Sécurité, Production, ....) Skills attendus : TOGAF, Archimate, Archi et Autres outils de cartograhies Connaissances Data : Big Data, Hadoop Foundations Maitrise des solutions Data (HDFS, Dataiku, Starburst, Domino, ...) Flink, MQ, Kafka, Spark, Scala, Hive, HBase, Kafka, Elasticsearch Bonnes connaissances des patterns et architectures Data (Datahub, Datalake, DWH, Data Management, ....) Bonne connaissance de l'utilisation des solutions Data dans le Cloud Connaissance des paiements et du métier du Cash Management Français, Anglais : Courant La mission a lieu dans une équipe dédiée au paiement et aux cards

Nous recherchons un profil confirmé de concepteur/développeur/testeur pour travailler sur la mise en place des applications, les tests et le maintien en conditions opérationnelles. Les tâches suivantes seront requises sur la mission : - Analyse des besoins métier et réalisation des spécifications - Développement des applications - Maintien de la documentation - Forte attente sur la garantie de non-régression Une connaissance du monde de l’assurance serait un plus. La ressource devra être autonome, collaborative, ouverte, avoir l’esprit d’équipe.

Contexte : L'équipe IT Risks trade and sensitivities repositories regroupe 4 applications (référentiel des opérations, des payoffs, des sensibilités, et Calculateur FRTB). La mission sera dans l'équipe "sensitivities" composée de 4 Business Analyst et 4 data Engineer. Cette équipe est en charge de l'application Susanoo, application Hadoop qui centralise, normalise les sensibilités. Les projets de l'équipe : Implémenter du Machine Learning afin d'aider à détecter les valeurs de sensi abhérentes par Market Risk, améliorer la chaine et fluidifier les interactions avec les applications en aval pour améliorer la production, intégrer de nouvelles sensibilités. Mission : La mission consiste à développer les processus d’intégration, de traitement et de calcul des données du Market Risk. Développement et support autour des outils de l’écosystème Hadoop afin de faire évoluer le référentiel de sensibilités développées en Scala / Spark. Des optimisations et de nouvelles solutions seront à mettre en œuvre pour améliorer les performances de la couche de restitution des données, en collaboration avec d'autres équipes.

Contexte et Objectifs de la Prestation Dans un cadre Agile à l'échelle (SAFe) et dans un environnement anglophone, la prestation vise à apporter une contribution active à plusieurs volets stratégiques liés à la mise en place et à la gestion des offres internes Lakehouse. Missions et Responsabilités 1. Mise en place des offres internes Lakehouse L'accompagnement portera sur la structuration et l'optimisation des offres internes Lakehouse, avec un accent particulier sur les aspects suivants : Définition et formalisation des procédures de production : élaboration de recommandations visant à standardiser et améliorer les processus opérationnels. Élaboration d’une grille de mise en œuvre de la solution : définition d’un cadre méthodologique permettant un déploiement efficace et harmonisé des solutions Lakehouse. 2. Suivi et gestion des partenaires Un suivi rigoureux des partenaires impliqués sera assuré à travers plusieurs actions clés : Préparation et animation des comités de suivi mensuels : coordination des échanges avec les partenaires pour assurer une gouvernance efficace. Production des reportings : mise en place de tableaux de bord et d’indicateurs de suivi pour piloter l’activité et mesurer la performance des partenaires. 3. Assistance au Project Management Dans le cadre de la gestion de projets, la prestation inclut un accompagnement sur les phases suivantes : Études et cadrage : analyse des besoins, définition des objectifs et alignement des parties prenantes sur les périmètres des projets. Suivi de l’exécution : mise en place d’un pilotage opérationnel et suivi des livrables pour garantir le respect des délais et des engagements pris. Environnement de Travail Méthodologie : SAFe (Scaled Agile Framework) Langue de travail : anglais Collaboration : équipes internationales.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Objectifs et livrables Infos Complémentaires : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. 💡Caractéristiques de la mission: Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Nous recherchons un Data Engineer pour intervenir au sein de l'IT Data Management & BI , dans l'équipe Big Data & API Cette équipe développe et gère un data Lake (Risk Lake) , utilisé comme une data plateforme pour les équipes IT et métiers. Missions Gestion de la production et de la dette technique Revoir l’architecture actuelle et proposer des évolutions Développement des pipelines et traitements liés aux projets Responsabilités Collecter et mettre à disposition les données pour les équipes métiers Industrialiser et mettre en production des traitements de données Développer des pipelines d'ingestion et de traitement des données (batch et streaming) Implémenter et optimiser des jobs Spark pour le prétraitement et la transformation des données Développer des API génériques pour l’ingestion et le traitement des données Participer à la conception, mise en place et administration de solutions Big Data Normaliser et agréger les données pour produire des Business Views et Dashboard Mettre en place des services d'extraction de données via Spring Boot et Kafka

Smarteo recherche pour l'un de ses clients, grand compte, Un Data Engineer Hadoop, Spark, Python, Scala, Devops, Stack Elastic, Kubernete, AWS sur Paris. Nous recherchons un Data Engineer - Sénior avec un minimum de 7 ans d'expériences sur des projets similaires. Projet : Conception et Maintenance de l'applicative Amélioration continue des produits / solutions de l'équipe Construction nouveaux usages Principaux livrables : Participer au cadrage technique Définition des solutions applicatives Développement, Intégration et Recette technique Traitement des incidents & assistance utilisateurs Participer à la révision du code écrit par d'autres développeurs pour s'assurer de la qualité, de l'efficacité et des bonnes pratiques en matière de développement de pipelines de données. Travailler étroitement avec les équipiers de la squad pour s'assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Participer au cadrage technique Définition des solutions applicatives Développement, Intégration et Recette technique Traitement des incidents & assistance utilisateurs Participer à la révision du code écrit par d'autres développeurs pour s'assurer de la qualité, de l'efficacité et des bonnes pratiques en matière de développement de pipelines de données. Travailler étroitement avec les équipiers de la squad pour s'assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible.

Dans ce cadre, la prestation consiste à contribuer à/au(x): -Sécurisation de la migration en elle-même ( delivery, déménagements de données, outillages d'homologation, aide à la transcription..) -Suivi et gestion des livrables migrés et les patterns techniques utilisés -Mise en place le tooling et les stratégies cibles nécessaires au bon fonctionnement de la plateforme post migration ( tooling de delivery, patterns de développement et de monitoring, stratégie FinOps...) Environnement anglophone ( NV B2 )

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation