Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Nous recherchons un(e) professionnel(le) de l'IT pour la prochaine publication de notre vidéo qui portera sur HBase. "Pourquoi pas moi ? Je suis développeur(euse), data engineer, big data architect ou formateur(trice)... et HBase n'a aucun secret pour moi. J’ai envie de partager mon expertise au plus grand nombre ! Participer à la création d'une vidéo me permettra de renforcer ma crédibilité et de mettre à profit mes connaissances." Notre équipe éditoriale t'accompagnera à chaque étape de la conception de la vidéo en partageant avec toi leur savoir-faire et leur expérience dans la création de vidéos en informatique.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (RiskLake). 🤝 Expertises indispensables Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du RiskLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Dans le cadre du renforcement de l’activité Data & IA, nous recherchons un(e) Data Engineer confirmé(e) pour intégrer une squad dédiée aux usages avancés de la donnée et à l’intelligence artificielle . Vous contribuerez à la conception, au développement et à l’optimisation de solutions data au service de nouveaux cas d’usage, en lien étroit avec les équipes métiers et techniques. Vos principales missions : Participer au cadrage technique et à la définition des solutions applicatives Développer, intégrer et tester les pipelines et composants techniques Contribuer à la maintenance applicative et à l’ amélioration continue des produits existants Traiter les incidents, accompagner les utilisateurs et assurer un support technique Participer aux revues de code et veiller au respect des bonnes pratiques de développement Travailler en étroite collaboration avec les membres de la squad pour garantir l’alignement technique et fonctionnel des solutions avec les besoins métier

Dans le cadre du renforcement de nos équipes Big Data orientées production , nous recherchons un Consultant Big Data expérimenté, capable d’intervenir sur des environnements critiques. Vous serez en charge de la gestion des incidents , de la supervision , du déploiement et du maintien en conditions opérationnelles des plateformes data. Suivi et gestion des incidents de production Maintenance des clusters Kubernetes et des composants CDP Automatisation et industrialisation des processus Contribution à la fiabilisation et à l’ amélioration continue Participation possible à l’astreinte (selon organisation) Migration vers Starburst

Contexte et Objectifs de la Prestation Dans un cadre Agile à l'échelle (SAFe) et dans un environnement anglophone, la prestation vise à apporter une contribution active à plusieurs volets stratégiques liés à la mise en place et à la gestion des offres internes Lakehouse. Missions et Responsabilités 1. Mise en place des offres internes Lakehouse L'accompagnement portera sur la structuration et l'optimisation des offres internes Lakehouse, avec un accent particulier sur les aspects suivants : Définition et formalisation des procédures de production : élaboration de recommandations visant à standardiser et améliorer les processus opérationnels. Élaboration d’une grille de mise en œuvre de la solution : définition d’un cadre méthodologique permettant un déploiement efficace et harmonisé des solutions Lakehouse. 2. Suivi et gestion des partenaires Un suivi rigoureux des partenaires impliqués sera assuré à travers plusieurs actions clés : Préparation et animation des comités de suivi mensuels : coordination des échanges avec les partenaires pour assurer une gouvernance efficace. Production des reportings : mise en place de tableaux de bord et d’indicateurs de suivi pour piloter l’activité et mesurer la performance des partenaires. 3. Assistance au Project Management Dans le cadre de la gestion de projets, la prestation inclut un accompagnement sur les phases suivantes : Études et cadrage : analyse des besoins, définition des objectifs et alignement des parties prenantes sur les périmètres des projets. Suivi de l’exécution : mise en place d’un pilotage opérationnel et suivi des livrables pour garantir le respect des délais et des engagements pris. Environnement de Travail Méthodologie : SAFe (Scaled Agile Framework) Langue de travail : anglais Collaboration : équipes internationales.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Objectifs et livrables Infos Complémentaires : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. 💡Caractéristiques de la mission: Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Nous recherchons un Data Engineer pour intervenir au sein de l'IT Data Management & BI , dans l'équipe Big Data & API Cette équipe développe et gère un data Lake (Risk Lake) , utilisé comme une data plateforme pour les équipes IT et métiers. Missions Gestion de la production et de la dette technique Revoir l’architecture actuelle et proposer des évolutions Développement des pipelines et traitements liés aux projets Responsabilités Collecter et mettre à disposition les données pour les équipes métiers Industrialiser et mettre en production des traitements de données Développer des pipelines d'ingestion et de traitement des données (batch et streaming) Implémenter et optimiser des jobs Spark pour le prétraitement et la transformation des données Développer des API génériques pour l’ingestion et le traitement des données Participer à la conception, mise en place et administration de solutions Big Data Normaliser et agréger les données pour produire des Business Views et Dashboard Mettre en place des services d'extraction de données via Spring Boot et Kafka

En quelques mots Cherry Pick est à la recherche d'un "Ingénieur Infra et Exploitation" pour un client dans le secteur de XXX Description 📌 Contexte de la mission Intégrée à la Direction Technique du Numérique , cette mission vise à renforcer l’équipe en charge de la plateforme Data du groupe. Cette plateforme joue un rôle central dans la stratégie data du groupe, entre exploitation de la donnée utilisateur, connaissance client et outils de pilotage. Le prestataire interviendra sur l’ensemble des cycles Build & Run de l’infrastructure Cloud, en lien étroit avec les équipes Data, Exploitation et Développement. 🎯 Responsabilités principales BUILD : Analyse des besoins d’hébergement pour les développements Data Industrialisation et automatisation des infrastructures (public et privé) Construction et planification des environnements cloud Référent technique auprès des équipes projets RUN : Supervision et exploitation quotidienne de la plateforme Suivi des alarmes, diagnostics et résolution des incidents Contribution à la documentation technique Veille technologique continue

En tant qu’Ingénieur(e) Move To Cloud, vous intégrerez l’équipe KARMA Move To Cloud pour piloter la migration du système de Revenue Management KARMA, vers Google Cloud Platform (GCP). Vos missions incluront : Migration des workloads Hadoop /Spark vers GCP ( Dataproc, BigQuery, GCS ). Développement et optimisation de pipelines de données. Mise en œuvre d’infrastructures avec Terraform et automatisation via Github Actions. Collaboration avec l’équipe pour assurer une transition fluide et performante..

Smarteo recherche pour l'un de ses clients, grand compte, Un Data Engineer Hadoop, Spark, Python, Scala, Devops, Stack Elastic, Kubernete, AWS sur Paris. Nous recherchons un Data Engineer - Sénior avec un minimum de 7 ans d'expériences sur des projets similaires. Projet : Conception et Maintenance de l'applicative Amélioration continue des produits / solutions de l'équipe Construction nouveaux usages Principaux livrables : Participer au cadrage technique Définition des solutions applicatives Développement, Intégration et Recette technique Traitement des incidents & assistance utilisateurs Participer à la révision du code écrit par d'autres développeurs pour s'assurer de la qualité, de l'efficacité et des bonnes pratiques en matière de développement de pipelines de données. Travailler étroitement avec les équipiers de la squad pour s'assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Participer au cadrage technique Définition des solutions applicatives Développement, Intégration et Recette technique Traitement des incidents & assistance utilisateurs Participer à la révision du code écrit par d'autres développeurs pour s'assurer de la qualité, de l'efficacité et des bonnes pratiques en matière de développement de pipelines de données. Travailler étroitement avec les équipiers de la squad pour s'assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible.

🎯 Nous recrutons un Développeur Big Data Java Spark 🔍Nous recherchons un développeur Big Data expérimenté pour intégrer notre équipe. 🔍 🔍 Vos missions : Développement Big Data sur la stack Hadoop Traitement de très larges volumes de données Participation active aux sprints Agile 💼 Compétences requises : ✅ Excellente maîtrise de Java Spark (indispensable) ➕ Connaissance de PySpark appréciée 🛠️ Expérience en industrialisation & CI/CD ☁️ Connaissance du Cloud (AWS de préférence) 👥 Travail en mode agile, avec rigueur, autonomie et transparence compétences Java Spark indispensables

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Dans ce cadre, la prestation consiste à contribuer à/au(x): -Sécurisation de la migration en elle-même ( delivery, déménagements de données, outillages d'homologation, aide à la transcription..) -Suivi et gestion des livrables migrés et les patterns techniques utilisés -Mise en place le tooling et les stratégies cibles nécessaires au bon fonctionnement de la plateforme post migration ( tooling de delivery, patterns de développement et de monitoring, stratégie FinOps...) Environnement anglophone ( NV B2 )

Envie d’un nouveau challenge ? CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un Tech Lead Data Hub pour intervenir chez un de nos clients. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : Piloter la migration d’un DataHub on-prem (actuellement sous Hadoop) vers le service DataHub du groupe. Assurer la réécriture des traitements Hadoop vers Spark en optimisant les performances. Encadrer et accompagner les équipes techniques dans la montée en compétences sur les nouvelles technologies. Mettre en place et orchestrer les workflows de données avec Airflow. Optimiser et requêter les données via SQL, Starburst, Presto ou Trino. Faciliter le retro-engineering des pipelines Hadoop/Hive si nécessaire. Garantir la qualité, la robustesse et la scalabilité des traitements de données.

Nous recherchons un(e) professionnel(le) de l'IT pour la prochaine publication de notre ouvrage qui portera sur Hadoop. "Pourquoi pas moi ? Je suis data engineer, formateur(trice), consultant(e), développeur(euse) Big Data... et Hadoop n'a aucun secret pour moi. J’ai envie de partager mon expertise et mon expérience au plus grand nombre ! Ecrire un livre me permettra de renforcer ma crédibilité et de mettre à profit mes connaissances." Notre équipe éditoriale t’accompagnera à chaque étape de la conception du livre en partageant avec toi leur savoir-faire et leur expérience dans la création de livres en informatique.