Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Dans ce cadre, la prestation consiste à contribuer à/au(x): -Sécurisation de la migration en elle-même ( delivery, déménagements de données, outillages d'homologation, aide à la transcription..) -Suivi et gestion des livrables migrés et les patterns techniques utilisés -Mise en place le tooling et les stratégies cibles nécessaires au bon fonctionnement de la plateforme post migration ( tooling de delivery, patterns de développement et de monitoring, stratégie FinOps...) Environnement anglophone ( NV B2 )

En tant qu’Ingénieur(e) Move To Cloud, vous intégrerez l’équipe KARMA Move To Cloud pour piloter la migration du système de Revenue Management KARMA, vers Google Cloud Platform (GCP). Vos missions incluront : Migration des workloads Hadoop /Spark vers GCP ( Dataproc, BigQuery, GCS ). Développement et optimisation de pipelines de données. Mise en œuvre d’infrastructures avec Terraform et automatisation via Github Actions. Collaboration avec l’équipe pour assurer une transition fluide et performante..

Nous recherchons un(e) professionnel(le) de l'IT pour la prochaine publication de notre ouvrage qui portera sur Hadoop. "Pourquoi pas moi ? Je suis data engineer, formateur(trice), consultant(e), développeur(euse) Big Data... et Hadoop n'a aucun secret pour moi. J’ai envie de partager mon expertise et mon expérience au plus grand nombre ! Ecrire un livre me permettra de renforcer ma crédibilité et de mettre à profit mes connaissances." Notre équipe éditoriale t’accompagnera à chaque étape de la conception du livre en partageant avec toi leur savoir-faire et leur expérience dans la création de livres en informatique.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Expertises spécifiques : Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Fiche de Poste : Data Architect (Migration Hadoop vers Snowflake) Entité : Automotive / Finance Site : Paris et télétravail (60 % de télétravail possible) Date de démarrage : 1er avril 2025 Durée de la mission : Jusqu’à fin décembre 2025 Nationalité et Langues parlées : Français et Anglais obligatoires Type de projet : Migration de données de Hadoop vers Snowflake Mission : Rejoindre l’équipe Capgemini pour la migration de données d’Hadoop vers Snowflake. Vous serez responsable de l’architecture et de la mise en œuvre de la nouvelle solution de données, en veillant à la qualité des données et à la minimisation des interruptions durant la migration. Responsabilités : • Architecturer la migration des données depuis Hadoop vers Snowflake, en garantissant l’intégrité des données et en minimisant les interruptions. • Concevoir et implémenter un nouveau modèle de données dimensionnel dans Snowflake, en transformant le modèle 3NF existant dans Hadoop. • Utiliser DBT (Data Build Tool) pour les processus de transformation des données, assurant des transformations efficaces et précises. • Gérer et orchestrer les flux de travail de données avec Apache Airflow. • Collaborer avec les équipes interfonctionnelles pour comprendre les besoins en données et s’assurer que la nouvelle architecture répond aux exigences métier. • Développer et maintenir une documentation complète de l’architecture des données, du processus de migration et des modèles de données. • Assurer le respect des meilleures pratiques en matière de gouvernance des données, de sécurité et de conformité tout au long du processus de migration. • Fournir un leadership technique et un mentorat aux ingénieurs et analystes de données juniors.

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Nous recherchons un Data Engineer pour intervenir au sein de l'IT Data Management & BI , dans l'équipe Big Data & API Cette équipe développe et gère un data Lake (Risk Lake) , utilisé comme une data plateforme pour les équipes IT et métiers. Missions Gestion de la production et de la dette technique Revoir l’architecture actuelle et proposer des évolutions Développement des pipelines et traitements liés aux projets Responsabilités Collecter et mettre à disposition les données pour les équipes métiers Industrialiser et mettre en production des traitements de données Développer des pipelines d'ingestion et de traitement des données (batch et streaming) Implémenter et optimiser des jobs Spark pour le prétraitement et la transformation des données Développer des API génériques pour l’ingestion et le traitement des données Participer à la conception, mise en place et administration de solutions Big Data Normaliser et agréger les données pour produire des Business Views et Dashboard Mettre en place des services d'extraction de données via Spring Boot et Kafka

Expertise développement / outillage / intégration sur des technologies Open Source en environnement Big Data Hadoop (Cloudera). Connaissance de la solution Talend. Maîtrise des solutions de conteneurisation (openshift). Capacité à assurer l'évolution des socle Data et leur enrichissement en fonction de la roadmap stratégique définie. – Aide au diagnostic et à la résolution de problèmes – Analyse et réalisation d’outils d’aide au développement et à l'exploitation - Maintenance et évolution des solutions ETL Light (Socle Générique) et de l'offre Micro-Services Les compétences techniques requises : - Expérience significative(> 5 ans) sur les technologies de la Data - Expertise sur les technologies et API Java / JEE

💡 Contexte /Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (RiskLake). 🤝 Expertises indispensables Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du RiskLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Contexte et Objectifs de la Prestation Dans un cadre Agile à l'échelle (SAFe) et dans un environnement anglophone, la prestation vise à apporter une contribution active à plusieurs volets stratégiques liés à la mise en place et à la gestion des offres internes Lakehouse. Missions et Responsabilités 1. Mise en place des offres internes Lakehouse L'accompagnement portera sur la structuration et l'optimisation des offres internes Lakehouse, avec un accent particulier sur les aspects suivants : Définition et formalisation des procédures de production : élaboration de recommandations visant à standardiser et améliorer les processus opérationnels. Élaboration d’une grille de mise en œuvre de la solution : définition d’un cadre méthodologique permettant un déploiement efficace et harmonisé des solutions Lakehouse. 2. Suivi et gestion des partenaires Un suivi rigoureux des partenaires impliqués sera assuré à travers plusieurs actions clés : Préparation et animation des comités de suivi mensuels : coordination des échanges avec les partenaires pour assurer une gouvernance efficace. Production des reportings : mise en place de tableaux de bord et d’indicateurs de suivi pour piloter l’activité et mesurer la performance des partenaires. 3. Assistance au Project Management Dans le cadre de la gestion de projets, la prestation inclut un accompagnement sur les phases suivantes : Études et cadrage : analyse des besoins, définition des objectifs et alignement des parties prenantes sur les périmètres des projets. Suivi de l’exécution : mise en place d’un pilotage opérationnel et suivi des livrables pour garantir le respect des délais et des engagements pris. Environnement de Travail Méthodologie : SAFe (Scaled Agile Framework) Langue de travail : anglais Collaboration : équipes internationales.

Au sein du département IT, la DSI a pour vocation de fournir aux services Technologies & Opérations (pôles Global Business Management and Transformation (GBMT), WorkPlace, CIO Office Groupe) et Banque de Proximité et Assurance (BPA), l’ensemble des applications nécessaires à leur fonctionnement. Le département CIO Office Groupe a lancé un programme stratégique qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake CIO Office a également pour vocation de devenir la brique centrale de l'architecture du SI CIO Office.

🔎 Opportunité Freelance – Architecte Data (Snowflake / AWS / Airflow / Hadoop) 🔎 Missions: 🔹 Architecturer la migration Hadoop → Snowflake , en garantissant l'intégrité des données et en minimisant les interruptions 🔹 Concevoir un nouveau modèle de données optimisé pour Snowflake (passage de la 3NF à un modèle dimensionnel) 🔹 Mettre en œuvre et optimiser les processus de transformation des données avec DBT 🔹 Orchestrer les flux de données à l'aide d' Apache Airflow 🔹 Collaborer avec les équipes métiers et techniques pour s’assurer que la nouvelle architecture répond aux besoins de l’entreprise 🔹 Documenter l’ architecture des données, les processus de migration et les modèles de données 🔹 Assurer la gouvernance, la sécurité et la conformité des données

Depuis 20 ans, Huxley est positionné parmi les acteurs principaux du recrutement dans le monde. Spécialisé dans l'IT, la finance et l'assurance nous sommes implantés mondialement dans 15 pays. Nous aidons nos clients à optimiser leur recrutement en adoptant une approche personnalisée et une expertise métiers, délivrant ainsi un service sur mesure. Nous nouons quotidiennement des relations avec les talents et les entreprises les plus dynamiques du marché. Huxley est le spécialiste Banque Finance Assurance du groupe International STHREE côté en bourse au LSE, leader sur le segment STEM (Sciences Technologies Engineering and Mathematics). Détails de la prestation Compétences technologiques requises : Développement : Full Stack JEE, SQL Outillage : Eclipse, SubVersion, Jenkins Environnement : Linux Red Hat, PostGre, ELK, Open Source Apache, OpenShift / Kubernetes Technologies et langages Big Data: Cloudera, Java, Python, Json, GIT, SVN, Shell, Hadoop, Hive, Hbase, Solr, Hue, Kafka, Spark, Talend ... Les compétences fonctionnelles requises : Animation, diffusion de connaissances Rédaction et administration des documentations relatives au développement Communication sur les normes de développement, les guides d'architecture, les bonnes pratiques Contrôles et revues de code Assurance de l'exploitabilité des systèmes sur les différents environnements Aide au diagnostic et à la résolution de problèmes Analyse et réalisation d'outils d'aide au développement et à l'exploitation Maintenance et évolution des solutions ETL Light (Socle Générique) et de l'offre Micro-Services

Nous recherchons un(e) Ingénieur(e) DEVOPS / Spécialiste MLOps pour rejoindre notre équipe dans le cadre d’une mission stratégique visant à optimiser et déployer des solutions Data au sein du Groupe. Les principales responsabilités incluent : Mise en œuvre opérationnelle et technique des produits Data : Industrialiser et automatiser le déploiement de la plateforme Dataiku. Tester et maintenir la plateforme afin de garantir sa sécurité, sa résilience et sa disponibilité, en respectant les engagements pris avec les différentes entités du Groupe. Documenter les travaux réalisés pour un usage interne ou pour la présentation de l’offre aux entités. Accompagner les métiers dans leur prise en main de la plateforme. Gérer les incidents en respectant les engagements définis dans l’offre. Gestion de projet : Être le point de contact opérationnel privilégié pour les clusters et/ou entités. Participer à l’élaboration des formations et des présentations destinées aux référents des clusters et entités consommatrices (ou potentiellement consommatrices) de l’offre. Contribuer aux réunions de co-construction de la roadmap et à sa mise en œuvre. Prendre le lead sur des aspects ou fonctionnalités techniques identifiés de l’offre. Participer ou réaliser des démonstrations et des WebTech autour de la plateforme MLOps. S’impliquer dans l’ensemble des rituels de la Squad, de la plateforme et du socle technique.

Envie d’un nouveau challenge ? CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un Tech Lead Data Hub pour intervenir chez un de nos clients. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : Piloter la migration d’un DataHub on-prem (actuellement sous Hadoop) vers le service DataHub du groupe. Assurer la réécriture des traitements Hadoop vers Spark en optimisant les performances. Encadrer et accompagner les équipes techniques dans la montée en compétences sur les nouvelles technologies. Mettre en place et orchestrer les workflows de données avec Airflow. Optimiser et requêter les données via SQL, Starburst, Presto ou Trino. Faciliter le retro-engineering des pipelines Hadoop/Hive si nécessaire. Garantir la qualité, la robustesse et la scalabilité des traitements de données.