Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Objectifs et livrables Infos Complémentaires : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. 💡Caractéristiques de la mission: Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l'équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Avril 2025 -> prestation pour 3 mois, renouvelable 2 fois – total 9 mois jusqu'à fin d'année 2025 Anglais : N/A + de 6 ans d'expérience Lieu : Villaroches (77) TT : à définir

Notre client bancaire recherche un consultant Tech Lead GCP (H/F) pour renforcer l'équipe au sein de laquelle preste déjà des consultants de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données avec des projets novateurs. Tâches et activités de la mission (non exhaustives) : - Récupérer les données issues de sources externes - Utiliser la puissance du datalake pour le traitement des données - Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels - Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake - Développer en respectant les règles d’architecture définies - Développer et documenter les user stories avec l’assistance du Product Owner - Produire les scripts de déploiement - Prioriser les corrections des anomalies - Assister les équipes d’exploitation - Participer à la mise en œuvre de la chaîne de delivery continue - Automatiser les tests fonctionnels. Environnement GKE : - Développement d'API REST - Stockage : HDFS / GCS - Planification : Airflow / Composer - Méthodologies : Scrum, Kanban, Git - DWH : SQL, BigQuery, BigTable - Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Almatek recherche pour l'un de ses clients un Administrateur plateforme Big Data (Cloudera Data Platform) sur Villaroche. 🔍 Contexte Notre client utilise une plateforme Big Data on-premise (Cloudera Data Platform) dédiée aux besoins du Service Après-Vente. La DSI gère l’ingestion et la préparation des données, assure l’industrialisation des développements et garantit le bon fonctionnement technique de la plateforme GAIA. Dans ce cadre, nous recherchons un Administrateur Big Data pour assurer l’exploitation, la maintenance et le support aux utilisateurs. Missions 1️⃣ Exploitation et administration de la plateforme Configuration, surveillance et optimisation des clusters Cloudera. Sécurisation des données (LDAP, Kerberos, SSL). Automatisation des tâches récurrentes via scripting (Shell, Ansible, Python). Ordonnancement des chaînes d’ingestion et des analytiques (Oozie, Nifi). Application des mises à jour et gestion des performances. 2️⃣ Support et gestion des incidents Assistance technique de niveau 1 et 2 aux utilisateurs via Redmine (Follow Up). Analyse et résolution des anomalies, mise en place de correctifs. Suivi régulier des demandes et communication aux utilisateurs. Reporting mensuel sur les incidents et le support. 3️⃣ Amélioration continue & documentation Mise à jour des référentiels (SharePoint, bonnes pratiques, procédures). Production de synthèses et propositions d’optimisation. Amélioration de la qualité de service et des performances de la plateforme. 🛠️ Compétences requises Systèmes & Sécurité : Linux (RedHat 8), LDAP, Kerberos, SSL, IDM. Big Data : Cloudera (HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi). Automatisation & Monitoring : Ansible, Centreon, scripting Shell, Python, Scala. Base de données : SQL. Soft skills : Bon relationnel, esprit d’équipe, autonomie, synthèse et communication claire.

Nous recherchons un Administrateur plateforme Big Data (Cloudera Data Platform) Séniorité + de 6 ans d'expérience Contexte Le client est doté d’une plateforme Big Data on premise, basée sur la suite Cloudera Data Platform. Elle sert essentiellement aux besoins du Service Après-Vente de ses produits. Les rôles de la DSI sur cette plateforme sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Développer les pipelines de préparation des données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Lieu de mission Villaroches (77) Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme. Support aux utilisateurs Support sur incident Documentation technique et fonctionnelle de la plateforme Suivi de l’activité de run et amélioration continue

Les rôles de la DSI sur cette plateforme nommée GAIA sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l’équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme GAIA. En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme.

Industrie: DEFENSE Lieu : Rennes, Brest ou Lorient (1 jour de télétravail par semaine) Démarrage : 01/03/2025 Durée : 6 mois Langue : Français Expérience requise : 10 ans ou plus Contexte de la mission Dans le cadre du développement de sa Data Platform , notre client recherche un Architecte Solution en soutien de l’architecte solution en poste. La mission consiste à intervenir dans les phases de cadrage et de déploiement de la plateforme, en collaboration avec une équipe projet rassemblant les expertises Infrastructure, Développement, Architecture et Cybersécurité . Missions principales1. Conception et modélisation de l’architecture de la Data Platform Concevoir et documenter les architectures fonctionnelles et techniques de la plateforme. Modéliser les flux de données et interactions entre les composants Cloudera (NiFi, HDFS, Ozone, Impala, Kafka, Hive...). Formaliser des schémas clairs et détaillés (conceptuel, logique, physique) adaptés aux audiences techniques et métiers. Intégrer les principes d’ urbanisation des données et d’ architecture d’entreprise . 2. Production et maintien de la documentation d’architecture Rédiger et maintenir les Documents d’Architecture Générale (DAG) et leurs annexes. Documenter les choix techniques, schémas d’architecture et bonnes pratiques . Assurer la cohérence et la compréhension des documents auprès des équipes internes et partenaires. Aligner la documentation avec les 4 DAG services : Data Processing Data Gouvernance Data Valorisation Data Virtualization 3. Intégration des considérations liées à l’IA Générative Étudier et intégrer les enjeux spécifiques de l’ IA Générative dans l’architecture. Adapter les infrastructures pour optimiser l’exploitation des modèles d’IA et d’apprentissage automatique . 4. Accompagnement des équipes dans la mise en œuvre de l’architecture Collaborer avec les équipes techniques (Data Engineers, DevOps, Cybersécurité) pour assurer la mise en œuvre des architectures définies. Assister les équipes métiers pour traduire leurs besoins en solutions techniques . Animer des ateliers de travail et revues d’architecture pour garantir l’alignement des parties prenantes. Soutenir l’équipe Valorisation des données sur les aspects techniques de l’exploitation.

Objectifs : Le consultant Data Engineer SQL au sein du chapter « Data & BI Client - Data Engineering », sera en charge principalement de La maintenance évolutive des flux de données SQL (modélisation, Intégration/transformation de données, calculs d’indicateurs ,…) Ordonnancement des traitements (via ctrlM) Flux de données (Fichiers plats, xml, web services, …) Optimisation SQL - L’impact de la migration vers Windows 11 avec changement de login et de domaine (Outils, Process, Pipelines, …), le développement de fixs (optimisations et améliorations) des process techniques et le support niveau 2 (principalement au niveau bdd). Compétences optionnelles Connaissances d'outils devops (XLD, XLR, Azure pipeline, ..) Connaissances des outils BI (PBI, BO) Connaissances dev c# Connaissances Hadoop, hdfs, hive, spark

Spécialisé dans le secteur bancaire, l'entreprise recherche un Data Engineer talentueux et motivé pour rejoindre son équipe de données. Le candidat idéal aura une solide expérience en ingénierie des données et sera capable de concevoir, développer et maintenir des solutions de données robustes et évolutives. Missions principales : Concevoir et développer des pipelines de données pour l'ingestion, le traitement et le stockage des données. Assurer la qualité, la sécurité et l'intégrité des données. Collaborer avec les équipes de data scientists, d'analystes et d'autres parties prenantes pour comprendre les besoins en données et fournir des solutions adaptées. Optimiser les performances des systèmes de données et résoudre les problèmes techniques. Participer à la mise en place et à la gestion des infrastructures de données (Datalake, HDFS, etc.).

Spécialisé dans le secteur bancaire, l'entreprise recherche deux Business Analysts orientés Data pour renforcer son équipe. Les candidats idéaux auront une solide expérience en bases de données SQL et seront capables de travailler avec divers outils et technologies de traitement de données. Compétences requises : Bases de données SQL : Maîtrise obligatoire. Datalake Cloudera : Connaissance souhaitée. HDFS (stockage) : Connaissance souhaitée. Framework et traitement de données : Apache Spark Indexima pour l'indexation de données Profil recherché : Formation scientifique ou technique (ingénierie, informatique, mathématiques, etc.) pour une montée en compétence rapide. Capacité à démarrer dès que possible (ASAP). Anglais professionnel : Travail principalement en français avec quelques échanges en anglais.