Trouvez votre prochaine offre d’emploi ou de mission freelance Cloudera

Nous recherchons un Administrateur plateforme Big Data (Cloudera Data Platform) Séniorité + de 6 ans d'expérience Contexte Le client est doté d’une plateforme Big Data on premise, basée sur la suite Cloudera Data Platform. Elle sert essentiellement aux besoins du Service Après-Vente de ses produits. Les rôles de la DSI sur cette plateforme sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Développer les pipelines de préparation des données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Lieu de mission Villaroches (77) Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme. Support aux utilisateurs Support sur incident Documentation technique et fonctionnelle de la plateforme Suivi de l’activité de run et amélioration continue

Dans le cadre du renforcement de nos équipes Big Data orientées production , nous recherchons un Consultant Big Data expérimenté, capable d’intervenir sur des environnements critiques. Vous serez en charge de la gestion des incidents , de la supervision , du déploiement et du maintien en conditions opérationnelles des plateformes data. Suivi et gestion des incidents de production Maintenance des clusters Kubernetes et des composants CDP Automatisation et industrialisation des processus Contribution à la fiabilisation et à l’ amélioration continue Participation possible à l’astreinte (selon organisation) Migration vers Starburst

Industrie: DEFENSE Lieu : Rennes, Brest ou Lorient (1 jour de télétravail par semaine) Démarrage : 01/03/2025 Durée : 6 mois Langue : Français Expérience requise : 10 ans ou plus Contexte de la mission Dans le cadre du développement de sa Data Platform , notre client recherche un Architecte Solution en soutien de l’architecte solution en poste. La mission consiste à intervenir dans les phases de cadrage et de déploiement de la plateforme, en collaboration avec une équipe projet rassemblant les expertises Infrastructure, Développement, Architecture et Cybersécurité . Missions principales1. Conception et modélisation de l’architecture de la Data Platform Concevoir et documenter les architectures fonctionnelles et techniques de la plateforme. Modéliser les flux de données et interactions entre les composants Cloudera (NiFi, HDFS, Ozone, Impala, Kafka, Hive...). Formaliser des schémas clairs et détaillés (conceptuel, logique, physique) adaptés aux audiences techniques et métiers. Intégrer les principes d’ urbanisation des données et d’ architecture d’entreprise . 2. Production et maintien de la documentation d’architecture Rédiger et maintenir les Documents d’Architecture Générale (DAG) et leurs annexes. Documenter les choix techniques, schémas d’architecture et bonnes pratiques . Assurer la cohérence et la compréhension des documents auprès des équipes internes et partenaires. Aligner la documentation avec les 4 DAG services : Data Processing Data Gouvernance Data Valorisation Data Virtualization 3. Intégration des considérations liées à l’IA Générative Étudier et intégrer les enjeux spécifiques de l’ IA Générative dans l’architecture. Adapter les infrastructures pour optimiser l’exploitation des modèles d’IA et d’apprentissage automatique . 4. Accompagnement des équipes dans la mise en œuvre de l’architecture Collaborer avec les équipes techniques (Data Engineers, DevOps, Cybersécurité) pour assurer la mise en œuvre des architectures définies. Assister les équipes métiers pour traduire leurs besoins en solutions techniques . Animer des ateliers de travail et revues d’architecture pour garantir l’alignement des parties prenantes. Soutenir l’équipe Valorisation des données sur les aspects techniques de l’exploitation.

Dans le cadre du renforcement de l’administration de sa plateforme Big Data, un client basé en Seine-et-Marne recherche un Administrateur Big Data senior pour intervenir sur son environnement on-premise, bâti autour de la suite Cloudera Data Platform. Cette plateforme, au cœur de ses activités de Service Après-Vente, requiert une expertise pointue sur les outils d’administration, la sécurité, le monitoring, ainsi que sur les technologies de traitement distribué et de scripting. Le consultant interviendra sur l’exploitation, l’optimisation et le support technique de la plateforme GAIA, tout en participant à son amélioration continue, à la documentation et au support aux utilisateurs.

Almatek recherche pour l'un de ses clients un Administrateur plateforme Big Data (Cloudera Data Platform) sur Villaroche. 🔍 Contexte Notre client utilise une plateforme Big Data on-premise (Cloudera Data Platform) dédiée aux besoins du Service Après-Vente. La DSI gère l’ingestion et la préparation des données, assure l’industrialisation des développements et garantit le bon fonctionnement technique de la plateforme GAIA. Dans ce cadre, nous recherchons un Administrateur Big Data pour assurer l’exploitation, la maintenance et le support aux utilisateurs. Missions 1️⃣ Exploitation et administration de la plateforme Configuration, surveillance et optimisation des clusters Cloudera. Sécurisation des données (LDAP, Kerberos, SSL). Automatisation des tâches récurrentes via scripting (Shell, Ansible, Python). Ordonnancement des chaînes d’ingestion et des analytiques (Oozie, Nifi). Application des mises à jour et gestion des performances. 2️⃣ Support et gestion des incidents Assistance technique de niveau 1 et 2 aux utilisateurs via Redmine (Follow Up). Analyse et résolution des anomalies, mise en place de correctifs. Suivi régulier des demandes et communication aux utilisateurs. Reporting mensuel sur les incidents et le support. 3️⃣ Amélioration continue & documentation Mise à jour des référentiels (SharePoint, bonnes pratiques, procédures). Production de synthèses et propositions d’optimisation. Amélioration de la qualité de service et des performances de la plateforme. 🛠️ Compétences requises Systèmes & Sécurité : Linux (RedHat 8), LDAP, Kerberos, SSL, IDM. Big Data : Cloudera (HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi). Automatisation & Monitoring : Ansible, Centreon, scripting Shell, Python, Scala. Base de données : SQL. Soft skills : Bon relationnel, esprit d’équipe, autonomie, synthèse et communication claire.

Dans le cadre de l’exploitation et de l’optimisation de l'infrastructure Cloudera & Data de notre client, nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en sur la plateforme Dataiku seraient un plus. Missions : Support Technique N2 & N3 Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera. Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers. Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire. Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes. Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka Administrer et optimiser l’infrastructure Kafka sur Cloudera. Gérer la scalabilité et la résilience des clusters Kafka. Assurer une supervision efficace des topics, brokers et consommateurs. Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets. Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation. Automatiser la gestion des incidents récurrents et les procédures de maintenance. Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail. Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources. Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier. Assurer une veille technologique et être force de proposition pour améliorer la plateforme Documentation et Transmission de Connaissances Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre. Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents. Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

L’un de mes meilleurs clients mondiaux en France recrute un Big Data Manager pour rejoindre leur projet à long terme ! Le service consiste à garantir l’administration des plateformes BigData, ainsi que le support aux utilisateurs tant en cas d’anomalies qu’en cas de demande de support de plateforme. Responsabilités: Configurez, surveillez et optimisez les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées Effectuer des tâches MCO quotidiennes (vérifier l’état des travaux et de la plateforme) Assurez la sécurité des données en mettant en œuvre des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération Assurer la programmation des chaînes d’ingestion et d’analyse qui s’exécutent sur les plateformes• Participer aux projets d’évolution des plateformes Big Data Piloter les performances des plateformes Big Data. Participer à la maintenance des environnements en appliquant les mises à jour. Automatisez les tâches récurrentes à l’aide de scripts pour rationaliser la gestion du système. Vous devez avoir de l’expérience avec : Expérience pratique et approfondie de la gestion de plateformes Big Data Vaste expérience de travail avec le support de données/plateformes Expérience avec Cloudera (Cloud Aero Suite) Expérience avec Linux, Hadoop, Ansible et Python Parle français/anglais

Nom du poste : Architecte Solution Référentiel Client 360 Expérience : +7 ans Localisation : Issy-les-Moulineaux Date limite de réponse : ASAP Date de début de mission : Courant Avril TJM max : 740 € Contexte de la mission Engagé depuis 2016 sur la mise en place et l’exploitation d’une plateforme Big Data, le Groupe développe maintenant les usages. L’enjeu est de contribuer à l’évolution de la plateforme technique et la définition des principes et règles d’organisation pour en faciliter la mise en œuvre pour l’ensemble des usages à venir. Développer les pratiques et solutions autour de la Data : Datalake, Data pipeline, Data hub, Data Fabric, Data Mesh, Data Management, etc. Objectifs/Descriptif de mission Description de l’activité : Fort de son expertise sur les composants techniques du Big Data, l’architecte Technique contribue à la mise en place des solutions techniques adaptées aux problèmes de l’entreprise. Son intervention repose en grande partie sur la compréhension des besoins, du secteur d’activité, des métiers et des processus internes du client. Il doit alors faire preuve d’une grande compréhension et d’un fort intérêt pour les nouvelles technologies, afin que la solution logicielle proposée soit la plus appropriée et la plus efficace possible. Tâches : Audit et analyse de l’architecture existante et anticipation des risques Conception de l’architecture au niveau fonctionnel, applicatif voire technique en fonction des différents besoins exprimés Contribuer à l’urbanisation / architecture d’entreprise Contrôle de la cohérence entre la mise en œuvre effective et le modèle d’architecture préconisé Rôle de conseiller sur les bonnes pratiques et le respect des méthodologies Accompagnement des métiers, PM, PO, MOA et de la MOE dans les décisions technologiques Liste des technologies requises Cloud Privé, PaaS-OpenShift ou à défaut IaaS, VMWare Langages : Java, Scala, Python, Go, etc. Big Data : Cloudera CDP, PVC, etc. Middleware : API Management, Kafka, CFT, etc. Data Management : Collibra Master Data Management : Semarchy Web Service : SOAP, REST Json Gestionnaire de Trace : ElasticSearch Kibana Supervision / Monitoring : AppDynamics, Centreon CI/CD : Gitlab, Jenkins, Nexus, Docker, Ansible Exemple de livrables demandés CR d’ateliers Dossier d’étude, études / analyses spécifiques, autres Vues (schémas) ArchiMate Dossier d’architecture Participation aux instances de Gouvernance / CAVT / Comité d’engagement / Comité de mise en exploitation, PI (méthode SAFe), autres au besoin Et tout autre livrable pertinent à la mission Compétences supplémentaires La connaissance et maîtrise du langage Archimate est fortement recommandée La certification TOGAF est un plus La connaissance de SAFe est aussi un atout