Mission freelance Expert Big Data - CLOUDERA - IDF

Pour un acteur du secteur Energie, je suis à la recherche d'un consultant senior BIG DATA / CLOUDERA

Missions principales :

• Mise en place de la roadmap technique pour la plateforme

• Orientations techniques stratégiques

• Veille technologique

• Orchestration des chantiers techniques transverses. Exemple : Migration de la version de l’OS

Description de l’activité :

Gestion des montées de versions

• Expertise en infrastructures Big Data sur la distribution Cloudera 7.1.7

  • Directives d’administration d’un cluster Cloudera de taille supérieure à 60 nœuds.

  • Plan de montée de version et de déploiement de patchs.

  • Mise en place de stratégies d’allocations de ressources dans Yarn et dimensionnement des queues

  • Capacité à diagnostiquer et résoudre les problèmes techniques complexes liés aux clusters Cloudera.

  • Fourniture d'un support avancé aux équipes d'exploitation et d’administration

  • Apport d'expertise lors de la résolution des crises de production

• Expertise en scalabilité du cluster

  • Mise à jour du capacity planning du cluster

  • Anticipation de la montée en charge sur les composants principaux (Impala, hbase, yarn …)

  • Définitions des stratégies d’ajout de nœuds et anticipation des potentielles problématiques qu’ils peuvent engendrer

  • Dimensionnement des différents environnements

• Sécurisation des composants logiciels Big Data

  • Revue des directives de cybersécurité sur les composants logiciels sur tous les environnements hors espaces produits

  • Définition des gestes à effectuer pour faire évoluer les normes de sécurité des composants logiciels.

  • Conception des outils pour le suivi de la sécurité des composants logiciels.

• Robustesse du cluster

  • Découverte des problématiques à lever en pro action (exemple : hausse critique du nombre de petits fichiers)

  • Injection de la supervision by design dans les chaines d’ingestion

• Support technique du PM/RTE et des utilisateurs

  • Support du PM lors des cadrages et poser les architectures/ directives techniques.

  • Support du RTE lors de la coordination des équipes sur des problématiques techniques.

  • Support technique des utilisateurs de la plateforme pour l’utilisation de l’outillage ou l’optimisation de leurs traitements.

    • Formalisation et diffusion de préconisations technique

    • Audit technique du code pour veiller à la mise en place de bonnes pratiques

• Outillage

  • Concevoir l’outillage Self-Service de la data plateforme.

• Conception et optimisation des composants d’ingestions

• Veille technologique pour proposer des solutions innovantes aux problématiques

• Leadership auprès des équipes de B4all

• Relation Editeur

  • Interlocuteurs privilégiés avec le support de l’éditeur (helpdesk) sur les différents dossiers de supports

  • Suivi et mise en place des préconisations éditeur sur les versions déployées

  • Demandes de hotfix