Le poste Expert Hadoop
Partager cette offre
Je suis à la recherche pour un de nos clients d'un Expert Hadoop.
Stack technologique :
Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ...
Langages de scripting et de développement : Shell, Python, Spark
Moteur de requetage : SQL, Hive, Impala,
Système d'exploitation : Linux
Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que :
• Pour les équipes « DSI Etudes » :
- Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations.
- Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ;
• Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes.
• Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers.
• Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.
Profil recherché
Description du besoin :
- Les missions de la prestation porteront sur :
- Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels.
- Evolution des architectures techniques :
- Mise en place des principes directeurs sur l’utilisation du cluster Cloudera;
- Vérification de la bonne application des normes et des standards;
- Force de proposition, étude, analyse et mise en oeuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster;
- Etude d'impact et réalisation operationnelle des montées de version Cloudera et outils Hadoop;
- Prise en compte de l'écosysteme : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ... ;
- Expertise Hadoop de niveau 3 :
- Configuration du cluster Cloudera en fonction des besoins identifiés;
- Optimisation des traitements ;
- Support :
- Accompagnement des équipes de développement;
- Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données;
- Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances;
- Savoir être :
- Coordination et pilotage des chantiers en collaboration avec les différents services DSI;
- Autonomie pour la prise en charge des sujets et travail en equipe;
- Capacité à communiquer et s'adapter en fonction des différents interlocuteurs ;
Environnement de travail
Description du besoin :
- Les missions de la prestation porteront sur :
- Pilotage et mise en oeuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels.
- Evolution des architectures techniques :
- Mise en place des principes directeurs sur l’utilisation du cluster Cloudera;
- Vérification de la bonne application des normes et des standards;
- Force de proposition, étude, analyse et mise en oeuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster;
- Etude d'impact et réalisation operationnelle des montées de version Cloudera et outils Hadoop;
- Prise en compte de l'écosysteme : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, ... ;
- Expertise Hadoop de niveau 3 :
- Configuration du cluster Cloudera en fonction des besoins identifiés;
- Optimisation des traitements ;
- Support :
- Accompagnement des équipes de développement;
- Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données;
- Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances;
- Savoir être :
- Coordination et pilotage des chantiers en collaboration avec les différents services DSI;
- Autonomie pour la prise en charge des sujets et travail en equipe;
- Capacité à communiquer et s'adapter en fonction des différents interlocuteurs ;
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Expert Hadoop
CAT-AMANIA
