Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Nous cherchons à renforcer notre équipe avec un Architecte / Administrateur Big Data Hadoop (H/F). Vous intégrez une équipe et serez en charge de l'infrastructure de stockage de données, de l'automatisation et du maintien en conditions opérationnelles pour la mise en place d'un nouveau programme. L'objectif de ce programme est la mise en oeuvre d'une nouvelle offre de service BIGDATA pour l'ensemble du Groupe. Cette nouvelle offre de service doit : - Être Industrielle avec différents environnements distincts ( DEV, INT, Homol, PROD, DR) - Être Sécurisée, afin d'accueillir des données de tout type C1, C2, C3 - Être Résiliente, avec de la haute dispo sur l'ensemble des composants - Être Secourue avec un DR distant - Permettre le partage des données, de manière sécurisée, entre n'importe quelle équipe du groupe SG afin - Que chacun puisse travailler sur les données les plus fraîches - Qu'il n'y ait pas de multiples copies des même données au sein du datalake Dans le but de réduire le Time To Market à quelques minutes, nous avons construit deux équipes : une pour le développement d'API ; une autre pour le déploiement et le maintien en condition opérationnelles pour l'offre Big Data. Allez on en dis plus... Vos principales missions seront : - Maintien de la production en conditions opérationnelles - Mise en oeuvre de l'infrastructure de secours - Participer à l'automatisation de l'infrastructure Bigdata (HADOOP) s'appuyant sur TERRAFORM et ANSIBLE - Extension automatisée des clusters Bigdata avec l'ajout de datanodes - Ajout automatisé de nouvelles fonctionnalités (Hbase, Encryption) Informations complémentaires : possibilité de télétravail plusieurs jours par semaine. Ingénieur de formation, nous recherchons un Expert Hadoop (Cloudera CDP) maîtrisant Ansible pour participer à la construction de notre nouvelle plateforme Big data. Vous avez une expérience d'au moins 10ans sur un poste similaire. Vous êtes expert Hadoop maitrisant Ansible et avec des compétences techniques reconnues sur la technologie UNIX: Linux, Shell, Python, Open source, SSL, Redhat, Agile Scrum, Terraform. Vous avez également de solides compétences sur HDFS, Oozie, Zookeeper, Ranger, Knox, Kerberos, LDAP, Hbase, Kafka, Cloudera Manager, Spark, Hive, Nifi D'une excellente qualité d'écoute, disponible, réactif et rigoureux. Notre processus de recrutement : En 4 étapes ! Tout simplement. Dans un premier temps, vous échangerez avec l'un d'entre nous ; Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien ; Pour finir, vous discuterez métier avec l'un de nos managers opérationnels ; Bienvenue chez nous ! Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : Postulez ou partagez avec votre réseau ! Python rigoureux à l'écoute Kafka Ansible Hadoop Spark Hive Terraform Hbase Nifi

Au sein de l'équipe Socle Bigdata, vous serez en charge de l'administration, l'évolution, et les taches MCO sur les plateformes hadoop on prem (solution Cloudera). Vous serez en relations privilégiés avec les productions applicatives, les équipes infrastructures, les plates-formes internationales mais également les métiers auxquels vous apporterez votre support et expertise technique.A ce titre, vos principales activités sont :Administrer quotidiennement des clusters Hadoop, Cloudera Data Platform (HDFS, yarn, Hbase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, atlas, etc...), Cloudera Flow ManagementAméliorer en continue l'infrastructure, qu'il s'agisse de performance, de sécurité ou de fonctionnalités demandées par les utilisateursIndustrialiser et automatiser le déploiement de l'ensemble des composants logiciels de l'offre HadoopContribuer à l'élaboration et à l'exécution des stratégies de migration des clusters Hadoop ClouderaParticiper à la résolution de problèmes complexes sur les plateformesApporter un support quotidien aux équipes applicatives et métiers dans leurs études de cas d'usage, leurs problématiques de développement ou de montée en chargePrendre en charge et animer des projets au sein de l'entité Les compétences attendues sont les suivantes : Vous justifiez de 5 ans d'expériences dans l'Administration Hadoop idéalement sur la solution Cloudera Maitrise impérative HadoopMaitrise de Cloudera Data Plateform (7.1.x)Maitrise de l'environnement Linux et précisément RedHatBonus : compétence sur NifiUn niveau d'anglais professionnel vous sera demandéNotre processus de recrutement : préparez-vous ! Vous faites bientôt partie de nos équipes ! Dans un premier temps, vous échangerez avec l'un d'entre nous par téléphone ;Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien physique ou Teams ;Pour finir, discutez métiers avec l'un de nos managers opérationnel ;Bienvenue chez nous !Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : postulez ou partagez avec votre réseau ! RedHat Cloudera Hadoop

Architecture et Conception : Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise. Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop. Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet. Installation et Configuration : Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques. Gérer les configurations, les mises à jour et les correctifs des composants Hadoop. Surveillance et Optimisation : Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement. Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes. Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels. Sécurité : Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop. Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc. Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées. Gestion des Données : Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données. Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données. Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées. Automatisation et Orchestration : Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc. Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop. Développement et Support : Fournir un support technique aux équipes de développement et d'analyse des données. Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop. Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop. Formation et Documentation : Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop. Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances. Veille Technologique : Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données. Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.

💡 Contexte /Objectifs : L'entité anime une communauté d'experts en charge des périmètres fonctionnels Cloud, BigData, Blockhain et IA. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes Expertise en cybersécurité. Dans ce cadre la prestation consiste à contribuer à/au(x) : - L'assistance sécurité des centres de compétences en charge de la mise à disposition des composants d'infrastructure et du développement du framework de controle des usages sur le Cloud Public - La sécurité détaillées relatives à l'implémentation et aux usages des technologies et services des fournisseurs (AZURE, AWS) - La production de dossiers de sécurité et le support aux développements et opérations mis en place par les Centres de Compétences, en France, ainsi qu'à l'internationnal - L'assistance sécurité des projets Cloud (Privé/Public) en assistant les BusinessUnit/ServiceUnit (architecture, normes, standards...) Environnement Agile Environnement anglophone Environnement technique : IA, Data protection et Big Data, Socle d'infrastructure (OS, middlewares, container, virtualisation...), Réseaux, sécurisation des développements. 2 - Livrables attendus Les livrables attendus sont : - Livrables documentaires sécurité (dossiers de sécurité, "blueprints", Dossiers d’analyse des risques et d’identification des mitigations/ contre-mesures associés à la consommation des services des CPS, dossier de recommandation d'architecture sécurité, etc.) à destination des entités France et International, - Dossiers de consolidation des exigences et spécifications sécurité en déclinaisons des User-Stories technico-fonctionnelle sur les domaines Public Cloud AWS/AZURE, - Revue sécurité du code des composants logiciels développés par les centres de compétences et assistance sécurité, - Chapitre sécurité des livrables documentaires propres aux projets (recommandations, politiques, standards, DAT, DAH, LLD, HLD...), - Supports de remontées des moyens à des fins de restitution - Spécification des contrôles de supervision au sein des environnements techniques des CSP (AWS, AZURE...) en vue de leur l’automatisation au sein des frameworks de contrôle, - Investigations sur dysfonctionnements et remédiations, rapports d'incident… - Reporting

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

Nous recherchons pour notre client grand compte un consultant spécialisé dans les systèmes d’information avec de solides connaissances en finance de marché, à l'aise avec les méthodologies Agile. Description : Recueil des besoins et rédaction des spécifications fonctionnelles générales. Priorisation des projets ou des lots d'un projet. Suivi des développements avec la maîtrise d'œuvre. Établissement du cahier de recette et réalisation de la recette. Accompagnement à la mise en production. Formation des utilisateurs et rédaction des procédures et guides utilisateurs. Coordination de projet et reporting.

Nous recherchons un Architecte Cyber Sécurité afin d'intégrer nos équipes, pour effectuer les tâches suivantes : - Accompagnement sécurité des projets métiers et techniques de la phase d’instruction à la mise en production - Pilotage de sujets sécurité techniques et fonctionnels divers avec des correspondants techniques ou métiers suivant le projet: • Pilotage du volet sécurité de projet de déploiement d’infrastructure ou d’application dans le Cloud • Analyse des risques de sécurité liés à l’introduction de nouvelles technologies ou de nouveaux systèmes d’information • Animation de programme de Cyber Sécurité : veille, réalisation études, gestion et maitrise des risques • Définition de la cible à atteindre, réunions de travail avec les équipes techniques, pilotage des actions • Pilotage de projet technique de transformation de SI, ex : mise en place d’un DLP • Contribution aux projets études et de réalisation technique, dossiers d'architecture, etc. (tout document projet) • Accompagnement au projet, toute contribution sécurité dans les livrables de la méthode projet : o Réalisation d’étude technique o Questionnaire sécurité pour un appel d'offres o Analyse de risque sur le volet technique et organisationnel o Paragraphe sécurité dans le dossier d'architecture o Cahier des charges pour la réalisation de tests d'intrusion o Restitution des vulnérabilités pour les audits de code • Pour le pilotage de sujets techniques sécurité, tout document utile à la mise en place / amélioration de l'outil / processus Environnement technique de la prestation : M365, Spark, Hive, Hadoop

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Traitement d'un gros volume de données - Environnement Hadoop - Environnement Anglophone - Environnement Agile Les livrables attendus sont : - Revue de code et re-factoring - Normes de développements Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hive

Contexte de la mission : Dans une équipe de 6 personnes en multi sites, le consultant participera aux développements informatiques sur les technologies Hadoop, HDFS, Hive, Spark Sql et PySpark, Sqoop MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Ingénieur full stack Python / Vue Js / Node Js Niveau requis plus de 8 ans d'expériences Maîtrise des langages d’analyse et de traitement de données (Python Flask – Pandas – Plotly…etc) en POO (Programmation Orientée Objet) Maîtrise des langages de développement front-end (SPA vue.js, node.js) Pratiques de développement et déploiement continue (Gitlab, Docker, SonarQube, CheckMarx, …) Maitrise des architectures BigData (Hadoop, HBase, HDFS) Animation d’ateliers de conception et de communauté Autres Compétences souhaitées Sens du service (volonté forte de faire avancer les chantiers, capacité à analyser les demandes, à aller au bout des besoins) Etre autonome et savoir rendre compte Qualité relationnelle et capacité à travailler en équipe Sens de l’initiative et force de proposition Rigueur et qualité rédactionnelle (documents de capitalisation, documents de synthèse des interventions, formalisation et planification des tâches) Capacité à coacher et faire progresser les autres Adaptabilité aux contextes grands comptes

Au sein d'un client du domaine bancaire, vous intervenez au sein de la DSI en qualité de Référent technique MLOps. Dans ce cadre, votre quotidien s'articule autour des missions suivantes : mettre en place l'outillage Datascience et MLOPS et identifier les patterns pour un usage global évaluer et adpoter de nouvelles technologies et méthodologie pour améliorer les processus MLOps et l'efficacité de l'équipe Diriger l'élaboration et la mise en oeuvre de pipelineSuperviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes interne Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).s / solutions MLOps pour l'entrainement, le déploiement et la surveillance des modèles ML

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL