Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Missions: · Développement Scala/Spark · Maîtrise de l’environnement technique (AWS Databricks, AWS S3) · Expériences sur la Qualité logicielle (revue de code ; conformité aux critères de qualité SONAR, tests automatisés) · La connaissance de Power BI (Azure) est un plus -Les compétences fonctionnelles attendues sont les suivantes : · Méthode Agile · Expérience sur des projets de technologies similaires · Connaissance du domaine Data · Expérience de travail sur des projets en équipe, (notamment savoir solliciter son écosystème au bon moment)

1 - Contexte La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. 2 - Description de la mission Nous recherchons un Data Engineer confirmé/sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL Développement et l’implémentation de solutions Big Data Analytics Analyse du besoin, étude d'impacts et conception de la solution technique Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …) Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake Développements de notebooks (ex : Databricks) de traitements avancés des données Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL) Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….) Revue de code Réalisation de tests unitaires Maintenance corrective et évolutive Livraison dans un environnement Devops, CI/CD et outils associés

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Ingénieur Ingénieur DevOps / Tech Lead en Automatisation CI/CD (H/F) dans le cadre d'un projet Big Data. Description du poste : Nous recrutons pour notre client, une entreprise d'envergure en pleine transformation digitale de sa plateforme de données un(e) Ingénieur DevOps / Tech Lead en Automatisation CI/CD pour intégrer et renforcer leur équipe en charge d'une plateforme réactive et scalable. Ce rôle exigeant et transverse vise à garantir l'excellence opérationnelle, le partage des meilleures pratiques, et la fédération des équipes autour d'une vision commune des architectures réactives et systèmes distribués. Missions principales : - Support Build & Run : Assurer le support des pipelines CI/CD en build et en production, en maintenant la stabilité et en participant aux améliorations continues de la plateforme. - Évangélisation de la Plateforme : Agir en tant qu'ambassadeur(rice) de la plateforme réactive en facilitant l'onboarding des équipes, en communiquant la vision technique, et en promouvant la philosophie de l'architecture réactive (AR). - Tech Transverse : Coordonner et communiquer avec les équipes inter-squads, en proposant des architectures techniques adaptées aux besoins et en assurant une cohésion technique. - Expertise en Automatisation CI/CD : Concevoir, gérer et optimiser les pipelines d'intégration et de déploiement continus pour maximiser l'efficacité et réduire le time-to-market. - Challenge et amélioration continue : Identifier des axes d'optimisation, tant sur la plateforme que sur les processus CI/CD, en vue d'une amélioration continue. - Architectures réactives et systèmes distribués : Participer activement aux choix techniques sur les architectures réactives, les systèmes de microservices et le streaming haute performance. - Développement Scala : Intervenir dans le développement backend en Scala (Spark, Akka, Play) en apportant une expertise sur la JVM et en travaillant sur des librairies internes réutilisables. - Amélioration de la qualité et des performances : Contribuer à l'optimisation des performances de la plateforme, et au développement d'outils d'extraction/injection générique de messages multi-formats (Avro, Proto, XML, JSON). - Partage des connaissances : Organiser et participer à des meetups, en partageant les retours d'expérience, les meilleures pratiques et en formant les équipes sur les outils et méthodes DevOps. Profil recherché : - Expérience confirmée en DevOps, avec une expertise en gestion de plateformes réactives et automatisation CI/CD. - Compétences avancées en administration de GitLab, GitLab CI et Jenkins pour le support des pipelines de build et run. - Maîtrise des langages de données (Avro, Proto, XML, JSON) et de Scala, avec des connaissances en Spark, Akka, et Play. - Expérience en méthodologie DevOps et en accompagnement technique, avec des compétences en communication pour fédérer les équipes. - Compétences organisationnelles et relationnelles : Aptitude à mener des initiatives transverses, avec une approche orientée collaboration et partage de la connaissance. Compétences techniques requises : - CI/CD : Administration de GitLab et Jenkins. - Scripting et automation : Compétence avancée pour la création et la gestion de pipelines. - Langages de données : Formats Avro, Proto, XML et JSON. - Développement Backend : Expérience avec Scala et ses frameworks associés (Spark, Akka, Play). - Outils de gestion collaborative : Maîtrise de Jira et Wiki pour la gestion de projets et le suivi collaboratif. - Soft skills : Curiosité, autonomie, esprit d'initiative et capacité à résoudre des problèmes de manière proactive. Compétences additionnelles : - Capacité à identifier les processus d'industrialisation et à proposer des solutions pour une automatisation accrue. - Connaissance des systèmes distribués et des microservices. - Pratique de la veille technique pour rester à jour sur les évolutions technologiques et les tendances du secteur.

Le Bénéficiaire souhaite une prestation d'accompagnement (2,5 à 3 ans) pour assurer un service d'expertise autour de Dataiku, de Tableau et du ML/IA aux utilisateurs de la plateforme Prométhée. Cette plateforme permet aux Fonctions Centrales RISK, FINANCE et STFS de BNP Paribas de réaliser des travaux réglementaires sensibles du Groupe (stress tests bancaires, calcul du capital interne, reportings financiers, …). Elle intègre et met à disposition, avec le support d’équipes de production dédiées, les services suivants : - Cluster Hadoop CDP 7.1.9 ; - Cluster K8S ; - Service d’ingestion de données (application Java/Spark/Shell développée en interne) ; - Dataiku DSS et Automation Node (v. 12.6) comme point d’entrée du Métier sur tous les services ; - Service d’archivage de données (application Java/J2E développée en interne) ; - Dataviz via offre Tableau Groupe. Les missions de l’équipe Prométhée sont : 1. Gestion au quotidien & gouvernance de la plateforme ; 2. Maintien en conditions opérationnelles de la plateforme : a. Traitement des incidents ; b. Gestion des montées de versions des différents composants systèmes et applications, en collaboration avec les équipes de production ; c. Anticipation de la charge et planification des évolutions requises pour y faire face ; 3. Garantie de la sécurité et de la disponibilité du service : mise en place et monitoring de solutions de backup des données et des politiques de sécurité d’accès ; 4. Veille à l'évolution de la plateforme pour répondre aux nouveaux besoins métiers ; 5. Support utilisateurs sur les différents composants de la plateforme. Ce contexte exige une grande polyvalence technique et une réelle compréhension des principaux composants d'un SI (réseau, système, sécurité). La Tribe Prométhée est composée de 3 Squads de 5-6 personnes ayant chacune 1 Product Owner et 1 Tech Lead. La prestation sera réalisée au sein de la Squad Data Usage dont les principales missions sont : - d'assister les utilisateurs de Prométhée sur les outils Dataiku et Tableau ainsi que dans le choix et l'utilisation de modèles de ML/IA ; - de concevoir et d’assurer l’insertion opérationnelle de modèles de ML/IA répondant à de forts enjeux pour nos utilisateurs et pour la Banque. L’équipe est située sur le site du Millénaire 4 (Paris 19) et le rythme est de 50% de présence sur site.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java et Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un Développeur Java et Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java et Scala (maitrise obligatoire des 2 langages) dans des environnements Big Data. - Compétences techniques : - Langages : Java , Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Architecte Solution Big Data (H/F) dans le cadre d'un projet Big Data. Description du poste : Nous recherchons un Architecte Solution expérimenté pour rejoindre notre équipe dédiée à la transformation digitale et aux projets Big Data dans le secteur de la logistique et de la livraison. Le candidat idéal concevra des architectures logicielles robustes et adaptatives pour des solutions de gestion de flux de données à grande échelle, contribuant à optimiser les services de suivi et de gestion d'objets de livraison. Responsabilités : - Concevoir et mettre en oeuvre des architectures système et logicielles adaptées aux besoins des projets Big Data et en ligne avec les exigences d'urbanisme. - Assurer la cohérence et l'homogénéité des solutions logicielles tout en garantissant leur évolutivité et adaptabilité. - Collaborer avec les équipes de développement pour leur communiquer les règles d'architecture et offrir un support technique. - Participer à la définition de l'architecture fonctionnelle des projets en collaboration avec les urbanistes. - Analyser et proposer des améliorations sur les architectures existantes. Compétences requises : - Expérience significative en architecture de solutions Big Data. - Maîtrise des technologies Java, Scala et de frameworks comme Spring Boot. - Connaissance des outils de traitement de flux (Kafka, Spark Streaming, Akka Streaming). - Compétences en bases de données distribuées (Cassandra, Elasticsearch). - Connaissance des environnements de déploiement Docker, Kubernetes et Jenkins. - Compétences en méthodologies agiles (Scrum) pour s'intégrer dans un contexte de développement itératif. Profil recherché : - Niveau : Sénior à Expert en architecture logicielle. - Expérience de collaboration dans un environnement agile. - Capacité à travailler en équipe, à former et guider les développeurs sur les bonnes pratiques. - Autonomie, rigueur et excellent sens de la communication. Conditions de travail : - Localisation : Issy-les-Moulineaux avec possibilité de télétravail partiel. - Disponibilité : Démarrage souhaité début décembre 2024.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java/Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un développeur Java/Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java/Scala dans des environnements Big Data. - Compétences techniques : - Langages : Java, Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Consultant Tech Lead Java & Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons actuellement 2 Tech Leads ayant une forte expertise et expérience en Java et Scala et une solide expérience dans des environnements Big Data. Vous rejoindrez une équipe dédiée au développement de solutions autour de la traçabilité des objets, de la gestion des événements, et de l'amélioration des services client dans le cadre d'un projet de transformation digitale majeur. Vos missions : - Définir l'architecture logicielle des solutions en collaboration avec l'équipe d'architectes. - Participer au développement en restant un acteur clé sur la partie technique pour maintenir votre expertise. - Accompagner et encadrer l'équipe de développeurs, en assurant la montée en compétences sur les technologies Big Data. - Garantir la qualité des livrables en effectuant des revues de code, en supervisant les tests unitaires et en optimisant les performances. - Contribuer à la veille technologique et au développement de prototypes, avec une capacité à être force de proposition sur les choix technologiques. - Collaborer étroitement avec les Product Owners, Scrum Masters, et les architectes pour garantir l'alignement de l'architecture et des développements avec les besoins métier. Profil recherché : - Expérience : Vous êtes un expert avec au moins 7 ans d'expérience professionnelle en développement Java (spring boot) et Scala (la maitrîse des 2 langages de programmation est obligatoire), ainsi qu'une expérience significative en tant que Tech Lead sur des projets complexes. - Expertise technique : - Langages : Java (spring boot), Scala - Big Data : Kafka, Spark Streaming, Akka - Bases de données : Cassandra, Elasticsearch - Déploiement : Docker, Kubernetes, Jenkins - Message Protocol : Protobuf, Avro - Compétences en leadership : Expérience dans l'encadrement et la montée en compétences des développeurs, mise en oeuvre des bonnes pratiques de développement, coaching agile. - Agilité : Bonne connaissance de la méthodologie Scrum, capable d'évoluer dans un environnement agile et d'encadrer les équipes dans ce cadre. Modalités de la Mission : - Durée : Mission de 6 mois (renouvelable selon les besoins). - Environnement de travail : Localisation en Île-de-France avec possibilité de télétravail partiel.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Ingénieur DevOps Senior (H/F) dans le cadre d'un projet Big Data. Description du poste : Nous recrutons pour notre client, une entreprise d'envergure, actuellement en pleine transformation digitale de sa plateforme de données. Ce projet vise à optimiser une infrastructure robuste et élastique capable de répondre aux besoins de performance et de personnalisation, tout en permettant des traitements en temps réel et des analyses avancées. Missions principales : - Développer et gérer une infrastructure automatisée et scalable, en utilisant des pratiques Infrastructure as Code. - Orchestrer et automatiser le déploiement de conteneurs et la gestion d'applications dans un environnement de grande échelle. - Mettre en place et gérer des pipelines d'intégration et de déploiement continus pour garantir la fluidité des déploiements et la rapidité des itérations. - Développer des scripts avancés pour optimiser les processus de monitoring, de sécurité et de maintenance. - Participer à la gestion de flux de données distribués en temps réel et au traitement de gros volumes, tout en assurant la résilience et la sécurité de la plateforme. Profil recherché : - Expérience confirmée de 5 ans minimum en DevOps et Infrastructure as Code. - Maîtrise des technologies de conteneurisation et d'orchestration. - Compétences avancées en scripting pour l'automatisation des processus. - Connaissance approfondie des systèmes distribués et des environnements de production. Connaissances techniques requises : - Infrastructure as Code : Ansible. - Conteneurisation et orchestration : Kubernetes, Docker. - Automatisation et scripting : Bash, Python. - Gestion de pipelines CI/CD : GitLab CI, Jenkins, Nexus. - Middleware et traitement des données : Kafka, Spark, Cassandra, Elastic. - Outils de monitoring : Grafana, Prometheus, Kibana. - Connaissance de GO (souhaitée) pour le développement de microservices. - Environnement cloud et réseau sous Linux.

INVENTIV IT est à la recherche de son futur Architecte Data Azure. Avec 7 ans d'expérience au minimum Profil Technico-fonctionnel. Nous travaillons principalement dans un environnement Azure sur des sujets Big Data & Data Viz. Nous gérons à la fois le Build & le Run des applicatifs. Nous devons avoir une vision 360 des sujets Data : Data Mesh, Data Management, Acculturation Data ... Environnemennt : Azure Data Lake Azure Databricks Azure Synapse Azure Fabric Azure Data Factory Spark / Scala / Python Power BI Snowflake Résumé quelques une de nos missions : Participation à l’évaluation et à la livraison de composants Azure • Conception et mise en œuvre d’architectures de solutions data sur Azure (data lakes, ingestion, service et consommation de données). • Développement d’architectures Azure Data Lake pour stocker les données IoT et configurer Databricks. • Implémentation de solutions utilisant Azure SQL Database, Azure Data Factory, et Azure SQL Managed Instance. • Conception de solutions BI avec Power Platform (Power BI, Power Automate, Power Virtual Agents). • Création de rapports, tableaux de bord, et KPI avec Power BI, ainsi que gestion de la sécurité des données. • Direction de projets cloud axés sur les services Azure et gestion de la qualité des livrables pour les projets de migration et d’infrastructure.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Consultant Tech Lead (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons actuellement deux Tech Leads ayant une forte expertise en Java/Scala et une solide expérience dans des environnements Big Data. Vous rejoindrez une équipe dédiée au développement de solutions autour de la traçabilité des objets, de la gestion des événements, et de l'amélioration des services client dans le cadre d'un projet de transformation digitale majeur. Vos missions : - Définir l'architecture logicielle des solutions en collaboration avec l'équipe d'architectes. - Participer au développement en restant un acteur clé sur la partie technique pour maintenir votre expertise. - Accompagner et encadrer l'équipe de développeurs, en assurant la montée en compétences sur les technologies Big Data. - Garantir la qualité des livrables en effectuant des revues de code, en supervisant les tests unitaires et en optimisant les performances. - Contribuer à la veille technologique et au développement de prototypes, avec une capacité à être force de proposition sur les choix technologiques. - Collaborer étroitement avec les Product Owners, Scrum Masters, et les architectes pour garantir l'alignement de l'architecture et des développements avec les besoins métier. Profil recherché : - Expérience : Vous êtes un expert avec au moins 7 ans d'expérience professionnelle en développement Java et Scala, ainsi qu'une expérience significative en tant que Tech Lead sur des projets complexes. - Expertise technique : - Langages : Java, Scala (Spring Boot) - Big Data : Kafka, Spark Streaming, Akka - Bases de données : Cassandra, Elasticsearch - Déploiement : Docker, Kubernetes, Jenkins - Message Protocol : Protobuf, Avro - Compétences en leadership : Expérience dans l'encadrement et la montée en compétences des développeurs, mise en oeuvre des bonnes pratiques de développement, coaching agile. - Agilité : Bonne connaissance de la méthodologie Scrum, capable d'évoluer dans un environnement agile et d'encadrer les équipes dans ce cadre. Modalités de la Mission : - Durée : Mission de 6 mois (renouvelable selon les besoins). - Environnement de travail : Localisation en Île-de-France avec possibilité de télétravail partiel.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Scrum Master (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un Scrum Master pour rejoindre une équipe Agile travaillant sur un projet de transformation digitale dans le secteur de la logistique. Vous encadrerez deux squads dédiées au développement de solutions Big Data innovantes pour la traçabilité des objets, la gestion des événements logistiques, et l'amélioration des services clients. Ce projet comprend des développements en Java/Scala, l'utilisation de technologies Big Data, et l'intégration avec des systèmes d'information complexes. Vos missions : - Faciliter les cérémonies Agile (Daily Stand-ups, Sprint Planning, Retrospectives, Reviews) pour assurer le bon déroulement des sprints. - Encadrer et coacher les équipes de développement afin de maximiser leur vélocité et leur engagement envers les objectifs du sprint. - Assurer la transparence des objectifs, des obstacles, et de la progression des squads en communiquant efficacement avec les parties prenantes et les Product Owners. - Identifier et lever les obstacles (impediments) qui pourraient freiner l'avancement de l'équipe, en collaboration avec les Tech Leads et les autres membres de l'équipe. - Promouvoir l'amélioration continue en s'assurant que chaque rétrospective mène à des actions concrètes pour améliorer les processus et la collaboration. - Collaborer avec les Product Owners pour établir et maintenir un backlog clair, détaillé, et priorisé, garantissant l'alignement entre les équipes et les besoins métiers. Profil recherché : - Expérience : Au moins 5 ans d'expérience en tant que Scrum Master, avec une solide expertise dans des projets Agile d'envergure, idéalement dans des environnements techniques complexes. - Certifications : Certification Scrum Master (CSM, PSM) fortement souhaitée. - Compétences en facilitation : Capacité à animer des cérémonies Scrum avec rigueur tout en favorisant une ambiance bienveillante et constructive. - Compétences en coaching : Expérience avérée dans la montée en compétences des équipes de développement, en aidant chaque membre à maximiser son potentiel. - Technologies : Une bonne compréhension des environnements Big Data (Kafka, Spark, Cassandra) et du développement en Java/Scala est un plus pour être en mesure de mieux encadrer l'équipe technique. - Qualités personnelles : Excellentes compétences en communication, esprit collaboratif, capacité à gérer des équipes pluridisciplinaires, et forte orientation vers la résolution de problèmes. Pourquoi nous rejoindre ? - Impact direct sur un projet stratégique visant à transformer le secteur de la logistique grâce à des solutions innovantes. - Environnement Agile stimulant avec des équipes passionnées et des technologies modernes. - Possibilité de télétravail partiel, favorisant un équilibre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable selon les besoins). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

Afin de renforcer ses équipes, notre client recherche un(e) architecte sur un environnement Hadoop / Big data de technologie Cloudera ; Et avec des compétences en développement autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Descriptif de la mission : Les missions sont : Ø Les missions porteront sur : o Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Ø Evolution des architectures techniques : o Mise en place des principes directeurs sur l’utilisation du cluster Cloudera o Vérification de la bonne application des normes et des standards o Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster o Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Ø Expertise Hadoop de niveau 3 o Configuration du cluster Cloudera en fonction des besoins identifiés o Optimisation des traitements ; Ø Support : o Accompagnement des équipes de développement o Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données o Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Ø Savoir être : o Coordination et pilotage des chantiers en collaboration avec les différents services DSI o Autonomie pour la prise en charge des sujets et travail en équipe o Capacité à communiquer et s'adapter en fonction des différents interlocuteurs