Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Intégrer l’équipe Move To Cloud pour réaliser la migration dans le cloud GCP. X est le système de Revenue Management du groupe 100% migration cloud GCP Intégration d’une équipe de 6 personnes Présence sur site (Sophia Antipolis) obligatoire 1x par semaine. Présence sur site (Sophia Antipolis) obligatoire 3x par semaine pendant les 3 premiers mois (on boarding) Communication, leadership, autonomie, coaching Profils séniors uniquement Anglais niveau B2 Obligatoire Data engineering / Big Data Development Hadoop et Spark pour migration dans le cloud GCP

Contexte : Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en Elasticsearch, MongoDB ainsi qu’une expérience sur la plateforme Dataiku seraient un plus. Missions Principales : Support Technique Niveau 2 et 3 sur Cloudera Data Platform - Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera ; - Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers ; - Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire ; - Implémenter et Améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes ; - Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka - Administrer et Optimiser l’infrastructure Kafka sur Cloudera ; - Gérer la scalabilité et la résilience des clusters Kafka ;Assurer une supervision efficace des topics, brokers et consommateurs ; - Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets ; - Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement - Développer et Maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation ; - Automatiser la gestion des incidents récurrents et les procédures de maintenance ; - Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure - Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail ; - Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources ; - Analyser et Proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier ; - Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances - Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre ; - Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents ; - Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Nous sommes à la recherche d'un(e) Data Engineer pour intégrer l'équipe de notre client et participer à la maintenance ainsi qu'au développement de nouveaux besoins métiers. En tant que Data Engineer, vous serez un élément clé de l'équipe, collaborant avec divers départements pour garantir la qualité et l'efficience des solutions de traitement de données de notre client. Responsabilités : - Assurer la maintenance et l'optimisation continue des pipelines de traitement de données existants. - Développer de nouvelles solutions pour répondre aux besoins métiers émergents. - Collaborer avec les équipes de Data Science et de Business Intelligence pour transformer des données brutes en informations exploitables. - Superviser et gérer les clusters Hadoop et java Spark. - Appliquer les meilleures pratiques pour l'architecture et la mise en œuvre des solutions de données. - Identifier et résoudre les problèmes de performance et de fiabilité des systèmes de données. Compétences techniques requises : - Solide maîtrise de Java. - Forte maîtrise de Spark. - Très bonne connaissance de l'écosystème Hadoop. - Expérience certaine en développement Hadoop MapReduce. Poste à pourvoir en freelance pour une durée de 12 mois renouvelable ou en CDI.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Objectifs et livrables Infos Complémentaires : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. 💡Caractéristiques de la mission: Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

En tant que Data Engineer, vos principales responsabilités incluront : Optimisation et migration des jobs existants : Optimiser des jobs déjà en place et migrer ceux écrits en Hive vers Spark pour améliorer leurs performances. Modification et ajustement des workflows : Adapter les workflows actuels pour répondre aux nouvelles exigences des partenaires. Tuning des applications Spark : Effectuer des ajustements techniques pour améliorer les performances des applications Spark. Création et développement de nouveaux jobs : Concevoir et développer de nouveaux jobs de bout en bout en réponse aux besoins clients. Développement de backend : Développer de nouveaux backends afin de faire évoluer la stack technique du train SAFe PNS. Résultats attendus : Amélioration significative des performances grâce à la migration vers Spark. Refonte de l'architecture de certains jobs permettant de détecter et corriger des problèmes des anciennes versions. Création de jobs répondant aux nouvelles attentes des clients dans les délais impartis.

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (HDP & CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l’installation de cluster · Au monitoring et à l’administration des outils Big Data · A l’administration de cluster · A l’upgrade des distributions et des composants Hadoop · A l’installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d’environnements de développement et de test · A la sécurisation des clusters

Data scientiste IA Python big data Anglais Finance 540 e / j Concevoir et développer des solutions de traitement de données complexes (fichiers non structurés). Implémenter des modèles d'IA générative et des outils de RAG (Retrieve and Generate). Collaborer avec les équipes de Data Science et d'IA pour garantir l'efficacité des solutions. Participer à l’amélioration continue des solutions existantes. Compétences requises : Expertise en traitement de données non structurées (Word, PDF, CSV, etc.). Connaissances en IA générative et Large Language Models (LLM). Maîtrise avancée de Python. Expérience avec Hadoop, Spark, Scala, outils de Prompt Engineering, et CI/CD. Connaissance en finance est un plus. Profil recherché : 8-10 ans d’expérience en Data Engineering et Data Science. Autonomie, esprit d’équipe et capacité à travailler avec des équipes métiers et techniques. Expérience en banque et en direction financière appréciée. 540 e

À ce poste, vous serez une référence technique dans le domaine du Big Data, aussi bien vis-à-vis des clients pour lesquels vous interviendrez, que de l'équipe de réalisation à laquelle vous appartiendrez. Vos missions : Participer aux processus d'avant-vente et à l'élaboration des propositions commerciales ; Diriger la conception et la mise en oeuvre de projets Big Data ; Concevoir et développer des solutions de traitement de données massives (Hadoop, Spark, Kafka, Python, Scala, Hive...) ; Mettre en place des pipelines de traitement de données ETL et assurer la qualité des données (NiFi, Talend, Airflow, SQL...) ; Assurer la gestion et l'optimisation des bases de données distribuées et NoSQL (Cassandra, MongoDB, ElasticSearch...). Plus largement, vous pourrez?enrichir nos bonnes pratiques en matière d'architecture et de développement dans le domaine du Big Data, effectuer de la veille technologique, élaborer des supports de formation technique pour nos clients et nos consultants, ou encore contribuer à l'animation du pôle technique d'Artik Consulting.

Vos missions ? Intégré à nos équipes sur notre Factory ou chez nos clients, vous interviendrez sur un projet de développement back-end. Concevoir, développer et maintenir des applications en respectant les spécifications Participer au Code Review avec les autres développeurs du projet Ecrire de tests unitaires et fonctionnels durant vos développements Travailler en collaboration avec une équipe agile et participer aux réunions techniques Pre requis : - Expertise sur le langage Java, avec une expérience acquise en développement industriel (4 années) - Maitrise de SpringBoot - Expérience dans le domaine du traitement de la data en backend et des technos data open source (Spark, Kafka, Hadoop ...) La connaissance d'un cloud public est un plus (GCP).

Au sein d'une organisation dynamique dans le domaine du numérique, vous interviendrez sur la gestion et l’optimisation d’infrastructures cloud, ainsi que sur la gestion de plateformes de données à grande échelle. Vous serez responsable de l’industrialisation et de l’automatisation des services cloud pour garantir leur performance et leur évolutivité. Compétences techniques requises : Expertise dans les environnements cloud public (AWS, GCP, OVH) avec une préférence pour GCP . Maîtrise des outils d’automatisation et d'industrialisation des infrastructures ( Puppet , Ansible , Terraform ). Solides compétences en Big Data et technologies associées (notamment Spark , Python , Hadoop , SQL ). Expérience avec des solutions de déploiement et d’orchestration ( Jenkins , GitLab , Airflow ). Bonne culture des systèmes Unix/Linux et des environnements virtualisés. Compétences complémentaires appréciées : Expérience avec des architectures Data telles que Lakehouse et Datalake . Connaissance des solutions de stockage et traitement des données (ex : Delta , Parquet , DBT , BigQuery ). Bonne maîtrise des concepts systèmes , réseaux et virtualisation . Expérience sur des sites web à fort trafic .

Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l'équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Avril 2025 -> prestation pour 3 mois, renouvelable 2 fois – total 9 mois jusqu'à fin d'année 2025 Anglais : N/A + de 6 ans d'expérience Lieu : Villaroches (77) TT : à définir

Nous recherchons un Architecte Data confirmé pour accompagner notre client, banque d'investissement dans la mise en place de son datalake. Vous aurez à votre charge la conception, la mise en œuvre et l'optimisation du datalake, tout en portant la définition de la stratégie auprès de la DSI. Vos missions : Concevoir et architecturer le datalake en fonction des besoins spécifiques du client. Mettre en place les infrastructures nécessaires pour le datalake, en assurant performance, sécurité et scalabilité. Collaborer étroitement avec les équipes techniques et les parties prenantes pour garantir l'intégration et l'alignement des solutions data Gérer et optimiser le stockage des données, en veillant à la conformité réglementaire et à la gouvernance des données. Assurer une veille technologique pour intégrer les meilleures pratiques et les innovations pertinente dans la solution proposée. Pré-requis : Bac + 5 école d'ingénieur ou équivalent Expérience avérée (plus de 10 ans) en tant qu'Architecte Data avec une spécialisation en datalake idéalement dans le secteur bancaire. Maitrise des technologies de datalake (Hadoop, Spark, Kafka, etc....), compétences en architecte cloud (AWS, Azure, GCP), connaissance des outils d'intégration de données (ETL). Capacité à élaborer et à défendre des stratégies data auprès de la direction Anglais courant (environnement internationale)

À propos de SkillsFirst chez NEURONES : Filiale du groupe NEURONES, SkillsFirst accompagne les entreprises ayant un besoin d'assistance technique par l'intervention de compétences d'experts, notamment dans le domaine de la DATA. Nos valeurs : Ecoute, Réactivité, Professionnalisme. MISSIONS : Intégré chez nos clients Grands Comptes dans les secteurs Banque, Assurance, Energie, Industrie, etc., nous attendons de vous que vous maîtrisiez : L’acheminement de la donnée : Recueillir les besoins métiers / User de solutions de collecte et stockage de la donnée ; Développer les solutions techniques de collecte de la donnée via des API ; Développer des solutions techniques de stockage de la donnée (Hadoop) ; Réaliser les tests unitaires et d’intégration ; Mettre en place et maintenir les batchs (automatisations d’une série de traitements). La mise à disposition des données aux équipes utilisatrices Industrialiser et automatiser le nettoyage de la donnée ; Gérer, maintenir et documenter de multiples bases de données ; Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD ; Assurer le suivi de production et la maintenance. La mise en production de modèles statistiques dans les applications Développer l’industrialisation de modèles statistiques ou de machine learning ; Implémentation du suivi de la validité du modèle statistique ; Assurer le suivi de production et la maintenance. Autres : Automatiser la création de tableaux de bord aux équipes métiers ; Assurer une veille technologique sur les outils Big Data ; Écrire la documentation relative aux bases de données.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

L’un de mes meilleurs clients mondiaux en France recrute un Big Data Manager pour rejoindre leur projet à long terme ! Le service consiste à garantir l’administration des plateformes BigData, ainsi que le support aux utilisateurs tant en cas d’anomalies qu’en cas de demande de support de plateforme. Responsabilités: Configurez, surveillez et optimisez les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées Effectuer des tâches MCO quotidiennes (vérifier l’état des travaux et de la plateforme) Assurez la sécurité des données en mettant en œuvre des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération Assurer la programmation des chaînes d’ingestion et d’analyse qui s’exécutent sur les plateformes• Participer aux projets d’évolution des plateformes Big Data Piloter les performances des plateformes Big Data. Participer à la maintenance des environnements en appliquant les mises à jour. Automatisez les tâches récurrentes à l’aide de scripts pour rationaliser la gestion du système. Vous devez avoir de l’expérience avec : Expérience pratique et approfondie de la gestion de plateformes Big Data Vaste expérience de travail avec le support de données/plateformes Expérience avec Cloudera (Cloud Aero Suite) Expérience avec Linux, Hadoop, Ansible et Python Parle français/anglais

Nous recherchons un Data Scientist pour intervenir chez l’un de nos clients grands comptes du secteur bancaire. Dans le cadre de sa stratégie d’innovation, la Direction Financière de ce groupe a lancé un recensement des cas d’usage autour de l’ IA générative et de la data science , avec pour objectif de simplifier et optimiser le quotidien de ses équipes. Afin de soutenir cette initiative stratégique, nous renforçons l’équipe projet avec un Data Scientist expérimenté , maîtrisant les modèles de langage (LLM) , le traitement de données non structurées , ainsi que les outils de type RAG (Retrieval-Augmented Generation) . Vos missions: Sous la responsabilité du leader de l’équipe Développements Tactiques, vous interviendrez sur : Le traitement et l’exploitation de données non structurées : fichiers Word, PDF, PPT, CSV, etc. Le développement de solutions IA générative intégrées au SI Finance L’ implémentation de modèles LLM et d’outils de type RAG (Retrieval-Augmented Generation) La génération automatisée de documents via Python La mise en place de prompts avancés (prompt engineering) La collaboration avec les équipes Data Science, IT et métiers (finance, innovation, etc.) La participation aux rituels agiles et à la montée en compétence des équipes sur les sujets IA Big Data : Hadoop, Spark, Scala Langages & IA : Python, Prompt Engineering, outils RAG Data Science : sklearn, xgboost Base de données : SQL CI/CD : intégration continue Environnement collaboratif avec équipes innovation, métier et data