Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Description détaillée "Dans le cadre du développement du SOC XXXX, celui-ci souhaite lancer un appel à prestation pour une mission d'assistance en cybersécurité N2, principalement sur la lutte contre la fraude. Intégré au sein du SOC, cette mission portera principalement sur les activités suivantes : - Détection, qualification et analyse des incidents de sécurité infrastructures, applicatifs - Pilotage des plans de réponse à incident - Suivi des plans de remédiation - Mise en place de scénario de détection et du traitement des alertes associées - Amélioration et mise en place de playbook d'automatisation En raison des contraintes réglementaires applicables à l'environnement du SOC XXXX être ressortissant de l'Union Européenne est indispensable à la réalisation de cette mission. Le profil pour cette mission supposera : - Une expérience de 2 ans minimum en cybersécurité - Une expérience opérationnelle en SOC est souhaitable - Une bonne capacité de communication, d'analyse et de synthèse - Capacité à travailler avec rigueur et en équipe - Connaissance Splunk impérative - Connaissance en développement PHP et Python

Description du poste : En tant que consultant SecOp au sein de notre ESN pure player de la cybersécurité (membre d’Hexatrust), vous jouerez un rôle essentiel dans la protection des infrastructures informatiques de nos clients. Vous serez responsable de la surveillance proactive, de la détection des menaces et de la réponse aux incidents, tout en travaillant sur des projets variés pour améliorer la sécurité globale des systèmes d'information. Ce poste requiert une expertise technique étendue ainsi que la capacité de gérer efficacement les situations critiques et les vulnérabilités complexes. Responsabilités : Effectuer la surveillance continue des systèmes et réseaux pour détecter les activités suspectes et les intrusions potentielles. Analyser les alertes de sécurité, enquêter sur les incidents et répondre rapidement pour minimiser l'impact. Gérer les vulnérabilités en réalisant des évaluations de sécurité, en appliquant des correctifs et en recommandant des solutions de mitigation. Participer à la conception et à la mise en œuvre de mesures de sécurité préventives et réactives. Collaborer avec les équipes internes et les clients pour fournir des conseils stratégiques et des recommandations de sécurité.

Envie d’un nouveau challenge ? CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un Tech Lead Data Hub pour intervenir chez un de nos clients. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : Piloter la migration d’un DataHub on-prem (actuellement sous Hadoop) vers le service DataHub du groupe. Assurer la réécriture des traitements Hadoop vers Spark en optimisant les performances. Encadrer et accompagner les équipes techniques dans la montée en compétences sur les nouvelles technologies. Mettre en place et orchestrer les workflows de données avec Airflow. Optimiser et requêter les données via SQL, Starburst, Presto ou Trino. Faciliter le retro-engineering des pipelines Hadoop/Hive si nécessaire. Garantir la qualité, la robustesse et la scalabilité des traitements de données.

Nous recherchons un consultant BI confirmé , spécialisé en Data & Analytics , pour intervenir sur la maintenance évolutive de plusieurs plateformes décisionnelles dans le domaine de l’affacturage et du pilotage financier & risques . Vous intégrerez une DSI bancaire dédiée aux financements, et interviendrez sur des projets stratégiques liés à l’évolution du SI décisionnel (nouveaux indicateurs de pilotage, enrichissement des données métiers, reporting DCLI, syndication...). 🎯 Vos missions : Participer à la maintenance en condition opérationnelle des plateformes décisionnelles PISA & SEXTANT. Concevoir, modéliser et développer des flux d’alimentation ETL pour intégrer de nouveaux objets et indicateurs. Réaliser les développements SQL, ETL, scripts Shell , compatibles avec l’existant. Collaborer étroitement avec les Business Analysts et les métiers pour la conception fonctionnelle . Assurer le support en phase de recette et les mises en production. Documenter les développements et maintenir à jour le dictionnaire de données. Travailler en méthode Agile , en interaction avec les équipes projet.

Dans ce cadre , la prestation consiste à contribuer à : - L'intégration des cas d’usages Datalake dans le SI avec l'Architecture Techniques - Identifier et prévenir les risques éventuels de dérapages en terme de coûts et de délais afin de mitiger le risque identifié - Développement et Implémentations des collectes de données, des jobs de traitement et Mapping de données (Spark/Scala/SparkSQL) - Développement des moyens de restitution via génération de fichier et ou API & Dashboarding ( Java Spring Batch/Boot, rest API, Postgres) - A l'amelioration de la chaîne de livraison continue ( Jenkins, Sonar, Nexus , Kubernetes) - Mise en place de la revue de code avec l'entité - Initiatives projet sur la migration Azure Avec l'Architectures Techniques dans les choix d'implémentation au sein du SI, la prestation consistera à contribuer à/au(x) : - Préconisations en termes d'architecture big data - Mise en place des moyens techniques en conformité avec les lignes directrices fixées par les métiers, les normes et standard SG - La garantie de la qualité et de la maintenance technique du produit - Bon fonctionnement de la stratégie de test du produit - La veille technique

Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l'équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Avril 2025 -> prestation pour 3 mois, renouvelable 2 fois – total 9 mois jusqu'à fin d'année 2025 Anglais : N/A + de 6 ans d'expérience Lieu : Villaroches (77) TT : à définir

À ce poste, vous serez une référence technique dans le domaine du Big Data, aussi bien vis-à-vis des clients pour lesquels vous interviendrez, que de l'équipe de réalisation à laquelle vous appartiendrez. Vos missions : Participer aux processus d'avant-vente et à l'élaboration des propositions commerciales ; Diriger la conception et la mise en oeuvre de projets Big Data ; Concevoir et développer des solutions de traitement de données massives (Hadoop, Spark, Kafka, Python, Scala, Hive...) ; Mettre en place des pipelines de traitement de données ETL et assurer la qualité des données (NiFi, Talend, Airflow, SQL...) ; Assurer la gestion et l'optimisation des bases de données distribuées et NoSQL (Cassandra, MongoDB, ElasticSearch...). Plus largement, vous pourrez?enrichir nos bonnes pratiques en matière d'architecture et de développement dans le domaine du Big Data, effectuer de la veille technologique, élaborer des supports de formation technique pour nos clients et nos consultants, ou encore contribuer à l'animation du pôle technique d'Artik Consulting.

Nous recherchons un Consultant Décisionnel BI expérimenté pour intégrer une équipe projet dynamique et réaliser une mission chez l'un de nos clients. En tant que tel, vos missions seront les suivantes : Analyser les besoins fonctionnels et techniques afin de concevoir une architecture de données efficace et performante. Collaborer étroitement avec les référents techniques pour des sujets hors cadre BI classique (ex. : Big Data, solutions NoSQL, intégration sans ETL). Modéliser et enrichir des datawarehouses (entrepôts de données) et datamarts (magasins de données) pour répondre aux besoins métiers. Développer et documenter les processus d’intégration et transformation de données. Créer des rapports et tableaux de bord lisibles et exploitables, en adéquation avec les attentes métiers. Tester la qualité et la performance des rapports et dashboards produits. Assurer la formation et l’accompagnement des utilisateurs pour une prise en main optimale des livrables BI. Maintenir en conditions opérationnelles les solutions livrées Environnement technique : Informatica, Java, Tableau Server, Oracle, Cascading, Maven, Hive, CEPH, Indexima, Control-M, Git, Jenkins, Ansible, Spark, Terraform

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant BI (H/F) à Lyon, France. Contexte : Projet de pilotage et d’analyse du système et doit répondre aux enjeux suivants : - Assurer le pilotage du système et des processus métier associés - Garantir la qualité et la sécurité des informations - Contribuer à l’amélioration continue du système L’application permet trois principales fonctionnalités : - Le reporting - L’export des données - L’exploitation de données Elle est utilisée par environ 1500 utilisateurs (analystes, experts métiers, experts SI). L’équipe se compose de près de quarante compétences, réparties en six sous équipes, qui a comme périmètre un ensemble de thématiques métiers et une plateforme technique. Les missions attendues par le Consultant BI (H/F) : Activité principale : o Analyser les besoins fonctionnels et techniques o Localiser les données de production permettant de répondre au besoin o Documenter / spécifier les livrables o Développer les processus d’intégration de données o Modéliser et enrichir les datawarehouse (entrepôts de données) et les datamarts (magasins de données) o Produire des rapports ou tableaux de bords lisibles et compréhensibles par le métier, et répondant à leur besoin o Tester la qualité et la performance de ses livrables Activité secondaire : o Livrer et déployer ses livrables o Participer aux revues de code o Assurer le suivi et le maintien en conditions opérationnelles de ses livrables en production Stack technique de l'équipe : o Big Data : Spark, Hive. o Stockage : Oracle, CEPH S3 (parquet). o Langages : Java, Python, PL/SQL, Shell. o CI/CD : Ansible, Terraform, Jenkins, GIT. o ETL : Informatica. o Dataviz : Tableau Server, PowerBI. o Ordonnanceur : Control-M.

Almatek recherche pour l'un de ses clients un Administrateur plateforme Big Data (Cloudera Data Platform) sur Villaroche. 🔍 Contexte Notre client utilise une plateforme Big Data on-premise (Cloudera Data Platform) dédiée aux besoins du Service Après-Vente. La DSI gère l’ingestion et la préparation des données, assure l’industrialisation des développements et garantit le bon fonctionnement technique de la plateforme GAIA. Dans ce cadre, nous recherchons un Administrateur Big Data pour assurer l’exploitation, la maintenance et le support aux utilisateurs. Missions 1️⃣ Exploitation et administration de la plateforme Configuration, surveillance et optimisation des clusters Cloudera. Sécurisation des données (LDAP, Kerberos, SSL). Automatisation des tâches récurrentes via scripting (Shell, Ansible, Python). Ordonnancement des chaînes d’ingestion et des analytiques (Oozie, Nifi). Application des mises à jour et gestion des performances. 2️⃣ Support et gestion des incidents Assistance technique de niveau 1 et 2 aux utilisateurs via Redmine (Follow Up). Analyse et résolution des anomalies, mise en place de correctifs. Suivi régulier des demandes et communication aux utilisateurs. Reporting mensuel sur les incidents et le support. 3️⃣ Amélioration continue & documentation Mise à jour des référentiels (SharePoint, bonnes pratiques, procédures). Production de synthèses et propositions d’optimisation. Amélioration de la qualité de service et des performances de la plateforme. 🛠️ Compétences requises Systèmes & Sécurité : Linux (RedHat 8), LDAP, Kerberos, SSL, IDM. Big Data : Cloudera (HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi). Automatisation & Monitoring : Ansible, Centreon, scripting Shell, Python, Scala. Base de données : SQL. Soft skills : Bon relationnel, esprit d’équipe, autonomie, synthèse et communication claire.

Nous recherchons un Administrateur plateforme Big Data (Cloudera Data Platform) Séniorité + de 6 ans d'expérience Contexte Le client est doté d’une plateforme Big Data on premise, basée sur la suite Cloudera Data Platform. Elle sert essentiellement aux besoins du Service Après-Vente de ses produits. Les rôles de la DSI sur cette plateforme sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Développer les pipelines de préparation des données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Lieu de mission Villaroches (77) Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme. Support aux utilisateurs Support sur incident Documentation technique et fonctionnelle de la plateforme Suivi de l’activité de run et amélioration continue

Les rôles de la DSI sur cette plateforme nommée GAIA sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l’équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme GAIA. En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme.

Industrie: DEFENSE Lieu : Rennes, Brest ou Lorient (1 jour de télétravail par semaine) Démarrage : 01/03/2025 Durée : 6 mois Langue : Français Expérience requise : 10 ans ou plus Contexte de la mission Dans le cadre du développement de sa Data Platform , notre client recherche un Architecte Solution en soutien de l’architecte solution en poste. La mission consiste à intervenir dans les phases de cadrage et de déploiement de la plateforme, en collaboration avec une équipe projet rassemblant les expertises Infrastructure, Développement, Architecture et Cybersécurité . Missions principales1. Conception et modélisation de l’architecture de la Data Platform Concevoir et documenter les architectures fonctionnelles et techniques de la plateforme. Modéliser les flux de données et interactions entre les composants Cloudera (NiFi, HDFS, Ozone, Impala, Kafka, Hive...). Formaliser des schémas clairs et détaillés (conceptuel, logique, physique) adaptés aux audiences techniques et métiers. Intégrer les principes d’ urbanisation des données et d’ architecture d’entreprise . 2. Production et maintien de la documentation d’architecture Rédiger et maintenir les Documents d’Architecture Générale (DAG) et leurs annexes. Documenter les choix techniques, schémas d’architecture et bonnes pratiques . Assurer la cohérence et la compréhension des documents auprès des équipes internes et partenaires. Aligner la documentation avec les 4 DAG services : Data Processing Data Gouvernance Data Valorisation Data Virtualization 3. Intégration des considérations liées à l’IA Générative Étudier et intégrer les enjeux spécifiques de l’ IA Générative dans l’architecture. Adapter les infrastructures pour optimiser l’exploitation des modèles d’IA et d’apprentissage automatique . 4. Accompagnement des équipes dans la mise en œuvre de l’architecture Collaborer avec les équipes techniques (Data Engineers, DevOps, Cybersécurité) pour assurer la mise en œuvre des architectures définies. Assister les équipes métiers pour traduire leurs besoins en solutions techniques . Animer des ateliers de travail et revues d’architecture pour garantir l’alignement des parties prenantes. Soutenir l’équipe Valorisation des données sur les aspects techniques de l’exploitation.

Projet : La DSI Risks regroupe toutes les activités MOA et MOE sur les applications des périmètres métiers Risques, Résultats, Gestion Financière. Les challenges de la DSI Risks sont : • mener avec succès les projets d’évolution du système d’information, en réponse aux nouveaux besoins règlementaires, métier, ou d’architecture globale du SI • faire évoluer et entretenir le SI métier, en mettant en œuvre des solutions efficaces et durables • assurer le support quotidien aux utilisateurs (Résultats, Risques, FO, BO, …) sur les outils SI. Contexte : L'application permet d'affecter un identifiant de payoff et un niveau d'observabilité (Fair Value Level) aux différents instruments récupérés à partir du référentiel Base des Opérations (BOP) en se basant sur leurs caractéristiques et le paramétrage métier (Cartographies). La mission consiste à développer et adapter des processus d’intégration, de traitement et de calcul de données ainsi que du site Web de l'application . L'application manipule un grand volume de données sur les instruments, les trades, les assets, les positions, les sensibilités, les chocs, la XVA avec de multiples sources de données. Missions du développeur/euse Fullstack C# / Angular / SQL : L’application est composée de plusieurs modules : - Un module BATCH développé en C# / SQL (Oracle) et ordonnancé par Control M - Un module BATCH Big Data développé sur Hadoop en utilisant les technologies suivantes : Spark, Scala, Python, Hive et Kafka - Un module IHM WEB développé en Angular / NestJS

Objectifs : Le consultant Data Engineer SQL au sein du chapter « Data & BI Client - Data Engineering », sera en charge principalement de La maintenance évolutive des flux de données SQL (modélisation, Intégration/transformation de données, calculs d’indicateurs ,…) Ordonnancement des traitements (via ctrlM) Flux de données (Fichiers plats, xml, web services, …) Optimisation SQL - L’impact de la migration vers Windows 11 avec changement de login et de domaine (Outils, Process, Pipelines, …), le développement de fixs (optimisations et améliorations) des process techniques et le support niveau 2 (principalement au niveau bdd). Compétences optionnelles Connaissances d'outils devops (XLD, XLR, Azure pipeline, ..) Connaissances des outils BI (PBI, BO) Connaissances dev c# Connaissances Hadoop, hdfs, hive, spark

Nous recherchons un Ingénieur Data Gestion Courante : Objectifs et livrables en CDI sur Montpellier. Objectifs Sur le périmètre confié en coordination avec l'équipe de Gestion Courante Datalake : Assurer le suivi des traitements quotidien en Spark/Scala Analyser, corriger les incidents fonctionnels confiés avec leurs éventuelles reprises de données afférentes Tester les corrections d'incidents Mettre à jour la documentation Livrer en production les corrections Rendre compte à son chef de projet Livrables Spécifications des corrections dans le respect des délais et des charges définis avec son chef de projet Plan et cas de tests Mises à jour de la documentation Mise à jour du suivi interne de l'équipe Compétences demandées · Niveau de compétence · Oracle · Avancé · scala · Avancé · Gitlab · Avancé · UNIX / LINUX · Avancé · mesos · Élémentaire · IARD · Avancé · opcon · Élémentaire · spark · Avancé · Hive · Avancé