Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Les rôles de la DSI sur cette plateforme nommée GAIA sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l’équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme GAIA. En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme.

Projet : La DSI Risks regroupe toutes les activités MOA et MOE sur les applications des périmètres métiers Risques, Résultats, Gestion Financière. Les challenges de la DSI Risks sont : • mener avec succès les projets d’évolution du système d’information, en réponse aux nouveaux besoins règlementaires, métier, ou d’architecture globale du SI • faire évoluer et entretenir le SI métier, en mettant en œuvre des solutions efficaces et durables • assurer le support quotidien aux utilisateurs (Résultats, Risques, FO, BO, …) sur les outils SI. Contexte : L'application permet d'affecter un identifiant de payoff et un niveau d'observabilité (Fair Value Level) aux différents instruments récupérés à partir du référentiel Base des Opérations (BOP) en se basant sur leurs caractéristiques et le paramétrage métier (Cartographies). La mission consiste à développer et adapter des processus d’intégration, de traitement et de calcul de données ainsi que du site Web de l'application . L'application manipule un grand volume de données sur les instruments, les trades, les assets, les positions, les sensibilités, les chocs, la XVA avec de multiples sources de données. Missions du développeur/euse Fullstack C# / Angular / SQL : L’application est composée de plusieurs modules : - Un module BATCH développé en C# / SQL (Oracle) et ordonnancé par Control M - Un module BATCH Big Data développé sur Hadoop en utilisant les technologies suivantes : Spark, Scala, Python, Hive et Kafka - Un module IHM WEB développé en Angular / NestJS

Nous recherchons un Ingénieur Data Gestion Courante : Objectifs et livrables en CDI sur Montpellier. Objectifs Sur le périmètre confié en coordination avec l'équipe de Gestion Courante Datalake : Assurer le suivi des traitements quotidien en Spark/Scala Analyser, corriger les incidents fonctionnels confiés avec leurs éventuelles reprises de données afférentes Tester les corrections d'incidents Mettre à jour la documentation Livrer en production les corrections Rendre compte à son chef de projet Livrables Spécifications des corrections dans le respect des délais et des charges définis avec son chef de projet Plan et cas de tests Mises à jour de la documentation Mise à jour du suivi interne de l'équipe Compétences demandées · Niveau de compétence · Oracle · Avancé · scala · Avancé · Gitlab · Avancé · UNIX / LINUX · Avancé · mesos · Élémentaire · IARD · Avancé · opcon · Élémentaire · spark · Avancé · Hive · Avancé

Objectifs : Le consultant Data Engineer SQL au sein du chapter « Data & BI Client - Data Engineering », sera en charge principalement de La maintenance évolutive des flux de données SQL (modélisation, Intégration/transformation de données, calculs d’indicateurs ,…) Ordonnancement des traitements (via ctrlM) Flux de données (Fichiers plats, xml, web services, …) Optimisation SQL - L’impact de la migration vers Windows 11 avec changement de login et de domaine (Outils, Process, Pipelines, …), le développement de fixs (optimisations et améliorations) des process techniques et le support niveau 2 (principalement au niveau bdd). Compétences optionnelles Connaissances d'outils devops (XLD, XLR, Azure pipeline, ..) Connaissances des outils BI (PBI, BO) Connaissances dev c# Connaissances Hadoop, hdfs, hive, spark

Accompagner les projets dans la définition de leur architecture technique, en collaboration avec l’Architecture d’Entreprise (Urbaniste) et en cohérence avec les Politiques Techniques Nationales. Veiller à la cohérence entre les aspects matériels, applicatifs, socles applicatifs, techniques, systèmes d’exploitation, réseaux Faire évoluer l'architecture du SI pour qu'elle réponde aux besoins des utilisateurs et assurer l'interopérabilité de toute nouvelle solution avec l’environnement existant. Accompagner les projets dans le processus CAT (Commission d’Architecture Technique) et/ou dans les rituels de revue d’architecture (PROTEINE). Assurer l’animation des sujets au sein des communautés, des instances et des entités transverses à la DSI. Participer et organiser les choix de veille technologique. Accompagnement à la transformation Cloud du SI Accompagnement à la transformation BI / DECISIONNEL / BIG DATA du SI Démarche d’architecture technique. Définir les solutions d’architecture technique en conformité avec la Politique Technique Nationale Assurer la cohérence entre les études d’architecture et les travaux nécessaires sur les socles et les briques techniques de production (Gateway, Kubernetes, Container, Middleware, Framework...) Collaboration avec les experts techniques du secteur Architecture et Composants Techniques Valider les solutions d’architecture technique avec les experts des socles et des composants du secteur Architecture et Composants Techniques.Suivre les évolutions des socles et des composants réalisées au sein du secteur Architecture et Composants Techniques Définition de l’architecture technique Cartographier les briques techniques nécessaires aux différents sous-systèmes Caractériser les flux et interfaces dans leurs dimensions techniques .Support aux projets Accompagner les projets dans l’élaboration du Dossier d’Architecture Technique Contribuer à l’instruction et à la revue d’architecture de la solution Contribuer au suivi et à la mise à jour de l’Architectural Runway (PROTEINE) Pour tout nouveau projet ou toute nouvelle technologie, participe à l’étude d’impact sur l’architecture existante ou prévisionnelle Tracer les décisions et demandes d’exception dans un journal partagé de type Architecture Decision Records Une coloration orientée Cloud / DevSecOps serait un plus : Conteneurs, Openshift, Kubernetes, Openstack, Ansible, Terraform, Ingress controller, Architecture Microservices, CI/CD, gitHub, gitOps, ArgoCD, Gravitee, OAuth, Kafka, ELK, Prometheus, Grafana Une coloration orientée Data serait également un plus : Big Data, Master Data Management, Business Intelligence, Data stage, Cognos, Cloudera CDP, HADOOP, Spark, Apache Parket, Apache Iceberg, Apache Hive, Kafka, ELK, Prometheus, Grafana