Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Nous recherchons un Data Engineer expérimenté pour un projet d’exposition des données dans le secteur bancaire. Le rôle comprend : L’implémentation et l’évolution des API REST pour l’exposition des données. L’orchestration et le déploiement des traitements de transformation sur différents environnements. La migration des traitements existants vers des environnements modernes comme CDH et OpenShift . Vous travaillerez sur des projets stratégiques en collaboration avec des équipes multidisciplinaires dans un environnement technologique avancé.

Mission : En tant que Data Scientist (H/F), vous serez en charge des missions suivantes : • Concevoir et développer les futures fonctionnalités de la plateforme sous Google Cloud Platform. • Concevoir les flux d'alimentation et les tables (structure de donnée). • Automatiser et industrialiser les flux. La stack technique : • Maîtrise des outils permettant de gérer les gros volumes de données (stockage HDFS, calcul distribué, …) via Spark. • Expérience significative dans la mise en production de solutions de ML ayant un impact à grande échelle sur les clients. • Maîtrise des pratiques de packaging ML et de mise en place des architectures AI avancées. • Maîtrise des environnements de développement sur le Cloud (ex : AWS, SageMaker, DataBricks, etc.). • Maîtrise des outils de développement : Git, Github, CI/CD, VSCode/Pycharm, Terminal. • Maîtrise de l'Anglais indispensable.

Contexte : - Assurer la maintenance du système informatique afin qu'il fonctionne correctement, ainsi que son amélioration ; - Gérer les différents moyens informatiques. Responsabilités : - Configuration et maintien en condition opérationnelle de l'infrastructure Systèmes ; - Installation, configuration et exploitation quotidienne de l'ensemble des serveurs ; - Rôle de chef de projet dans les évolutions d'Infrastructure : étude et intégration des nouveaux services ; - Support Niveau 2 et 3 sur l'infrastructure ; - Gérer les relations avec les prestataires et partenaires ; - Rédaction et mise à jour de la documentation technique et des procédures ; - Veille technologique dans le domaine serveur. Compétences Techniques : - Serveurs : Windows Server 2012R2/2016/2019 - Postes : Windows XP/7/10 - Scripting : PowerShell, VBScript, Batch - Techno : Forêt Active Directory 2012R2, GPO, File Server, DFS, IIS, RDS, Exchange 2016, Hyper-V, ArcServe Backup, Veeam Backup, supervision PRTG - Stockage : NAS, SAN, LUN, technologie RAID - Constructeur : Dell, HP, Fortinet

Dans ce cadre, la prestation consiste à contribuer à / au(x) : - L’étude et la mise en œuvre des projets d’évolution du poste de Travail - Projet d’évolution de la sécurité (AD, Serveurs & postes de travail…)Windows - L’expertise et l’exploitation sur l’ecosysteme Microsoft (AD / SCCM / WSUS / DHCP / DNS / Print Server / Serveurs de fichiers / DFS / Remote Desktop Services / Serveurs applicatifs) - L'assistance technique aux nouveaux projets - La mise en place des process d’exploitation - Support technique niveau 3 et contribution à la gestion des incidents techniques complexes - La rédaction de document d’architecture - La gestion du Patch management, traitement des vulnérabilités du périmètre...) - Traitement des demandes JIRA - La gestion des incidents d'exploitation en rapport avec ces technologies, et rédaction des comptes rendus / post mortem - Projets d'évolution et des architectures de l'infra Windows (Automatisation, Intégration Vmware, Création nouvelle infra F5,...), contribuer aux exercices de résilience du SI - Intégration dans les processus Environnement anglophone Environnement Agile

Secteur public - Retraite complémentaires Mission mi-temps Contexte du besoin L'Agirc-Arrco, dans le cadre de la transformation de son activité Décisionnel, recherche une prestation en chefferie de projet expérimenté SAS pour l’accompagner sur deux sujets de transformation : - Migration des utilisateurs SAS de Teradata vers Hadoop - Appel d’offre, choix et acquisition d’un nouvel outil en vue de remplacer SAS Objet de la prestation Le présent marché spécifique a pour objet de piloter l’activité de transformation avec une équipe dédiée, sur Lyon et sur Paris. Des déplacements sont donc à prévoir dans le cadre de ce pilotage. Ce dispositif a pour cible d’accompagner sur les sujets de transformation SAS, en accompagnant la migration vers SAS-Hadoop, et le process d’acquisition d’un nouvel outil pour en vue de remplacer SAS dans les prochaines années. Description du besoin Fin 2024, un premier benchmark de solution du marché est en cours de réalisation avant de démarrer le projet, avec un recensement des cas d’usages utilisateur. Fort de votre expérience sur cette technologie et de vos compétences en gestion de projet, le prestataire devra être autonome sur son périmètre en pilotant le projet par les jalons, gérer les risques et alerter sa hiérarchie en cas de glissement. Il devra également préparer et animer la comitologie du projet de transformation SAS.

Nous recherchons un Data Engineer expérimenté (+4 ans) pour rejoindre une mission stratégique d’un an au sein d’une grande organisation bancaire. 📍 Lieu : Nantes, avec 3 jours de présence sur site par semaine. 📅 Dates : Début le janvier 2025, fin le décembre 2025. Concevoir et développer des architectures techniques robustes. Tester, déployer et garantir la stabilité des solutions en production. Accompagner l’équipe dans une logique d’amélioration continue (qualité du code). Contribuer aux pratiques et outils de Machine Learning. Techniques : Spark (streaming et batch), Kafka, Java. PySpark/Python (pandas, NumPy, scikit-learn, matplotlib). Stack Hadoop Cloudera : HDFS, Hive, HBase, Phoenix. DevOps : GIT, Jenkins, ELK, Grafana, SonarQube. Voici une proposition d’offre adaptée pour une plateforme qui ne permet pas de liens directs : [Data Engineer - Mission Freelance à Nantes - Janvier à Décembre 2025] Nous recherchons un Data Engineer expérimenté (4 à 7 ans) pour rejoindre une mission stratégique d’un an au sein d’une grande organisation bancaire. 📍 Lieu : Nantes, avec 3 jours de présence sur site par semaine. 📅 Dates : Début le 06 janvier 2025, fin le 31 décembre 2025. Disponibilité : 5 jours par semaine, possibilité d’interventions le samedi. Vous intégrez la Squad DATA ESG, une équipe agile (Scrum) de 8 personnes, dédiée aux projets de finance durable et aux enjeux réglementaires et commerciaux. En tant que Data Engineer, vous serez impliqué dans : 90% Data Engineering : développement sur la stack Cloudera, manipulation des données via la plateforme ZEBRA (Big Data). 10% Data Science : contribution à la création de modèles Machine Learning pour des données ESG et énergétiques. Concevoir et développer des architectures techniques robustes. Tester, déployer et garantir la stabilité des solutions en production. Accompagner l’équipe dans une logique d’amélioration continue (qualité du code). Contribuer aux pratiques et outils de Machine Learning.

Suite à une réorganisation de notre client découpe une Squad en deux et nous cherchons une prestation pouvant prendre le rôle de Product Owner au sein de la Tribu canaux & flux sur une des deux Squads téléphonie. Mission pouvant démarrer rapidement, avec un profil ayant de l'expérience sur la téléphonie (gestion des flux chauds, SVI...) et sur le métier de Product Owner. 2 jours par semaine sur site Mission longue Démarrage ASAP "Porter la vision et la gestion du cycle de vie d’un ou de plusieurs produits construits avec l’équipe (SQUAD). Décliner la vision produit en Histoires Utilisateurs (HU*) et prioriser leur développement. Être le point d’entrée du produit pour la SQUAD et rendre compte de l’avancement. Une bonne connaissance des équipements telco est attendues." "Rattachée au Pôle Solutions Métiers de la DSI , la Tribu Socle Canaux et Flux maintient et fait évoluer en permanence les solutions et outils permettant la mise en relation de nos sociétaires avec nos conseillers / gestionnaires sur les canaux de communication voix / mails / courriers / chat / sms / visio. La mission adresse le périmètre de la Squad Téléphonie, et plus précisément l'équipe en charge du transport de la voix via des équipements techniques (Opérateurs / SBC / PABX Alcatel) et des outils exposés à nos utilisateurs (casques / Quality Monitoring Verint). " "- Construire la vision et la trajectoire des produits. - Anticiper, identifier et traduire les besoins (écouter, formaliser les processus et les parcours, sécurité, réglementaire, …) de ses clients ou utilisateurs et les fédérer. - Porter le sens, organiser et prioriser le contenu du Backlog et des HU en coordination avec le Business Owner et les membres de la squad - Synchroniser le Backlog avec les adhérences externes. - Coanimer avec l’Agile Master les évènements marquants et les rituels (Daily, sprint, …). - Assurer avec l’Agile Master le suivi budgétaire (ressources internes et externes) de la SQUAD en lien avec le Delivery. - Communiquer sur le produit (fonctionnalités ou catalogue de services, avancement, …) - Être responsable de la valeur délivrée et des indicateurs associés coconstruits avec la SQUAD. "

La mission comporte deux casquettes et les deux sont également importantes et font partie du périmètre de rôle : - Une partie Architecte Big Data qui nécessite de discuter avec les clients pour comprendre leurs enjeux et proposer un sizing de la plateforme, ainsi que les accompagner dans les bonnes pratiques de développement et de livraison. - Une partie Exploitation de production qui nécessite des opérations obligatoires de patching, mise à jour de mot de passe et certificats, certificats création des nouveaux utilisateurs et policies associées, etc. Dans ce contexte, la prestation consiste à : - Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc - Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) - Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … - Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) - Gérer la sécurité et l’accès aux clusters - Monitorer les plateformes et communiquer sur les besoins futurs - Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) - Mener les réflexions sur les évolutions à apporter aux plateformes

Nous recherchons pour un de nos grand clients dans le secteur du divertissement un chef de projet Système d’Information Senior ayant la capacité de piloter un projet transverse, avec différents interlocuteurs Métiers et différents chantiers SI techniques, dans une contrainte de délai très forte. Votre rôle sera axé sur la communication avec les équipes métiers ainsi que la compréhension du SI complexe à fort volume de transactions. Vous devrez donc adopter une posture proactive et devrez être en capacité de discuter de sujets techniques sur un SI complexe. Dans ce cadre, vos missions seront : • Réalisation du cadrage technique • Production de note de cadrage projet • Production des uses cases applicatifs • Organisation et animation des comités de pilotage avec les sponsors et les utilisateurs • Reporting projet • Remontée d'alerte, demande d'arbitrage • Suivi budgétaire du projet

En tant que Lead Tech Data Studio & MLOps Senior, vous serez responsable du cadrage et de la mise en place d'une solution de Data Studio, destinée à servir plusieurs équipes via une offre mutualisée. Vous piloterez les travaux techniques depuis le cadrage initial jusqu'au déploiement, en supervisant également la migration des usages vers cette nouvelle solution. Vos principales missions incluront : Conception et mise en œuvre : Identifier les normes, patterns, et architectures nécessaires pour une utilisation optimale du Data Studio. Évaluation des solutions existantes : Analyser les capacités et limites de la solution Big Data en place, et proposer des alternatives, notamment autour de Kubernetes et du stockage S3. Documentation technique : Élaborer une documentation claire et détaillée sur les choix d'architecture et les processus de mise en œuvre. Supervision d'équipe : Encadrer les équipes techniques, définir des objectifs, et accompagner leur montée en compétence. Implémentation de pipelines : Diriger le développement et la mise en œuvre des pipelines nécessaires au fonctionnement du Data Studio. Adoption de nouvelles technologies : Évaluer et intégrer des technologies innovantes pour renforcer les processus MLOps et améliorer l'efficacité globale. Conformité et stratégie : S'assurer de la conformité des solutions par rapport aux objectifs stratégiques tout en maintenant un équilibre pragmatique. Vous jouerez un rôle clé dans la définition de l'architecture cible en collaboration avec les architectes et parties prenantes, tout en facilitant les prises de décision sur les solutions applicatives.

Data Engineer Python Spark - Confirmé client Banque basé à Paris Gare de Lyon, un Data Engineer - Confirmé avec un minimum de 4 ans d’expériences. Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy

Nous recherchons un(e) Développeur Big Data pour accompagner le développement de l’application Lutte contre la Fraude . Vous interviendrez au sein d’une équipe agile et participerez activement à la conception, au développement, et à l’intégration de solutions innovantes pour répondre aux enjeux de la lutte contre la fraude. Vos missions principales : Participer aux rituels agiles (Scrum/Kanban). Analyser et concevoir le socle projet de référence. Développer de nouvelles fonctionnalités en respectant les bonnes pratiques. Intégrer les applications avec les différentes briques techniques. Contribuer à la mise en place et au respect des règles de développement en collaboration avec l’équipe. Apporter un support technique et assurer le suivi de la recette.

Dans le cadre de sa stratégie data, nous recherchons pour l'un de nos clients Architecte Data pour renforcer son équipe. Vous serez rattaché(e) au Responsable du Pôle Architecture Entreprise et jouerez un rôle clé dans la conception et la gestion de l’architecture des données. Conception d’architecture : Définir les flux de données, choisir les solutions de stockage (bases relationnelles, NoSQL, data lakes, entrepôts de données). Modélisation des données : Élaborer des modèles relationnels et dimensionnels pour une exploitation optimale. Qualité et gouvernance des données : Assurer l’intégrité, la cohérence, et la disponibilité des données. Sécurité et conformité : Mettre en place des mécanismes répondant aux normes RGPD et autres régulations. Optimisation des performances : Collaborer avec les équipes techniques pour garantir la scalabilité et l'efficacité des systèmes. Veille technologique : Intégrer les innovations pertinentes dans les solutions déployées.

Dans le cadre de la transformation de son activité Décisionnel, le client recherche un Chef de projet SAS H/F pour l’accompagner sur deux sujets de transformation (à mi-temps) : - Migration des utilisateurs SAS de Teradata vers Hadoop - Appel d’offre, choix et acquisition d’un nouvel outil en vue de remplacer SAS Le chef de projet H/F pilotera l’activité de transformation avec une équipe dédiée, sur Lyon et sur Paris. Des déplacements sont donc à prévoir dans le cadre de ce pilotage. Vous accompagnerez le client sur la migration vers SAS-Hadoop, et le process d’acquisition d’un nouvel outil en vue de remplacer SAS dans les prochaines années. Un premier benchmark de solution du marché est en cours de réalisation avant de démarrer le projet, avec un recensement des cas d’usages utilisateur. Fort de votre expérience sur cette technologie et de vos compétences en gestion de projet, vous piloterez le projet par les jalons, gérerez les risques et alerterez la hiérarchie en cas de glissement. Vous devrez également préparer et animer la comitologie du projet de transformation SAS. Rattaché(e) au responsable Transformation Décisionnel, vos principales missions sont : Faire un état des lieux technique et fonctionnel de l’existant Mener des entretiens utilisateurs afin de faire un état des lieux des usages SAS et les besoins futurs Accompagner les utilisateurs dans la migration de SAS-Teradata vers SAS-Hadoop, et piloter ce plan de migration Planifier et suivre l’avancement des travaux liés à la transformation Gérer les risques inerrants au projet, Préparer et animer les différents comités (Comité suivi, Comité opérationnel ,.. ) Assister le responsable Transformation Décisionnel pour la préparation des comités de pilotage Jouer un rôle de conseil sur les bonnes pratiques en termes de gestion de projet, ainsi que sur les fonctionnalités SAS à utiliser dans Hadoop. Accompagner les utilisateurs sur les aspects techniques de SAS. Être amené(e) à coordonner les différentes équipes techniques, recette et métier tout au long de la phase de migration Piloter les démarches pour le choix et l’acquisition d’un nouvel outil, en relation avec l’ensemble des parties prenantes Rédaction de documents de synthèse sur les deux périmètres Rédaction et dépouillement des appels d’offre A noter que cette mission est à pourvoir à mi-temps. Environnement technique SAS Teradata Python et le stack Cloudera (HDFS, Hive, Spark, Impala, HBase, …), pour des usages Big Data

• Concevoir, créer et maintenir des pipelines de données évolutifs pour prendre en charge les processus d'intégration, de transformation et de chargement des données (ETL) à l'aide d'outils tels qu'Apache Airflow, Apache NiFi et Talend. • Développer et optimiser des modèles de données, des schémas et des bases de données pour garantir un stockage et une récupération efficaces des données à l'aide de technologies telles que Snowflake, Cassandra et MongoDB. • Collaborer avec des data scientists, des analystes et d'autres parties prenantes pour comprendre les exigences en matière de données et fournir des solutions de données de haute qualité. • Mettre en œuvre des processus de qualité et de validation des données à l'aide d'outils tels que Great Expectations et dbt pour garantir l'exactitude et la cohérence des données. • Surveiller et dépanner les pipelines et les systèmes de données à l'aide d'outils de surveillance tels que Prometheus et Grafana pour identifier et résoudre rapidement les problèmes. • Rester au courant des dernières tendances et technologies du secteur pour améliorer en permanence notre infrastructure de données.

Nous recherchons pour l'un de nos clients un Administrateur systèmes et réseaux f/h Missions : Sous la responsabilité du responsable informatique, l’administrateur à remplacer sera en charge des tâches suivantes : Gestion du SOC Sentinel ONE Cogestion de la plateforme SOC pour la sécurité des systèmes d’information. Sauvegarde et infrastructure Gestion d’une infrastructure composée de 40 serveurs sur site et 20 NAS. Effectuer les tests de sauvegarde et de restauration. Réseau Exploitation du cœur de réseau avec Stormshield. Gestion des VPN (ajout, suppression, diagnostic). Mise à jour et ajout de règles réseau. Gestion des mails / accès : Administration de la solution Vade pour la protection des mails en interne. Investigation et remédiation des signalements de faux positifs. Demande de déblocage des mails en cas de nécessité. Gestion des appareils mobiles via MDM (Mobile Device Management). Gestion du scoring O365 pour l’optimisation et la sécurité de l’environnement.