Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Nous recherchons un Data Engineer expérimenté pour un projet d’exposition des données dans le secteur bancaire. Le rôle comprend : L’implémentation et l’évolution des API REST pour l’exposition des données. L’orchestration et le déploiement des traitements de transformation sur différents environnements. La migration des traitements existants vers des environnements modernes comme CDH et OpenShift . Vous travaillerez sur des projets stratégiques en collaboration avec des équipes multidisciplinaires dans un environnement technologique avancé.

Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes 1.1. Compétences requises Ø Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit Ø De formation BAC + 5 (Universitaire ou Ingénieur) avec une spécialisation en Informatique ou discipline équivalente Ø Expérience de 2 ans en administration Hadoop/ Cloudera Ø Connaissance d’administration de Sparks, Apache Nifi, Kafka, Iceberg Ø Connaissance d'Active Directory/Kerberos, de TLS et des réseaux. Ø Maitrise des systèmes d'exploitation Linux et une bonne connaissance des scripts Python Ø Connaissance de l'architecture de haute disponibilité et de la sauvegarde Ø Connaissance d'Unix Ø Connaissance de l'Infra As Code (SaltStack ou autres outils de gestion de configuration) serait un plus

Suite à une réorganisation de notre client découpe une Squad en deux et nous cherchons une prestation pouvant prendre le rôle de Product Owner au sein de la Tribu canaux & flux sur une des deux Squads téléphonie. Mission pouvant démarrer rapidement, avec un profil ayant de l'expérience sur la téléphonie (gestion des flux chauds, SVI...) et sur le métier de Product Owner. 2 jours par semaine sur site Mission longue Démarrage ASAP "Porter la vision et la gestion du cycle de vie d’un ou de plusieurs produits construits avec l’équipe (SQUAD). Décliner la vision produit en Histoires Utilisateurs (HU*) et prioriser leur développement. Être le point d’entrée du produit pour la SQUAD et rendre compte de l’avancement. Une bonne connaissance des équipements telco est attendues." "Rattachée au Pôle Solutions Métiers de la DSI , la Tribu Socle Canaux et Flux maintient et fait évoluer en permanence les solutions et outils permettant la mise en relation de nos sociétaires avec nos conseillers / gestionnaires sur les canaux de communication voix / mails / courriers / chat / sms / visio. La mission adresse le périmètre de la Squad Téléphonie, et plus précisément l'équipe en charge du transport de la voix via des équipements techniques (Opérateurs / SBC / PABX Alcatel) et des outils exposés à nos utilisateurs (casques / Quality Monitoring Verint). " "- Construire la vision et la trajectoire des produits. - Anticiper, identifier et traduire les besoins (écouter, formaliser les processus et les parcours, sécurité, réglementaire, …) de ses clients ou utilisateurs et les fédérer. - Porter le sens, organiser et prioriser le contenu du Backlog et des HU en coordination avec le Business Owner et les membres de la squad - Synchroniser le Backlog avec les adhérences externes. - Coanimer avec l’Agile Master les évènements marquants et les rituels (Daily, sprint, …). - Assurer avec l’Agile Master le suivi budgétaire (ressources internes et externes) de la SQUAD en lien avec le Delivery. - Communiquer sur le produit (fonctionnalités ou catalogue de services, avancement, …) - Être responsable de la valeur délivrée et des indicateurs associés coconstruits avec la SQUAD. "

La mission comporte deux casquettes et les deux sont également importantes et font partie du périmètre de rôle : - Une partie Architecte Big Data qui nécessite de discuter avec les clients pour comprendre leurs enjeux et proposer un sizing de la plateforme, ainsi que les accompagner dans les bonnes pratiques de développement et de livraison. - Une partie Exploitation de production qui nécessite des opérations obligatoires de patching, mise à jour de mot de passe et certificats, certificats création des nouveaux utilisateurs et policies associées, etc. Dans ce contexte, la prestation consiste à : - Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc - Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) - Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … - Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) - Gérer la sécurité et l’accès aux clusters - Monitorer les plateformes et communiquer sur les besoins futurs - Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) - Mener les réflexions sur les évolutions à apporter aux plateformes

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes

Mission : En tant que Data Scientist (H/F), vous serez en charge des missions suivantes : • Concevoir et développer les futures fonctionnalités de la plateforme sous Google Cloud Platform. • Concevoir les flux d'alimentation et les tables (structure de donnée). • Automatiser et industrialiser les flux. La stack technique : • Maîtrise des outils permettant de gérer les gros volumes de données (stockage HDFS, calcul distribué, …) via Spark. • Expérience significative dans la mise en production de solutions de ML ayant un impact à grande échelle sur les clients. • Maîtrise des pratiques de packaging ML et de mise en place des architectures AI avancées. • Maîtrise des environnements de développement sur le Cloud (ex : AWS, SageMaker, DataBricks, etc.). • Maîtrise des outils de développement : Git, Github, CI/CD, VSCode/Pycharm, Terminal. • Maîtrise de l'Anglais indispensable.

En tant que Lead Tech Data Studio & MLOps Senior, vous serez responsable du cadrage et de la mise en place d'une solution de Data Studio, destinée à servir plusieurs équipes via une offre mutualisée. Vous piloterez les travaux techniques depuis le cadrage initial jusqu'au déploiement, en supervisant également la migration des usages vers cette nouvelle solution. Vos principales missions incluront : Conception et mise en œuvre : Identifier les normes, patterns, et architectures nécessaires pour une utilisation optimale du Data Studio. Évaluation des solutions existantes : Analyser les capacités et limites de la solution Big Data en place, et proposer des alternatives, notamment autour de Kubernetes et du stockage S3. Documentation technique : Élaborer une documentation claire et détaillée sur les choix d'architecture et les processus de mise en œuvre. Supervision d'équipe : Encadrer les équipes techniques, définir des objectifs, et accompagner leur montée en compétence. Implémentation de pipelines : Diriger le développement et la mise en œuvre des pipelines nécessaires au fonctionnement du Data Studio. Adoption de nouvelles technologies : Évaluer et intégrer des technologies innovantes pour renforcer les processus MLOps et améliorer l'efficacité globale. Conformité et stratégie : S'assurer de la conformité des solutions par rapport aux objectifs stratégiques tout en maintenant un équilibre pragmatique. Vous jouerez un rôle clé dans la définition de l'architecture cible en collaboration avec les architectes et parties prenantes, tout en facilitant les prises de décision sur les solutions applicatives.

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

Participer à la mise en place d'un Socle LLM permettant de mettre à disposition les LLM identifiés tout en garantissant l'homogénéité de leur usage. La mission consistera donc à définir l'architecture à mettre en oeuvre et à développer les composants qui permettront de qualifier, exposer et instancier les modèles tout en assurant leur supervision. Participer au développement de l'offre socle Big Data basée sur Cloudera. Assister les développeurs fonctionnels sur la conception des solutions bancaires en utilisant les outils développés par la squad, aider à la résolution d'incidents et le suivi de production. S'intégrer à l'équipe et prendre en charge des tickets de développement ou de support, être force de proposition pour des améliorations des produits gérés en respect des normes de l'architecture du SI.

Lieu : Sur site (3 jours minimum) et télétravail Secteur : Bancaire/Finance Nous recherchons un Ingénieur Système Applicatif UNIX/Linux expérimenté pour rejoindre l'équipe UNIX de notre division Systems & Infrastructure Services au sein du service IT Production. Vous travaillerez sur des projets critiques dans un environnement financier exigeant, nécessitant une grande rigueur et un sens aigu du service. Participer à des projets bancaires d'installation et de mise en place d'applications Réaliser des migrations de versions ou de plateformes Effectuer des travaux systèmes : augmentation de systèmes de fichiers, patching OS, upgrades sur AIX et RHEL Installer et configurer des outils tiers Développer des scripts d'automatisation Mettre en place des solutions de backup Configurer le monitoring sous Nagios Assurer la maintenance quotidienne et la sécurisation des systèmes Maintenir les applications bancaires et middleware Red Hat Enterprise Linux 6, 7 et 8 (320 machines, 95% virtualisées) AIX 7 sur serveurs Power avec PowerVM/VIO (NPIV, SEA) NIM pour la gestion de 100 partitions Applications critiques : Oracle, WebSphere Application Server, IBM Spectrum Protect, Swift Clusters OpenShift Baies de stockage "Open" (Windows/Linux) Infrastructure de backup (logiciel et matériel

Dans le cadre de la réalisation d'une TMA, nous recherchons pour un client un Data Engineer H/F. Les technologies majeures de la TMA sont les suivantes : Langages : Scala Python Java Frameworks : Hadoop Spark Akka BDD / gestion des données: Hbase Postgre Elastic HDFS Hive DevOps : Ambari Ansible VSTS Git Zookeeper Bonne qualité de communication irréprochable et savoir communiquer avec les métiers. Connaitre les méthodologies agile (Scrum et Kanban). Profils polyvalents car ils interviendront d’abord dans un contexte de run mais également sur de la MCO.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Expérience requise : 7 ans minimum Lieu de mission : Paris, métro Bourse (2 jours de télétravail) - Déplacements possibles sur site à Noisiel Date de démarrage souhaitée : Janvier 2025 Durée de la mission : 1 an, reconductible deux fois par période d'un an (651 jours) Entretien : Prévu en présentiel Le Service de SUPport TEChnique (SUPTEC) fait partie de la Direction de l’Informatique et des Télécommunications (DIT). Sa mission principale est d’assurer le fonctionnement d’un système d’information fiable et performant, de la validation des dossiers d’architecture à la mise en production et l’exploitation des applications. SUPTEC veille également à la cohérence et au respect des normes, procédures et outils utilisés par les lignes de production MVS, Windows et Unix pour l’intégration des applications. La section Intégrations accompagne les projets sur la partie packaging et automatisation des déploiements des livrables applicatifs, principalement à l’aide des outils Puppet et XLDeploy. Dans le cadre de la migration d'une plateforme, notre client recherche un Expert Hadoop pour l'installation d'une nouvelle version de Hadoop. Maintenir en conditions opérationnelles les environnements en collaboration avec les équipes N3. Traiter les incidents d’exploitation sur tous les environnements (production, intégration et qualification) : analyse, diagnostic (identification de la cause racine) et mise en œuvre de solutions. Assister les clients de la dataplatform dans l’optimisation de leurs traitements/requêtes. Effectuer des astreintes 2 nuits par mois, réparties au sein de l'équipe support. Automatiser l’infrastructure BigData et les actions récurrentes via Ansible. Implémenter les recommandations des équipes N3/Cloudera. Participer aux déploiements de clusters. Produire de la documentation sous Confluence, Git et Jira, en détaillant les résolutions d’incidents. Participer aux rituels SCRUM (System Demo, lancement de sprint, PI planning, rétrospective) avec les équipes de la Dataplatform. Bonne connaissance de RHEL 8 ou supérieur. Connaissance de PostgreSQL. Connaissance d’AUTOSYS 11 ou supérieur. Connaissance d’Ansible Tower/AWX. Connaissance d’Openshift. Compétences en scripting Shell. Maîtrise du langage Ansible 2.9 ou supérieur. Bonne connaissance de Hadoop (CDP 7.1). Connaissance d’OpenSearch/Elastic Search. Connaissance de Git. Expertise en Infra Ops. Connaissance des principes du Datalake. Disponibilité pour des astreintes (2 par mois)

Description du Poste: Le consultant produit / intégrateur aura pour mission de participer à la mise en place d'un socle LLM (Large Language Model) permettant de mettre à disposition les LLM identifiés tout en garantissant l'homogénéité de leur usage. Définition de l'Architecture: Définir l'architecture à mettre en œuvre pour les LLM. Développer les composants permettant de qualifier, exposer et instancier les modèles tout en assurant leur supervision. Développement de l'Offre Big Data: Participer au développement de l'offre socle Big Data basée sur Cloudera. Support et Assistance: Assister les développeurs fonctionnels dans la conception des solutions bancaires en utilisant les outils développés par la squad. Aider à la résolution d'incidents et au suivi de production. Prendre en charge des tickets de développement ou de support. Être force de proposition pour des améliorations des produits gérés, en respectant les normes de l'architecture du SI. Intégration Équipe: S'intégrer à l'équipe existante et collaborer efficacement avec les membres de l'équipe.

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Nous recherchons un Ingénieur Data Lake H/F en CDI, afin d’intégrer notre partenaire situé sur Montpellier. Vos missions : · Définir les besoins en matière de stockage de données de l’entreprise et établir une stratégie de mise en place du data lake en conséquence · Développer et mettre en œuvre le système de stockage de données · Gérer l’intégration des données dans le data lake, en veillant à ce qu’elles soient structurées et organisées de manière cohérente · Assurer la maintenance et l’optimisation du data lake, en veillant à ce qu’il reste performant et en corrigeant les éventuels problèmes qui pourraient survenir · Collaborer avec les équipes de l’entreprise pour faciliter l’accès aux données et les aider à les utiliser de manière efficace. Avantages : Télétravail - Mutuelle entreprise – Prévoyance - carte restaurants - Prime de vacances – Abonnement transport.