Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Description du poste : Nous recherchons un Data Engineer freelance passionné et expérimenté pour rejoindre notre équipe dynamique. Vous travaillerez sur des projets innovants en utilisant des technologies de pointe telles que Hive, Hadoop, Dataiku, et Unix/Linux. Responsabilités : Concevoir, développer et maintenir des pipelines de données robustes et évolutifs. Optimiser les requêtes Hive pour améliorer les performances des traitements de données. Gérer et administrer des clusters Hadoop pour assurer une disponibilité et une performance maximales. Intégrer et automatiser des flux de travail dans Dataiku DSS pour des analyses avancées. Collaborer avec les équipes de data science et d’ingénierie pour implémenter des solutions de données efficaces. Assurer la sécurité et l’intégrité des données sur des systèmes Unix/Linux.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique: - Framework Spark - Langage scala - ETL Talend - Talend for BIG DATA - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera Les livrables attendus sont les suivants : - Documentation - Nouvelle version applicativ Cadre international.

Notre client recherche un Développeur Big Data senior pour l’accompagner dans l'organisation et la mise en œuvre d'une solution Cloudera au sein de son dispositif technique. L'équipe est actuellement composée de 3 personnes pour le POC, qui devrait être terminé fin septembre, mais il y a des retards techniques : La possibilité de faire des mises à jour par rapport à Teradata Hadoop est plus permissif Trouver une solution de requêtage facile pour les statisticiens Descriptif de la mission : Rattaché au responsable Fabrication Décisionnel & Big Data, vous aurez pour principales missions : Concevoir techniquement les traitements dans le respect de l'architecture mise en place des exigences du client. Codifier les traitements des applications et rédiger la documentation technique dans le respect des normes de développement et des processus établis à notre client. Prendre en charge les maintenances correctives (modification d'une application existante pour corriger des erreurs techniques ou fonctionnelles) Réaliser les tests unitaires pour chaque composant : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; Réaliser les tests d'assemblage des composants décrivant une fonction applicative : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; premier niveau de vérification des performances et de l'exploitabilité. Transformation du SI BI : Passage de Datastage / Cognos à Hadoop / Power BI.

Nous recherchons pour un leader dans le secteur bancaire, un Data Engineer SQL expérimenté pour une équipe chargée de la maintenance des flux de données du projet INDIXIS. Ce rôle requiert une expertise en SQL Server et un solide sens du support technique, avec des responsabilités de maintenance évolutive, d’optimisation, et de support niveau 2. Vous intégrerez une équipe internationale dans un environnement Agile/Kanban. Missions : Assurer la maintenance et l'évolution des flux de données pour le Global Market, incluant la migration vers Windows 11. Modéliser et optimiser les bases de données SQL Server, en utilisant T-SQL. Gérer l’ ordonnancement des traitements de données avec CtrlM, et intervenir pour le support niveau 2. Participer activement aux rituels Agile/Kanban, en collaboration avec des équipes basées à Paris et Porto. Rédiger des documentations techniques et réaliser des tests unitaires pour garantir la qualité des solutions.

INGENIEUR BASE DE DONNEES - DBA Démarrage : ASAP Durée : 2 ans renouvelable Localisation : Ile de France - Proche Paris Télétravail : 50% Contexte : Accompagner les métiers sur leurs projets, initiatives, évolutions, être proactif. Assurer aux utilisateurs de l’Asset Management un bon niveau de qualité de support. Etre force de proposition sur les évolutions d'infrastructures techniques et logicielles en garantissant le traitement, les refreshs et la prévention de l'obsolescence Déploiement de l’Agile, du Devops, XLDeploy, MyCloud et Cloud AZURE. Mission : Prise en charge des sujets de refresh de plateforme OS Sybase ASE - Prise en charge des sujets de migration de Sybase vers sqlserver - Développement et maintenance de scripts powershell et ksh pour automatiser les taches - Audit régulier des bases de données Sybase ASE 16 & MS-SQL ( SQL, SSAS, SSIS, SSRS ) - Maintien en conditions opérationnelles des SGBD - Supervision des SGBDs de Production ( sqlserver 2014 à sqlserver 2022, Sybase ASE 16 ) - Prise en compte et traitement des incidents et des appels des utilisateurs - Participation aux cellules de crise - Contrôle et livraison des modifications de structure de base, - Prise en charge des demandes de Mise en Production, - Prise en compte des demandes d'interventions sur les différentes technologies SGBDs - Prise en charge de l'installation, l'administration et l'optimisation avec analyse de performances des serveurs SGBDs - Assistance aux équipes études pour le contrôle et l'optimisation des requêtes SQL et procédures stockées - Participation aux exercices de continuité et de disponibilité et maintenance des procédures associées. - Réalisation et maintenance de la documentation d’exploitation des bases de données. - Participation aux projets de veille technologique (Nouvelles fonctionnalités SQL2022, Interfaçage Polybase - Hadoop) - Participation au projet bases de données sur Cloud Azure ( SQLServer, Analysis Services, PowerBI ...), AWS et GCP. - Application de la politique générale de sécurité. La mission proposée est soumise aux dispositifs d'astreintes et horaires décalées.

En tant que DBA Sybase/SQLServer : - Prise en charge des sujets de refresh de plateforme OS Sybase ASE - Prise en charge des sujets de migration de Sybase vers sqlserver - Développement et maintenance de scripts powershell et ksh pour automatiser les taches - Audit régulier des bases de données Sybase ASE 16 & MS-SQL ( SQL, SSAS, SSIS, SSRS ) - Maintien en conditions opérationnelles des SGBD du périmètre - Supervision des SGBDs de Production du périmètre ( sqlserver 2014 à sqlserver 2022, Sybase ASE 16 ) - Prise en compte et traitement des incidents et des appels des utilisateurs - Participation aux cellules de crise - Contrôle et livraison des modifications de structure de base, - Prise en charge des demandes de Mise en Production, - Prise en compte des demandes d'interventions sur les différentes technologies SGBDs - Prise en charge de l'installation, l'administration et l'optimisation avec analyse de performances des serveurs SGBDs - Assistance aux équipes études pour le contrôle et l'optimisation des requêtes SQL et procédures stockées - Participation aux exercices de continuité et de disponibilité et maintenance des procédures associées. - Réalisation et maintenance de la documentation d’exploitation des bases de données. - Participation aux projets de veille technologique (Nouvelles fonctionnalités SQL2022, Interfaçage Polybase - Hadoop) - Participation au projet bases de données sur Cloud Azure ( SQLServer, Analysis Services, PowerBI ...), AWS et GCP. - Application de la politique générale de sécurité. La mission proposée est soumise aux dispositifs d'astreintes et horaires décalées. Contexte : Environnement multi SGBD majoritairement SQLServer avec du Sybase et mySQL/PostgreSQL. Expertises spécifiques : Accompagner les métiers sur leurs projets, initiatives, évolutions, être proactif. Assurer aux utilisateurs de l’Asset Management un bon niveau de qualité de support. Etre force de proposition sur les évolutions d'infrastructures techniques et logicielles en garantissant le traitement, les refreshs et la prévention de l'obsolescence Déploiement de l’Agile, du Devops, XLDeploy, MyCloud et Cloud AZURE.

Notre client, concepteur et réalisateur de solutions clés en main, cherche à renforcer ses équipes avec un Data Architect pour intervenir dans la mise en place d’une plateforme Data / de valorisation de la donnée. Cette plateforme s’intègre dans le cadre d’un SI de 25 personnes, organisé en plusieurs équipes Scrum. Les missions principales seront : Gérer la définition, la consolidation et le développement d’une plateforme de valorisation de la donnée En charge de la définition, du dimensionnement, de la sécurité et du maintien de l’architecture de la plateforme Gouvernance de la donnée Définition de l’architecture et de la sécurité de la plateforme Benchmark d’outils et Intégration au sein de la plateforme Consolidation du système d’authentification Maintien des documentations techniques Maintien en condition de sécurité des outils de la plateforme Stratégie de backup Travail en collaboration avec l’équipe d'exploitation (externe) et l’équipe projet (interne) Le contexte technique : - Stockage : Hadoop, Hive, Hbase, Postgresql, Ceph - Calcul distribué : Spark - Prototypage : Jupyter, Dataiku, Hue, Airflow - Les outils d’alimentation : Kafka, Nifi - Affichage : Grafana, Tableau - Administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap - Les outils de proxyfication : Knox, HAProxy - Les outils de supervision: Elasticsearch, Logstash, Kibana, Prometheus

La Prestation s’effectuera au sein de l’équipe « IS Data Factory » d’une vingtaine de personnes composée de : Data Engineer, travaillant majoritaire à l’alimentation du Datawarehouse d’entreprise Data Architect travaillant sur les évolutions de la gestion des données au sein de l’entreprise. Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de : Ø POC Developpement : o Conception et développement du POC pour notre Data Lakehouse ouvert en utilisant les dernières technologies (Cloudera, NoSQL, NiFi, Apache Iceberg, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, Ø L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. Ø Du processus ETL/ELT: o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. Ø L’optimisation de la performance: o Analyse et optimisation de la performance des flux de données et des requêtes. Ø La collaboration : o Travail en étroite collaboration avec l’administrateur du Data Lakehouse pour assurer l’intégration et la fonctionnalité de l’infrastructure du Data Lakehouse. Ø La documentation : o Création et maintenance de documents techniques sur les pipelines de données, o l’architecture o les flux de travail. Ø L’innovation: o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

Au sein du Pôle Administration & Transition (ATR) de la Direction des Opérations (DOP), l'administrateur applicatif Big Data sénior interviendra en tant qu’administrateur des applications du client. Veuillez noter que la durée du bon de commande mentionnée est estimative. Elle est sujette à ajustement en fonction des besoins et des évolutions du projet. Objectifs et livrables La principale mission est de participer à : La maintenance en condition opérationnelle des services applicatifs sur la base des meilleures pratiques ITIL ; La mise en œuvre de nouveaux projets pour le client. Mission complémentaire: S’assurer du bon niveau de résolution des incidents et problèmes des Middlewares. Support à la mise en œuvre des changements et des mises en production (Recette d’exploitabilité). Mise en place du Monitoring des nouveaux Middlewares. Participer avec la MOE/MOA aux évolutions des Middlewares. Identifier les impacts des évolutions Middlewares et mettre en place les actions et procédures d’exploitation associées. Rédaction des fiches d’exploitation des Middlewares. Assurer un reporting régulier auprès de son Manager. Spark :Confirmé Kafka :Confirmé Linux (RH, CentOS …) :Confirmé Cassandra :Confirmé Hadoop :Confirmé

Dans le cadre de la réalisation d'une TMA, nous recherchons pour un client un Data Engineer H/F. Les technologies majeures de la TMA sont les suivantes : Langages : Scala Python Java Frameworks : Hadoop Spark Akka BDD / gestion des données: Hbase Postgre Elastic HDFS Hive DevOps : Ambari Ansible VSTS Git Zookeeper Bonne qualité de communication irréprochable et savoir communiquer avec les métiers. Connaitre les méthodologies agile (Scrum et Kanban). Profils polyvalents car ils interviendront d’abord dans un contexte de run mais également sur de la MCO.

Principales missions et tâches à effectuer : Accompagnement de l’équipe OPS pour la migration vers Cloudera Data Plateform Compléter la Roadmap Architecture et la mettre en place (Rationalisation des environnements ; distribution Hadoop; Stratégie de Backup; Process d'onboarding: nouveau cas d'usage, nouvel utilisateur; Secret Management; SSSD; Refonte de l'organisation LDAP; Gestion des permissions; SSO; Haute disponibilité; Catalogue de données et de usecase …) Poursuivre et mettre en place la politique de Gouvernance DATA sur la plateforme. Assister l'équipe exploitation en cas de blocage dans le déploiement des livraisons, l'installation des outils, le debug. Soutenir les travaux de développement de pipeline de l'équipe DATA ING (choix techniques, optimisation de perfs, bonnes pratiques etc.). Technos/Outils du projet : Les outils de stockage : Hadoop, Hive, Hbase, Postgresql, Ceph Les outils de gestion de calcul distribué : Spark, Yarn Les outils de prototypage : Jupyter, Dataiku, Hue, Airflow Les outils d’alimentation : Kafka, Nifi Les outils d’affichage : Grafana, Tableau Les outils d’administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap Les outils de proxyfication : Knox, HAProxy Les outils de supervision : Prometheus Les outils de configuration management : Puppet, Ansible Outil de secret management: Vault Cloud Computing: Openstack

A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du prestataire en terme de Data Engineering Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique - Framework Spark. - Langage scala - ETL Talend - Talend for BIG DATA - Cadre international - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess