Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop à Paris

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Missions : Assurer le maintien en conditions opérationnelles des environnements en collaboration avec les N3 Traitement des incidents d'exploitation sur tous les environnements (production, Intégration et Qualif) : analyse, diagnostic (mise en exergue de la root cause) et implémentation de solutions Assistance aux clients de la dataplatform dans leur optimisation de traitements / requêtes Astreintes 2 jours par mois déclenchées sur incident, à se répartir sur l'équipe support Automatisation de l'infrastructure BigData / actions récurrentes via ANSIBLE Implémentation des recommandations N3/cloudera Participer aux déploiements de cluster Produire de la documentation sous Confluence, Git mais aussi Jira en renseignant les détails de résolution Agilité à l'échelle sur toutes les équipes de la Dataplatform, participation aux rituels SCRUM (System Demo/Lancement de sprint/PI planning/Rétrospective)

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

En tant que Lead Tech Data Studio & MLOps Senior, vous serez responsable du cadrage et de la mise en place d'une solution de Data Studio, destinée à servir plusieurs équipes via une offre mutualisée. Vous piloterez les travaux techniques depuis le cadrage initial jusqu'au déploiement, en supervisant également la migration des usages vers cette nouvelle solution. Vos principales missions incluront : Conception et mise en œuvre : Identifier les normes, patterns, et architectures nécessaires pour une utilisation optimale du Data Studio. Évaluation des solutions existantes : Analyser les capacités et limites de la solution Big Data en place, et proposer des alternatives, notamment autour de Kubernetes et du stockage S3. Documentation technique : Élaborer une documentation claire et détaillée sur les choix d'architecture et les processus de mise en œuvre. Supervision d'équipe : Encadrer les équipes techniques, définir des objectifs, et accompagner leur montée en compétence. Implémentation de pipelines : Diriger le développement et la mise en œuvre des pipelines nécessaires au fonctionnement du Data Studio. Adoption de nouvelles technologies : Évaluer et intégrer des technologies innovantes pour renforcer les processus MLOps et améliorer l'efficacité globale. Conformité et stratégie : S'assurer de la conformité des solutions par rapport aux objectifs stratégiques tout en maintenant un équilibre pragmatique. Vous jouerez un rôle clé dans la définition de l'architecture cible en collaboration avec les architectes et parties prenantes, tout en facilitant les prises de décision sur les solutions applicatives.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

• Concevoir, créer et maintenir des pipelines de données évolutifs pour prendre en charge les processus d'intégration, de transformation et de chargement des données (ETL) à l'aide d'outils tels qu'Apache Airflow, Apache NiFi et Talend. • Développer et optimiser des modèles de données, des schémas et des bases de données pour garantir un stockage et une récupération efficaces des données à l'aide de technologies telles que Snowflake, Cassandra et MongoDB. • Collaborer avec des data scientists, des analystes et d'autres parties prenantes pour comprendre les exigences en matière de données et fournir des solutions de données de haute qualité. • Mettre en œuvre des processus de qualité et de validation des données à l'aide d'outils tels que Great Expectations et dbt pour garantir l'exactitude et la cohérence des données. • Surveiller et dépanner les pipelines et les systèmes de données à l'aide d'outils de surveillance tels que Prometheus et Grafana pour identifier et résoudre rapidement les problèmes. • Rester au courant des dernières tendances et technologies du secteur pour améliorer en permanence notre infrastructure de données.

Dans le cadre de la transformation de son activité Décisionnel, le client recherche un Chef de projet SAS H/F pour l’accompagner sur deux sujets de transformation (à mi-temps) : - Migration des utilisateurs SAS de Teradata vers Hadoop - Appel d’offre, choix et acquisition d’un nouvel outil en vue de remplacer SAS Le chef de projet H/F pilotera l’activité de transformation avec une équipe dédiée, sur Lyon et sur Paris. Des déplacements sont donc à prévoir dans le cadre de ce pilotage. Vous accompagnerez le client sur la migration vers SAS-Hadoop, et le process d’acquisition d’un nouvel outil en vue de remplacer SAS dans les prochaines années. Un premier benchmark de solution du marché est en cours de réalisation avant de démarrer le projet, avec un recensement des cas d’usages utilisateur. Fort de votre expérience sur cette technologie et de vos compétences en gestion de projet, vous piloterez le projet par les jalons, gérerez les risques et alerterez la hiérarchie en cas de glissement. Vous devrez également préparer et animer la comitologie du projet de transformation SAS. Rattaché(e) au responsable Transformation Décisionnel, vos principales missions sont : Faire un état des lieux technique et fonctionnel de l’existant Mener des entretiens utilisateurs afin de faire un état des lieux des usages SAS et les besoins futurs Accompagner les utilisateurs dans la migration de SAS-Teradata vers SAS-Hadoop, et piloter ce plan de migration Planifier et suivre l’avancement des travaux liés à la transformation Gérer les risques inerrants au projet, Préparer et animer les différents comités (Comité suivi, Comité opérationnel ,.. ) Assister le responsable Transformation Décisionnel pour la préparation des comités de pilotage Jouer un rôle de conseil sur les bonnes pratiques en termes de gestion de projet, ainsi que sur les fonctionnalités SAS à utiliser dans Hadoop. Accompagner les utilisateurs sur les aspects techniques de SAS. Être amené(e) à coordonner les différentes équipes techniques, recette et métier tout au long de la phase de migration Piloter les démarches pour le choix et l’acquisition d’un nouvel outil, en relation avec l’ensemble des parties prenantes Rédaction de documents de synthèse sur les deux périmètres Rédaction et dépouillement des appels d’offre A noter que cette mission est à pourvoir à mi-temps. Environnement technique SAS Teradata Python et le stack Cloudera (HDFS, Hive, Spark, Impala, HBase, …), pour des usages Big Data

Data Engineer Python Spark - Confirmé client Banque basé à Paris Gare de Lyon, un Data Engineer - Confirmé avec un minimum de 4 ans d’expériences. Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy

Smarteo recherche pour l'un de ses clients, grand compte, Un Data Engineer sur Paris Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en ?uvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible

Almatek recherche pour l'un de ses clients Un Data engineer sur Paris. Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy Démarrage ASAP Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans

Nous recherchons plusieurs Architectes Technique OnPrem & Cloud pour une mission longue chez l'un de nos clients. Niveau expérimenté à senior requis. CONTEXTE DE LA MISSION Au sein de l'équipe Architecture de la Direction des Infrastructures et de la Production du groupe, le consultant contribuera aux activités : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation - Accompagnement de la stratégie Move2Cloud - Co-construction des solutions - Accompagnement des équipes d'exploitation et de développement Environnement général - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess DESCRIPTION DE LA MISSION - Etude des besoins issus des équipes de développement - Etude de l'évolution des composants de plateformes techniques ou de l'intégration de nouveaux services - Rédaction des documents d'architecture et d'intégration générale et détaillée - Rédaction des supports d'aide à l'exploitation et accompagnement des équipes d'exploitation durant la transition - Contribution à l'évaluation budgétaire des solutions mises en œuvre - Support N3 des équipes d'exploitation Démarrage souhaité : au plus tôt Durée de la mission : Longue Paris