Trouvez votre prochaine offre d’emploi ou de mission freelance Cloudera

-Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop -Vérification de la bonne application des normes et des standards -Force de de proposition, étude, analyse et mise en œuvre de solutions pour améliorer l’outillage utilisateurs, optimiser les performances et la résilience du Duster -Etude d’impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop, -Prise en compte de l’écosystème : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheurs/Grafana Expertise Hadoop de niveau 3 : -Configuration du Cluster Cloudera en fonction des besoins identifiés -Optimisation des traitements Support : -Accompagnement des équipes de développement -Assistance auprès des équipes : optimisation des traitements, Prise en main de l’outillage mis à disposition, chargement des données -Transmission de savoir-faire via la rédaction de documentations et transfert de connaissances Savoir être : -Coordination et pilotage des chantiers en collaboration avec les différents services DSI -Autonomie pour la prise en charge des sujets et travail en équipe -Capacité à s’adopter en fonction des différents interlocuteurs

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du prestataire en terme de Data Engineering Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique - Framework Spark. - Langage scala - ETL Talend - Talend for BIG DATA - Cadre international - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera

Missions : Assurer le maintien en conditions opérationnelles des environnements en collaboration avec les N3 Traitement des incidents d'exploitation sur tous les environnements (production, Intégration et Qualif) : analyse, diagnostic (mise en exergue de la root cause) et implémentation de solutions Assistance aux clients de la dataplatform dans leur optimisation de traitements / requêtes Astreintes 2 jours par mois déclenchées sur incident, à se répartir sur l'équipe support Automatisation de l'infrastructure BigData / actions récurrentes via ANSIBLE Implémentation des recommandations N3/cloudera Participer aux déploiements de cluster Produire de la documentation sous Confluence, Git mais aussi Jira en renseignant les détails de résolution Agilité à l'échelle sur toutes les équipes de la Dataplatform, participation aux rituels SCRUM (System Demo/Lancement de sprint/PI planning/Rétrospective)

Contexte / Objectifs : Développement d'une application Web dans le cadre du projet ESG (socle technique GCP cloud Google) de Assets et Projet Data Filières ainsi que traiter l'obsolescence Java d'un socle batch (passage Java 17) (socle technique Cloudera) Description : • Réaliser la conception technique et le développement web (interfaces et/ou services) • Programmer les fonctionnalités qui correspondent aux besoins du client pour son site web • Décliner les choix d'architecture préconisés • Développer, documenter et tester les fonctionnalités techniques d'une application • Assurer le support technique tout au long de la vie de l'application • Assurer la correction des problèmes remontés par les utilisateurs • Développer les couches front et backoffice de la plateforme, incluant les appels aux données (CRUD), conformément aux spécifications fonctionnelles et spécifications techniques détaillées

Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique: - Framework Spark - Langage scala - ETL Talend - Talend for BIG DATA - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera Les livrables attendus sont les suivants : - Documentation - Nouvelle version applicativ Cadre international.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

La Prestation s’effectuera au sein de l’équipe « IS Data Factory » d’une vingtaine de personnes composée de : Data Engineer, travaillant majoritaire à l’alimentation du Datawarehouse d’entreprise Data Architect travaillant sur les évolutions de la gestion des données au sein de l’entreprise. Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de : Ø POC Developpement : o Conception et développement du POC pour notre Data Lakehouse ouvert en utilisant les dernières technologies (Cloudera, NoSQL, NiFi, Apache Iceberg, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, Ø L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. Ø Du processus ETL/ELT: o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. Ø L’optimisation de la performance: o Analyse et optimisation de la performance des flux de données et des requêtes. Ø La collaboration : o Travail en étroite collaboration avec l’administrateur du Data Lakehouse pour assurer l’intégration et la fonctionnalité de l’infrastructure du Data Lakehouse. Ø La documentation : o Création et maintenance de documents techniques sur les pipelines de données, o l’architecture o les flux de travail. Ø L’innovation: o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service