Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes 1.1. Compétences requises Ø Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit Ø De formation BAC + 5 (Universitaire ou Ingénieur) avec une spécialisation en Informatique ou discipline équivalente Ø Expérience de 2 ans en administration Hadoop/ Cloudera Ø Connaissance d’administration de Sparks, Apache Nifi, Kafka, Iceberg Ø Connaissance d'Active Directory/Kerberos, de TLS et des réseaux. Ø Maitrise des systèmes d'exploitation Linux et une bonne connaissance des scripts Python Ø Connaissance de l'architecture de haute disponibilité et de la sauvegarde Ø Connaissance d'Unix Ø Connaissance de l'Infra As Code (SaltStack ou autres outils de gestion de configuration) serait un plus

Missions : Assurer le maintien en conditions opérationnelles des environnements en collaboration avec les N3 Traitement des incidents d'exploitation sur tous les environnements (production, Intégration et Qualif) : analyse, diagnostic (mise en exergue de la root cause) et implémentation de solutions Assistance aux clients de la dataplatform dans leur optimisation de traitements / requêtes Astreintes 2 jours par mois déclenchées sur incident, à se répartir sur l'équipe support Automatisation de l'infrastructure BigData / actions récurrentes via ANSIBLE Implémentation des recommandations N3/cloudera Participer aux déploiements de cluster Produire de la documentation sous Confluence, Git mais aussi Jira en renseignant les détails de résolution Agilité à l'échelle sur toutes les équipes de la Dataplatform, participation aux rituels SCRUM (System Demo/Lancement de sprint/PI planning/Rétrospective)

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

Afin de renforcer ses équipes, notre client recherche un(e) architecte sur un environnement Hadoop / Big data de technologie Cloudera ; Et avec des compétences en développement autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Descriptif de la mission : Les missions sont : Ø Les missions porteront sur : o Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Ø Evolution des architectures techniques : o Mise en place des principes directeurs sur l’utilisation du cluster Cloudera o Vérification de la bonne application des normes et des standards o Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster o Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Ø Expertise Hadoop de niveau 3 o Configuration du cluster Cloudera en fonction des besoins identifiés o Optimisation des traitements ; Ø Support : o Accompagnement des équipes de développement o Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données o Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Ø Savoir être : o Coordination et pilotage des chantiers en collaboration avec les différents services DSI o Autonomie pour la prise en charge des sujets et travail en équipe o Capacité à communiquer et s'adapter en fonction des différents interlocuteurs

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

-Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop -Vérification de la bonne application des normes et des standards -Force de de proposition, étude, analyse et mise en œuvre de solutions pour améliorer l’outillage utilisateurs, optimiser les performances et la résilience du Duster -Etude d’impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop, -Prise en compte de l’écosystème : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheurs/Grafana Expertise Hadoop de niveau 3 : -Configuration du Cluster Cloudera en fonction des besoins identifiés -Optimisation des traitements Support : -Accompagnement des équipes de développement -Assistance auprès des équipes : optimisation des traitements, Prise en main de l’outillage mis à disposition, chargement des données -Transmission de savoir-faire via la rédaction de documentations et transfert de connaissances Savoir être : -Coordination et pilotage des chantiers en collaboration avec les différents services DSI -Autonomie pour la prise en charge des sujets et travail en équipe -Capacité à s’adopter en fonction des différents interlocuteurs

Notre client est une grande entreprise opérant dans le secteur financier, avec une forte présence dans le domaine des services aux entreprises. Dans un contexte de transformation technologique, l'entreprise souhaite renforcer son équipe IT pour maintenir et faire évoluer ses applications critiques. Le projet en cours concerne l'optimisation et le maintien des applications d’une plateforme dédiée à la gestion des financements. Le projet s’intègre au sein d’un grand programme de modernisation de la plateforme de financements . Le système, basé sur des technologies Hadoop et Scala , gère un large éventail de services critiques. L'objectif principal de cette mission est d'assurer le bon fonctionnement des applications existantes et de contribuer aux évolutions techniques, notamment en participant aux déploiements et aux maintenances évolutives. Les applications sont gérées au sein de la DSI, plus précisément dans une filiale dédiée à la gestion des financements. Vous travaillerez avec une équipe dynamique dans un environnement Agile/SCRUM, en étroite collaboration avec des équipes métiers et techniques. Assurer le maintien en conditions opérationnelles (MCO) des applications sur la plateforme existante. Contribuer aux travaux de déploiement , d'intégration et de livraison des composants sur l'environnement PISA. Concevoir, modéliser et implémenter des solutions techniques pour les maintenances évolutives et correctives sur la plateforme. Développer et améliorer les traitements des calculateurs (basés sur des templates YAML et développements Scala ). Participer à la rédaction et mise à jour des spécifications techniques , en lien avec les travaux de maintenance corrective ou évolutive. Collaborer étroitement avec les équipes métier et les Business Analysts pour assurer la qualité des développements. Assurer le support technique durant les phases de recette. Suivi de la production et résolution des incidents sur la plateforme de financements. Participation active aux ateliers de conception avec les équipes métier et techniques. Développement de traitements sur les calculateurs, intégrant les règles métier via des configurations YAML et des développements en Scala . Assurer le déploiement des composants sur les environnements de recette et de qualification . Mise à jour du dictionnaire de données Nodata et collaboration avec les équipes pour garantir la cohérence des évolutions.

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Description du poste : Nous recherchons un Développeur Big Data / Hadoop expérimenté pour rejoindre l’équipe de notre client, leader dans le secteur bancaire. Vous jouerez un rôle clé dans la gestion, le traitement et l'analyse de grandes quantités de données en utilisant l’écosystème Hadoop et d’autres technologies Big Data. Responsabilités : Concevoir, développer et optimiser des solutions de traitement et d’analyse de données volumineuses en utilisant Hadoop et d’autres outils Big Data. Collaborer avec des Data Engineers et des Data Scientists pour comprendre les besoins en matière de données et créer des pipelines de données robustes et scalables. Assurer l'intégration et le traitement de données provenant de sources variées, en garantissant la qualité, la disponibilité et la sécurité des données. Effectuer des analyses de performance, optimiser les workflows Hadoop, et veiller à la maintenance des clusters Hadoop. Implémenter des modèles de données avancés et automatiser les processus de collecte, de nettoyage et de transformation de données. Documenter les processus, suivre les meilleures pratiques en matière de Big Data et contribuer aux efforts d'optimisation continue. Profil recherché : 5 à 7 ans d'expérience dans le développement Big Data, avec une expertise avérée sur l'écosystème Hadoop (HDFS, MapReduce, Hive, Pig, HBase). Maîtrise des outils de traitement distribué (Spark, Flink) et des technologies de gestion de données (Kafka, Cassandra). Solide expérience en programmation avec des langages tels que Java, Scala, Python. Connaissance des bases de données SQL et NoSQL (MySQL, PostgreSQL, MongoDB). Excellente capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines de données. Expérience dans des environnements de développement Agile. Qualifications : Diplôme en informatique, en ingénierie, ou dans un domaine connexe. Expérience dans la gestion et l'optimisation des clusters Hadoop. Connaissance des systèmes de versioning (Git) et des outils de CI/CD. Connaissance des outils de visualisation de données (Tableau, Power BI) est un plus. Pourquoi rejoindre ce projet ? Vous intégrerez une équipe d'experts passionnés par le Big Data, où vous pourrez travailler sur des projets d’envergure, en utilisant les dernières technologies de l'écosystème Big Data. Ce rôle offre des opportunités de développement professionnel dans un environnement stimulant et innovant.

Qui sommes-nous ? Chez AMD Blue, l'innovation est notre moteur. Spécialisée dans l'IT, notre équipe Blue Data accompagne des projets data variés et stratégiques pour répondre aux besoins de transformations numériques d’envergure. Dans le cadre de notre développement, nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer nos équipes internes sur des projets innovants. Description de la mission : En tant que Data Engineer, vous jouerez un rôle clé dans le développement et l'optimisation de solutions de traitement et d’analyse de données. Vous travaillerez avec des technologies de pointe, telles que Hadoop et Spark, pour répondre aux besoins de projets critiques et innovants. Missions principales : Développer et optimiser des solutions de traitement et d'analyse de données en utilisant Hadoop/Spark. Collaborer étroitement avec des équipes multidisciplinaires pour créer des pipelines de données robustes et performants. Participer activement aux ateliers de planification stratégique, en contribuant à la réussite des projets en cours et à venir.

Intégrer l’équipe KARMA Move To Cloud pour réaliser la migration dans le cloud GCP. KARMA est le système de Revenue Management du groupe 100% migration cloud GCP Intégration d’une équipe de 6 personnes Présence sur site (Sophia Antipolis) obligatoire 1x par semaine. Présence sur site (Sophia Antipolis) obligatoire 3x par semaine pendant les 3 premiers mois (on boarding) Communication, leadership, autonomie, coaching Profils séniors uniquement Anglais niveau B2 Obligatoire Data engineering / Big Data Development Hadoop et Spark pour migration KARMA dans le cloud GCP

La mission comporte deux casquettes et les deux sont également importantes et font partie du périmètre de rôle : - Une partie Architecte Big Data qui nécessite de discuter avec les clients pour comprendre leurs enjeux et proposer un sizing de la plateforme, ainsi que les accompagner dans les bonnes pratiques de développement et de livraison. - Une partie Exploitation de production qui nécessite des opérations obligatoires de patching, mise à jour de mot de passe et certificats, certificats création des nouveaux utilisateurs et policies associées, etc. Dans ce contexte, la prestation consiste à : - Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc - Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) - Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … - Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) - Gérer la sécurité et l’accès aux clusters - Monitorer les plateformes et communiquer sur les besoins futurs - Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) - Mener les réflexions sur les évolutions à apporter aux plateformes

Nous accompagnons notre client, acteur majeur du secteur [secteur d’activité de l’entreprise cliente], dans l’exploitation et la valorisation de ses données. Nous recherchons un(e) Data Scientist F/H pour rejoindre une squad Agile dédiée aux projets Big Data. Vous serez chargé(e) de créer et maintenir des modèles prédictifs, de gérer les environnements de données distribués, et de contribuer aux projets d’intégration des données pour l’équipe métier. Vos missions seront les suivantes : Développer, entraîner et déployer des modèles de Machine Learning avec l’outil Dataiku, et adapter les solutions de traitement de données à l’architecture Hadoop ; Concevoir et réaliser des dashboards interactifs sous Tableau (Desktop et Serveur) pour répondre aux besoins des métiers en matière de visualisation de données ; Concevoir des pipelines de données robustes en développant en Python, Scala ou SQL, et en intégrant les meilleures pratiques de gestion d’APIs et web services ; Garantir la qualité de code et la gestion des versions sous Git, et documenter les projets sous Confluence et JIRA pour une coordination efficace au sein de l’équipe ; Assurer le suivi de production des modèles et flux de données en collaboration avec les équipes d’exploitation, et participer aux cérémonies Agile (sprint planning, rétrospectives, etc.). Environnement technique : Hadoop (Hue, Zeppelin, Hive), Dataiku, Tableau, Python/Scala, JavaScript, SQL, web services/API, Shell, Git, JIRA, Confluence, Sciforma, Office 365, Teams.

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes