Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive à Paris

Hanson Regan recherche actuellement un Data Analyst (€400 MAX) pour travailler avec une entreprise française réputée, basée à Paris, Nantes ou Aix en Provence. Vous travaillerez aux côtés d'autres analystes de données pour effectuer plusieurs tâches cruciales telles que l'analyse des besoins, la manipulation et l'exploitation de bases de données, et pour comprendre les changements fonctionnels et techniques des données dans le cadre de la même activité. L'analyste de données retenu devra avoir une expérience démontrable dans un rôle similaire et une excellente connaissance d'Excel et de l'interrogation de bases de données (SQL, Hive, etc.) pour tester et explorer la base de données. Vous serez à l'aise pour comprendre les exigences fonctionnelles de l'entreprise et aurez de solides compétences en communication. En raison des exigences du client, nous ne pouvons envoyer des freelances travaillant que via leur propre entreprise française. Malheureusement, nous ne pouvons pas travailler avec des solutions de portage pour cette mission. Si cela vous intéresse, veuillez nous contacter dès que possible avec un CV à jour aux coordonnées ci-dessous.

Description du poste : Nous recherchons un Data Engineer freelance passionné et expérimenté pour rejoindre notre équipe dynamique. Vous travaillerez sur des projets innovants en utilisant des technologies de pointe telles que Hive, Hadoop, Dataiku, et Unix/Linux. Responsabilités : Concevoir, développer et maintenir des pipelines de données robustes et évolutifs. Optimiser les requêtes Hive pour améliorer les performances des traitements de données. Gérer et administrer des clusters Hadoop pour assurer une disponibilité et une performance maximales. Intégrer et automatiser des flux de travail dans Dataiku DSS pour des analyses avancées. Collaborer avec les équipes de data science et d’ingénierie pour implémenter des solutions de données efficaces. Assurer la sécurité et l’intégrité des données sur des systèmes Unix/Linux.

Afin de renforcer ses équipes, notre client recherche un(e) architecte sur un environnement Hadoop / Big data de technologie Cloudera ; Et avec des compétences en développement autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Descriptif de la mission : Les missions sont : Ø Les missions porteront sur : o Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Ø Evolution des architectures techniques : o Mise en place des principes directeurs sur l’utilisation du cluster Cloudera o Vérification de la bonne application des normes et des standards o Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster o Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Ø Expertise Hadoop de niveau 3 o Configuration du cluster Cloudera en fonction des besoins identifiés o Optimisation des traitements ; Ø Support : o Accompagnement des équipes de développement o Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données o Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Ø Savoir être : o Coordination et pilotage des chantiers en collaboration avec les différents services DSI o Autonomie pour la prise en charge des sujets et travail en équipe o Capacité à communiquer et s'adapter en fonction des différents interlocuteurs

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de data engineering, point de référence aussi bien pour l’équipe de réalisation des projets (build) que pour les équipe de production (RUN). Les missions sont: - Maintien en condition opérationnelle des services opérés autour du streaming (Kafka, Kafka Connect, Flink) - Amélioration continue des services opérés - Implémentation des solutions définies avec le PO (services actuels ou dans le cloud IBM) - Maintien d'une veille technologique permanente - Mode Agile - Astreintes sur les services existants Environnement/ technologies: - Analyse et développement de « produits transverses posés sur étagère pour nos Métiers » - Java jusqu’à l’intégration avec les chaines CI/CD. Des développements JAVA peuvent être réalisés dans le contexte de besoins spécifiques. - Langages de programmation suivant : Java, Python (dans un contexte Big Data) - Plateformes de configuration et gestions des installations : (Ansible, …) - écosystème object storage et kubernetes : (API S3, Helm,…) - écosystème Hadoop (HDFS, Hive, ,…), ElasticSearch - écosystème transport de données : Kafka Connect, Kafka - Framework spring : Spring-Boot, Spring-Security… - Concepts NoSQL et maîtrise d’au moins une solution parmi celles-ci : MongoDB, PostGres. - Concepts de streaming : Flink - Openshift

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.