Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Hanson Regan recherche actuellement un Data Analyst (€400 MAX) pour travailler avec une entreprise française réputée, basée à Paris, Nantes ou Aix en Provence. Vous travaillerez aux côtés d'autres analystes de données pour effectuer plusieurs tâches cruciales telles que l'analyse des besoins, la manipulation et l'exploitation de bases de données, et pour comprendre les changements fonctionnels et techniques des données dans le cadre de la même activité. L'analyste de données retenu devra avoir une expérience démontrable dans un rôle similaire et une excellente connaissance d'Excel et de l'interrogation de bases de données (SQL, Hive, etc.) pour tester et explorer la base de données. Vous serez à l'aise pour comprendre les exigences fonctionnelles de l'entreprise et aurez de solides compétences en communication. En raison des exigences du client, nous ne pouvons envoyer des freelances travaillant que via leur propre entreprise française. Malheureusement, nous ne pouvons pas travailler avec des solutions de portage pour cette mission. Si cela vous intéresse, veuillez nous contacter dès que possible avec un CV à jour aux coordonnées ci-dessous.

Description du poste : Nous recherchons un Data Engineer freelance passionné et expérimenté pour rejoindre notre équipe dynamique. Vous travaillerez sur des projets innovants en utilisant des technologies de pointe telles que Hive, Hadoop, Dataiku, et Unix/Linux. Responsabilités : Concevoir, développer et maintenir des pipelines de données robustes et évolutifs. Optimiser les requêtes Hive pour améliorer les performances des traitements de données. Gérer et administrer des clusters Hadoop pour assurer une disponibilité et une performance maximales. Intégrer et automatiser des flux de travail dans Dataiku DSS pour des analyses avancées. Collaborer avec les équipes de data science et d’ingénierie pour implémenter des solutions de données efficaces. Assurer la sécurité et l’intégrité des données sur des systèmes Unix/Linux.

Description du poste : En tant que consultant SecOp au sein de notre ESN pure player de la cybersécurité (membre d’Hexatrust), vous jouerez un rôle essentiel dans la protection des infrastructures informatiques de nos clients. Vous serez responsable de la surveillance proactive, de la détection des menaces et de la réponse aux incidents, tout en travaillant sur des projets variés pour améliorer la sécurité globale des systèmes d'information. Ce poste requiert une expertise technique étendue ainsi que la capacité de gérer efficacement les situations critiques et les vulnérabilités complexes. Responsabilités : Effectuer la surveillance continue des systèmes et réseaux pour détecter les activités suspectes et les intrusions potentielles. Analyser les alertes de sécurité, enquêter sur les incidents et répondre rapidement pour minimiser l'impact. Gérer les vulnérabilités en réalisant des évaluations de sécurité, en appliquant des correctifs et en recommandant des solutions de mitigation. Participer à la conception et à la mise en œuvre de mesures de sécurité préventives et réactives. Collaborer avec les équipes internes et les clients pour fournir des conseils stratégiques et des recommandations de sécurité.

Afin de renforcer ses équipes, notre client recherche un(e) architecte sur un environnement Hadoop / Big data de technologie Cloudera ; Et avec des compétences en développement autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Descriptif de la mission : Les missions sont : Ø Les missions porteront sur : o Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Ø Evolution des architectures techniques : o Mise en place des principes directeurs sur l’utilisation du cluster Cloudera o Vérification de la bonne application des normes et des standards o Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster o Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Ø Expertise Hadoop de niveau 3 o Configuration du cluster Cloudera en fonction des besoins identifiés o Optimisation des traitements ; Ø Support : o Accompagnement des équipes de développement o Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données o Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Ø Savoir être : o Coordination et pilotage des chantiers en collaboration avec les différents services DSI o Autonomie pour la prise en charge des sujets et travail en équipe o Capacité à communiquer et s'adapter en fonction des différents interlocuteurs

Notre client recherche un Développeur Big Data senior pour l’accompagner dans l'organisation et la mise en œuvre d'une solution Cloudera au sein de son dispositif technique. L'équipe est actuellement composée de 3 personnes pour le POC, qui devrait être terminé fin septembre, mais il y a des retards techniques : La possibilité de faire des mises à jour par rapport à Teradata Hadoop est plus permissif Trouver une solution de requêtage facile pour les statisticiens Descriptif de la mission : Rattaché au responsable Fabrication Décisionnel & Big Data, vous aurez pour principales missions : Concevoir techniquement les traitements dans le respect de l'architecture mise en place des exigences du client. Codifier les traitements des applications et rédiger la documentation technique dans le respect des normes de développement et des processus établis à notre client. Prendre en charge les maintenances correctives (modification d'une application existante pour corriger des erreurs techniques ou fonctionnelles) Réaliser les tests unitaires pour chaque composant : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; Réaliser les tests d'assemblage des composants décrivant une fonction applicative : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; premier niveau de vérification des performances et de l'exploitabilité. Transformation du SI BI : Passage de Datastage / Cognos à Hadoop / Power BI.

Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes 1.1. Compétences requises Ø Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit Ø De formation BAC + 5 (Universitaire ou Ingénieur) avec une spécialisation en Informatique ou discipline équivalente Ø Expérience de 2 ans en administration Hadoop/ Cloudera Ø Connaissance d’administration de Sparks, Apache Nifi, Kafka, Iceberg Ø Connaissance d'Active Directory/Kerberos, de TLS et des réseaux. Ø Maitrise des systèmes d'exploitation Linux et une bonne connaissance des scripts Python Ø Connaissance de l'architecture de haute disponibilité et de la sauvegarde Ø Connaissance d'Unix Ø Connaissance de l'Infra As Code (SaltStack ou autres outils de gestion de configuration) serait un plus

La mission se déroulera au sein de la Direction des Systèmes d’Information, dans le cadre du développement et du déploiement du programme The Hive à l’international. The Hive est une solution logicielle configurable, destinée à couvrir les besoins des filiales du groupe sur les périmètres de la vente et de l’affichage. Le Product Owner intègrera une équipe agile responsable de deux des produits The Hive, et au sein de laquelle il assurera toutes les tâches relatives à la gestion de produit. A ce titre, il collaborera quotidiennement avec :  L’équipe produit dont il fait partie : Product Manager, Product Owners  Le Tech lead  Les équipes de développement (basées en Inde)  Les équipes Quality Assurance - QA (basées en France et en Inde) Principales tâches relatives à la mission : > Contribuer à construire un produit standardisé / « core » pour accompagner l’accélération du développement de The Hive, tout en y intégrant la flexibilité nécessaire à la prise en compte des spécificités de chaque filiale > Delivery : o Travailler selon la méthodologie Scrum, participer à l’ensemble des cérémonies agiles o Préparer les développements : - Participer à l’élaboration du product goal des releases et des sprints, en accord avec la roadmap produit - Analyser, cadrer, rédiger, estimer et prioriser les users stories - Analyser et prioriser les bugs à résoudre - Etablir les stratégies de tests en relation avec l’équipe QA o Pendant les développements : - Piloter et suivre l’avancement des sprints, mettre à jour les priorités lorsque nécessaire - Accompagner les équipes de développements et de QA - Réaliser des tests et des validations - S’assurer de la livraison des développements conformément aux objectifs o Gestion des release : - Suivre et contribuer aux phases de tests QA et utilisateurs pour permettre de valider les montées versions ou les résolutions de bugs dans délais attendus - Gérer et coordonner les opérations de mise en production o Process / Méthode : - Être garant d’un process de delivery solide - Contribuer à l’amélioration continue des processus de l’équipe en étant force de proposition et acteur de la mise en place des évolutions (organisation, pratiques, outils…) > Discovery : o Intervenir en tant que référent produit dès la phase de cadrage lors de projets de déploiement : recueil des besoins, analyse et priorisation des gaps avec la solution standard, proposition et cadrage des solutions o Etudier les besoins clients et réaliser des études d’impact de manière transverse dans l’optique de développer des fonctionnalités standard/ « core » > En transverse : o Être force de proposition pour rendre le produit le plus attractif, y compris en termes de communication au quotidien auprès de l’équipe, du management, et des filiales ; o Assurer un reporting direct et régulier au product manager et à la direction du domaine

La mission comporte deux casquettes et les deux sont également importantes et font partie du périmètre de rôle : - Une partie Architecte Big Data qui nécessite de discuter avec les clients pour comprendre leurs enjeux et proposer un sizing de la plateforme, ainsi que les accompagner dans les bonnes pratiques de développement et de livraison. - Une partie Exploitation de production qui nécessite des opérations obligatoires de patching, mise à jour de mot de passe et certificats, certificats création des nouveaux utilisateurs et policies associées, etc. Dans ce contexte, la prestation consiste à : - Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc - Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) - Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … - Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) - Gérer la sécurité et l’accès aux clusters - Monitorer les plateformes et communiquer sur les besoins futurs - Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) - Mener les réflexions sur les évolutions à apporter aux plateformes

Principales missions et tâches à effectuer : Accompagnement de l’équipe OPS pour la migration vers Cloudera Data Plateform Compléter la Roadmap Architecture et la mettre en place (Rationalisation des environnements ; distribution Hadoop; Stratégie de Backup; Process d'onboarding: nouveau cas d'usage, nouvel utilisateur; Secret Management; SSSD; Refonte de l'organisation LDAP; Gestion des permissions; SSO; Haute disponibilité; Catalogue de données et de usecase …) Poursuivre et mettre en place la politique de Gouvernance DATA sur la plateforme. Assister l'équipe exploitation en cas de blocage dans le déploiement des livraisons, l'installation des outils, le debug. Soutenir les travaux de développement de pipeline de l'équipe DATA ING (choix techniques, optimisation de perfs, bonnes pratiques etc.). Technos/Outils du projet : Les outils de stockage : Hadoop, Hive, Hbase, Postgresql, Ceph Les outils de gestion de calcul distribué : Spark, Yarn Les outils de prototypage : Jupyter, Dataiku, Hue, Airflow Les outils d’alimentation : Kafka, Nifi Les outils d’affichage : Grafana, Tableau Les outils d’administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap Les outils de proxyfication : Knox, HAProxy Les outils de supervision : Prometheus Les outils de configuration management : Puppet, Ansible Outil de secret management: Vault Cloud Computing: Openstack

Dans le cadre de la réalisation d'une TMA, nous recherchons pour un client un Data Engineer H/F. Les technologies majeures de la TMA sont les suivantes : Langages : Scala Python Java Frameworks : Hadoop Spark Akka BDD / gestion des données: Hbase Postgre Elastic HDFS Hive DevOps : Ambari Ansible VSTS Git Zookeeper Bonne qualité de communication irréprochable et savoir communiquer avec les métiers. Connaitre les méthodologies agile (Scrum et Kanban). Profils polyvalents car ils interviendront d’abord dans un contexte de run mais également sur de la MCO.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant BI sénior Tableau Software (H/F) à Lyon, Auvergne-Rhône-Alpes, France. Contexte : Fonctionnement : sur site à Lyon + Télétravail 50% Les missions attendues par le Consultant BI sénior Tableau Software (H/F) : Activité principale o Analyser les besoins fonctionnels et techniques o Localiser les données de production permettant de répondre au besoin o Documenter / spécifier les livrables o Développer les processus d’intégration de données o Modéliser et enrichir les datawarehouse (entrepôts de données) et les datamarts (magasins de données) o Produire des rapports ou tableaux de bords lisibles et compréhensibles par le métier, et répondant à leur besoin o Tester la qualité et la performance de ses livrables Activité secondaire o Livrer et déployer ses livrables o Participer aux revues de code o Assurer le suivi et le maintien en conditions opérationnelles de ses livrables en production Stack technique de l'équipe Informatica, Java, Tableau Server, Oracle, Cascading, Maven, Hive, CEPH, Indexima, Control-M, Git, Jenkins, Ansible, Spark, Terraform

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes

Nous recherchons un Consultant Décisionnel BI expérimenté pour intégrer une équipe projet dynamique et réaliser une mission chez l'un de nos clients. En tant que tel, vos missions seront les suivantes : Analyser les besoins fonctionnels et techniques afin de concevoir une architecture de données efficace et performante. Collaborer étroitement avec les référents techniques pour des sujets hors cadre BI classique (ex. : Big Data, solutions NoSQL, intégration sans ETL). Modéliser et enrichir des datawarehouses (entrepôts de données) et datamarts (magasins de données) pour répondre aux besoins métiers. Développer et documenter les processus d’intégration et transformation de données. Créer des rapports et tableaux de bord lisibles et exploitables, en adéquation avec les attentes métiers. Tester la qualité et la performance des rapports et dashboards produits. Assurer la formation et l’accompagnement des utilisateurs pour une prise en main optimale des livrables BI. Maintenir en conditions opérationnelles les solutions livrées Environnement technique : Informatica, Java, Tableau Server, Oracle, Cascading, Maven, Hive, CEPH, Indexima, Control-M, Git, Jenkins, Ansible, Spark, Terraform

Nous accompagnons notre client, acteur majeur du secteur [secteur d’activité de l’entreprise cliente], dans l’exploitation et la valorisation de ses données. Nous recherchons un(e) Data Scientist F/H pour rejoindre une squad Agile dédiée aux projets Big Data. Vous serez chargé(e) de créer et maintenir des modèles prédictifs, de gérer les environnements de données distribués, et de contribuer aux projets d’intégration des données pour l’équipe métier. Vos missions seront les suivantes : Développer, entraîner et déployer des modèles de Machine Learning avec l’outil Dataiku, et adapter les solutions de traitement de données à l’architecture Hadoop ; Concevoir et réaliser des dashboards interactifs sous Tableau (Desktop et Serveur) pour répondre aux besoins des métiers en matière de visualisation de données ; Concevoir des pipelines de données robustes en développant en Python, Scala ou SQL, et en intégrant les meilleures pratiques de gestion d’APIs et web services ; Garantir la qualité de code et la gestion des versions sous Git, et documenter les projets sous Confluence et JIRA pour une coordination efficace au sein de l’équipe ; Assurer le suivi de production des modèles et flux de données en collaboration avec les équipes d’exploitation, et participer aux cérémonies Agile (sprint planning, rétrospectives, etc.). Environnement technique : Hadoop (Hue, Zeppelin, Hive), Dataiku, Tableau, Python/Scala, JavaScript, SQL, web services/API, Shell, Git, JIRA, Confluence, Sciforma, Office 365, Teams.

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de data engineering, point de référence aussi bien pour l’équipe de réalisation des projets (build) que pour les équipe de production (RUN). Les missions sont: - Maintien en condition opérationnelle des services opérés autour du streaming (Kafka, Kafka Connect, Flink) - Amélioration continue des services opérés - Implémentation des solutions définies avec le PO (services actuels ou dans le cloud IBM) - Maintien d'une veille technologique permanente - Mode Agile - Astreintes sur les services existants Environnement/ technologies: - Analyse et développement de « produits transverses posés sur étagère pour nos Métiers » - Java jusqu’à l’intégration avec les chaines CI/CD. Des développements JAVA peuvent être réalisés dans le contexte de besoins spécifiques. - Langages de programmation suivant : Java, Python (dans un contexte Big Data) - Plateformes de configuration et gestions des installations : (Ansible, …) - écosystème object storage et kubernetes : (API S3, Helm,…) - écosystème Hadoop (HDFS, Hive, ,…), ElasticSearch - écosystème transport de données : Kafka Connect, Kafka - Framework spring : Spring-Boot, Spring-Security… - Concepts NoSQL et maîtrise d’au moins une solution parmi celles-ci : MongoDB, PostGres. - Concepts de streaming : Flink - Openshift