Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Pour le besoin de notre client, nous sommes à la recherche d'un administrateur/Expertise DATAHUB Garantir le fonctionnement optimal des outils ou systèmes dont il a la charge. Garantir la résolution des incidents de niveau 2 ou 3 et contribuer à l'élaboration d'actions préventives sur les éléments dont il a la charge. Apporter l'expertise, conseil et assistance dans l'usage et la mise en œuvre d'applications auprès des projets, support aux projets. Contribuer à l'évolution des cibles et des trajectoires du SI, TechLead sur les produits Data / IA, Système et OS : Linux/Unix (RedHat, CentOS) Big Data : Eco système Hadoop (Kafka, Solr, Hbase, Hive, Spark), Cloudera CDP (Sentry/Ranger, Kudu, Impala) et Talend. Expert LINUX avec 7 ans d’expérience au niveau Admin N2 dans un contexte de Production.

Description du poste : En tant que consultant SecOp au sein de notre ESN pure player de la cybersécurité (membre d’Hexatrust), vous jouerez un rôle essentiel dans la protection des infrastructures informatiques de nos clients. Vous serez responsable de la surveillance proactive, de la détection des menaces et de la réponse aux incidents, tout en travaillant sur des projets variés pour améliorer la sécurité globale des systèmes d'information. Ce poste requiert une expertise technique étendue ainsi que la capacité de gérer efficacement les situations critiques et les vulnérabilités complexes. Responsabilités : Effectuer la surveillance continue des systèmes et réseaux pour détecter les activités suspectes et les intrusions potentielles. Analyser les alertes de sécurité, enquêter sur les incidents et répondre rapidement pour minimiser l'impact. Gérer les vulnérabilités en réalisant des évaluations de sécurité, en appliquant des correctifs et en recommandant des solutions de mitigation. Participer à la conception et à la mise en œuvre de mesures de sécurité préventives et réactives. Collaborer avec les équipes internes et les clients pour fournir des conseils stratégiques et des recommandations de sécurité.

Afin de renforcer l'équipe d'Ingénierie Réseaux dans le cadre des projets d’évolution des infrastructures de diffusion de vidéo sur IP pour le build / run d’une infrastructure de diffusion Live, Replay et OTT, notre client a besoin d’une prestation d’expertise technique de niveau senior avec une expérience significative sur la définition d’architecture broadcast sur ce type d’environnement (Live, Replay et OTT), l’intégration et les déploiements des réseaux IP Multicastdans une entreprise audiovisuelle. Activités principales et livrables attendus pour la réalisation de la prestation : • Organisation ou participation aux différents projets d'évolutions • Définition d'architecture technique dans l’environnement • Intégration et configuration des solutions • Recette des environnements • Transfert de connaissance aux équipes Ingénierie et Support • Migration des environnements identifiés sur les nouvelles architectures • Assurer un support N3 à l’équipe exploitation réseaux Expertises requises (obligatoires) : • Expertise sur les environnements Cisco NDFC / DCNM • Expertise sur les déploiements d’architecture SMPTE 2110 • Maitrise des environnements Spine & Leaf (MP-BGP / VXLAN) • Maitrise des protocoles de routage OSPF / BGP / PIM / • Maitrise du protocole PTP • Maitrise des environnements NXOS (NBM / Reflector NAT) • Maitrise des environnements IP Multicast • Maitrise des environnements Palo-Alto / Asa • Expertise sur les déploiements d’architecture SRT/OTT/RTMP/SDI • Expertise sur les modulation optiques, multiplexage actif /passif Expertise optionnelle : • Certification CCNP Livrables attendus : • Document d'architecture technique / schéma d’architecture • Procédures d’exploitation • Cahier de recette Modalités de la prestation : • Interventions ponctuelles en HNO • Astreintes en HNO et WE

Bonjour, Nous recherchons pour notre client grand compte un Expert plateforme Live Replay et OTT avec expertise en architecture broadcast . Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL à [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour au format Word Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence KTR/OTT/4614 dans l’objet de votre mail Prestation : Un client grand compte recherche une expertise technique senior pour renforcer son équipe d'Ingénierie Réseaux dans le cadre des projets d'évolution des infrastructures de diffusion vidéo sur IP (Live, Replay, OTT). L'expert interviendra sur la définition d'architectures broadcast, l'intégration et le déploiement des réseaux IP Multicast. Activités principales de la prestation : Organisation ou participation aux projets d'évolutions Définition d'architectures techniques adaptées à l’environnement du client Intégration et configuration des solutions Recette des environnements Transfert de connaissance aux équipes Ingénierie et Support Migration vers les nouvelles architectures identifiées Support N3 auprès de l’équipe exploitation réseaux Compétences requises : Livrables attendus : Documentation technique et schémas d’architecture. Procédures d’exploitation. Cahier de recette.

Afin de renforcer l'équipe d'Ingénierie Réseaux dans le cadre des projets d’évolution des infrastructures de diffusion de vidéo sur IP pour le build / run d’une infrastructure de diffusion Live, Replay et OTT, nous avons besoin d’une prestation d’expertise technique de niveau senior avec une expérience significative sur la définition d’architecture broadcast sur ce type d’environnement (Live, Replay et OTT), l’intégration et les déploiements des réseaux IP Multicast dans une entreprise audiovisuelle. Activités principales et livrables attendus pour la réalisation de la prestation : • Organisation ou participation aux différents projets d'évolutions • Définition d'architecture technique dans l’environnement • Intégration et configuration des solutions • Recette des environnements • Transfert de connaissance aux équipes Ingénierie et Support • Migration des environnements identifiés sur les nouvelles architectures • Assurer un support N3 à l’équipe exploitation réseaux Expertises requises (obligatoires) : • Expertise sur les environnements Cisco NDFC / DCNM • Expertise sur les déploiements d’architecture SMPTE 2110 • Maitrise des environnements Spine & Leaf (MP-BGP / VXLAN) • Maitrise des protocoles de routage OSPF / BGP / PIM / • Maitrise du protocole PTP • Maitrise des environnements NXOS (NBM / Reflector NAT) • Maitrise des environnements IP Multicast • Maitrise des environnements Palo-Alto / Asa • Expertise sur les déploiements d’architecture SRT/OTT/RTMP/SDI • Expertise sur les modulation optiques, multiplexage actif /passif Expertise optionnelle : • Certification CCNP Livrables attendus : • Document d'architecture technique / schéma d’architecture • Procédures d’exploitation • Cahier de recette Modalités de la prestation : • Interventions ponctuelles en HNO • Astreintes en HNO et WE

Data Engineer Python Spark - Confirmé client Banque basé à Paris Gare de Lyon, un Data Engineer - Confirmé avec un minimum de 4 ans d’expériences. Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy

Nous recherchons un Architecte Data Solution expérimenté ayant des expérience au sein du secteur bancaire CIB. Vos missions : Mise en place du data mesh en temps réel pour gérer les flux de données Travailler sur des modèles de données normalisés tels que Common Domain Model (CDM) et Financial Products Markup Language (FPML) pour standardiser les processus Architecture hexagonal et DDM : conception et mise en oeuvre des architectures hexagonales basées sur le Distributed Data Management Pré-requis : bac + 5 école d'ingénieur ou équivalent Plus de 10 ans d'expérience en tant qu'Architecte Data Solution avec une ou plusieurs expérience dans le secteur bancaire, idéalement CIB vous avez obligatoirement travailler sur la mise en place du data mesh , travailler sur le CDM, FPML et l'architecture hexagonal (DDM) Maitrise de l'anglais maitrise de la stack technique big data : Kafka, Hive, Spark et Oozie

Bonjour, je recherche pour l'un de mes clients un(e) devOps DATA. Skills : Linux - Data (KAFKA, Hive, Spark) Tâches : assurer le RUN (incidents de niveau 2 et 3) évolution des socles hébergés garantir le fonctionnement optimal des outils ou systèmes apporter son expertise, conseil et assistance dans l'usage et la mise en oeuvre d'applications Localisation : Niort (2 jours de télétravail par semaine) Démarrage : début janvier Longue visibilité (3 ans de mission) N'hésitez pas à revenir vers moi pour des informations complémentaires.

Afin de développer l'agence rennaise, Norgay recrute un Data Quality Engineer H/F, dont les missions seront les suivantes : Mettre en œuvre et maintenir des processus de contrôle de la qualité des données pour garantir leur conformité et leur fiabilité. Développer et déployer des scripts de vérification de la qualité des données à l'aide de Spark. Concevoir et optimiser des solutions Big Data en exploitant des technologies telles que Data Lake , DWH , HDFS , et Hive . Participer à la mise en place et à la gestion de frameworks de gouvernance des données. Implémenter et gérer des outils de Data Management et de Data Catalog pour structurer et documenter les données. Collaborer avec les équipes pour analyser les données, identifier les anomalies et proposer des actions correctives. Assurer la sécurité et la gestion du cycle de vie des données conformément aux principes établis. Rédiger, manipuler et optimiser des requêtes SQL complexes pour répondre aux besoins analytiques.

Dans le cadre de la transformation de son activité Décisionnel, le client recherche un Chef de projet SAS H/F pour l’accompagner sur deux sujets de transformation (à mi-temps) : - Migration des utilisateurs SAS de Teradata vers Hadoop - Appel d’offre, choix et acquisition d’un nouvel outil en vue de remplacer SAS Le chef de projet H/F pilotera l’activité de transformation avec une équipe dédiée, sur Lyon et sur Paris. Des déplacements sont donc à prévoir dans le cadre de ce pilotage. Vous accompagnerez le client sur la migration vers SAS-Hadoop, et le process d’acquisition d’un nouvel outil en vue de remplacer SAS dans les prochaines années. Un premier benchmark de solution du marché est en cours de réalisation avant de démarrer le projet, avec un recensement des cas d’usages utilisateur. Fort de votre expérience sur cette technologie et de vos compétences en gestion de projet, vous piloterez le projet par les jalons, gérerez les risques et alerterez la hiérarchie en cas de glissement. Vous devrez également préparer et animer la comitologie du projet de transformation SAS. Rattaché(e) au responsable Transformation Décisionnel, vos principales missions sont : Faire un état des lieux technique et fonctionnel de l’existant Mener des entretiens utilisateurs afin de faire un état des lieux des usages SAS et les besoins futurs Accompagner les utilisateurs dans la migration de SAS-Teradata vers SAS-Hadoop, et piloter ce plan de migration Planifier et suivre l’avancement des travaux liés à la transformation Gérer les risques inerrants au projet, Préparer et animer les différents comités (Comité suivi, Comité opérationnel ,.. ) Assister le responsable Transformation Décisionnel pour la préparation des comités de pilotage Jouer un rôle de conseil sur les bonnes pratiques en termes de gestion de projet, ainsi que sur les fonctionnalités SAS à utiliser dans Hadoop. Accompagner les utilisateurs sur les aspects techniques de SAS. Être amené(e) à coordonner les différentes équipes techniques, recette et métier tout au long de la phase de migration Piloter les démarches pour le choix et l’acquisition d’un nouvel outil, en relation avec l’ensemble des parties prenantes Rédaction de documents de synthèse sur les deux périmètres Rédaction et dépouillement des appels d’offre A noter que cette mission est à pourvoir à mi-temps. Environnement technique SAS Teradata Python et le stack Cloudera (HDFS, Hive, Spark, Impala, HBase, …), pour des usages Big Data

Smarteo recherche pour l'un de ses clients, grand compte, Un Data Engineer sur Paris Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en ?uvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible

Almatek recherche pour l'un de ses clients Un Data engineer sur Paris. Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy Démarrage ASAP Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans

Nous recherchons un Data Engineer expérimenté (+4 ans) pour rejoindre une mission stratégique d’un an au sein d’une grande organisation bancaire. 📍 Lieu : Nantes, avec 3 jours de présence sur site par semaine. 📅 Dates : Début le janvier 2025, fin le décembre 2025. Concevoir et développer des architectures techniques robustes. Tester, déployer et garantir la stabilité des solutions en production. Accompagner l’équipe dans une logique d’amélioration continue (qualité du code). Contribuer aux pratiques et outils de Machine Learning. Techniques : Spark (streaming et batch), Kafka, Java. PySpark/Python (pandas, NumPy, scikit-learn, matplotlib). Stack Hadoop Cloudera : HDFS, Hive, HBase, Phoenix. DevOps : GIT, Jenkins, ELK, Grafana, SonarQube. Voici une proposition d’offre adaptée pour une plateforme qui ne permet pas de liens directs : [Data Engineer - Mission Freelance à Nantes - Janvier à Décembre 2025] Nous recherchons un Data Engineer expérimenté (4 à 7 ans) pour rejoindre une mission stratégique d’un an au sein d’une grande organisation bancaire. 📍 Lieu : Nantes, avec 3 jours de présence sur site par semaine. 📅 Dates : Début le 06 janvier 2025, fin le 31 décembre 2025. Disponibilité : 5 jours par semaine, possibilité d’interventions le samedi. Vous intégrez la Squad DATA ESG, une équipe agile (Scrum) de 8 personnes, dédiée aux projets de finance durable et aux enjeux réglementaires et commerciaux. En tant que Data Engineer, vous serez impliqué dans : 90% Data Engineering : développement sur la stack Cloudera, manipulation des données via la plateforme ZEBRA (Big Data). 10% Data Science : contribution à la création de modèles Machine Learning pour des données ESG et énergétiques. Concevoir et développer des architectures techniques robustes. Tester, déployer et garantir la stabilité des solutions en production. Accompagner l’équipe dans une logique d’amélioration continue (qualité du code). Contribuer aux pratiques et outils de Machine Learning.

Le profil recherché est un développeur PHP Senior ayant une expérience significative, avec une capacité de conception technique de solution applicative, et sachant orienter et encadrer le travail d’autres développeurs. Il interviendra en renfort d’un Tech Lead en place pour soutenir le suivi de développements offshore en Inde. La mission se déroulera au sein de la Direction des Systèmes d’Information, sous la responsabilité d’un architecte de la solution « Hive » et en collaboration etroite avec le Tech Lead. Le rôle du tech lead consiste à : · Suivre au quotidien la bonne prise en compte des principes établis, et de manière générale le respect des bonnes pratiques o Le cas échéant, aider les développeurs o Donner aux POs tous les éléments pour prioriser la backlog en conséquence o Compléter si besoin les consignes à respecter o Adapter la chaîne de CI si nécessaire o Suivre, encadrer et controler le travail des équipes off-shore · Prendre connaissance des nouveaux besoins et assister les POs dans la qualification et les macro-estimations. o Détecter des difficultés particulières, imaginer des esquisses de solution, se rapprocher de l’architecte pour envisager les options o Le cas échéant, effectuer la conception détaillée des solutions · Suivre l’exploitabilité et le comportement des applications o Surveiller régulièrement, avec les POs, le comportement des applications avec les outils disponibles § Le cas échéant, proposer/réaliser des dashboards supplémentaires, ou remonter le besoin d’amélioration o Rester en contact régulier avec les intégrateurs et les ops · Suivre et traiter les merge requests · Rester à l’écoute des pratiques et des technologies qui émergent · Contribuer, avec l’architecte et les autres tech leads, à l’animation technique des équipes (ex. sessions Lunch&Learn) · Concevoir et réaliser des stories Participer au recrutement des développeurs

La mission comporte deux casquettes et les deux sont également importantes et font partie du périmètre de rôle : - Une partie Architecte Big Data qui nécessite de discuter avec les clients pour comprendre leurs enjeux et proposer un sizing de la plateforme, ainsi que les accompagner dans les bonnes pratiques de développement et de livraison. - Une partie Exploitation de production qui nécessite des opérations obligatoires de patching, mise à jour de mot de passe et certificats, certificats création des nouveaux utilisateurs et policies associées, etc. Dans ce contexte, la prestation consiste à : - Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc - Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) - Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … - Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) - Gérer la sécurité et l’accès aux clusters - Monitorer les plateformes et communiquer sur les besoins futurs - Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) - Mener les réflexions sur les évolutions à apporter aux plateformes

Principales missions et tâches à effectuer : Accompagnement de l’équipe OPS pour la migration vers Cloudera Data Plateform Compléter la Roadmap Architecture et la mettre en place (Rationalisation des environnements ; distribution Hadoop; Stratégie de Backup; Process d'onboarding: nouveau cas d'usage, nouvel utilisateur; Secret Management; SSSD; Refonte de l'organisation LDAP; Gestion des permissions; SSO; Haute disponibilité; Catalogue de données et de usecase …) Poursuivre et mettre en place la politique de Gouvernance DATA sur la plateforme. Assister l'équipe exploitation en cas de blocage dans le déploiement des livraisons, l'installation des outils, le debug. Soutenir les travaux de développement de pipeline de l'équipe DATA ING (choix techniques, optimisation de perfs, bonnes pratiques etc.). Technos/Outils du projet : Les outils de stockage : Hadoop, Hive, Hbase, Postgresql, Ceph Les outils de gestion de calcul distribué : Spark, Yarn Les outils de prototypage : Jupyter, Dataiku, Hue, Airflow Les outils d’alimentation : Kafka, Nifi Les outils d’affichage : Grafana, Tableau Les outils d’administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap Les outils de proxyfication : Knox, HAProxy Les outils de supervision : Prometheus Les outils de configuration management : Puppet, Ansible Outil de secret management: Vault Cloud Computing: Openstack