Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System) à Paris

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Objectifs et livrables Infos Complémentaires : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. 💡Caractéristiques de la mission: Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Vous serez en charge de : * Concevoir, implémentez et fournir des solutions pour les problématiques data. * L’intégration et la collecte des données issues des applications tierces (CRM, réseaux sociaux, etc.) ; * La conception, le développement et déploiement de nouveaux flux Spark pour les différents besoin métiers (finance, support, industrie…) * La caractérisation des architectures des produits technologiques ; Choix d’architecture en anticipant les besoins de scalabilité * La planification et l’orchestration des flux afin d’optimiser la mise à disposition de données. * Détecter les points bloquants ou les chaînons manquants dans le cycle de traitement des données, et à proposer des solutions à soumettre à leurs collaborateurs. * D’assurer la continuité de service et le monitoring des flux développés. * Documentation : capitalisation des savoirs, retours d'expérience et fiches de best practices pour aider à la montée en compétencesdes équipes métier. * De la veille technologique : proposer de nouvelles solutions techniques pour challenger le fonctionnement actuel et optimiser les temps de traitements tout en réduisant les coûts. * Évangéliser les meilleures pratiques dans le traitement de la data. Vous travaillerez en relation avec les équipes responsables des infrastructures et des bases de données ainsi qu’avec les équipes de data analystes et de data scientistes, avec l'appui du chef de projet et en relation directe avec les équipes métiers. Environnement technique : * Spark , PySpark , Scala * HDFS, YARN, Hive, SQL Server, Airflow, Postgresql, kafka * Python, Java, Shell * API, Web services * Git Stash, Ansible, YAML * Puppet * Ansible * CI/CD * Docker / Kubernetes * Agilité / Scrum * la gestion de l’environnement, des tests unitaires, de l’automatisation et des versions ; Savoir être * Autonome & Résilient * Force de proposition * Rigoureux & Capable de gérer plusieurs sujets en parallèle * Faire preuve d’adaptabilité * Pédagogue, vous avez la capacité de vulgariser votre savoir technique pour le mettre au service des autres. * Organisé , vous avez le sens des responsabilités. * État d'esprit orienté utilisateur. Vous avez l’esprit d’équipe, vous participez et êtes acteur des différents rituels agiles