Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Bordeaux

Contexte : Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en Elasticsearch, MongoDB ainsi qu’une expérience sur la plateforme Dataiku seraient un plus. Missions Principales : Support Technique Niveau 2 et 3 sur Cloudera Data Platform - Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera ; - Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers ; - Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire ; - Implémenter et Améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes ; - Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka - Administrer et Optimiser l’infrastructure Kafka sur Cloudera ; - Gérer la scalabilité et la résilience des clusters Kafka ;Assurer une supervision efficace des topics, brokers et consommateurs ; - Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets ; - Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement - Développer et Maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation ; - Automatiser la gestion des incidents récurrents et les procédures de maintenance ; - Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure - Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail ; - Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources ; - Analyser et Proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier ; - Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances - Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre ; - Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents ; - Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera , posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure . Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en sur la plateforme Dataiku seraient un plus . Missions Support Technique Niveau 2 et 3 sur Cloudera Data Platform Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera. Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers. Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire. Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes. Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka Administrer et optimiser l’infrastructure Kafka sur Cloudera. Gérer la scalabilité et la résilience des clusters Kafka. Assurer une supervision efficace des topics, brokers et consommateurs. Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets. Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation. Automatiser la gestion des incidents récurrents et les procédures de maintenance. Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail. Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources. Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier. Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre. Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents. Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Dans le cadre de l’exploitation et de l’optimisation de l'infrastructure Cloudera & Data de notre client, nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en sur la plateforme Dataiku seraient un plus. Missions : Support Technique N2 & N3 Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera. Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers. Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire. Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes. Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka Administrer et optimiser l’infrastructure Kafka sur Cloudera. Gérer la scalabilité et la résilience des clusters Kafka. Assurer une supervision efficace des topics, brokers et consommateurs. Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets. Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation. Automatiser la gestion des incidents récurrents et les procédures de maintenance. Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail. Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources. Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier. Assurer une veille technologique et être force de proposition pour améliorer la plateforme Documentation et Transmission de Connaissances Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre. Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents. Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Nous recherchons un Tech Lead Big Data passionné pour piloter des projets d'envergure et encadrer une équipe de développeurs confirmés. Vous serez au cœur de l'innovation, en contribuant activement au développement et à l'optimisation de nos outils Big Data. Rejoindre les équipes en charge des outils transverses : moteurs d'ingestion, défragmentation, dédoublonnage, réplication des données... Améliorer les concepts techniques et préparer le build des solutions Assurer la répartition des tâches : 60% développement, 40% conception et pilotage technique Encadrer techniquement une équipe de 3 développeurs confirmés Intégrer les contraintes de sécurité en collaboration avec l'équipe Security Lead Développer sur des tables externes et managées en utilisant des formats tels que Parquet et Iceberg Environnement technique : Big Data Stack : Spark, Scala, Hadoop Gestion des données : Parquet, Iceberg Intégration continue des meilleures pratiques de sécurité